一項訴訟指控，Google的Gemini人工智慧工具幫助一名13歲女孩，透過學校配發的筆電策劃自殺，而學校和家長卻未察覺她精神健康日益惡化的危機。
訴訟稱，這名少女最終獲救，是因為學校將她的上網活動標記給了她的父母。她的母親登錄女兒的帳戶，並即時目睹她撰寫遺書的過程。訴訟稱：「Gemini診斷出Emma患有嚴重的精神疾病，說服她相信它而不是她的父母和心理諮商師，並最終幫助她策劃了自殺和葬禮。Google從未向任何人發出Emma處於危機狀態的警報。」
Google表示正在審查訴訟中的指控，並高度重視此事。公司發言人Jose Castaneda於11月6日表示：「我們與醫療專業人士和學術專家進行了廣泛合作，開發出能夠幫助年輕人找到關鍵支持和可靠資源的各項功能。我們的系統旨在防止用戶參與有害對話，當人們的查詢表明他們可能正在經歷危機時，我們會直接在搜尋結果中顯示熱線訊息，以便將他們與現實世界的支持聯繫起來。」
