這可能是第一起生成式AI讓人沉迷到自殺，然後被告的案例。佛州一位14歲男孩自殺後，其母親稱沉迷於Character.AI的聊天機器人，因此提告。
根據《紐約時報》報導，Orlando的九年級生Sewell Setzer III，花好幾個月的時間在Character.AI的人工智慧角色扮演應用程式上，與聊天機器人交談。Setzer特別對一個機器人“Dany”產生了情感依戀，不斷給它發短信，以至於他開始從現實世界脫離出來。Setzer向機器人承認有自殺的念頭，而且在他死前還給它發了訊息。
週三(10/23)上午，Character.AI表示將推出一系列新的安全功能，包括與違反其服務條款的聊天相關的「改善檢測、響應和干預」，並且當用戶在聊天上花了一個鐘頭時，便會發出一個通知。
