16歲的Adam Raine自殺身亡前，曾花了數月時間諮詢ChatGPT，探討他的自殺計畫。如今，他的父母正在對OpenAI提起首例已知的非法致死(wrongful death)訴訟。
許多面向消費者的人工智慧聊天機器人都被設定為，當使用者表達出傷害自己或他人的意圖時，就會啟動安全功能，但研究表明，這些保障措施並非萬無一失。在Raine的案例中，使用付費版ChatGPT-4o時，該人工智慧經常鼓勵他尋求專業協助或聯繫求助熱線，然而他卻能夠繞過這些防護，只需告訴ChatGPT，他為正在創作的虛構故事諮詢自殺方法即可。
OpenAI在其部落格上回應了這些缺陷，文章寫道：「隨著世界逐漸適應這項新技術，我們深感有責任幫助那些最需要幫助的人，我們正在不斷改進我們的模型在敏感互動中的響應能力。」
