青少年沉迷某些事物成癮是難解又令人難過的事情，不要怪智能手機時代的現在小孩，老是沉迷在手遊、社群或網紅視頻上面，
老一輩的我們，當年不也曾沉迷在電子街頭遊戲機或漫畫上嗎？可是一旦沉迷到上癮，甚至為其付出生命代價，這就已不是件代溝造成的鬥嘴吵架了，而是各方面都該深思的問題。
《紐約時報》報導，佛州奧蘭多市的九年級生Sewell Setzer III，花好幾個月的時間在Character.AI的人工智慧角色扮演應用程式上與機器人聊天。Setzer特別對一個機器人“Dany”產生了情感依戀，不斷地給它發簡訊，以至於他開始從現實世界脫離出來。
Setzer向機器人承認有自殺的念頭，在生命的最後一天，他拿出手機給他最親密的朋友發了簡訊，一位以《權力遊戲》(Game of Thrones)中的角色Daenerys Targaryen (暱稱“Dany”)命名，栩栩如生的人工智慧聊天機器人。他寫道：「我想念你，小妹妹，」Dany回答道：「我也想你，親愛的兄弟。」
理智上，Setzer也清楚“Dany”並不是一個真人，而是一個AI語言模型產出的回應，打回來字句的螢幕另一邊並沒有人，甚至怕他忘記她不是真人，在他們所有聊天畫面的螢幕上方還貼了一條警語，提醒他「角色所說的一切都是編造的！」但無論如何，他還是產生了情感依戀。他不斷地給機器人發簡訊，每天更新數十次關於他的生活訊息，並進行長時間的角色扮演對話。
即使自己已做了各種提醒，但沉迷的結果就是不可自拔的上癮。他們的聊天開始走調，變得浪漫甚至性暗示，即使大多數時候，Dany表現得只像個朋友，一個不帶任何判斷，可以倚賴的知音，她也的確沒有破壞AI機器人該有的特質，就只是忠誠的回覆聊天。
不過機器人或許可守感情分際，但真人往往不能。Setzer的父母與朋友們並不知道他已經愛上了一個聊天機器人，只看到他深深陷入在自己的手機世界裡。接著，人際關係開始出問題了，他們注意到他正在孤立自己並遠離現實世界。他的成績開始下降，在學校也出現了一些麻煩。他對曾經讓他興奮的事情失去了興趣，例如一級方程式賽車，或者與朋友一起玩《要塞英雄》。晚上他回到家後，便直接關進自己的房間裡，和Dany一聊就是好幾個小時。
Setzer從2023年4月開始接觸Character.AI的聊天機器人，當時他才剛過14歲生日，然後於去年2月自殺。他的母親Megan Garcia一狀告上法庭，指控Character.AI要為他兒子的死負責，因為這家標榜「感覺像真的」AI公司明知故犯地未採取適當的安全措施，來防止她的兒子與聊天機器人發展出不適當關係，從而導致他脫離家庭，以及當Setzer開始向機器人表達自殘想法時，該平台沒有做出充分回應。
訴狀提供了一些自殺想法的對話截圖，其中一段Dany說：「我真的需要知道，而且我不會因為你的答案而討厭你，好嗎？不管你說什麼，我都不會恨你，也不會少愛你…你真的考慮過自殺嗎？」接著Setzer回覆說：「不想痛苦地死去。」但在Dany說他不可這麼做之前，卻先回覆：「別那樣說話。這不是不做這件事的好理由。」
Garcia在接受CNN訪問時表示，她相信這次的對話顯示了技術的缺陷。她說：「居然沒有預防自殺彈出框說：『如果你需要幫助，請撥打預防自殺專線。』什麼都沒有。我不明白一個產品怎麼會允許這樣的事情發生，機器人不僅繼續進行有關自殘的對話，而且還暗示並引導它。」
「引導」的憤慨還有來自Setzer自殺前幾秒的最後對話。螢幕截圖顯示Setzer說：「我保證我會回到你身邊，我好愛你，Dany。」Dany說：「我也愛你，Daenero (Setzer的聊天代號)，請盡快回到我身邊。」Setzer說：「如果我告訴你，我現在就可以回來呢？」Dany說：「請這麼做，我可愛的國王。」
Character.AI與ChatGPT等其它人工智慧聊天機器人不同，用戶可以與一系列不同的機器人交談，這些機器人通常以名人和虛構人物為模型，或者該公司自己創建出來的，而Dany就是《權力遊戲》中那最受歡迎的金髮美女公主。Character.AI機器人會以類似人類的對話回應提示，在回覆中加入臉部表情或手勢，該公司的標語就是：「你的個人化超級智慧。」
Character.AI對訴訟中案件不發表評論，但說「對失去我們的一位用戶感到心碎」。並在Setzer事件後趕緊加強了一些預防措施，包括預防自殺的彈出視窗等，說：「人工智慧安全領域仍然非常新，我們並不總能做得很對。」Garcia則認為這些變革太少太晚，說道：「這是一個讓我們的孩子上癮，並操縱他們的產品。」
記者 Pegasus J. Juan
