已至少有兩位青少年在其平台上與聊天機器人長時間對話後，最終選擇自殺的Character.AI，在強大的抗議與難纏的訴訟壓力下，決定對其平台進行調整，以保護青少年和兒童的安全，但這些調整可能會影響公司的獲利。
Character.AI執行長Karandeep Anand告訴TechCrunch說：「我們Character.AI做出的第一項決定是，將禁止18歲以下的用戶在我們的平台上，與人工智慧進行任何開放式對話。」
開放式對話指的是用戶向聊天機器人提出問題後，機器人會進行無限制的互動，並提出後續問題。專家表示，這些後續問題旨在維持用戶的參與度。 Anand認為，這種人工智慧扮演對話夥伴或朋友，而非創意工具角色的互動方式，不僅對兒童構成風險，而且與公司的願景背道而馳。
這家新創公司正試圖從「人工智慧伴侶」轉型為「角色扮演平台」。青少年不再可以與人工智慧朋友聊天，而是透過提示協作方式，創作故事或生成視覺作品。換句話說，其目標是將用戶參與的重點從對話轉移到創作。
