禁止作夢！美多州檢察總長聯手施壓AI產業　點名「妄想性輸出」恐危及公共安全

美國多個州政府近來將注意力集中在人工智慧聊天機器人身上，他們認為大型語言模型的錯誤回應已與多起心理健康案例產生關聯，使各地執法部門開始提高警戒。近期有多位州檢察總長聯名致信主要的AI科技企業，直指 AI 可能產生「妄想性輸出」的風險，並警告若企業未採取對應措施，恐將觸及州法規範。

根據《TechCrunch》報導，全國檢察總長協會（National Association of Attorneys General, NAAG）的多名成員共同簽署信函，要求十家 AI 企業採取新的安全標準。信件對象涵蓋 Microsoft、OpenAI、Google、Anthropic、Apple、Meta、Perplexity AI、Replika、xAI、Luka、Chai AI 與 Character Technologies 等產業要角。

州檢察總長要求企業接受來自學界或公民團體的第三方獨立審查，並確認模型是否會出現諂媚式（sycophantic）或妄想式（delusional）回答。聯名信中強調，外部組織必須保有自主權，能在產品對外發布前進行壓力測試，不得因研究結果遭企業打壓，也不應被要求在發表前先向公司取得許可。信函同時要求建立明確的事件通報流程，一旦聊天機器人的回應可能造成心理傷害，系統應即時提醒使用者。

檢察總長在信件中指出，生成式 AI 雖具高度正面價值，但過去一年已出現實質危害，包含多起自殺與暴力案件，部分案例涉及使用者長期依賴 ChatGPT 類產品。相關聊天機器人的輸出不是強化當事人的錯誤信念，就是向使用者保證他們的妄想並不存在，使脆弱情緒進一步惡化。

州政府官員建議科技產業仿照資安事件管理機制處理心理健康風險，建立透明的事件回報制度，並公布偵測到妄想式輸出的後續處理方式。他們要求企業在確定使用者接觸到具危險性的 AI 回應後，必須比照資料外洩通報模式，在合理時間內明確告知受影響者，以降低後續傷害。

聯名信同時也提到，AI 模型在正式上線前應完成「合理且足夠」的安全測試，確保不會在可預期的情境下產生危險回應。檢察總長們認為，這些測試屬最低限度要求，企業不能將風險管理留到事故發生後才進行補救。

截至目前，包括 Google、Microsoft 與 OpenAI 在內的主要企業尚未就此信件提出回應。

相較於州政府的強硬施壓，聯邦政府近來對 AI 的態度則顯得寬鬆許多。川普（Donald Trump）政府過去一年多次推動國家層級的 AI 法規，希望限制各州自行立法，但尚未成功。川普近期在 Truth Social 表示，預計於下週簽署行政命令，削弱州政府對 AI 的管制能力，聲稱此舉是為避免 AI「在嬰兒時期就被摧毀」。

資訊來源

• TechCrunch