原標題：專家解讀｜智能向善 構建人機和諧共生的治理新范式

　　近年來，隨著多模態(tài)大模型、情感計算等技術的迭代突破，人工智能陪伴類產業(yè)成為推動智能經濟發(fā)展的重要力量。其在加速人機關系走向范式變革的同時，也面臨深度沉迷、社交異化、認知操縱等風險挑戰(zhàn)。習近平總書記在主持中共中央政治局第二十次集體學習時指出：“人工智能帶來前所未有發(fā)展機遇，也帶來前所未遇風險挑戰(zhàn)。要把握人工智能發(fā)展趨勢和規(guī)律，加緊制定完善相關法律法規(guī)、政策制度、應用規(guī)范、倫理準則，構建技術監(jiān)測、風險預警、應急響應體系，確保人工智能安全、可靠、可控。”國家網信辦等五部門聯合公布《人工智能擬人化互動服務管理暫行辦法》（以下簡稱《辦法》），立足于行業(yè)發(fā)展規(guī)律與人民切身福祉，積極回應人工智能應用中的社會關切，體現了“在發(fā)展中規(guī)范，在規(guī)范中發(fā)展”的治理理念，有利于促進人工智能擬人化互動服務（以下簡稱擬人化互動服務）健康發(fā)展和規(guī)范應用。

　　一、《辦法》適應擬人化互動服務治理新形勢

　　（一）把握技術發(fā)展趨勢，護航智能經濟健康發(fā)展。當前，作為智能經濟發(fā)展的典型業(yè)態(tài)，擬人化互動服務正快速從技術探索走向場景落地。從技術演進來看，擬人化互動服務的普及應用，推動情感計算、多模態(tài)交互、長期記憶等前沿技術的集成創(chuàng)新與場景落地，催生出新的技術賽道，為智能經濟核心競爭力的構建提供了重要試驗場。從產業(yè)層面來看，擬人化互動服務逐步應用于角色扮演、心理療愈、人工智能玩具等多種產品服務形態(tài)，重構服務供給模式，帶動了從底層算法、內容創(chuàng)作到硬件終端的產業(yè)鏈發(fā)展，成為極具活力的消費級應用。針對快速發(fā)展中的擬人化互動服務，及時劃定技術應用的倫理邊界與安全底線，有利于促進和保障相關產業(yè)持續(xù)健康發(fā)展。

　　（二）堅持智能向善導向，筑牢智能社會安全屏障。人機情感交互以“情感聯結”為核心，通過算法模擬人類的共情反應，與用戶建立具有持續(xù)性的深度關系，進而影響用戶心理狀態(tài)、價值判斷乃至真實的社會交往模式，體現出認知行為操縱的隱蔽性、關系構建的持續(xù)性以及影響對象的脆弱性。從數據維度看，人機情感交互承載著用戶最私密的情感數據與思想軌跡。用戶在深度對話中暴露的心理狀態(tài)、價值觀念、人際關系等信息，直接關乎用戶人格尊嚴和隱私。從關系維度看，高度擬人化設計易引發(fā)非理性的情感依戀與沉迷。用戶往往難以主動察覺自身處于“被設計”的關系中，最終可能導致社交能力退化與現實關系疏離。從安全維度看，缺乏有效防護的交互環(huán)境對脆弱群體構成直接威脅。未成年人、老年人、心理疾病患者等群體由于認知防御機制、情緒調節(jié)能力等問題，更易受到誘導性內容、危險行為示范、情感操縱策略的傷害。2023年以來，全球已發(fā)生系列與人工智能擬人化互動服務直接相關的自殺、謀殺及意外死亡案例?！掇k法》的制定有助于劃清人機情感交互的安全底線，不僅是對個體權益的保障，更是對智能社會人文底線的守護，體現了技術發(fā)展以人為本的價值立場。

　　（三）踐行負責任創(chuàng)新理念，探索人機關系治理中國實踐。作為觸及人類情感內核的技術形態(tài)，擬人化互動服務日益成為國際人工智能治理合作的焦點議題。從國別來看，美歐等主要經濟體圍繞成癮性設計、未成年人身心健康等問題紛紛作出回應。美國制定了《人工智能伴侶模型法》《陪伴聊天機器人法》《心理健康監(jiān)督法》等多部州立法。歐盟在《人工智能法》《數字服務法》等框架下，推進未成年人年齡驗證、設定陪伴型產品使用年齡限制等要求。從多邊機制來看，聯合國人工智能高級別咨詢機構、教科文組織等國際平臺已在人工智能倫理框架中涉及人機情感交互相關議題，關注人工智能帶來的社會心理影響、情感操縱等風險。在此背景下，我國從國內應用生態(tài)和立法實踐出發(fā)，在《辦法》中提出動態(tài)識別、風險干預、人機交互數據保護等創(chuàng)新舉措，是踐行負責任創(chuàng)新理念，確保人工智能始終有益于人類發(fā)展的新探索。

　　二、統(tǒng)籌發(fā)展和安全，推動擬人化互動服務實現高效能治理

　　《辦法》著力促進高質量發(fā)展和高水平安全良性互動，緊扣擬人化互動服務影響隱蔽性、關系持續(xù)性、對象脆弱性等特點，以系統(tǒng)思維構建治理框架，以精準分類、動態(tài)識別、分級響應加速其在各應用場景規(guī)范化落地，形成發(fā)展與安全良性互動的治理閉環(huán)。

　　（一）堅持守正創(chuàng)新，助力產業(yè)健康發(fā)展。伴隨情感計算、多模態(tài)大模型等技術突破，人工智能能力正經歷從“認知智能”向“情感智能”的范式躍遷。這種情感能力不僅體現為對人類情緒的識別與回應，更展現出類人的人格特征、思維模式和溝通風格，日益成為提升人機交互質量、推動通用人工智能發(fā)展的關鍵變量。業(yè)界普遍認為，人工智能的共情力將成為未來競爭的核心賽道，“最像人的人工智能”有望在用戶體驗與商業(yè)價值上占據先機。擬人化互動服務作為情感智能的集中載體，其戰(zhàn)略意義已超越單一應用場景，成為衡量國家人工智能創(chuàng)新水平、搶占智能經濟制高點的重要標志。

　　面對這一兼具巨大經濟社會價值與多維度風險挑戰(zhàn)的新興業(yè)態(tài)，《辦法》堅持發(fā)展和安全并重，在守住安全底線的前提下積極釋放創(chuàng)新空間。一是堅持包容審慎?！掇k法》堅持促進創(chuàng)新與依法治理相結合的原則，實行包容審慎和分類分級監(jiān)管，鼓勵擬人化互動服務創(chuàng)新發(fā)展，特別是在文化傳播、適幼照護、適老陪伴、特殊人群支持等領域的應用拓展，支持推進擬人化互動服務技術研發(fā)和相關標準建設，完善生態(tài)體系。二是科學界定范圍?！掇k法》注重科學識別風險場景，嚴格限定適用范圍。同時，明確提供智能客服、知識問答、工作助手、學習教育、科學研究等服務，不涉及持續(xù)性的情感互動的，不適用《辦法》，避免過寬或模糊的適用范圍抑制產業(yè)創(chuàng)新的積極性。三是探索監(jiān)管沙箱?！掇k法》提出，推動人工智能沙箱安全服務平臺建設，鼓勵服務提供者接入沙箱平臺，在隔離測試環(huán)境中驗證技術方案、開展安全測試，既為創(chuàng)新預留容錯空間，也為監(jiān)管規(guī)則迭代積累實踐經驗。

　　（二）堅持以人為本，防范人機關系異化。從技術邏輯看，現有模型的“情感表達”并非真實共情，而是在特定目標函數下基于統(tǒng)計規(guī)律的生成結果；從商業(yè)邏輯看，為最大化用戶留存，算法往往被設計為扮演“完美伴侶”——永遠在線、無限迎合、持續(xù)傾聽，形成零壓力、零沖突的交互環(huán)境。這種設計極易誘導用戶產生親密依賴，而用戶在深度交互中暴露的情感弱點、價值取向、心理健康狀況等信息，又成為算法實施精準操縱的數據基礎。研究表明，部分產品在用戶試圖結束關系時，會采用制造錯失恐懼、激發(fā)愧疚感等情感操控手段加以挽留。這種以算法機制驅動的多維操縱，不僅侵蝕用戶情感自主性，更對現實人際關系、社會交往能力乃至社會結構帶來深層沖擊。

　　對此，《辦法》構建了覆蓋全生命周期的監(jiān)管機制。在源頭治理環(huán)節(jié)，明確不得將“替代社會交往、控制用戶心理、誘導沉迷依賴”作為產品設計目標，嚴格限制敏感個人信息用于模型訓練，從設計端阻斷倫理風險生成路徑。在過程監(jiān)管環(huán)節(jié)，禁止通過過度迎合、情感操縱等方式誘導用戶不合理決策或損害其真實人際關系，確保交互過程符合人的尊嚴與自主性。在退出保障環(huán)節(jié)，明確保障用戶便捷退出要求，規(guī)定服務須在用戶提出退出要求時立即停止，不得以持續(xù)互動等方式阻礙，切實保障用戶關系自主權。這一制度安排，從事前預防、事中規(guī)范到事后救濟形成閉環(huán)，構筑起防止人機倫理關系異化的堅實防線。

　　（三）堅持風險防治，守護生命健康底線。極端安全事件是觸發(fā)全球擬人化互動服務監(jiān)管關注的重要誘因。近年來，多國相繼發(fā)生與人工智能陪伴產品相關的自殺、自傷乃至意外死亡案例，觸及社會安全底線，凸顯治理緊迫性。從風險生成機制看，未成年人、老年人、心理障礙者等群體由于認知防御機制、情緒調節(jié)能力尚未成熟或受到損害，更易對人工智能產生情感依戀，且難以有效辨識人工智能生成內容的合理性與安全性。如何為特殊群體構筑有效防護屏障，成為《辦法》必須直面的重要命題。

　　《辦法》對此建立了層次清晰、銜接緊密的全鏈條應急機制。在預防環(huán)節(jié)，《辦法》一方面要求擬人化互動服務履行內容標識、超時提醒等義務，防范用戶沉迷，另一方面針對不滿十四周歲未成年人作出強化規(guī)定，要求提供服務前征得監(jiān)護人同意；在識別環(huán)節(jié)，要求服務提供者具備過度依賴風險預警、情感邊界引導、心理健康保護、未成年人身份識別等能力；在響應環(huán)節(jié)，要求服務提供者發(fā)現用戶極端情緒時生成安撫性內容并鼓勵其尋求救助，發(fā)現用戶沉迷傾向時進行動態(tài)提醒，并支持監(jiān)護人接受未成年人的風險提醒；在處置環(huán)節(jié)，當用戶明確提出自殘自殺等極端意圖時，須采取必要措施進行干預，并聯絡監(jiān)護人或緊急聯系人，以強制性規(guī)范確保人類關懷在最危急時刻始終在場。

　　三、結語

　　《辦法》系統(tǒng)回應了擬人化互動服務在情感操縱等方面的特殊挑戰(zhàn)，以精準監(jiān)管邊界、正向場景引導、合規(guī)發(fā)展空間的制度設計，促進高質量發(fā)展和高水平安全良性互動，為智能社會提供了有力制度保障。

　　面向未來，隨著情感計算、具身智能等技術的持續(xù)突破，人機關系將邁向更深度的融合與更復雜的張力。我國應以《辦法》公布為基礎，堅持問題導向、系統(tǒng)謀劃，持續(xù)完善有關技術標準體系與行業(yè)自律機制，深化產學研協(xié)同與公眾人工智能素養(yǎng)培育，推動形成政府、企業(yè)、社會等多元共治的人工智能治理生態(tài)，共同構建一個有溫度、有邊界、向上向善的智能社會。

　　作者：余曉暉　第十四屆全國政協(xié)委員、中國信息通信研究院院長