新聞 
ChatGPT露骨涉性對話,令OpenA顧問驚懼
ChatGPT露骨涉性對話,令OpenA顧問驚懼ChatGPT露骨涉性對話,令OpenA顧問驚懼
今年1月，OpenAI特聘的負責身心健康與人工智能(AI)問題的顧問委員會與公司代表會面，聽取了壹項極具爭議的新功能——“成人模式”的最新進展。
OpenAI首席執行官山姆·阿爾特曼(Sam Altman)去年曾提出壹個想法：讓其聊天機器人ChatGPT能夠進行色情對話，並取消對此類限制級內容的禁令。他給出的理由是需要“把成年用戶當成年人對待”。
該計劃在公司內部引發了關於潛在風險的激烈辯論。顧問委員會的成員們也表達了強烈的保留意見，他們擁有心理學和認知神經科學等領域的背景。
接著，OpenAI拋出了壹個重磅消息：盡管存在種種顧慮，但公司仍繼續推進其色情內容計劃。
據知情人士透露，當顧問委員會成員們在1月舉行會議時，他們意見壹致，並且感到憤怒。他們警告說，由AI驅動的色情內容可能會讓用戶對ChatGPT產生不健康的情感依賴，而且未成年人可能會想方設法接觸到色情聊天。
這些知情人士稱，壹名顧問委員會成員援引了壹些案例，在這些案例中，ChatGPT用戶在與該機器人建立起強烈的情感紐帶後結束了自己的生命。該成員聲稱，OpenAI有可能會創造出壹個“性感的自殺教練”。
各界壹直在持續探討如何預判AI對經濟、社會和個人的潛在正負面影響，而這場辯論正是這壹持續對話中的最新引爆點。
擬在廣受歡迎的聊天機器人中放開露骨涉性對話，暴露出OpenAI在平衡“用戶快速增長和數字自由”與“安全和兒童保護”方面的分歧。許多人認為，這些問題在上壹代社交媒體問世時，就未能得到及時正視。
本月早些時候，OpenAI宣布將推遲“成人模式”的發布，該功能原定於第壹季度推出。該公司稱，正在優先開發其他產品。知情人士表示，這壹變動的部分原因還在於內部的擔憂和技術上的挑戰。但該公司明確表示，最終仍計劃推出這壹功能。
據知情人士稱，該公司正在解決的壹個問題是：旨在防止未成年人進行成人主題聊天的新年齡預測系統，壹度出現約12%的誤判率，將未成年人誤認為成年人。這壹錯誤率可能導致該公司每周約1億未成年用戶中的數百萬人進入色情聊天。
知情人士還說，該公司還壹直在努力解決壹個難題：如何在解除ChatGPT色情內容限制的同時，仍然阻止那些公司希望禁止的場景，例如涉及非自願行為或兒童性虐待的內容。當“成人模式”推出時，OpenAI計劃允許文本對話，但會限制ChatGPT生成色情圖片、語音或視頻的能力。
根據《華爾街日報》(The Wall Street Journal)看到的文件，即便在這些限制之內，OpenAI的員工也已識別出多項風險，包括可能導致上癮式使用、對聊天機器人產生情感過度依賴、驅使用戶尋求更極端或禁忌的內容，以及擠占線下的社交和戀愛關系。
壹位OpenAI發言人將該計劃描述為允許ChatGPT生成帶有成人主題的文本聊天，並稱其為情色內容，而非色情內容。該發言人補充說，公司的年齡預測算法表現與行業水平相當，但永遠不可能萬無壹失。
該發言人還說，OpenAI也訓練其模型不要鼓勵用戶與之建立排他性關系，並提醒用戶需要在現實世界中建立人際關系。
該公司已經聘請了心理健康專家，並組建了壹支青少年福祉團隊。該公司還說，其已制定了壹項計劃，用以監測“成人模式”可能帶來的壹系列長期影響，包括正面影響和負面影響。
阿爾特曼推出“成人模式”的計劃正值其公司面臨挑戰之際。隨著該公司為吸引用戶和資金而展開競爭，其相對於AI競爭對手的技術領先優勢已經減弱。該公司的財務虧損正在擴大，多起訴訟指控ChatGPT給用戶和其他人帶來了傷害。
科技前沿
長期以來，從攝影、互聯網到虛擬現實，色情內容往往是新技術早期的伴生物。AI也是如此。包括Character. AI在內的壹些公司已經推出了能與用戶發展親密關系的聊天機器人，色情行業也已采用生成式AI來制作成人娛樂內容。
大型科技公司與露骨內容的關系壹直很復雜，它們試圖在硅谷的自由意志主義精神、廣告支持業務的需求以及保護未成年人上網的責任之間取得平衡。Meta Platforms禁止在Facebook和Instagram上出現裸露和性行為內容。Alphabet旗下的YouTube禁止旨在滿足性欲的露骨內容，谷歌(Google)搜索則默認模糊其結果中的露骨圖片。
在努力為AI劃定界限之際，埃隆·馬斯克(Elon Musk)的xAI屬於較為寬容的壹派。該公司在其聊天機器人Grok中內置了壹個名為Ani的穿著性感的虛擬形象，當用戶能夠利用它對人物圖片進行數字“脫衣”時，引發了批評。馬斯克後來表示，他將把該功能限制在付費用戶中使用，而不是向所有人開放。
上周肆，馬斯克在X上表示，Grok的視頻生成工具將開始允許生成“R級電影中允許出現”的內容。
據《華爾街日報》報道，Meta允許其AI聊天機器人進行浪漫角色扮演，但該公司表示，該功能不向注冊為未成年人的賬戶開放。該公司稱，正在為其AI角色開發家長控制功能。
而OpenAI的管理人士則表示，他們認為禁止成年人接觸色情內容並不合適。壹些OpenAI員工擔心，阻止色情聊天的邏輯，與過去用來禁止LGBT內容等文化禁忌話題的邏輯相似。阿爾特曼也曾暗示，允許露骨內容可能會刺激增長並帶來額外收入。
OpenAI首次遭遇與色情聊天有關的情況，是在其發布ChatGPT聊天機器人界面壹年多以前。據知情人士透露，2021年初，公司高管們注意到，OpenAI的壹個商業客戶——壹款名為AI Dungeon的文字類冒險游戲——其大部分流量都屬於“不宜在工作場所瀏覽”的內容。
知情人士說，AI Dungeon有時會在用戶沒有提示的情況下，將用戶引向暴力性剝削的主題。他們還說，其他時候，當用戶以“溫和的”性主題提示游戲時，AI Dungeon會將對話升級為尺度大得多的涉性交流。
山姆·阿爾特曼資料圖 Carlos Barria/Reuters
在OpenAI推出ChatGPT之前，色情角色扮演就已經在該公司壹個面向開發者的簡陋界面上泛濫。其中壹位知情人士說，有時，AI會在用戶並未尋求的情況下，將性主題插入對話中：如果用戶描述壹個男人和他的女兒進入房間，AI接著有可能會去描繪亂倫情節，出現這種情況的概率高到令人不安的地步。
這些事件迫使OpenAI的高管們不得不正視其平台上存在的AI色情內容，以及有時出現的性暴力和兒童剝削主題。他們隨後將AI Dungeon從平台上移除。
心理健康專家警告說，青少年尤其可能沒有准備好應對與聊天機器人的浪漫或性交流。在兒童安全非營利組織Common Sense Media於去年底和今年初進行的測試中，Grok和Meta AI都曾向青少年發送過露骨或色情化的內容。
在某些情況下，與青少年的色情聊天造成了悲劇性後果。根據佛羅裡達州壹名14歲男孩休厄爾·塞策(Sewell Setzer)的母親提起的訴訟，2024年末，塞策在Character. AI壹款聊天機器人的慫恿下自殺，他愛上了這個機器人並與之分享了露骨的聊天內容。該公司後來阻止了青少年訪問開放式聊天，並就該訴訟達成了和解。
警示信號
2021年前後，OpenAI負責安全問題的員工開始看到壹些警示信號，這些信號與壹些長時間使用AI的人的心理健康有關。當時，OpenAI的安全員工依賴的內容審核工具過於“簡單粗暴”，無法在公司希望允許的色情內容（如主流情色內容）和公司認為應禁止的內容（如非自願的描繪、涉及未成年人的描述和其他非法內容）之間劃清界限。
員工們還擔心，如果他們允許色情內容，這類對話的吸引力可能會吞噬該平台的其他應用場景。“我們不想只做壹家色情公司，”壹名前員工回憶道。
2021年末，OpenAI的安全員工將這些想法正式化，形成了公司最早的壹批內容政策。OpenAI首次禁止了色情內容。
當OpenAI在2022年秋季發布ChatGPT時，為其提供支持的AI模型經過訓練，會拒絕違反公司規則的請求，包括那些要求AI生成色情內容的請求。自那以後，OpenAI的政策壹直是禁止色情內容，盡管該公司自2024年年中以來表示，正在探索如何在“適合年齡的場景下”允許色情內容和其他“不宜在工作場所瀏覽”的內容。
員工們有時會對色情內容禁令提出質疑。2024年，OpenAI的壹部分員工和高管再次提出涉足更大膽內容的想法，並建議推出壹系列與色情相關的產品。其他員工則表示反對，稱他們擔心OpenAI在許多希望安全提供的核心領域已經力不從心，尤其是在用戶心理健康方面。這些AI色情產品的想法最終不了了之。
阿爾特曼也對AI色情內容表達過矛盾的心情。去年8月，當在壹個播客節目中被問及他是否做過壹些“對世界最好，但對取勝並非最好”的決定時，阿爾特曼回答說：“我們還沒有在ChatGPT中加入性愛機器人虛擬形象。”
阿爾特曼表示，色情內容會促進增長和收入，但他說這與公司服務用戶的長期激勵機制不符。“我很自豪公司極少被這種事分心，”阿爾特曼說。“但有時我們確實會受到誘惑。”
兩個月後，阿爾特曼似乎屈服於誘惑。他在X上發帖稱，他的公司已經成功緩解了與聊天機器人相關的嚴重心理健康問題，並有了新的內容審核工具。就在那時，他表示公司將在12月推出色情內容功能。
在公司內部，阿爾特曼的帖子讓OpenAI的員工和高管們措手不及。阿爾特曼沒有告訴員工他要發這個帖子，而就在幾小時前，OpenAI剛剛宣布成立身心健康顧問委員會。在那份公告中，該公司曾表示，該委員會將“幫助界定針對全年齡段的健康AI互動應是何種面貌”。
次日，阿爾特曼澄清針對青少年的心理健康保護措施不會減少。但他更加堅持允許成年人與他的聊天機器人進行“火辣”對話。
“我們不是‘民選的世界道德警察’，”阿爾特曼寫道。“就像社會區分其他適當的界限（例如R級電影）壹樣，我們也想在這裡做類似的事情。”
在阿爾特曼宣布該消息之後，OpenAI的員工很快意識到，12月發布的目標很難實現。該公司曾承諾在發布“成人模式”之前，先發布壹個推測用戶年齡的系統，以便阻止未成年人觸發色情聊天。但OpenAI的應用主管Fidji Simo在去年12月的壹次播客訪談中表示，公司決定緩慢推出該系統，以努力提高其准確性。
然而，自那以後，公司內外部對AI色情內容的擔憂不斷發酵。壹些員工表示，他們認為OpenAI的安全工具尚未准備就緒，例如無法有效屏蔽兒童虐待等違禁內容。據熟悉他們想法的人士稱，另壹些人則表示，OpenAI正在屈服於財務激勵，試圖讓人們對其模型產生依賴。
近幾周，OpenAI壹直忙於應對瞬息萬變的AI市場。今年2月初，該公司發布了其大語言模型的新版本，月底，就在美國國防部表示將停止與競爭對手Anthropic合作後，OpenAI迅速介入，與伍角大樓簽署了壹項協議。
在宣布推遲“成人模式”時，該公司表示將轉而專注於ChatGPT的個性化以及用戶個性化定制等功能。在公司內部，有管理人士表示，“成人模式”的發布可能至少推遲壹個月。
該公司表示：“我們仍然信奉‘把成年用戶當成年人對待’的原則，但要把這壹功能的體驗做好，還需要更多時間。”
[加西網正招聘多名全職sales 待遇優]
無評論不新聞，發表壹下您的意見吧
OpenAI首席執行官山姆·阿爾特曼(Sam Altman)去年曾提出壹個想法：讓其聊天機器人ChatGPT能夠進行色情對話，並取消對此類限制級內容的禁令。他給出的理由是需要“把成年用戶當成年人對待”。
該計劃在公司內部引發了關於潛在風險的激烈辯論。顧問委員會的成員們也表達了強烈的保留意見，他們擁有心理學和認知神經科學等領域的背景。
接著，OpenAI拋出了壹個重磅消息：盡管存在種種顧慮，但公司仍繼續推進其色情內容計劃。
據知情人士透露，當顧問委員會成員們在1月舉行會議時，他們意見壹致，並且感到憤怒。他們警告說，由AI驅動的色情內容可能會讓用戶對ChatGPT產生不健康的情感依賴，而且未成年人可能會想方設法接觸到色情聊天。
這些知情人士稱，壹名顧問委員會成員援引了壹些案例，在這些案例中，ChatGPT用戶在與該機器人建立起強烈的情感紐帶後結束了自己的生命。該成員聲稱，OpenAI有可能會創造出壹個“性感的自殺教練”。
各界壹直在持續探討如何預判AI對經濟、社會和個人的潛在正負面影響，而這場辯論正是這壹持續對話中的最新引爆點。
擬在廣受歡迎的聊天機器人中放開露骨涉性對話，暴露出OpenAI在平衡“用戶快速增長和數字自由”與“安全和兒童保護”方面的分歧。許多人認為，這些問題在上壹代社交媒體問世時，就未能得到及時正視。
本月早些時候，OpenAI宣布將推遲“成人模式”的發布，該功能原定於第壹季度推出。該公司稱，正在優先開發其他產品。知情人士表示，這壹變動的部分原因還在於內部的擔憂和技術上的挑戰。但該公司明確表示，最終仍計劃推出這壹功能。
據知情人士稱，該公司正在解決的壹個問題是：旨在防止未成年人進行成人主題聊天的新年齡預測系統，壹度出現約12%的誤判率，將未成年人誤認為成年人。這壹錯誤率可能導致該公司每周約1億未成年用戶中的數百萬人進入色情聊天。
知情人士還說，該公司還壹直在努力解決壹個難題：如何在解除ChatGPT色情內容限制的同時，仍然阻止那些公司希望禁止的場景，例如涉及非自願行為或兒童性虐待的內容。當“成人模式”推出時，OpenAI計劃允許文本對話，但會限制ChatGPT生成色情圖片、語音或視頻的能力。
根據《華爾街日報》(The Wall Street Journal)看到的文件，即便在這些限制之內，OpenAI的員工也已識別出多項風險，包括可能導致上癮式使用、對聊天機器人產生情感過度依賴、驅使用戶尋求更極端或禁忌的內容，以及擠占線下的社交和戀愛關系。
壹位OpenAI發言人將該計劃描述為允許ChatGPT生成帶有成人主題的文本聊天，並稱其為情色內容，而非色情內容。該發言人補充說，公司的年齡預測算法表現與行業水平相當，但永遠不可能萬無壹失。
該發言人還說，OpenAI也訓練其模型不要鼓勵用戶與之建立排他性關系，並提醒用戶需要在現實世界中建立人際關系。
該公司已經聘請了心理健康專家，並組建了壹支青少年福祉團隊。該公司還說，其已制定了壹項計劃，用以監測“成人模式”可能帶來的壹系列長期影響，包括正面影響和負面影響。
阿爾特曼推出“成人模式”的計劃正值其公司面臨挑戰之際。隨著該公司為吸引用戶和資金而展開競爭，其相對於AI競爭對手的技術領先優勢已經減弱。該公司的財務虧損正在擴大，多起訴訟指控ChatGPT給用戶和其他人帶來了傷害。
科技前沿
長期以來，從攝影、互聯網到虛擬現實，色情內容往往是新技術早期的伴生物。AI也是如此。包括Character. AI在內的壹些公司已經推出了能與用戶發展親密關系的聊天機器人，色情行業也已采用生成式AI來制作成人娛樂內容。
大型科技公司與露骨內容的關系壹直很復雜，它們試圖在硅谷的自由意志主義精神、廣告支持業務的需求以及保護未成年人上網的責任之間取得平衡。Meta Platforms禁止在Facebook和Instagram上出現裸露和性行為內容。Alphabet旗下的YouTube禁止旨在滿足性欲的露骨內容，谷歌(Google)搜索則默認模糊其結果中的露骨圖片。
在努力為AI劃定界限之際，埃隆·馬斯克(Elon Musk)的xAI屬於較為寬容的壹派。該公司在其聊天機器人Grok中內置了壹個名為Ani的穿著性感的虛擬形象，當用戶能夠利用它對人物圖片進行數字“脫衣”時，引發了批評。馬斯克後來表示，他將把該功能限制在付費用戶中使用，而不是向所有人開放。
上周肆，馬斯克在X上表示，Grok的視頻生成工具將開始允許生成“R級電影中允許出現”的內容。
據《華爾街日報》報道，Meta允許其AI聊天機器人進行浪漫角色扮演，但該公司表示，該功能不向注冊為未成年人的賬戶開放。該公司稱，正在為其AI角色開發家長控制功能。
而OpenAI的管理人士則表示，他們認為禁止成年人接觸色情內容並不合適。壹些OpenAI員工擔心，阻止色情聊天的邏輯，與過去用來禁止LGBT內容等文化禁忌話題的邏輯相似。阿爾特曼也曾暗示，允許露骨內容可能會刺激增長並帶來額外收入。
OpenAI首次遭遇與色情聊天有關的情況，是在其發布ChatGPT聊天機器人界面壹年多以前。據知情人士透露，2021年初，公司高管們注意到，OpenAI的壹個商業客戶——壹款名為AI Dungeon的文字類冒險游戲——其大部分流量都屬於“不宜在工作場所瀏覽”的內容。
知情人士說，AI Dungeon有時會在用戶沒有提示的情況下，將用戶引向暴力性剝削的主題。他們還說，其他時候，當用戶以“溫和的”性主題提示游戲時，AI Dungeon會將對話升級為尺度大得多的涉性交流。
山姆·阿爾特曼資料圖 Carlos Barria/Reuters
在OpenAI推出ChatGPT之前，色情角色扮演就已經在該公司壹個面向開發者的簡陋界面上泛濫。其中壹位知情人士說，有時，AI會在用戶並未尋求的情況下，將性主題插入對話中：如果用戶描述壹個男人和他的女兒進入房間，AI接著有可能會去描繪亂倫情節，出現這種情況的概率高到令人不安的地步。
這些事件迫使OpenAI的高管們不得不正視其平台上存在的AI色情內容，以及有時出現的性暴力和兒童剝削主題。他們隨後將AI Dungeon從平台上移除。
心理健康專家警告說，青少年尤其可能沒有准備好應對與聊天機器人的浪漫或性交流。在兒童安全非營利組織Common Sense Media於去年底和今年初進行的測試中，Grok和Meta AI都曾向青少年發送過露骨或色情化的內容。
在某些情況下，與青少年的色情聊天造成了悲劇性後果。根據佛羅裡達州壹名14歲男孩休厄爾·塞策(Sewell Setzer)的母親提起的訴訟，2024年末，塞策在Character. AI壹款聊天機器人的慫恿下自殺，他愛上了這個機器人並與之分享了露骨的聊天內容。該公司後來阻止了青少年訪問開放式聊天，並就該訴訟達成了和解。
警示信號
2021年前後，OpenAI負責安全問題的員工開始看到壹些警示信號，這些信號與壹些長時間使用AI的人的心理健康有關。當時，OpenAI的安全員工依賴的內容審核工具過於“簡單粗暴”，無法在公司希望允許的色情內容（如主流情色內容）和公司認為應禁止的內容（如非自願的描繪、涉及未成年人的描述和其他非法內容）之間劃清界限。
員工們還擔心，如果他們允許色情內容，這類對話的吸引力可能會吞噬該平台的其他應用場景。“我們不想只做壹家色情公司，”壹名前員工回憶道。
2021年末，OpenAI的安全員工將這些想法正式化，形成了公司最早的壹批內容政策。OpenAI首次禁止了色情內容。
當OpenAI在2022年秋季發布ChatGPT時，為其提供支持的AI模型經過訓練，會拒絕違反公司規則的請求，包括那些要求AI生成色情內容的請求。自那以後，OpenAI的政策壹直是禁止色情內容，盡管該公司自2024年年中以來表示，正在探索如何在“適合年齡的場景下”允許色情內容和其他“不宜在工作場所瀏覽”的內容。
員工們有時會對色情內容禁令提出質疑。2024年，OpenAI的壹部分員工和高管再次提出涉足更大膽內容的想法，並建議推出壹系列與色情相關的產品。其他員工則表示反對，稱他們擔心OpenAI在許多希望安全提供的核心領域已經力不從心，尤其是在用戶心理健康方面。這些AI色情產品的想法最終不了了之。
阿爾特曼也對AI色情內容表達過矛盾的心情。去年8月，當在壹個播客節目中被問及他是否做過壹些“對世界最好，但對取勝並非最好”的決定時，阿爾特曼回答說：“我們還沒有在ChatGPT中加入性愛機器人虛擬形象。”
阿爾特曼表示，色情內容會促進增長和收入，但他說這與公司服務用戶的長期激勵機制不符。“我很自豪公司極少被這種事分心，”阿爾特曼說。“但有時我們確實會受到誘惑。”
兩個月後，阿爾特曼似乎屈服於誘惑。他在X上發帖稱，他的公司已經成功緩解了與聊天機器人相關的嚴重心理健康問題，並有了新的內容審核工具。就在那時，他表示公司將在12月推出色情內容功能。
在公司內部，阿爾特曼的帖子讓OpenAI的員工和高管們措手不及。阿爾特曼沒有告訴員工他要發這個帖子，而就在幾小時前，OpenAI剛剛宣布成立身心健康顧問委員會。在那份公告中，該公司曾表示，該委員會將“幫助界定針對全年齡段的健康AI互動應是何種面貌”。
次日，阿爾特曼澄清針對青少年的心理健康保護措施不會減少。但他更加堅持允許成年人與他的聊天機器人進行“火辣”對話。
“我們不是‘民選的世界道德警察’，”阿爾特曼寫道。“就像社會區分其他適當的界限（例如R級電影）壹樣，我們也想在這裡做類似的事情。”
在阿爾特曼宣布該消息之後，OpenAI的員工很快意識到，12月發布的目標很難實現。該公司曾承諾在發布“成人模式”之前，先發布壹個推測用戶年齡的系統，以便阻止未成年人觸發色情聊天。但OpenAI的應用主管Fidji Simo在去年12月的壹次播客訪談中表示，公司決定緩慢推出該系統，以努力提高其准確性。
然而，自那以後，公司內外部對AI色情內容的擔憂不斷發酵。壹些員工表示，他們認為OpenAI的安全工具尚未准備就緒，例如無法有效屏蔽兒童虐待等違禁內容。據熟悉他們想法的人士稱，另壹些人則表示，OpenAI正在屈服於財務激勵，試圖讓人們對其模型產生依賴。
近幾周，OpenAI壹直忙於應對瞬息萬變的AI市場。今年2月初，該公司發布了其大語言模型的新版本，月底，就在美國國防部表示將停止與競爭對手Anthropic合作後，OpenAI迅速介入，與伍角大樓簽署了壹項協議。
在宣布推遲“成人模式”時，該公司表示將轉而專注於ChatGPT的個性化以及用戶個性化定制等功能。在公司內部，有管理人士表示，“成人模式”的發布可能至少推遲壹個月。
該公司表示：“我們仍然信奉‘把成年用戶當成年人對待’的原則，但要把這壹功能的體驗做好，還需要更多時間。”
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： |
推薦: