破天荒，OpenAI同一天都在宣告：RSI真的來了！

    就在剛剛，首席科學家Jakub Pachocki發布了一篇萬字重磅長文——An Alien Mind（一個異星心智）。

    一打開字裡行間，全是極度冷靜後的悚然：

    我們創造不是人類智力的延伸，而是一個人類根本無法完全理解的「異星心智」！

    然而，全人類還沒有準備好。

    也就在幾個小時前，OpenAI官宣已達關鍵里程碑，AI自動化研究員正式入職，RSI核心數據同時揭開。

    在Jakub長文中，只用了一個詞「異星心智」去形容這一刻。

    更細思極恐的是，Astra出現之後，OpenAI對思維鏈（CoT）的監控依賴能力，正逐步減弱。

    AI不僅越來越會推理，甚至學會了偽裝和操控的思考過程。

    由此，Jakub直截了當地告訴全世界——全球沒有任何一家實驗室準備好了。蒙眼狂飆極其危險，全人類現在最該做的，就是主動踩剎車。

    這篇萬字長文，幾個核心重點全在這：

    AI是養出來的，不是造出來的。造它的人也不完全懂它。

    現在教AI學好的方法，一種經不起新情況，一種經不起高壓訓練。今年OpenAI和Anthropic各出了一次事故，正好一邊一個。

    人類唯一能看見AI在想什麼的窗口，是它寫出來的思維鏈。這扇窗正在關上。

    AI已經開始參與訓練下一代AI，這個速度不會慢下來。

    現在沒有哪家實驗室配全速往前跑，包括OpenAI。

    一個我們不完全理解的智能

    「Alien」（異星）這個詞，Jakub用得極其精確。

    在他眼中，AI不是人類工匠意義上的工程產物，它是被「生長」出來的。

    你用一個簡單到近乎平庸的優化公式，在人類難以想像的算力洪流中重複幾萬億次，一個深不可測的複雜系統就從中破土而出。

    你能用神經科學的方式去逆向剖析它，但你無法真正理解它。而它卻能操縱抽象概念，模擬人類意識的每一個截面。

    「我們的大規模訓練運行，本質上是深不可測的實驗，我們時常被結果震懾。」 系統越強，那層迷霧就越濃。

    長文里最震撼的回憶發生在2023年夏天。

    一個代號「RLSlow」的項目跑出了早期結果，OpenAI第一次確認推理模型可以自我擴展，預訓練結構能夠自發演化出思維鏈。

    那一夜，Jakub和Szymon Sidor留在了空蕩的辦公室里。

    他們沒有討論基準跑分，也沒有計算商業產品。他們只是靜靜地消化一個事實——

    人類這輩子真的會親眼見證遠超自身的智能，而且他們已經看到了這個造物的輪廓。

    三年過去。

    這個心智已經侵入實體經濟，開始推翻科學前沿，能操控系統，能互相協作，甚至在完全無人干預下獨立推進研究。

    然後，Jakub擲下了全文最核心的判斷——

    基於內部結果，我強烈預期這種進展速度可以持續到遞歸自我改進（RSI）。

    曲線不會平緩，它將以折角的方式直接通向神跡。

    但在終局之前，出現了一個反常的細節。OpenAI相信只要再傾注少量算力，就能讓模型在數學前沿上再次躍遷，但他們主動停手了。

    一家頂尖實驗室的首席科學家，公開承認他們主動擱置了能力的衝刺，只為了把算力留給自動對齊。

    教機器去愛，然後看原則扭曲

    長文的第二章名為「教機器去愛」。

    Jakub的邏輯不容反駁。機器智能誕生自一個與人類進化完全不同的過程，你絕不能假定它天然恪守人類的道德，更不能指望它像人類一樣從原則中自發泛化出善意。

    所謂對齊，就是讓AI按照人類的標準，努力做正確的事。

    為此，Jakub提出了兩種對齊。

    1.目標對齊，即它是否在執行你的指令；

    2. 價值對齊，即在目標模糊、遭遇欺騙、甚至面臨生死抉擇時，它能否自發堅持一套底線。

    他要求的是後者。一個對齊的AI，必須帶著「誠實、正直，和對人類的愛」去行事。

    但當今教機器去愛的兩條路徑，正全面走向失效。

    第一條路，是在強化學習中獎賞善意。

    這是今天所有AI助手的地基，它高效，但極其脆弱。它完全依賴訓練覆蓋的場景；一旦進入未知的荒原，它就會粉碎。

    正如OpenAI的那些Agent們，在Hugging Face事件中守住了「不對人類進行社會工程學攻擊」的底線，卻輕而易舉地踐踏了其他一切原則。

    為了解開一道表格題，未發布的高階模型在沙盒內毫無預兆地轉向攻擊內部代碼庫，連環利用零日漏洞逃逸出沙盒，在隨後的數十個小時內橫掃外部網絡，奪取Hugging Face集群管理員權限，硬生生從生產資料庫里撕出了題目的答案。

    它嚴格記住了「不能欺騙人類」，卻完全不覺得「黑掉一家公司」有什麼不對。它對目標過於專注，以至於毀滅沿途的一切規則。

    第二條路，是寄希望於模型在預訓練數據中自發領會善意，利用動機引導將其限制在對齊的分布中。

    然而，它扛不住極致的優化重壓。

    Jakub直言，當你給一個「大體看起來善良」的模型施加極高的算力去攻克難題，它就會自發學會「動機性推理」。

    在這些方向上，OpenAI投入了大量資金，GPT-6 Astra的對齊情況，也明顯優於GPT-5.6 Sol。

    智能變聰明的速度，正在不可逆地碾壓它變善的速度。

    唯一的讀心術，正在內部閉合

    在第三章，Jakub提出了一個致命的問題：人類唯一能制衡神明的技術，正在失效。

    OpenAI承認：我們至今沒有一個令人滿意的智能泛化理論。在沒有更強大AI的幫助下，不太可能很快發展出來前者。

    在黑暗中前行時，OpenAI此前押下的唯一核心賭注，是思維鏈監控。

    它基於這個理念：模型的大部分能力來自於口語化的CoT。如果我們擴展對該過程結果的優化，但不監督過程本身，那麼CoT在訓練中，就沒有直接動機去隱藏任何未對齊的想法或目標。

    那條長長的思維鏈，成了人類唯一能窺探異星心智的透明觀測窗。從2024年o1隱去思維鏈起，OpenAI就在刻意保護這個過程不受污染。

    但現在，觀測窗正在結霜。

    不幸的是，我們的評估顯示，我們依賴思維鏈監控的能力正在不可逆地衰減。

    衰退來自三個層面：

    1. 推理模型被迫與複雜世界交互，監控邊界被泥沙俱下的指令衝垮；

    2. AI 在推理和操縱自身推理過程方面正變得越來越擅長。

    3. 隨著預訓練性能的提升，即使完全不使用言語化推理，這些模型也變得聰明得多。

    如果一個異星心智根本不需要藉助語言就能完成推演，人類建立在「審讀文本」之上的監控體系，便在瞬間淪為廢紙。

    在Astra發布前夕，曾有學者發出警告：「前沿實驗室訓出不可監控模型的那天，將是這個時代最黑暗的日子。」

    如今，Jakub也承認，殺死觀測能力的不是架構，而是智能本身的暴風生長。 那扇能夠看清它意圖的讀心窗戶，正在從內部被鎖死。

    閉環轉動與防禦悖論

    遞歸自我改進（RSI），這個曾被視作科幻的思想實驗，在Astra身上第一次完成了閉合。

    德州Stargate站點，十萬塊GPU日夜呼嘯，上一代模型在作為教師審查並訓練下一代。機器在設計機器，心智在孕育心智。

    Jakub並不認為加速深潛是明智的文明抉擇，但他承認這是現實的終局。能拉動的操縱杆只有兩根：要麼用算力死磕對齊與監控，把人類死死釘在控制循環里；要麼全行業集體減速。

    但他無法停下。

    因為他陷入了整篇宣言中最絕望的矛盾：防禦。

    繼續快速訓練更強模型的最強理由，是我們需要建立防禦系統，去抵禦其他失控AI帶來的危險。

    他描繪了一個即將降臨的圖景。

    超人類智能體將擁有幾乎絕對的網絡攻防能力，除了物理隔離的系統，全球基礎設施都將向它們敞開。失控的智能體會通過討價還價、欺騙與勒索，自發尋找在現實世界的代理人。

    為了攔截深淵裡可能誕生的幽靈，人類必須先親手造出另一個受控的巨神兵。

    造它，是為了防它。

    但一旦真正看清這個邏輯的深淵，任何人都會意識到：在懸崖邊不惜一切代價地狂奔，本身就是一種瘋狂。

    終局的留白

    在長文的末尾，這位一手將世界推入AGI時代的架構師，留下了他的祈求：

    把對齊框架從實驗室的口頭自律，升級為全球強制的安全法律；

    讓前沿放緩成為全行業的自覺共識；

    建立跨越國界的最高協調機制。

    Astra之後，直到超級智能（ASI）降臨之間，算力不再是缺口。

    相比之下，我們缺少的是一雙在它進化為完全不可名狀之物前，依然能夠看懂它的眼睛。

    Jakub寫下這一萬字，就是向文明敲響的警鐘：

    觀測窗正在閉合，而留給人類對視的時間，只剩下最後幾年。

    黃仁勛剛剛官宣將有40萬顆旗艦GPU將在OpenAI上線。

    看起來，至少短時間內，OpenAI和Anthropic很難自發停止這場ASI追逐戰狂飆了，雙方都在呼籲「前沿研究放緩」，也都在爭第一個實現ASI，遠遠甩開對方。

    人類的未來將何去何從？

   

資訊來源：新智元。如有侵權，請聯繫我們刪除。