微軟 CEO 薩蒂亞 · 納德拉認為，在 AI 日益蓬勃發展的時代，使用超級智能自我監控等簡單策略是不夠的。

    納德拉在北京時間 10 月 10 日晚的一篇長文中指出，傳統軟體系統在過去幾十年中被廣泛部署，人類已經擁有追蹤特定代碼路逕行為的工具和能力。然而，AI 模型比傳統軟體更強大，但卻是一個黑盒子，我們部署了這些複雜的智能體系統和模型，訪問我們最敏感的數據，並賦予它們代表我們執行關鍵任務的能力。

    納德拉認為，我們應該退一步思考，重新評估這個新時代的信任架構。模型提供商根本無法將責任外包出去，不能把超級智能當作一套嵌套的黑匣子，簡單地接受或拒絕它的建議、答案和行動。我們必須建立能夠觀察其行為、可測試極限和始終可容納行為的封閉系統。

    納德拉表示，將前沿封閉權重和開放權重模型視為內部風險，是構建此類體系的一種方式。這並不是因為 AI 模型一定是惡意的，而是任何有足夠能力、能夠接觸重要系統的行為者都可能犯錯或被攻破，而遏制和控制的架構必須考慮到這一點。

    納德拉提到，開發者應當圍繞可觀測性原則設計這些系統，IT之家附具體原則如下：

    模型多樣性：沒有任何模型應成為重要結果的唯一依賴，也不應負責驗證自身工作。

    觀察一切：每一個有意義的模型動作都必須留下防篡改、人類可讀的證據。不能觀察，就不能信任。我們需要能夠在不依賴模型來證明的情況下，重現結果是如何實現的。

    可驗證性：我們需要持續測試整個系統，包括故障、攻擊、邊緣案例、系統變更等，而不僅僅是成功的任務。

    獨立控制：組織應能夠獨立決定模型可以訪問什麼以及可以採取哪些行動。

    獨立審計性：驗證必須獨立於被驗證的智能。沒有任何單一模型應同時控制系統的行為以及判斷該行為是否與原始意圖一致所需的證據。

    遏制： 我們必須假設模型已被破壞，並從一開始就將其控制。可以把它想像成緊急剎車。授權人員應始終能夠在任務中暫停或關閉模型。更先進的模型將需要更先進的遏制技術，我們需要對此進行標準化。

    事件披露：當這些系統出現故障或被攻破時，我們需要及時向受影響者披露信息，並建立機制分享出錯原因、哪些控制失效以及如何防止再次發生，並向整個行業分享經驗。這應包括在運行時改變智能體行為的實現細節。

資訊來源：IT之家。如有侵權，請聯繫我們刪除。