OpenAI稱四年內讓超級智能“可控”

OpenAI在其官方網站稱，需要科學和技術突破來引導和控制比人類聰明得多的人工智能系統（超級智能對齊），為了在四年內解決這個問題，OpenAI正在組建一個新的團隊，并將其20％的計算資源用于這項工作。

OpenAI表示，超級智能將是人類發明的最具影響力的技術，可以解決世界上許多重要問題。但超級智能的巨大力量也非常危險，可能導致人類的無能為力甚至滅絕。雖然超級智能現在看來還很遙遠，但它可能在未來十年內到來。

如何確保人工智能系統遵循人類的意圖？OpenAI表示，目前還沒有一個解決方案來引導或控制潛在的超級人工智能。但可以通過從人類反饋中強化學習、依靠人類監督人工智能來實現。

據悉，新團隊將建立一個“人類級別”的人工智能研究團隊，然后使用大量的計算來拓展工作，并迭代調整超級智能。這意味著他們將使用人類反饋來訓練人工智能系統，以輔助人類評估，最終訓練人工智能系統進行實際的一致性研究。

具體而言，OpenAI的方法包括：

開發可擴展的訓練方法。針對人類難以評估的任務提供訓練方法，可以通過人工智能系統協助評估其他人工智能系統。此外，OpenAI希望了解和控制其模型，將監督應用到無法監督的任務上。

驗證生成的模型。為了驗證系統的一致性，OpenAI將自動搜索有問題的行為和有問題的內部結構。

對整個對齊管道進行壓力測試。可以通過故意訓練未對齊的模型，來測試整個安全流程，并確認技術檢測到最糟糕的錯位類型。

OpenAI預計，隨著其對這個問題的了解越來越多，研究重點也將發生變化，可能增加全新的研究領域。