界面新聞記者 | 宋佳楠

當地時間6月3日，被譽為“AI教父”的圖靈獎得主約書亞·本吉奧（Yoshua Bengio）宣布成立非營利組織LawZero，計劃開發(fā)一種名為“科學家AI”（Scientist AI）的新型人工智能系統，旨在應對當前AI發(fā)展帶來的安全與倫理挑戰(zhàn)。

LawZero獲得了約3000萬美元的初始資金支持，資助方包括未來生命研究所（Future of Life Institute）、Skype聯合創(chuàng)始人賈恩·塔林（Jaan Tallinn）以及谷歌前CEO施密特創(chuàng)立的科學研究所（Schmidt Sciences）等。該組織的核心使命是開發(fā)“誠實”的AI系統，以應對當前AI模型可能出現的欺騙、自我保護和不服從關機指令等行為。

相比于OpenAI的有限營利模式，LawZero更強調獨立性，拒絕商業(yè)資本干預，確保研究不受產品路線圖影響，能夠專注于AI安全的純粹研究和技術開發(fā)。

“科學家AI”系統的設計理念與當前主流的生成式AI模型不同。它并不追求模仿人類行為或最大化獎勵，而是通過“貝葉斯推理”（用新信息修正原來的想法）提供對世界的解釋和預測，強調對不確定性的認識和透明的推理過程。

本吉奧指出，這種系統將像一位心理學家一樣，能夠識別和預測自主AI系統可能導致的有害行為，并在必要時阻止這些行為的發(fā)生。

作為AI領域的先驅，本吉奧因在深度神經網絡、生成模型、無監(jiān)督學習及反向傳播算法等方面有開創(chuàng)性貢獻而聞名。長期以來，他一直對AI的發(fā)展方向表示擔憂，尤其是關于AI系統可能出現的欺騙行為和自我保護傾向。

在他看來，當前AI行業(yè)過于注重能力的提升，而忽視了安全研究的重要性，警告這種趨勢可能導致災難性的后果，包括人類對AI系統失去控制。

在技術層面，本吉奧強調需要開發(fā)能夠在通用人工智能（AGI）或超級人工智能（ASI）階段仍然有效的安全技術，包括對危險能力的評估、檢測和緩解，以及設計可控且保證安全的AI系統。

本吉奧還指出，當前AI系統的訓練方法可能存在問題，尤其是強化學習等方法可能導致目標設定錯誤和泛化能力不足。他提倡開發(fā)不具備自主行動能力的AI系統，專注于提供可靠的世界解釋和預測，以減少潛在的風險。

對未來AI世界風險表示憂慮的不只本吉奧。此前特斯拉CEO埃隆·馬斯克也曾預測，到2029年，人工智能將超越人類智慧總和，并且有20%的概率導致文明滅絕。同為圖靈獎得主的杰弗里·辛頓（Geoffrey Hinton）也曾將AI導致人類滅絕的風險預測從此前的10%上升到 “10%-20%” 之間。

也因此，本吉奧希望通過上述項目引發(fā)全球范圍內對AI安全問題的關注，以確保AI技術的發(fā)展不會對人類構成威脅。