圖靈獎得主楊立昆人工智能大會發(fā)言：不喜歡AGI一詞 大語言模型架構存在缺陷

(資料圖片)

【網易科技7月6日報道】今日，2018年圖靈獎得主、Meta Al基礎人工智能研究(FAIR)團隊首席人工智能科學家楊立昆與地平線創(chuàng)始人兼CEO余凱在2023人工智能大會上進行了一場對話，就人工智能治理展開了深入討論。

首先，楊立昆談到了過去十年人工智能領域最令人激動的進展——自主監(jiān)督運行的革命。他特別提到了自然語言處理領域的語言模型和語音識別等與符號序列相關的技術。他指出，類似的革命正在擴展到圖像和視頻領域，并取得了顯著成果。此外，他強調了在Transformer架構上的重大進步。

余凱進一步探討了平移不變性和排列不變性的概念，并詢問了楊立昆的看法。楊立昆解釋道，在Transformer中，平移定變性是一種等變性，也就是說，如果輸入發(fā)生平移，輸出也會相應發(fā)生平移。他認為，通過結合平移和排列不變性的概念，我們能夠實現許多有意義的應用。

隨后，余凱提到了ChatGPT以及大型語言模型，并詢問了楊立昆對這項技術是否可以通向人工通用智能（AGI）的看法。對此，楊立昆指出，關鍵在于系統(tǒng)的功能和缺陷，如果系統(tǒng)在某些基本能力上存在缺陷，那么它就無法走向人類智能的道路。此外，他表示對自己并不太喜歡AGI一詞，因為每種智能都具有特定的領域專長。

在此基礎上，楊立昆同時指出了一些關鍵問題。首先，大型語言模型僅通過文本進行訓練，而沒有利用圖像或視頻等其他類型的數據。這些模型的目標是預測文本中缺失的單詞，例如ChatGPT只預測長文本的最后一個單詞。然而，問題在于無法準確預測缺失的單詞，必須預測整個字典中所有單詞的分布。如果嘗試在視頻領域采用類似的生成式架構來預測視頻的下一幀則面臨挑戰(zhàn)，因為視頻幀之間差距很小。（江淼）

關鍵詞：