超維計算能否開辟新的AI路徑？

圖片來源@視覺中國

(資料圖片)

文 | 追問NextQuestion，作者 | Anil Ananthaswamy，編譯 | 鑄雪

盡管ChatGPT和其他大型語言模型取得了巨大成功，但支撐這些系統的人工神經網絡（ANN）可能已經步入歧途。

對于馬里蘭大學的計算機學家Cornelia Fermüller而言，人工神經網絡“超級耗電”，“另一個問題在于，這些系統缺乏透明度。”這樣的系統非常復雜，以至于沒有人真正理解它們正在做什么，或者為什么它們運行得如此之好。反過來，這也幾乎不可能使其可以實現類比推理，而這正是人類的做法——使用符號來表示對象、想法及其之間的關系。

這些缺點可能源于現階段人工神經網絡的結構及其構建模塊：獨立的人工神經元。每個神經元接收輸入、執行計算并產生輸出。現代人工神經網絡是由這些計算單元的精心設計組成的網絡，經過訓練即可完成特定任務。

然而，人工神經網絡的局限性也早已顯現出來。例如，讓我們來思考如何構建一個用來區分圓形和正方形的ANN。一種思路是在其輸出層中包含兩個神經元，一個表示圓形，一個表示正方形。如果你想讓人工神經網絡也能辨別形狀的顏色——譬如藍色與紅色——你需要四個輸出神經元：藍色圓形、藍色正方形、紅色圓形和紅色正方形。更多的特征意味著更多的神經元。

這不可能是我們的大腦感知自然世界及其所有變化的方式，因為這意味著“對于上述所有組合，神經系統必須有某個對應的神經元”。加州大學伯克利分校的神經科學家Bruno Olshausen指出，“譬如你的大腦中會有一個對應紫色大眾汽車的傳感器。”

因此Olshausen等給出不同的觀點，即大腦中的信息是由大量神經元的活動表征的。因此，對于紫色的大眾汽車的感知并非編碼為某個單獨神經元的活動，而是編碼為數千個神經元的活動。同一組神經元，以不同的方式觸發，可能代表一個完全不同的概念（也許是一輛粉紅色的凱迪拉克）。

這是一種完全不同的計算方式（即所謂超維計算）的起點。其關鍵在于每條信息，例如汽車的概念，或者它的品牌、型號或顏色，或者所有這些信息，都被表征為一個單一的實體：一個超維向量。

向量不過是一個有序的數字數組。例如，一個三維向量包含三個數字：三維空間中一個點的x、y和z坐標。超維向量，或者說超向量可以是由10000個數字組成的數組，這就代表了10000維空間中的一個點。這些數學對象及其背后的代數原理足夠靈活和強大，足以使現代計算超越當前的一些限制，進而孕育出一種新的實現人工智能的路徑。

“這幾乎是我整個職業生涯中最興奮的事。”Olshausen如是說。對于他和其他許多人來說，超維計算預示著一個新世界——在這個新世界中，計算是高效和穩健的，機器做出的決策也是完全透明的。

進入高維空間

為了理解超向量如何使計算成為可能，讓我們回到前文紅色圓形和藍色正方形圖像的例子。首先，我們需要向量來表示變量“形狀”和“顏色”。其次我們還需要向量來表示前面變量的賦值，即“圓”“方”和“紅”“藍”。

不同屬性的向量必須是不同的。這種差異可以通過被稱為正交性的屬性來量化，正交性本義指的是“成直角”。在三維空間中，可以找到這樣的相互正交向量：一個向量在x方向，另一個在y方向，第三個在z方向。而在10000維空間中，就會有10000個這樣相互正交的向量。

但是，如果我們允許向量可以近乎正交，那么高維空間中此類的不同向量的數量就會激增。在10000維空間中，就有數百萬個近乎正交的向量。

現在讓我們構造不同的向量來表示“形狀”“顏色”“圓”“方”“紅”“藍”。因為在高維空間中有很多可能的近乎正交的向量，所以你可以只分配六個隨機向量來表示這六個項目；它們幾乎可以保證是近乎正交的。“構造近乎正交向量的便捷性是使用超維表示的主要原因，”加州大學伯克利分校瑞德伍德理論神經科學研究中心研究員Pentti Kanerva在2009年的一篇頗具影響力的論文中寫道。

這篇論文的基礎是Kanerva和Tony Plate在上世紀九十年代中期的工作，當時他們是多倫多大學的博士生，師從Geoff Hinton。兩人獨立地發展了用于操作超向量的代數，并暗示了其在高維計算中的實用性。

對于我們有關形狀和顏色超向量，Kanerva和Plate發展的系統向我們展示了如何使用某些數學運算來操作它們。這些操作對應于對概念進行符號化操作的方式。

第一種運算是乘法。這是一種將觀念結合的方式。例如，將向量“形狀”與向量“圓形”相乘可將兩者綁定，用以表示“形狀是圓形”這一觀念。這個新的“綁定”向量近乎與“形狀”和“圓形”正交。此外各個元素是可恢復的——如果想從綁定的向量中提取信息，這一特效就顯得至關重要。給出一個代表你的大眾汽車的綁定向量，你可以解除這種綁定并檢索到顏色對應的向量，例如“紫色”。

第二種運算是加法。這表示利用所謂概念的疊加來構造一個新的向量。例如，將兩個綁定向量“形狀是圓形”和“顏色是紅色”相加，創建一個表示“紅色圓形”的向量。同樣地，相加后的向量可以被逆向分解為構成它的向量。

第三種運算是置換。這涉及將向量的各個元素重新排列。例如，對于一個三維向量，三個元素分別記為x、y和z，則置換可能會將x移動到y處，將y移動到z處，而將z移動到x處。“置換允許你構造結構，”Kanerva指出，“置換運算允許你處理序列，序列代表了一個接一個發生的事情。”考察兩個事件，由超向量A和B表示。我們可以將它們疊加到一個向量中，但這會破壞有關事件順序的信息。將加法與置換運算相結合可以保留順序信息；我們還可以通過逆運算對事件按順序進行檢索。

上述三種運算證明我們足以創建允許符號推理的形式化的超向量代數。但是許多研究人員在發掘超維計算潛力方面的進展很緩慢，包括Olshausen本人。他解釋道：“但它只是還沒有被充分理解。”

利用高維的力量

2015年，Olshausen的一名學生Eric Weiss展示了超維計算獨特能力的一個方面。Weiss解釋了如何將復雜圖像表示為一個單獨的超維向量，該向量包含有關圖像中所有對象的信息，包括它們的屬性，例如顏色、位置和大小。

“我興奮地幾乎從椅子上掉下來了，”Olshausen說道，“突然之間，靈感來了。”

很快，更多的團隊開始開發超維算法來復制深度神經網絡在大約20年前就開始處理的簡單任務，例如圖像分類。

考察一個由手寫數字的圖像組成的注釋數據集。有一種算法能使用某種預定方案分析每個圖像的特征，然后為每個圖像創建一個超向量。接下來，該算法為數字0所對應的所有圖像添加超向量，以便為數字0這一概念構造一個超向量。緊接著其對所有數字執行相同的操作，創建10“類”超向量，對應每個數字。

之后給算法一個未標記的圖像。它為這個新的圖像創建一個超向量，然后將超向量與存儲的10類超向量進行比對，以此確定與新圖像最相似的數字。

然而，這僅僅是開始。超維計算的優勢在于其能夠通過合成和分解超向量進行推理。最新的成果演示是在今年3月份，彼時IBM蘇黎世研究院的Abbas Rahimi及其同事使用神經網絡進行超維計算來解決抽象視覺推理中的一個經典問題——這對傳統的人工神經網絡甚至某些人而言都是一個重大挑戰。這個問題被稱為瑞文推理測驗，測驗給出3×3的網格，網格中給出幾何對象的圖像。但其中有一個位置是空白的，受試者必須從一組候選圖像中選擇最適合空白位置的圖像。

“我們當時說，‘這真的是……視覺抽象推理領域的殺手級實例，讓我們從這里開始吧！’”Rahimi回憶道。

為了使用超維計算解決這個問題，該團隊首先構造了一個超向量字典來表示每張圖像中的對象，字典中的每個超向量代表一個對象及其屬性的某種組合。然后，該團隊訓練了一個神經網絡來檢查圖像并生成一個雙極超向量——向量的元素可以是+1或-1——其與字典中超向量的某種疊加盡可能接近。因此，生成的超向量包含有關圖像中所有對象及其屬性的信息。“你可以將神經網絡引導到一個有意義的概念空間。”Rahimi解釋道。

一旦網絡為每個上下文圖像以及空白位的每個候選對象生成了超向量，相應地另一種算法就會分析這些超向量，并為每個圖像中的對象數量、大小和其他特征創建概率分布。這些概率分布說明了上下文和候選圖像的可能特征，可以被轉換為超向量，允許使用代數來預測最有可能的候選圖像來填充空白位。

他們的方法在一組問題上的準確率接近88%，而僅使用神經網絡的方案準確率不到61%。該團隊的研究還顯示，對于3×3網格，他們系統的運算速度是使用符號邏輯規則進行推理的傳統方法的近250倍，因為傳統方法必須檢索大量規則之后才能確定正確的下一步。

充滿希望的起點

超維計算不僅賦予我們符號化地解決問題的能力，同時也解決了一些傳統計算所面臨的棘手問題。如果由隨機位反轉（某個0變為1，或者反過來）引起的錯誤無法通過內置糾錯機制糾正，則當今計算機的性能會迅速下降。此外，美國維拉諾瓦大學計算機科學家Xun Jiao表示，這些糾錯機制可能會對性能造成高達25%的損失。

而超維計算更能夠容忍錯誤，因為即使超向量遭遇大量隨機位反轉，其仍然接近原始向量。這意味著使用這些向量的任何推理在面對錯誤時都不會受到重要的影響。Jiao團隊的研究已經表明，這些系統對硬件故障的容忍度至少是傳統人工神經網絡的10倍，而傳統人工神經網絡本身的彈性比傳統計算架構高出幾個數量級。Jiao認為，“我們可以利用上述各種彈性來設計高效的硬件。”

超維計算的另一個優勢在于其透明性。代數可以清楚地告訴我們系統給出其答案的原因。傳統的神經網絡則無法實現。Olshausen、Rahimi等正在開發混合系統，其中神經網絡將物理世界中的事物映射到超向量，然后由超維代數接管。“類比推理之類的東西應該自然而然，”Olshausen說，“這是我們對任何人工智能系統的期望。我們應該能夠像理解飛機或電視機一樣理解它。”

與傳統計算相比，超維計算所具有的各種優勢都表明其非常適合新一代硬件極可靠且低功耗的要求。它還與“內存計算系統”相兼容，后者在存儲數據的同一硬件上執行計算（不同于現有的馮·諾依曼計算機，后者需要在內存和中央處理器之間低效地傳輸數據）。這些新設備中的一些可以找到替代策略，如在非常低的電壓下運行，從而使其節能，但這也容易產生隨機噪聲。對于馮·諾依曼結構，這種隨機性是“無法逾越的墻，”Olshausen指出，但如果使用超維計算，“就可以直接穿透這堵墻”。

盡管有上述優勢，超維計算仍處于起步階段。“這是真正有潛力的研究方向。”Fermüller回應說。但她同時指出，超維計算仍然需要針對現實世界的問題進行測試，并需要在更大范圍，更接近現代神經網絡的規模下進行測試。

“對于大規模問題而言，亟需非常高效的硬件。”Rahimi指出，“例如，對于超過10億個項目，如何才能有效地搜索？”

Kanerva則表示，所有這些都將隨著時間的推移而到來。“高維空間還有其他秘密，而我認為這正是使用向量計算時代的開端。”返回搜狐，查看更多

責任編輯：

關鍵詞：