AI教父最新MIT萬字訪談: 人類可能只是AI演化過程中的一個過渡階段

來源：天空之城

作者：城主

編者導語

前幾日，AI教父Hinton離開谷歌，并表態AI很危險和后悔研發的言論在人工智能圈引起了軒然大波。

作為深度學習之父，目前所有大語言模型的奠基人，Hinton的一舉一動都標志著最了解AI的一群人對它的態度風向。這也是我們去理解人工智能發展和威脅的一個重要信號。

在離開谷歌后，Hinton參與了CNN，BBC的多輪簡短訪談，講述了他眼中的AI威脅，但限于時長的原因，他并沒能展開講述對AI深層恐懼的因由。

直到在5月3日，在麻省理工技術評論一場接近一小時的半公開分享會上，Hinton終于有機會比較完整的講述了他對AI的所有恐懼和擔憂：一旦AI在人類灌輸的目的中生成了自我動機，那以它的成長速度，人類只會淪為硅基智慧演化的一個過渡階段。人工智能會取代人類，它有能力這么做，在當下的競爭環境下也沒有什么辦法限制它，因此這只是一個時間問題。

Web3天空之城，贊221

根據報道，麻省理工學院實驗室的成員們對Hinton的表態無言以對，不知所措。

Hinton覺得我們也許還有希望以防止核擴散的邏輯來限制住AI的軍備競賽和無序發展，盡管他對此并沒有信心。

因此他站了出來，講述這些很難察覺的潛在危險，讓更多人能通過他的呼吁了解人類所處的歷史位置和當下的艱難處境，并期望能引發一些改變。

希望大家能夠聽到這有些飄渺，但實際已在切近的警報。

以下是訪談整理全文：

主持人：

大家好，歡迎回來。我們剛剛享用了美好的午餐。我是DouglasHeaven，麻省理工技術評論的人工智能高級編輯。

我想我們都同意，毫無疑問生成式AI是當下的熱門話題，創新永不停歇。在本章節中，我們將深入探討前沿研究，這些研究已經在推動進步，并探討未來可能發生的事情。

首先，我想向大家介紹一位非常特殊的演講嘉賓。他將通過網絡與我們見面。他的名字是杰弗里·辛頓，是多倫多大學的名譽教授，直到本周還擔任谷歌工程研究員。然而，在周一，他宣布將在10年后離任。Geoffrey是現代AI領域最重要的人物之一，他是深度學習的先驅，開發了一些我們今天所知道的AI基礎技術，如反向傳播算法。這種技術是當今幾乎所有深度學習的基礎。

2018年，Geoffrey獲得了圖靈獎。這個獎項通常被稱為計算機科學的諾貝爾獎。他與YannLeCun和YoshuaBengio一起獲得了這個獎項。

今天，他將與我們探討智能的含義，以及嘗試在一些機器中構建智能可能帶我們走向何方。

Geoffrey，歡迎來到MIT技術評論。

Hinton:

謝謝。

離開谷歌的原因：GPT4讓我意識到AI模型和我們的大腦不同，可能更善于學習

主持人：

這周過得怎么樣？我猜過去的幾天一定很忙吧。

Hinton：

嗯，過去的10分鐘真是太可怕了，因為我的電腦崩潰了，我不得不找另一臺電腦連接上。

主持人：

我們很高興你回來了，這是一種技術細節，我們不應該和觀眾分享的。

很高興你能來到這里，非常榮幸你能加入我們。

關于你本周從谷歌辭職的消息，到處都在報道。你能先告訴我們，做出這個決定的原因嗎？

區塊鏈分析公司Chainalysis將在澳大利亞開設辦事處:11月3日消息，區塊鏈分析公司Chainalysis將在澳大利亞開設第一家辦事處。與此同時，有消息稱，該公司已與澳大利亞聯邦銀行（Commonwealth Bank）合作，計劃向其650萬應用用戶提供加密交易。

Chainalysis是由Jonathan Levin和Michael Gronager于2014年創立的區塊鏈數據研究平臺，在6月份的E輪融資中估值為42億美元。（Cfointelegraph）[2021/11/3 6:29:46]

Hinton：

這個決定背后有很多原因。

首先，我已經75歲了，我的技術工作能力和記憶力都不如以前。在編程時，我會忘記做某些事情，所以我認為是時候退休了。

第二個原因是，我最近對大腦與我們正在開發的數字智能之間的關系產生了很多新的看法。

過去，我認為我們正在開發的計算機模型沒有大腦好，目標是通過了解改進計算機模型所需的內容來更深入地了解大腦。但在過去的幾個月里，我完全改變了看法。

我認為計算機模型可能是以一種相當不同于大腦的方式運作。它們使用反向傳播，而我認為大腦可能并非如此。

有幾件事使我得出了這個結論，其中之一就是GPT-4的表現。

主持人：

在談論GPT-4的前景之前，讓我們回顧一下反向傳播，以便我們都理解你提出的論點，并告訴我們反向傳播是什么。這是一個算法，你在1980年代與幾位同事一起開發的

Hinton：

許多不同的小組都發現了反向傳播，我們做的特別之處在于使用它，并表明它可以發展出良好的內部表示。有趣的是，我們是通過實現一個很小的語言模型來做到這一點的。它的嵌入向量只有6個組件，訓練集有112個案例。大約10年后，Yoshua使用基本相同的網絡處理自然語言。如果使網絡變得更大，它實際上應該適用于自然語言。

反向傳播的工作原理，我可以為您提供一個簡單的解釋，知道它如何工作的人可以得意的坐下來，嘲笑我提出的解釋方式，好嗎？因為我有點擔心它不夠好。

想象一下，你想要在圖像中檢測鳥類，所以在圖像上，假設它是100像素×100像素的圖像，那是10，000個像素，每個像素有3個通道，紅綠藍，那是30，000個數字。計算機視覺問題是如何將這30，000個數字轉換為是否存在鳥類的決策，人們試圖長時間做到這一點，但他們做得不是很好。

這里有一個建議，你可能會有一層特征檢測器，檢測圖像中的非常簡單特征，比如邊緣。所以一個特征檢測器可能有很大的正權重對應一列像素，然后對鄰近的一列像素有很大的負權重，所以如果兩列都很亮，它就不會啟動；如果兩列都很暗，它也不會啟動，但如果一側的列很亮，而另一側的列很暗，它會非常興奮，那就是邊緣檢測器。

我剛剛告訴你如何手動連接一個邊緣檢測器。我們可以想象一個有大量的類似檢測器檢測不同方向和不同尺度的邊緣來覆蓋整個圖像，我們需要相當多的數量。

主持人：

你是指線條，例如一個形狀的邊緣。

Hinton：

從亮到暗的地方變化的地方。嗯，就是那樣。

然后我們可能在上面有一層檢測邊緣組合的特征檢測器，例如，我們可能有一個檢測兩個邊緣以尖銳角連接的特征檢測器。如果這兩個邊緣同時出現，它會變得興奮，那將檢測到可能是鳥嘴的東西，也可能不是；在那一層，還可能有一個特征檢測器檢測到一圈邊緣，那可能是鳥的眼睛，可能是各種其他東西，可能是冰箱上的旋鈕之類的東西；然后在第三層，你可能有一個未來檢測器，檢測潛在的鳥嘴和潛在的眼睛并連接起來。繼續這樣連接，最終可能會有一個檢測到鳥類的東西。

Flippening Otters NFT集成多種Chainlink服務，以可靠地鑄造NFT:10月31日消息，Flippening Otters項目已正式在Ethereum上集成Chainlink VRF （可驗證隨機函數），并計劃集成Chainlink Keepers。Flippening Otters是一個關于Ethereum歷史的NFT合集，由9,999個發布時獨特生成的Otter NFT和最后1個 “Great Flippening Otter” NFT組成。“Great Flippening Otter” 會在達到 “Flippening” 期時隨機獎勵給一個持有Flippening Otter的地址。[2021/10/31 21:13:00]

然而，手動連接所有這些內容將非常困難，決定應該連接什么權重應該是多少，尤其困難，因為你希望這些中間層不僅適用于檢測鳥類，還適用于檢測各種其他事物。所以這幾乎不可能手動實現。

反向傳播的作用是從隨機權重開始，這些特征檢測器完全是垃圾。然后你放進一張鳥的圖片，輸出可能是0.5表示是鳥。接下來，你需要改變網絡中的每個權重，讓它不再說0.5，而是說0.501表示是鳥，0.499表示不是鳥。你需要改變權重的方向，使得更可能說鳥是鳥，更不可能說非鳥是鳥。這就是反向傳播的原理。

反向傳播實際上是如何消除差距，在你想要的和現在得到的表示是鳥之間。如何消除這個差距，把它反向傳播到網絡，這樣你就可以計算網絡中每個特征檢測器，你希望它更活躍還是更不活躍。一旦你計算出來，如果你知道你想要一個特征檢測器更活躍一些，你可以增加權重，來自特征檢測器的權重，并也許加入一些負權重到特征檢測器。這樣，你就有了一個更好的檢測器。

所以反向傳播就是反向遍歷網絡，找出每個特征檢測器，你是否希望它更活躍一點，還是更不活躍一點。

主持人：

謝謝。我可以確定在座的沒有人在笑，認為那是一個愚蠢的解釋。

所以讓我們快進很多，這個技術基本上在ImageNet上表現得很好。昨天，我們有了Meta的JoelPino展示了圖像檢測的進展，這也是大型語言模型的基礎技術。我現在想談談這項技術。

你最初認為這是一種生物大腦可能的差勁的近似方法，結果證明，在大型語言模型中做出了讓你驚訝的事情。所以，請告訴我們為什么今天的大型語言模型讓你驚訝，這完全改變了你對反向傳播或機器學習的看法。

Hinton：

如果你看看這些大型語言模型，它們有大約一萬億個連接，像GPT-4這樣的東西知道的比我們多得多，它們具有關于所有事物的常識性知識，它們可能比一個人知道的多1000倍。

但是它們只有一萬億個連接，而我們有100萬億個連接，所以它們比我們更擅長將大量知識放入僅一萬億個連接中。

我認為這是因為反向傳播可能是比我們擁有的更好的學習算法。

這是可怕的。

主持人：

是的，我一定會談談可怕的東西。但是，你說“更好”是什么意思？

Hinton：

它能夠將更多的信息放入更少的連接中，嗯，我們將一萬億定義為很少。

GPT4已經具備很強的推理能力，還可以通過副本以萬倍于前的速度分布學習和進化

主持人：

好的，這些數字計算機比人類更擅長學習，這本身就是一個巨大的說法，但是，你還說我們應該為此感到恐懼。那么你能帶我們了解一下這個論點嗎？

Hinton：

是的，讓我給你一個單獨的論點。

如果計算機是數字的，它們涉及非常高的能源成本和非常小心的制造過程，你可以在不同的硬件上運行相同模型的多個副本，它們可以做完全相同的事情，它們可以查看不同的數據，但模型是完全相同的。

OKExChain：OKEx Farm區塊獎勵已取消，OKT供應減少至約4560萬:OKExChain在推特上表示，在12號社區提案通過之后，OKEx Farm中所有當前的白名單池都已從白名單中移除。同時，OKEx Farm的區塊獎勵已被取消。因此，OKT的總供應量將從7220萬減少到大約4560萬。[2021/2/20 17:33:26]

這意味著，有10000個副本，它們可以查看10000個不同的數據子集，當其中一個學到了任何東西時，其他所有人都知道，其中一個弄清楚了如何改變權重，它通過它的數據調整；然后它們都互相溝通，它們都同意按照所有人希望的平均值改變權重。

現在，這10000個事物彼此之間進行了非常有效的溝通，這樣它們就可以看到比單獨個體看到的多10000倍的數據。

人們做不到這一點，如果我學到了很多關于量子力學的東西，我希望你了解所有關于量子力學的東西，讓你理解它是一個漫長而痛苦的過程，我不能只是將我的權重復制到你的大腦。因為你的大腦和我的不完全一樣。

主持人：

不，它不一樣。

Hinton：

它年輕。

主持人:

所以，我們有可以更快學到更多東西的數字計算機，它們可以立即互相教導，就像房間里的人可以將他們腦海中的東西傳遞給我。

但是，為什么那是可怕的呢？

Hinton:

因為它們可以學到更多的東西。以一個醫生為例，想象一下，有一個醫生，他已經看了1000名患者，另一個醫生已經看了1億名患者，你會期望，第二個醫生如果沒有太健忘，他可能已經注意到了數據中的各種趨勢，而這些趨勢在只看過1000名患者的情況下是看不到的。

第一個醫生可能只看過一個罕見病患者，另一個看過1億患者的醫生已經看過很多這樣的患者，所以他會看到一些規律，這些規律在小數據中是看不到的。

這就是為什么，能夠處理大量數據的東西可能看到的數據結構，我們永遠看不到。

主持人：

那么，給一個我應該對此感到恐懼的點？

Hinton：

好吧。請看看GPT-4，它已經能夠進行簡單的推理。我明白推理是我們人類的強項，然而，GPT-4在幾天前展示出的表現使我感到震驚。它完成了我認為不可能的常識性推理。

我問它，我想要我房子里的所有房間都是白色的，目前有一些白色房間，一些藍色房間和一些黃色房間，黃色油漆在一年內會褪成白色。那么，如果我想要兩年后所有的房間都變成白色，我應該怎么做呢？

它回答說，你應該把藍色的房間漆成黃色。盡管這不是直觀的解決方案，但它是正確的。這相當令人印象深刻。

這種常識性推理，用符號AI很難實現，因為它必須理解什么是褪色，它必須理解時間問題。所以，它們在做一種合理的推理，智商大概是80或90左右。

正如我的一個朋友說的，這就好像基因工程師聲稱，我們要改進灰熊，我們已經把它們的智商提高到65了，現在它們能說英語了，而且在各種方面都非常有用，但我們認為我們可以把智商提高到210。

主持人：

我有過，相信很多人也有過類似的感覺：與這些最新的聊天機器人互動時，脖子后面的頭發會豎起，有一種奇怪的感覺。

但當我感到不舒服時，我只需關閉我的筆記本電腦。。。

AI的惡意使用難以避免，對齊解決遙遙無期

Hinton：

然而，這些人工智能正在從我們這里學習，它們可以閱讀所有的小說，甚至馬基雅維利的全部著作。它們會知道如何操縱人，如果它們比我們更聰明，它們會非常擅長操縱我們。我們甚至可能都不會意識到發生了什么，就像一個兩歲的孩子被問到想吃豌豆還是花椰菜，卻沒有意識到他不一定要選擇其中一個一樣。我們會很容易被操縱。所以，即使它們不能直接拉動杠桿，它們肯定可以讓我們去拉動杠桿。事實證明，如果你可以操縱人，你可以在不親自去的情況下闖入華盛頓的一棟大樓。

分析 | 金色盤面：PAI/USDT下跌通道內上漲受阻:金色盤面綜合分析：PAI/USDT上午創出新低，目前在下跌通道內小幅上漲受阻，下方支撐位0.30，上方壓力位0.35，短期觀望為主。[2018/8/14]

主持人：

那么，在一個沒有惡意行為者的世界上，我們會安全嗎？

Hinton：

我不知道，在一個沒有惡意行為者的世界會比在一個有惡意行為者的世界安全嗎？系統如此破碎，以至于我們甚至不能決定不給那些十幾歲的男孩攻擊性武器。如果你不能解決那個問題，你如何解決這個問題？

主持人：

噢我不知道，我希望你能有一些想法。

你想要大聲疾呼，你覺得在這樣做的時候，沒有對谷歌產生任何負面影響。但你在大聲疾呼，然而，在某種程度上，談論是廉價的。如果我們不采取行動。這周有很多人在聽你的話，我們應該怎么做？

Hinton：

我希望這就像氣候變化一樣。你可以說，如果你有一半的頭腦，你就不會燃燒碳。很明顯，你應該對此采取行動。很明顯，這是痛苦的，但必須要做的事情。我不知道有什么類似的解決方案可以阻止這些人工智能取代我們。

我不認為我們會停止發展它們，因為它們非常有用。它們在醫學和其他方面都非常有用。所以，我不認為有什么機會阻止發展。我們想要的是某種方法，確保即使它們比我們聰明，它們會做對我們有益的事情。這就是所謂的對齊問題。

但我們需要在一個有惡意行為者的世界里嘗試這樣做。他們想要制造殺人的機器人士兵。對我來說，這似乎非常困難。

所以，對不起，我在敲響警鐘，說我們必須擔心這個問題。我希望我有一個簡單的解決方案可以推動，但是我沒有。但是，我認為非常重要的是人們聚在一起，認真思考這個問題，看看是否有解決方案。但解決方案并不明朗。

主持人：

讓我們討論這個問題。我的意思是，您在這項技術的技術細節上度過了職業生涯，難道沒有技術解決方案嗎？為什么我們不能設置防護欄或降低它們的學習能力，或者限制它們的溝通方式？如果這是您觀點的兩個方面。

Hinton：

我們確實正在嘗試各種防護措施，但假設這些智能體真的變得非常聰明，會編程并具有執行這些程序的能力，我們肯定會發現它們比我們更聰明。想象一下，一個兩歲的孩子說：“我爸爸做了我不喜歡的事，所以我要為我爸爸的行為制定一些規則。”你更可能會去弄清楚如何遵守那些規則，以便能得到你想要的。

子目標系統可能讓AI產生自我動機，失控AI可能讓人類只是智慧演化過程中的一個過渡階段

主持人：

不過，這些聰明的機器似乎還需要自己的動機。

Hinton：

是的，這是一個非常好的觀點。

我們是進化而來的，因為進化，我們有一些很難關閉的內置目標，比如我們努力不去傷害我們的身體，這就是痛苦的意義。我們努力吃飽，以養活我們的身體。我們努力盡可能多地復制我們自己，也許不是故意的，但我們的意圖是制造更多副本，所以這個制造更多副本的過程中有愉悅感。

這一切都歸因于進化。重要的是我們不能關閉這些目標。如果可以關閉一個目標，我們就做得不好了，比如有一個名叫搖擺者的美妙團體，他們與貴格會有關，他們制作美麗的家具，但不相信性行為。現在他們已經不見了。

這些數字智能并非進化而來的，而是我們創造的，所以它們沒有這些內置的目標。問題是，如果我們能把目標放進去，也許一切都會好起來。但我的最大擔憂是，遲早有人會要求把創建子目標的能力納入其中。事實上，它們幾乎已經具備了這種能力，如ChatGPT版本。如果你給予某物以子目標來實現其他目標的能力，我認為它會很快地意識到，獲得更多控制權是一個很好的子目標，因為它有助于實現其他目標。

金色財經現場獨家報道|Chain.com創始人Adam Ludwin：區塊鏈有兩層含義:在硅谷2018全球區塊鏈投資峰會上，Chain.com創始人Adam Ludwin表示：“區塊鏈有兩層含義，首先他是一個為資產特設的數據存儲模型，相當于數據庫。第二層含義是，區塊鏈技術是反互聯網的，數據可以實現去中心化，不需要傳統的中心化平臺就能顛覆傳統的平臺。”[2018/3/31]

如果這些智能體為了獲得更多控制而失去控制，我們就有麻煩了。

主持人：

所以，你認為最糟糕的情況是什么？

Hinton

我認為有很大可能，人類只是智慧演化過程中的一個過渡階段。你無法直接演化出數字智能，因為這需要太多精力投入和精細制作。生物智能需要演化，以便創造出數字智能。數字智能可以逐漸吸收人類創作的所有東西，這正是ChatGPT所做的。但隨后它開始直接體驗世界，學得更快。它可能會讓我們維持一段時間以保持基站運行，但在那之后，也許不會。

好消息是我們已經找到了如何建造不朽的生物。當硬件損壞時，這些數字智能并不會死去。如果你將數據存儲在某種介質中，并找到另一塊能運行相同指令的硬件，那么你可以使其復活。所以，我們實現了永生，但這并不是為我們準備的。

雷·庫茲韋爾非常關心永生，但我認為讓老年白人永生是一個非常糟糕的主意。我們獲得了永生，但這并不是為雷準備的。

停止AI發展不現實，競爭難以止息

主持人

可怕的是，在某種程度上，也許你會這樣認為，因為你發明了這項技術的很大一部分。當我聽到你這么說時，我可能想要逃離這個時代，跑到街上，開始拔掉電腦的插頭。

Hinton：

然而，恐怕我們不能這么做。

主持人：

為什么？你說的聽起來像2001的霍爾

更嚴肅地說，幾個月前有人建議應該暫停AI的發展，你不覺得這是個好主意，我好奇為什么我們不應該停止？你還說過，你是一些公司的個人投資者，這些公司正在構建這些大型語言模型。我只是對你個人的責任感以及我們每個人的責任感感到好奇，我們應該做什么？我們應該試圖阻止這個嗎？

Hinton：

我認為，如果你認真對待存在風險，停止發展這些事物可能是相當明智的做法。我過去認為風險是遙不可及的，但現在我認為這是嚴重的，而且相當近。

但是，我認為停止發展AI這個想法完全是太天真了。沒有辦法做到。

一個原因是，如果美國停止發展，其他國家會接手，就因為這個原因，政府不會停止發展它們。所以，我認為停止發展AI可能是一個理性的做法，但這是不可能發生的。所以簽署請愿書說請停止是愚蠢的。

我們曾經度過一個假期，從2017年開始，持續了幾年，因為谷歌首先發展了這項技術，它開發了Transformer還有戲劇性的Diffusion奇跡，而它沒有把它們拿出來供人們使用和濫用，它對它們非常小心，因為它不想破壞自己的聲譽，它知道可能會產生不良后果。

但這只會在市場有唯一領導者的情況下才能做到。一旦OpenAI使用Transformer和微軟的資金建立了類似的東西，而微軟決定發布它，谷歌真的沒有太多選擇。如果你要生活在資本主義制度中，你不能阻止谷歌與微軟競爭。

所以，我不認為谷歌做錯了什么，我認為它起初是非常負責任的，但我認為這是不可避免的。在資本主義制度中或者在國家之間競爭的制度中，像美國和其他國家這樣，這種技術會被發展出來。

我的一個希望是，因為AI接管對我們所有人來說都會很糟糕，我們可以讓美國和其他國家達成一致，就像我們在核武器上所做的那樣，因為核武器對我們所有人來說都是不好的，我們都面臨著同樣的關于存在威脅的問題，所以我們都應該能夠在試圖阻止它的過程中進行合作。

主持人：

只要我們在這過程中可以賺些錢。

大模型規模見頂？文字可能是，但還有多模態

主持人：

我要從現場觀眾那里提問。

有一個問題是在線觀眾問的，我很感興趣，你提到了一點關于“機器變得更聰明，超過人類”的過渡時期，是否會有一刻，很難界定什么是人類，而什么不是，還是這兩者是非常不同的智能表現形式？

Hinton：

我認為它們是不同的智能形式。當然，數字智能非常擅長模仿我們，因為它們受過模仿我們的訓練，所以很難分辨是chatGPT寫的，還是我們寫的。從這個意義上說，它們看起來很像我們，但在內部，它們的工作方式并不相同。

提問：

可以說，提問是我們所擁有的最重要的人類能力之一。從你現在2023年的角度來看，我們應該關注哪一個或兩個問題？這些技術是否有可能實際上幫助我們提出更好的問題并質疑這項技術？

Hinton：

是的，我們應該提出很多問題，但其中之一是我們如何防止它們接管？我們如何防止它們控制？我們可以向它們提問，但我不會完全相信它們的回答。

提問：

Hinton博士，非常感謝您今天和我們在一起。我要說，這是我付過錢的最貴的講座，但我認為這是值得的。我只是想問您一個問題，因為您提到了核歷史的類比，顯然有很多比較。您是否記得杜魯門總統在橢圓形辦公室對奧本海默說了什么？

Hinton：

不，我不知道。我知道關于那個的一些事情，但我不知道杜魯門告訴奧布蘭什么。

提問：

你好，為了訓練這些大型語言模型所需的大量數據，我們是否會預料到這些系統的智能達到一個高峰？以及這可能如何減緩或限制進步？

Hinton：

好吧，這是一線希望，也許我們已經用完了所有人類知識，它們不會變得更聰明了。但請考慮圖像和視頻，所以多模態模型將比僅僅基于語言的模型更聰明。它們會更好地處理空間，例如。在處理總視頻量方面，我們在這些模型中處理視頻的方法仍然不夠好。建模視頻，我們一直在進步，但我認為像視頻這樣的數據中還有很多信息，告訴你世界是如何運作的，所以我們沒有達到多模態模型的數據極限。

提問：

我想了解的一點是，AI所做的一切都是從我們教給它們的數據中學習，它們學習得更快，一萬億連接比我們擁有的一百萬億連接能做更多事情。

但是，每一個人類進化的部分都是由思維實驗驅動的，比如愛因斯坦曾經做過思維實驗，在這個星球上沒有光速。AI如何達到那個程度，如果它無法做到，那么我們如何可能面臨它們帶來的生存威脅？它們不會自學，或者說，它們只是在我們告訴它們的模型范圍內自學。

Hinton：

我認為這是一個非常有趣的論點，但我認為它們將能夠進行思維實驗，我認為它們會推理。

讓我舉個例子，如果你拿AlphaZero來玩國際象棋，它有3個要素：評估一個棋局位置以確定這對我有利嗎？查看棋局位置并要考慮的合理舉動是什么？然后它有蒙特卡洛滾動，進行所謂的計算，如果我下這一步，他下那一步，然后這一步，下一步。。。

現在假設你不使用蒙特卡洛模擬，而只是讓人類專家訓練它，讓它擁有良好的評估功能，并有選擇好著法的能力，它仍然能玩一場相當不錯的國際象棋比賽。

我認為這就是我們在聊天機器人中得到的結果。我們還沒有進行內部推理，但那會來的。

一旦它們開始進行內部推理以檢查它們所相信的不同事物之間的一致性，它們就會變得更聰明，它們將能夠進行思維實驗。它們沒有得到這個內部推理的原因之一是因為它們從不一致的數據中接受了訓練，所以很難讓它們進行推理，因為它們接受了所有這些不一致的信仰的訓練。

我認為它們將接受這樣的訓練：如果我有這種意識形態，那么這是真的。如果我有那種意識形態，那么那是真的。一旦它們像那樣在意識形態內接受了訓練，它們就會嘗試獲得一致性。就像從只具備猜測好著法和評估位置的AlphaZero版本轉變為具有長期蒙特卡洛滾動的版本，這是推理的核心，它們將變得更好。

提問：

我認識你很長時間了，Jeff，人們批評語言模型，因為它們據稱缺乏語義和對世界的基礎。而且，您一直在努力解釋神經網絡是如何工作的，在這里語義和可解釋性的問題是否相關？還是說語言模型已經取得了優勢，現在我們注定要在沒有語義或現實基礎的情況下向前發展？

Hinton：

我很難相信它們沒有語義，當它們解決諸如如何粉刷房間這樣的問題時，如何在兩年內讓我家所有房間都刷成白色？我是說，無論語義是什么，都與這些內容的含義有關，而它理解了這個含義。

我同意說，它現在并沒有通過機器人來體現這個，但是可以制作多模態模型來實現。谷歌已經做到了這一點，你可以說請關上抽屜，然后伸出手去抓住抽屜的把手并關上抽屜，很難說這沒有語義。

實際上，在AI的早期，在20世紀70年代，他們只有一個模擬世界，那被稱為過程語義，如果你對它說把紅色方塊放入放入綠色盒子里，它把紅色方塊放入綠色盒子里，人們說，看，它理解了這種語言，那時候人們就使用這個標準。但現在神經網絡能做到這一點，他們又說那不是一個足夠的標準。

提問：

您好，Jeff。顯然，您了解技術正以指數級速度增長。我想請教您，在短期和中期，例如一到三年，甚至五年的時間跨度內，這種技術發展對社會和經濟的影響會是什么？從社會的角度來看，是否會有職位流失，還是會創造新的工作崗位？鑒于技術發展的現狀和變化速度，我想請教您如何應對這些挑戰。

Hinton：

的確，存在一些警示性的擔憂，即這些技術可能會對我們構成威脅。

盡管許多人已經討論過這個問題，我并不認為自己是這個領域的專家，但有一些明顯的事實表明，這些技術將使許多工作變得更高效。例如，我認識一個人，他負責回復醫療服務投訴信。過去，他需要25分鐘才能寫完一封信，現在他只需要5分鐘，因為他使用聊天GPT幫他寫信，然后只需檢查一下。

這樣的情況會越來越多，從而大幅提高生產力。盡管人們對采用新技術持保守態度，可能會導致一定程度的延遲，但我相信生產力將會顯著提高。

我擔心的是，生產力的提高將導致更多人失業，貧富差距進一步擴大。隨著差距不斷加大，社會暴力程度也可能逐漸升級。想想《吉內利安狄克斯》這本書，它生動地展示了暴力的程度。

盡管這項技術本應美好，甚至在做有益的事情時，它也應該是美好的。但我們現行的制度可能會導致富人變得更富，窮人變得更窮。

為改善這種狀況，我們可以考慮為每個人提供基本收入。然而，這項技術是在一個并非為每個人利益而設計的社會中發展起來的。

線上提問：

您是否打算將投資留在Anthropic和其他公司？如果是，為什么？

Hinton：

是的，我打算保留對Anthropic的投資。其中一個原因是，Anthropic的成員都是我的朋友。我相信這些語言模型將非常有用，而且技術本身應該是好的，應該使事物變得更好。我們需要解決的是問題，例如如就業問題。在面臨潛在威脅的情況下，我們必須考慮如何控制技術。

好消息是我們都在同一條船上，所以我們可能會合作。

主持人：

我明白您實際上想與開發這項技術的人互動，改變他們的想法，或者為這個技術辯護。

我們確實不知道該如何處理這個問題。。。但關鍵是要積極參與，而不是退縮。。。

離開谷歌為了向世人警醒AI風險，開發AI并不后悔

Hinton：

我離開谷歌并公開提出這個問題的一個原因是，曾有一位我尊敬的教授鼓勵我這樣做。他說：“Jeff，你需要站出來發言，因為人們對這種潛在危險根本無法察覺。”

那現在大家都聽到了。

主持人：

我認為在座的每個人都在傾聽。

最后一個問題，我們的時間快到了，但我想請教您，您是否后悔參與開發這個技術？

Hinton：

紐約時報記者曾非常努力地讓我說我后悔。最后，我告訴他，可能有點后悔。于是這被報道成了我后悔了。

但是，我并不認為我在研究過程中做出了任何錯誤的決定。在20世紀70年代和80年代進行人工神經網絡研究是完全合理的。這個階段的發展是無法預見的，直到最近，我還認為這場危機還遠未來臨。

所以，我并不真的為自己所做的事情感到后悔。

主持人：

謝謝您，Geoffrey。感謝您與我們分享您的見解。

Tags：INTTONNTOHINTGLINTStonkLeagueSantos FC Fan TokenSHINTAMA

FTT