Huobi:“大廠壟斷大模型”，會被開源終結嗎？_Opennity

來源：阿爾法工場

最近，正在進行AI大戰的各個大廠，被谷歌泄漏的一份內部文件，翻開了窘迫的一面。

這份泄露的內部文件聲稱：“我們沒有‘護城河’，OpenAI也沒有。當我們還在爭吵時，第三個方已經悄悄地搶了我們的飯碗——開源。”

這份文件認為，現在的一些開源模型，一直在照搬谷歌、微軟這些大廠的勞動成果，并且雙方差距正在以驚人的速度縮小。開源模型更快、可定制性更強、更私密，而且功能性也不落下風。

比如，這些開源模型可以用100美元外加13B參數，加上幾個禮拜的時間就能出爐，而谷歌這樣的大廠，要想訓練大模型，則需要面對千萬美元的成本和540B參數，以及長達數月的訓練周期。

那么，事實是否真的像這份文件所說的那樣，谷歌和OpenAI在AI方面的種種積累，最終真的會敗給一群隱藏在民間的“草頭俠”？

所謂“大廠壟斷大模型”的時代，真的要終結了嗎？

要回答這個問題，我們就得先了解下目前開源模型的生態，看看這些如雨后春筍般涌現的開源模型，究竟是如何一步步蠶食谷歌這些“正規軍”的江山的。

Huobi發文回應“封禁用戶賬戶”、“大量裁員且拒絕溝通”等市場質疑:1月20日消息，Huobi官方針對近期市場上對該平臺的諸多質疑發布文章予以回應。針對封禁獲利用戶賬號一事，Huobi表示，幾個因異常行為被凍結的賬戶，其特點是平時沒有交易行為，但這些賬戶一直在頻繁交易Huobi新上線的Token以及Huobi生態Token，同時資產轉入轉出的速度很快。經查，這些賬戶多次獲利異常，且獲利資金被迅速轉移走，這顯然是老鼠倉交易的特征。Huobi對老鼠交易零容忍。在新的管理層帶領下，Huobi將繼續深入審計，追究責任人責任，適時公開信息。

針對裁員問題，Huobi表示，人員優化是企業在低迷時期的最終解決方案。除了Huobi，大量加密行業公司同樣在大量裁員以應對加密寒冬，而裁員也是為了保護廣大員工的利益，保證公司能夠生存下去。一旦公司倒閉，只會損害更多人的利益。據了解，Huobi的人員優化方案不低于行業平均水平。針對“屏蔽內部溝通渠道”的問題，Huobi表示，公司要實施涉及公司所有員工的任何政策都會通過內部公告或電子郵件通知員工，且Huobi員工與人力資源部門的溝通渠道一直是暢通的。[2023/1/20 11:22:29]

01異軍突起的開源模型

其實，最早的開源模型，其誕生完全是一場“偶然”。

今年2月，Meta發布了自家的大型語言模型LLaMA，參數量從70億到650億不等，并僅用130億的參數，就在大多數基準測試下超越了GPT-3。

潘興廣場CEO：料秋季美國經濟將“大幅”膨脹:對沖基金潘興廣場首席執行官Bill Ackman在接受CNBC采訪時表示，他認為大家已經厭倦了疫情以來“躲躲藏藏”式的生活，美國經濟將在秋季“大幅”膨脹，人們9月份會紛紛返回工作崗位。

他認為通脹被低估了，CPI數據的采集方式意味著房地產市場的實際狀況被低估了。此外，實際薪資通脹“根本”不是暫時性的。利率正在上升，短期利率將不得不“比人們想象的快得多”地上漲。 （金十）[2021/7/19 1:03:09]

但萬萬沒想到的是，剛發布沒幾天，LLaMA的模型文件就被泄露了。

至此之后，開源模型的浪潮就如決堤一般，變得一發不可收拾。

如八仙過海一般的ChatGPT開源替代品——「羊駝家族」，隨即粉墨登場。

與ChatGPT這類大模型相比，此類開源模型最顯著的特點，就是訓練成本與時間都極其低廉。

以LlaMA的衍生模型Alpaca為例，其訓練成本僅用了52k數據和600美元。

然而，如果開源光靠低成本，還不足以讓谷歌這類大廠感到威脅，重要的是，在極低的訓練成本下，這些開源模型還能屢次達到和GPT-3.5匹敵的性能。

全國政協委員林武：應籌劃“大灣區數字貨幣先行區”:11月8日消息，全國政協委員、中山大學粵港澳發展研究院理事長林武在第三屆粵港澳大灣區金融發展論壇上表示， 應籌劃“大灣區數字貨幣先行區”，他認為數字化金融服務體系創新有助于提升大灣區人民幣的國際化水平。（南方都市報）[2020/11/8 12:00:54]

這下谷歌和OpenAI就坐不住了。

斯坦福研究者對GPT-3.5和Alpaca7B進行了比較，發現這兩個模型的性能非常相似。Alpaca在與GPT-3.5的比較中，獲勝次數為90對89。

重點來了：這些開源模型，究竟是怎么做到這點的？

斯坦福團隊的答案是兩點：1、一個強大的預訓練語言模型；2、一個高質量的指令遵循數據。

在這里，我們將強大的預訓練語言模型，比喻為一位有著豐富知識和經驗的老師。

對于自然語言處理領域的任務，強大的預訓練語言模型，可以利用大規模的文本數據進行訓練，學習到自然語言的模式和規律，并且可以幫助指令遵循等任務的模型更好地理解和生成文本，提高模型的表達和理解能力。

這就相當于學生使用老師的知識和經驗，來提高語言能力，指令遵循等任務的模型可以使用預訓練語言模型的知識和經驗來提高自己的表現。

動態 | 日本經濟產業省發布“大學、研究機構采用區塊鏈技術的可能性”主題報告:據日本經濟產業省官網消息。4月23日，日本經濟產業省發布了以“大學、研究機構采用區塊鏈技術的可能性”為主題的調查報道。 報告提到，雖然區塊鏈技術仍處于發展之中，但其可以根據需要應用于各個領域，有必要分析該技術投入實用的需求和問題，并確保區塊鏈的持久性。在“學位、履歷管理”領域，區塊鏈技術可用于“正確核實任何已不復存在的發行人過去曾簽發的證書”，這在現有制度下是很難做到的。而在“研究數據可信度擔保”領域，海內外已有一些組織正運行著具有一定可性度的中心化系統，只要這些系統具有成本優勢且功能正常，就沒有必要強行應用區塊鏈技術。 報告總結到，隨著（日本）加密貨幣交易市場的日益活躍，以金融機構為中心的區塊鏈技術應用研究開發、技術實驗也日趨活躍。從國際競爭力的角度考慮，有必要穩步發展區塊鏈技術，并將標準化工作與推廣切實聯系起來。[2019/4/23]

除了借助這位“老師”的知識外，開源模型的另一“利刃”，就是指令微調。

指令微調，或指令調優，是指現有的大語言模型生成指令遵循數據后，對數據進行優化的過程。

具體來說，指令微調是指在生成的指令數據中，對一些不合適或錯誤的指令進行修正，使其更符合實際應用場景。

比特幣“大咖”泰勒·文克萊沃斯：萊特幣是比特幣的“測試網“:據inverse報道，比特幣“大咖”泰勒·文克萊沃斯稱萊特幣是比特幣的“測試網（testnet）”，他認為萊特幣基本上是用于潛在比特幣功能的測試，而且是嚴格按照替代比特幣區塊鏈測試目的設計的。[2018/3/2]

而指令調優是指在生成的指令數據中，對一些重要、復雜或容易出錯的指令進行加重或重復，以提高指令遵循模型對這些指令的理解和表現能力。

憑借著這樣的“微調”，人們可以生成更準確、更有針對性的指令遵循數據，從而提高開源模型在特定任務上的表現能力。

如此一來，即使只用很少的數據，開源社區也能訓練出性能匹敵ChatGPT的新模型。

然而，又一個問題是：面對自己辛苦打下的江山，被開源社區用“四兩撥千斤”的方式步步蠶食，谷歌和OpenAI為何一直沒有予以反制呢？

哪怕是如法炮制，以攻，推出同樣快速迭代的小模型，也不失為一種破局之策啊。

02騎虎難下

實際上，谷歌這樣的頭部企業，不是沒有意識到開源的優勢。

在那份泄漏的文件中，谷歌就提到：幾乎任何人都能按照自己的想法實現模型微調，到時候一天之內的訓練周期將成為常態。以這樣的速度，微調的累積效應將很快幫助小模型克服體量上的劣勢。

可問題是，身為AI領域巨頭的谷歌和OpenAI，既不能，也不愿完全放棄訓練成本高昂的大參數模型。

從某種程度上說，這是其保證自身優勢地位的必要手段。

作為AI領域的巨頭，谷歌和OpenAI需要不斷提升自己的技術實力和創新能力。而傳統的大參數訓練模型，則是提供這一探索和創新的必經之路。

因為大模型的底層技術若想取得突破，AI領域的研究者和科學家，就需要更深入地理解模型和算法的基本原理，探索AI技術的局限性和發展方向，這需要進行大量的理論研究、實驗驗證和數據探索，而不僅僅是微調和優化。

例如，在訓練大參數模型時，AI領域的科學家，可以探索模型的泛化能力和魯棒性，在不同的數據集和場景下評估模型的性能和效果。谷歌的BERT模型，也正是在此過程中得到了不斷強化。

同時，大參數模型的訓練，還可以幫助科學家探索模型的可解釋性和可視化，

例如，對今天的GPT來說至關重要的Transformer模型，雖然在性能上表現出色，但其內部結構和工作原理卻相對復雜，不利于理解和解釋。

通過大參數模型的訓練，人們可以可視化Transformer模型的內部結構和特征，從而更好地理解模型是如何對輸入進行編碼和處理的，并進一步提高模型的性能和應用效果。

因此，開源和微調的方式，雖然可以促進AI技術的快速發展和優化，但不足以替代對AI基礎問題的深入研究和探索。

但話說到這，一個十分尖銳的矛盾又擺了出來：一方面，谷歌和OpenAI不能放棄對大參數模型的研究，并堅持對其技術進行保密。但另一方面，免費、高質量的開源替代品，又讓谷歌等大廠的“燒錢”策略難以為繼。

因大模型耗費的巨大算力資源和數據，僅是在2022年，OpenAI總計花費就達到了5.4億美元，與之形成鮮明對比的，則是其產生的收入只有2800萬美元。

與此同時，開源社區的具有的靈活性上的優勢，也讓谷歌等大廠感到難以匹敵。

在那份泄漏的文件中，谷歌就認為：開源陣營真正的優勢在于“個人行為”。

相較于谷歌這些大廠，開源社區的參與者可以自由地探索和研究技術，不受任何限制和壓力，從而有更多機會發現新的技術方向和應用場景。

而谷歌研究和開發新技術時，則必須考慮產品的商業可行性和市場競爭力。這就對人才的研究方向產生了一定的限制和約束。

此外，由于保密協議的存在，谷歌的人才也難以像開源社區那樣，與外界充分地交流和分享技術研究的成果。

如果說，低價、靈活的開源模型，終將成為一種不可阻擋的趨勢，那么當谷歌等大廠面對這浩瀚的戰場時，又該怎樣在新時代生存下去呢？

03另辟蹊徑

倘若谷歌這樣的頭部企業，最終在開源陣營的攻勢下，選擇了“打不過就加入”的策略，那如何在開源的情況下，找到一條可行的商業路徑，就成了一件頭等大事。

畢竟，在目前的市場認知下，開源幾乎就等于“人人皆可免費使用。”

之前，StableDiffusion背后的明星公司——StabilityAI，就因為在開源后，沒有找到明確的盈利途徑，目前正面臨嚴重的財政危機，以至于到了快倒閉的地步。

不過，關于如何在開源的情況下實現盈利，業界也不是完全沒有先例可循。

例如，之前谷歌對Android系統的開源，就是一個經典的案例。

當年，由谷歌主導開發和推廣的Android系統開源后，谷歌仍然通過各種途徑，從Android操作系統的設備制造商那里獲取了收益。

具體來說，這些途徑可分為以下幾種：

1.收取授權費用：當設備制造商希望在其設備上預裝GooglePlay商店等谷歌應用和服務時，他們需要遵守谷歌的授權協議，并支付相應的授權費用。

2.推出定制設備：谷歌通過與設備制造商合作，推出一些定制的Android設備，如GooglePixel智能手機和GoogleNexus平板電腦等，并從中獲得收入。這些定制設備通常具有更高的價值和更好的性能，而且會預裝谷歌的應用和服務。

3.銷售應用：當設備使用者在GooglePlay商店中購買應用、游戲或媒體內容時，谷歌會從中提取一定的傭金。

雖然這些途徑的收益，也許并不像谷歌的主業——搜索和廣告那樣讓其賺得盆滿缽滿，但谷歌仍然從中獲得了各種“隱性收益”。

因為Android的存在，避免了某一家企業壟斷移動平臺的入口，只要互聯網是開放的，谷歌就能通過吸引更多人使用Android上的應用，來收集用戶的行為數據，對這些數據進行加工，從而使得廣告投放可以更加精準。

由此可見，開源模式并非與商業化的盈利模式完全沖突，這對于谷歌和開源社區的參與者而言，都是一種好事。

因為只有通過商業化途徑，源源不斷地為自身“造血”，谷歌和OpenAI等大廠，才能繼續承擔起訓練大參數模型所需的巨額成本。

而只有大參數模型的持續研發，各大開源社區，才能繼續以高性能、高質量的預訓練語言模型為基礎，微調出種類更多，應用場景更為豐富的開源模型。

基于這樣的關系，開源模型與封閉的大模型之間，其實不僅僅只是對立與競爭，同時也是一種互助共生的生態。

Tags：HuobiOBIPENNAIHuobi PolkadotHuobi Bitcoin CashOpennityBaby Doge Billionaire

歐易okex官網