2023年,投資機構與股民們,正向AI芯片領域的上市公司,發起奪命三連問:
你做存算一體芯片了嗎?
(投資者向瀾起科技提問 圖源:同花順財經)
存算一體芯片進度如何?
(投資者向東芯股份提問 圖源:同花順財經)
存算一體芯片前景如何?
(投資者向恒爍股份提問 圖源:同花順財經)
以上的一系列發問,意味著存算一體不再“停留”于學界與產界,儼然火到了二級市場:股民、券商機構正加班加點狂補存算一體的課,于是傳統芯片大廠從2023年初至今,一直被“拷問”存算一體的布局情況。
一個自然而然的疑問是,存算一體為何突然變得如此火爆?
7.14發布新存儲產品OceanStor A310的華為,給出了自己的答案。華為數據存儲產品線總裁周躍峰表示,在通用大模型與行業大模型的訓練推理中面臨著諸多數據難題:海量數據跨域歸集慢、預處理與訓練中數據交互效率低、數據安全流動難。
浙江發布元宇宙發展計劃,目標到2025年產業規模逾2000億元:金色財經報道,近日浙江省發展和改革委員會等5部門聯合印發了《浙江省元宇宙產業發展行動計劃(2023-2025年)》。該《行動計劃》中提到,到2025年浙江省元宇宙產業鏈體系基本形成,產業綜合競爭力達到全國領先,帶動相關產業規模2000億元以上。
據悉,這是繼上海、河南外,第三個省級層面的元宇宙專項政策。除了《浙江省元宇宙產業發展行動計劃(2023-2025年)》外,浙江多個城區也已布局“元宇宙”產業,并給予豐厚資助扶持相關企業的引進與培育。[2022/12/20 21:56:25]
AI大模型對存儲帶來了新的挑戰,比如穩定性相較于傳統AI更差,同時有大量的數據預處理和準備工作,需要用近存計算(存算一體的一種)來系統性處理這個問題。
那么,這里“大量的數據”究竟有多少?據偲睿洞察測算,現階段 ChatGPT 日活一億,若每日有5%的人每秒同時提問,將會吞噬三峽大壩近一年的發電量。
換言之,大模型正瘋狂索取算力,而以存算一體為代表的新興解決方案能夠解決大模型帶來的諸多挑戰。而事實上,大模型除了對算力提出嚴苛要求外,也給了AI芯片廠商“不少糖吃”。
本文試圖探究,大模型背景下,給了AI芯片廠商怎樣的好處?被ChatGPT“帶火”的存算一體廠商,未來格局如何?
PART-01 “福禍相依”的AI芯片廠商
大模型的風還在呼嘯,有關大模型的討論仍在如火如荼地進行。
隨著比特幣觸及2020年12月低點,加密股票在美股盤前走低:6月13日消息,加密貨幣和區塊鏈相關股票在盤前交易中下跌,反映出在更廣泛的避險環境中加密貨幣價格下跌。比特幣一度跌破3.4萬美元,為2020年12月以來新低,日內跌近10%;以太坊則跌超15%,至1223.20美元/枚,為2021年1月以來新低。加密貨幣貸款公司攝氏網絡表示,由于“極端的市場條件”,將暫停賬戶間的提款和轉賬。亞歐股市下跌,美股期貨大幅下挫,市場對通脹飆升和經濟增長乏力感到不安。2年期和10年期美國國債收益率曲線自4月以來首次倒掛,許多人認為這是美國或將在未來一兩年內陷入衰退的信號。[2022/6/13 4:23:24]
8月初,在中國計算機學會(CCF)人工智能會議分論壇——“見疆見昆侖·AI大模型算力前沿”上,專家學者們一致表示,大模型時代,智能算力成為“稀缺資產”,如何善用算力資源,發揮其最大效益,已經成為每個參與者必須面對的挑戰。
而光是GPT-3對算力索取量,保守情況下,需三峽大壩徹夜“打工”才能滿足:
假設有1億人同時在線,每日有5%的人每秒同時提問,每個prompt占30個token,便需要1530萬顆H100芯片來提供其推理算力;而每顆H100的功耗在750W左右,若每天運行10個小時,這些H100芯片所在的數據中心一年的耗電量將達到840億kW*h,而三峽大壩一年的發電量是882億kW*h。
俄羅斯央行:預計2020年經濟將萎縮4.5-5.5%:俄羅斯央行表示,預計2020年經濟將萎縮4.5-5.5%。放寬針對疫情的限制措施將有助于第三季度國內需求的復蘇。(金十)[2020/8/28]
讓AI芯片廠商更為焦慮的是,這還只是ChatGPT一個大模型在推理階段的耗電量,百家大模型全階段、全部運作的耗電量,難以估量。
于是,一系列新興的解決方案紛紛被廠商挖掘出來:存算一體、chiplet、HBM等等。在這之中,由于存算一體推翻了傳統馮諾依曼架構下的存儲墻,實實在在做到了降本增效,成為今年的“紫微星”。
(圖源:偲睿洞察《AI大算力芯片行業報告-百舸爭流,創新者先》)
除了新興方案涌現讓AI芯片廠商喘了一口氣之外,大模型也為芯片廠商尤其是初創芯片廠商,帶來一個利好消息:軟件生態重要性正在下降。
早先技術不夠成熟之時,研究者們只能從解決某個特定問題起步,參數量低于百萬的小模型由此誕生。例如谷歌旗下的AI公司DeepMind,讓AlphaGO對上百萬種人類專業選手的下棋步驟進行專項“學習”。
而小模型多了之后,硬件例如芯片的適配問題迫在眉睫。故,當英偉達推出統一生態CUDA之后,GPU+CUDA迅速博得計算機科學界認可,成為人工智能開發的標準配置。
Bakkt平臺2020年BTC期貨交易量很低,但未平倉量一直在增長:金色財經報道,根據skew markets提供的數據,自2020年初以來,Bakkt平臺上的BTC期貨交易量一直很低。但是,未平倉量一直在增長。BTC價格的影響在2月底開始顯現,自那以來,投資者的未平倉量隨著交易量的下降而下降。2月14日,Bakkt未平倉合約(OI)達到今年峰值的1900萬美元,但與此同時,BTC價格下跌,導致未平倉量降至1000萬美元。截至發稿時,這一數字約為500萬美元,急劇下降了74%。盡管未平倉合約有所下降,但最近幾天平臺上的交易量仍顯著增加。截至發稿時,Bakkt上的BTC期貨交易量約為1820萬美元。[2020/3/14]
現如今紛紛涌現的大模型具備多模態能力,能夠處理文本、圖片、編程等問題,也能夠覆蓋辦公、教育、醫療等多個垂直領域。這也就意味著,適應主流生態并非唯一的選擇:在大模型對芯片需求量暴漲之時,芯片廠商或許可以只適配1-2個大模型,便能完成以往多個小模型的訂單。
也就是說,ChatGPT的出現,為初創芯片廠商們提供了彎道超車的機會。這就意味著,AI芯片市場格局將發生巨變:不再是個別廠商的獨角戲,而是多個創新者的群戲。
當算力成為稀缺貨,同時適應主流生態不再成為必選項時,存算一體難掩光芒。此時,要不要投入,要投入多少,成為擺在AI芯片廠商面前的第二道難題。
對此,“過來人”芯片巨頭NVIDIA摸爬滾打多年給出的答案是,勇于創新,重金投入:
動態 | BM發布2020年推薦閱讀書單:BM發布其2020年的推薦讀物,希望每個人能從閱讀中獲得的知識和觀點收益。1. Atomic Habits,點評:養成閱讀的習慣,從這開始;2. Antifragile;3. Skin In The Game;4. 12 Rules For Life,點評:攻克混亂的法寶;5. The Four Acreements,點評:人身自由的使用指南,擺脫不健康的思維模式;6. The Fourth Phase of Water;7. The Biology of Belief;8. Folks, This Ain’t Normal ;9. Farm to Fork Meat Riot;10. Vaccines, Autoimmunity, and the Changing Nature of Childhood Illness;11.The Three Laws of Performance,點評:重寫你未來的組織和生活;12. The Flaw of Averages;13. Will You be Richer or Poorer。[2019/12/28]
每一個新興技術的研發廠商,在前期無疑要面臨技術探索碰壁,下游廠商不認同等各個層面的問題。而在早期,誰先預判到未來的發展趨勢,并勇于邁出探索的腳步,鋪下合理的資源去嘗試,就會搶到先機。
當數據中心浪潮還未鋪天蓋地襲來、人工智能訓練還是小眾領域之時,英偉達已經投入重金,研發通用計算GPU和統一編程軟件CUDA,為英偉達謀一個好差事——計算平臺。
而在當時,讓GPU可編程,是“無用且虧本”的:不知道其性能是否能夠翻倍,但產品研發會翻倍。為此,沒有客戶愿意為此買單。但預判到單一功能圖形處理器不是長遠之計的英偉達毅然決定,在所有產品線上都應用CUDA。
在芯東西與英偉達中國區工程和解決方案高級總監賴俊杰博士的采訪中,賴俊杰表示:“為了計算平臺這一愿景,早期黃仁勛快速調動了英偉達上上下下非常多的資源。”
遠見+重金投入,在2012年,英偉達拿到了創新者的獎勵:2012年,深度學習算法的計算表現轟動學術圈,作為高算力且更為通用、易用的生產力工具,GPU+CUDA迅速風靡計算機科學界,成為人工智能開發的“標配”。
在AI大算力芯片的征途上,存算一體芯片迎來了自己的“黃金期”,超前投入,是為正解。
PART-02 非技術、資金雄厚者,勿進
窺見到存算一體的種種好處,現階段,存算一體芯片玩家陣營日益龐大。
據偲睿洞察不完全統計,自2019年起,新增的AI芯片廠商,多數在布局存算一體:在2019-2021年新增的AI芯片廠商有20家,在這之中,有10家選擇存算一體路線。
這無一不說明著,存算一體將成為繼GPGPU、ASIC等架構后的,一顆冉冉升起的新星。而這顆新星,并不是誰都可以摘。
在學界、產界、資本一致看好存算一體的境況下,強勁的技術實力、扎實的人才儲備以及對遷移成本接受度的精準把控,是初創公司在業內保持競爭力的關鍵,也是擋在新玩家面前的三大門檻。
強勁的技術實力,永遠是芯片領域的最高山。
首先是存算一體“涉獵廣泛”,涉及到芯片制造的全環節:從最底層的器件,到電路設計,架構設計,工具鏈,再到軟件層的研發;其次是其“牽一發而動全身”:在每一層做相應改變的同時,還要考慮各層級之間的適配度。
我們一層一層來看,一顆存算一體芯片被造出來,有怎樣的技術難題。
首先,在器件選擇上,廠商就“如履薄冰”:存儲器設計決定芯片的良率,一旦方向錯誤將可能導致芯片無法量產。
其次是電路設計層面。電路層面有了器件之后,需要用其做存儲陣列的電路設計。而目前在電路設計上,存內計算沒有EDA工具指導,需要靠手動完成,無疑又大大增加了操作難度。
緊接著,架構層面有電路之后,需要做架構層的設計。每一個電路是一個基本的計算模塊,整個架構由不同模塊組成,存算一體模塊的設計決定了芯片的能效比。模擬電路會受到噪聲干擾,芯片受到噪聲影響后運轉起來會遇到很多問題。
這種情況下,需要芯片架構師足夠了解模擬存內計算的工藝特點,同時針對這些特點去設計架構,在此基礎上,還要考慮到架構與軟件開發的適配度。軟件層面架構設計完成后,還需要開發相應的工具鏈。
(圖源:偲睿洞察《AI大算力芯片行業報告-百舸爭流,創新者先》)
而由于存算一體的原始模型與傳統架構下的模型不同,編譯器要適配完全不同的存算一體架構,確保所有計算單元能夠映射到硬件上,并且順利運行。
一條完整的技術鏈條下來,考驗著器件、電路設計、架構設計、工具鏈、軟件層開發各個環節的能力,與協調各個環節的適配能力,是耗時耗力耗錢的持久戰。
同時,根據以上環節操作流程可以看到,存算一體芯片亟需經驗豐富的電路設計師、芯片架構師。
鑒于存算一體的特殊性,能夠做成存算一體的公司在人員儲備上需要有以下兩點特征:
1、帶頭人需有足夠魄力。在器件選擇(RRAM、SRAM等)、計算模式(傳統馮諾依曼、存算一體等)的選擇上要有清晰的思路。這是因為,存算一體作為一項顛覆、創新技術,無人引領,試錯成本極高。能夠實現商業化的企業,創始人往往具備豐富的產業界、大廠經驗和學術背景,能夠帶領團隊快速完成產品迭代。
2、在核心團隊中,需要在技術的各個層級中配備經驗豐富的人才。例如架構師,其是團隊的核心。架構師需要對底層硬件,軟件工具有深厚的理解和認知,能夠把構想中的存算架構通過技術實現出來,最終達成產品落地;
3、此外,據量子位報告顯示,國內缺乏電路設計的高端人才,尤其在混合電路領域。存內計算涉及大量的模擬電路設計,與強調團隊協作的數字電路設計相比,模擬電路設計需要對于工藝、設計、版圖、模型pdk以及封裝都極度熟悉的個人設計師。
而這一系列的人才與技術,都要以落地效果為終極目標——落地才是第一生產力。在交付時,客戶考量的并不僅僅是存算一體技術,而是相較于以往產品而言,存算一體整體SoC的能效比、面效比和易用性等性能指標是否有足夠的提升,更重要的是,遷移成本是否在承受范圍內。
如果選擇新的芯片提升算法表現力需要重新學習一套編程體系,在模型遷移上所花的人工成本高出購買一個新GPU的成本,那么客戶大概率不會選擇使用新的芯片。
因此,存算一體在落地過程中是否能將遷移成本降到最低,是客戶在選擇產品時的關鍵因素。
在大模型背景下,存算一體芯片憑借著低功耗但高能效比的特性,正成為芯片賽道,冉冉升起的一顆新星。現如今,存算一體市場風云未定,仍處于“小荷才露尖尖角”階段。
但我們不可否認的是,存算一體玩家已然構筑了三大高墻,非技術實力雄厚,人才儲備扎實者,勿進。
36氪
媒體專欄
閱讀更多
金色財經 善歐巴
元宇宙Lab
比推 Bitpush News
Tags:元宇宙THEBTCGPT數字孿生和元宇宙的區別togetherbnb游戲全攻略第二部分Lbtc閃電比特幣arbgpt幣團隊
導讀 在以太坊上海升級后,LSDfi、ETH 衍生品無疑成為了熱議的話題與敘事,也成為資金追捧的賽道.
1900/1/1 0:00:00眾所周知,比特幣是一種高波動性資產。然而當前比特幣市場波動性正在被極度壓縮。這究竟是因為比特幣已經失去了高波動性,還是因為市場被錯誤定價? 摘要 ? 眾所周知,比特幣價格的波動一向非常劇烈,而當.
1900/1/1 0:00:00作者簡介:鄧建鵬,中央財經大學法學院教授,博士生導師,北京 100081基金信息: 中央財經大學新興交叉學科建設項目“金融系統安全與區塊鏈監管科技”(2021-03)本文發.
1900/1/1 0:00:00整理:FunBlocks 演講者:Will Robinson,視頻鏈接本文是AllianceDao的Will Robinson在ETHCC上的演講全文,由FunBlocks整理.
1900/1/1 0:00:00作者:jk 本周一,PayPal 推出了其最新的 ERC-20 穩定幣 PYUSD.
1900/1/1 0:00:00作者:Felix, PANews與 Coinbase 和 Binance US 與美國監管機構 SEC 持續叫板不同,另一家美國老牌交易所 Bittrex 選擇了支付罰金與 SEC 和解.
1900/1/1 0:00:00