AMA:兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_MPTC價格

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

美國兩大比特幣礦業公司在過去12個月的股價漲幅超300%:美國比特幣礦業公司排名前兩位的RiotBlockchain和MarathonPatentGroup在過去12個月的股價漲幅分別為492.6%和387%，增幅超越比特幣和以太坊。（CryptoBriefing）[2020/11/25 22:07:41]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

聲音 | 宋曉冬：隱私保護和擴容性是區塊鏈面臨的兩大難題:據網易科技報道，近日，加州大學伯克利分校計算機系教授、綠洲實驗室（Oasis Labs）創始人兼首席執行官宋曉冬表達了自己對區塊鏈技術未來發展的樂觀態度，并表示中國區塊鏈的發展前景廣闊。

宋曉冬認為，其實目前有很多人對區塊鏈技術存在誤解，懷著錯誤的觀念。一部分人誤以為區塊鏈技術本身就具有隱私性保護的特性。現在大多數區塊鏈平臺并沒有隱私保護的能力，智能合約上的數據和簽約其實都是公開的。

另一方面是可擴展性，宋曉冬認為“我覺得人們需要意識到，它不僅僅是指具備較高的TPS。為了支持區塊鏈在醫療保健、金融服務等領域得到實際應用，區塊鏈平臺還必須為復雜的智能合約提供可擴展性。我們希望在未來可以充分利用到區塊鏈技術。”[2018/12/7]

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

澳大利亞兩大銀行明確表態：不會阻止客戶進行比特幣交易:與勞埃德銀行集團、摩根大通、美國銀行和花旗銀行的態度不同，澳大利亞兩家大型銀行表示目前還沒有禁止其客戶使用信用卡和借記卡買賣比特幣的計劃。澳新銀行（ANZ Bank全澳四大銀行之一）告訴美國廣播公司，“不會禁止客戶購買數字或加密貨幣，或者接受其作為支付方式”。不過，該銀行的發言人也透露，若發現“異常行為”，將履行自己的監管義務。西太平洋銀行是澳大利亞市值第二大的銀行，該行發言人也表示：“我們目前沒有對使用信用卡購買加密貨幣設限。”澳大利亞國民銀行（NAB）暗示，如果某些安全標記被觸發，那么可能會限制部分“銀行卡交易”以降低客戶風險。但他們這樣的表態，似乎也說明了并沒有禁止客戶購買數字貨幣。[2018/2/7]

在各類性能評估中，與原版LLaMA不相上下。

美財長對加密貨幣的兩大擔憂：用于洗錢和是否會損害消費者利益:美國財政部長姆努欽1月12日表示，他對加密貨幣有兩大擔憂，一是加密貨幣是否用于洗錢等非法活動，二是消費者利益是否會受損。美國財政部很關注比特幣等加密貨幣的發展，美國金融穩定監督委員會已經成立工作小組監測此類虛擬貨幣。[2018/1/13]

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALAMALlamaMPTmetamask安裝包Calamari NetworkBABYLLAMAMPTC價格

狗狗幣最新價格