PIN:IPFS存儲一致性難題？IPFS-Cluster幫你解決_UST

引?言

星際文件系統是一個旨在創建持久且分布式存儲和共享文件的網絡傳輸協議。它是一種內容可尋址的點對點超媒體分發協議。在IPFS網絡中的節點將構成一個分布式文件系統。

在IPFS網絡中，文件是拆分后存儲在不同節點的，每個節點存儲的內容并不相同，當我們使用IPFS私有網絡來作為系統的文件系統時就存在存儲一致性問題，如單個節點的故障導致存儲的文件不可用。

IPFS-Cluster項目很好地解決了私有IPFS網絡數據可用性問題，IPFS-Cluster通過給IPFS網絡添加一層分布式共識協議，從而保證IPFS集群節點存儲內容的一致性。IPFS-Cluster也是分布式的系統，附加在IPFS節點之上，通過維護全局一致Pinset并和IPFS交互來構建一致性存儲。

圖1?IPFS-Cluster示意圖

IPFS-Cluster架構介紹

IPFS-Cluste是由各功能組件構成的，所以首先需要對組件化及各組件功能進行簡單介紹；然后介紹使用IPFS-Cluster進行文件Pin操作的工作流程，與IPFSPin文件工作流程進行對比；Consensus組件是IPFS-Cluster能夠完成分布式一致性存儲的核心，最后會介紹基于“Raft”的強一致性分布式共識組件，和基于“Merkle-CRDT”的最終一致性共識組件。

金色算力云梅洪睿：IPFS分布式存儲實現低成本存儲數據，保證數據安全性:近日，金色算力云合伙人梅洪睿受邀參加由FinWex、幣安中國區塊鏈研究院、臨港區塊鏈技術研究院等聯合主辦的上海IFIC數字新基建峰會。梅洪睿在分享中表示，今年國家把新基建提到一個非常高的戰略層面，面對這個戰略布局，意味著無限機會和可能性。IPFS分布式存儲項目，未來能解決低成本存儲數據的需求，同時也能保證數據的安全性和數據由個人所有。作為IPFS生態中的代幣Filecoin也具有巨大的價值潛力，金色算力云從多個維度思考，推出滿足不同投資需求的云算力產品，促使每一位投資者都可以抓住機遇發展，享受到風口帶來的紅利。

金色算力云是由金色財經推出的算力銷售平臺，公司與行業領先的礦機廠商合作，為用戶提供便捷安全的挖礦服務。基于團隊的專業性，公司先后獲得節點資本、ChainUP Capital百萬美元的投資。[2020/9/19]

圖2?IPFS組件結構示意圖

▲?組件化設計

IPFS產業生態基金正式成立，由啟賦資本、盈創資本和XnMatrix共同發起:8月27日，由海南省工信廳指導，海南安邁云網絡技術有限公司主辦，海南自貿區(港)區塊鏈試驗區協辦的XnMatrix云海興潮下一代云計算平臺與IPFS分布式存儲生態啟動會在海南省澄邁縣舉辦。

XnMatrix董事長吳文杰在演講中表示，人工智能和大數據的發展,推動了數字文明時代的到來。在數字文明世界里,算力是能源，存儲是土壤，算法是生命法則，共識成為社會規則，基于不可篡改的記錄，以及可驗證參與者身份的區塊鏈系統，個體或組織的各種活動將共同創建一個更文明、有序、高效的數字社會。

活動現場進行了XnMatrix數字文明戰略及產品發布，同時，IPFS產業生態基金正式宣布成立。據悉，該基金由啟賦資本、盈創資本和XnMatrix共同發起，旨在深度參與孵化基于IPFS分布式存儲項目，給予資金、資源、技術、運營等在內的全方位支持。目前該基金主要投資技術方向的早期項目，基金規模視具體項目的投資金額而定。啟賦資本聯合創始人顧凱、XnMatrix董事糜佳、盈創資本創始合伙人易宇參與成立儀式。[2020/8/27]

IPFS-Cluster基于組件化設計，同節點的各組件之間通過內部RPC進行通信，此方案很容易把各組件部署到不同的機器，是一種極其容易擴展的架構設計。

火幣研究院：IPFS將引領Web3.0時代存儲變革:7月24日晚8點，火幣研究院直播欄目《洞若觀火的研究員》正式上線，本次直播首秀主題為“區塊鏈行業最強智庫天團——火幣研究院巔峰成團夜”。

在《IPFS的征途和遠方：Web3.0時代存儲變革》環節，火幣研究院對于IPFS概念、背景、技術基石、Web3.0時代存儲變革進行了深入分析。詳情點擊原文鏈接。[2020/7/24]

IPFS-Cluster由以下8個組件組成：

Consensus共識組件:?負責在集群節點之間實現一致性，使所有節點的Pinset保持一致，并且管理節點的加入及退出。目前支持兩種共識算法“Merkle-CRDT”和“Raft”。

PinTracker組件:PinTracker處于共識組件和IPFS中間層，PinTracker接收并維護Consensus組件發送的Pin操作，通過RPC組件將Pin操作發送到IPFS。

PeerMonitor組件:?負責維護集群節點的狀態，PeerMonitor周期性的檢查節點存活狀態。

State組件:存儲Pin操作的數據庫，便于對Pin操作進行增、刪、查等操作。

“IPFS云管算力”第三期BGO認購專場于7月4日16:00開啟:據官方消息，管交所BGOEX“IPFS云管算力”第三期BGO認購專場于7月4日16:00開啟，至7月5日12：00結束，價格2000BGO/TB，總量2000T。“IPFS云管算力”由管交所BGOEX推出的一項支持用戶按T和周期租賃IPFS云算力并享有挖礦權益的業務，該算力依托知名礦池而建。基于深厚的技術經驗和成功的產品經驗，在同等硬件條件下將獲得更高的挖礦效率，專業化運維讓產品和服務更安全且穩定。[2020/7/4]

RestApi組件:該組件提供了基于HTTP的ClusterPeer功能的訪問服務器。

IPFSProxy組件:是一個代理endpoint，可以用來調用IPFS-Cluster連接的IPFS。某些請求比如Pin/Unpin等會被攔截并觸發IPFS-Cluster集群操作，從而操作會在集群所有節點執行。未被攔截的請求都直接轉發Cluster所連接的IPFSDeamon。

Allocator/Informer組件:Informer組件用于監控系統的硬盤使用情況、Pin操作的數量。Allocator組件用來選擇文件Pin到的具體節點，系統可以根據硬盤使用情況來選擇文件存儲到的節點，把文件存儲到特定的節點。

金色相對論丨林念龍：IPFS礦機技術門檻低 但技術很牛:本期金色相對論在討論上，在討論IPFS礦機熱話題時，蜂窩聯合創始人林念龍認為：有硬盤和帶寬的機器，理論上都可以叫IPFS礦機，比顯卡機技術門檻還低。目前ASIC的廠商估計都看不上，深圳一堆的電子廠都可以做出來，當然IPFS這個技術的確很牛。同時林念龍還表示還是老老實實挖大幣種BTC，盤子大不易砸。小幣種礦機挖礦收益純拼運氣和手速，晚一天，都會賠進去的感覺，比如迅雷的玩客云。[2018/6/27]

RPC組件:?系統使用內部RPC在同節點各組件間進行通信，外部RPC在不同節點各組件間進行通信，提高了系統的可擴展性。

▲?Pin處理流程

當使用IPFS-Cluster添加內容時和IPFSadd命令添加內容命令的選項基本相同。但是IPFSadd命令僅將內容添加到本地IPFS，IPFS-Cluster同時添加到多個集群節點連接的IPFS，具體添加到多少個節點依靠ReplicationFactors參數控制。

Pin和Unpin是集群操作的核心，涉及多個內部組件，但有兩個主要階段：

ClusterPin階段：持久化Pin操作，并通過共識組件廣播給其他集群節點。

首先接收到一個Pin請求，請求包括特定參數。

根據參數會選擇Pin到哪個節點，ReplicationFactors決定多少副本，磁盤空間決定選擇哪個節點來進行存儲。

共識組件負責將Pin請求廣播到集群其它節點。

IPFSPin階段：被指定的IPFS負責將文件內容成功Pin到本地。當Cluster-Pinning階段完成，每個節點會被通知有個新的Pin工作，如果節點在配置列表中，會調用IPFS來進行Pin操作。

PinTracker組件開始追蹤CID。

如果分配到節點，IPFSPinadd操作被執行。

PinTracker會等待IPFSPinadd操作完成，如果Pin出現錯誤則會進行上報處理。

這兩個階段是異步處理的，ClusterPin階段處理后就會給用戶返回應答，IPFS-Pinning階段處理比較慢，由PinTracker對Pin過程進行管理。如果IPFSPin失敗,或Pin超時失敗，Cluster會接收異常情況，并定期運行Recover功能來進行異常處理。

▲?Consensus共識組件

共識組件主要職責：

管理全局Pinset集合，包括從其它節點獲取或者向其它節點發送Pin操作命令。

管理Pinset相關的文件在IPFS中的持久化存儲。

在所有的節點間實現分布式一致，所有的節點需要收斂相同的Pinset。

管理集群節點，包括節點加入離開，設置節點間的管理機制。

設置節點信任機制，定義哪些節點可以訪問本地RPC服務。

IPFS-Cluster共識組件目前有兩種具體實現，基于“Raft”的強一致性分布式共識，和基于“Merkle-CRDT”的最終一致性共識。基于“Raft”的強一致性共識，對任何一個節點發起請求都會得到相同的回復，但將產生相對高的延遲；基于“Merkle-CRDT”的最終一致性共識具有更低的響應延遲，但可能會回復過期的數據，最終一致性即是經過一段時間后終會到達一致的弱一致性。

▲?基于Raft共識算法實現

(1)通過將更新直接發送到連接的每個節點來發布更新。

(2)在本地BoltDB保存所有的持久化數據。

(3)使用Raft共識來獲得強一致性。集群選出一個Leader負責提交每個請求的日志，必須群集中超過一半的節點確認才能使操作有效。可以僅將追加日志合并并壓縮為快照，然后將其發送給新的節點方。

(4)相信所有節點，所有節點都可以申請加入Raft集群，并且所有節點可以和其它節點進行網絡通信，前提是他們都知道私有網絡的ClusterSecret。

▲?基于Merkle-CRDT?實現

CRDT是Conflict-FreeReplicatedDataTypes的縮寫，即“無沖突可復制數據類型”。Merkle-CRDT是IPFS-Cluster默認的共識組件實現。

(1)通過libp2p的pubsub組件來廣播Pinset更新，通過DHT+Bitswap來定位并交換數據。

(2)在本地BoltDB保存所有的持久化數據。

(3)使用Merkle-CRDTs來達成最終一致性。Merkle-CRDTs是CRDT一種改進，使用Merkle-DAG作為共識的邏輯時鐘，Merkle-DAG中每個Node代表一個操作，前一個操作Node作為后一個操作Node的Parent。這樣不同節點間只需要對比并同步Merkle-DAG數據結構即可維持操作的一致性。Merkle-DAGs作為邏輯時鐘是只增的，不能修改的。當新的節點加入時需要從RootNode開始遍歷整個Merkle-DAG，當Merkle-DAG深度比較大時，這可能導致新節點加入處理流程過慢。

(4)不需要執行任何Peerset管理。通過pubsub收到“Ping”的每個對等方都被視為集群的成員。

IPFS-Cluster總結

IPFS-Cluster作為IPFS網絡的附加層，通過添加分布式共識算法達到了IPFS集群存儲的一致性。此方案可以將IPFS私有網絡打造成高可用存儲系統，也可以用來提高IPFS的穩定性。基于內部RPC的組件化設計非常適合分布式系統，整個系統可以很方便的擴展并部署到不同的節點。

當然，目前IPFS-Cluster還不支持基于文件系統的一致性存儲操作，以集群形式添加的文件在IPFS中存儲為Block格式，并不支持整個文件系統狀態的分布式一致性維護。

作者簡介

馬耀耀

來自數據網格實驗室BitXMesh團隊研究方向：P2P網絡、數據安全傳輸

Tags：PINCLULUSUSTpinetworkdefi幣怎么退出熱門了Figments ClubFootie PlusTRUSTNFT

Fil