作者:Gryphsis Academy
截至 2023 年 6 月,去中心化存儲整體的存儲容量已超過 22000 PB(PB),在現有的存儲容量中,大約超 80% 的存儲容量由 Filecoin 提供,隨著人工智能和全鏈游戲等領域的興起,去中心化計算和存儲賽道有望迎來令人興奮的增長機會。
去中心化存儲是指單個實體或部分群體將其閑置存儲空間作為存儲網絡的單元,從而繞過 AWS 和谷歌云等中心化機構對數據的絕對控制。
低存儲成本、數據冗余備份和 token 經濟也是去中心化存儲的特點,大量的 Web3 應用程序都建立在這個基礎架構上。
截至 2023 年 6 月,去中心化存儲整體的存儲容量已超過 22000 PB(PB),而網絡利用率僅約為 20%。這表明未來有很大的增長空間。
在現有的存儲容量中,大約超 80% 的存儲容量由 Filecoin 提供,它無疑是該領域的領頭羊。Filecoin 還推出了 Filecoin Plus 和 FVM 等項目,以激勵開發者并促進生態系統發展。
像 Dropbox 和 Google Cloud 這樣的云存儲服務已經改變了我們在線存儲和共享大型文件(如視頻和照片)的方式。它們允許任何人以比購買新硬盤低得多的成本存儲幾 TB 的數據,并在需要時從任何設備訪問文件。然而,有一個問題:用戶必須依賴中心化實體的管理系統,這些實體可能隨時取消他們對賬戶的訪問權限,與政府機構共享他們的文件,甚至無故刪除文件。這種存儲模式導致數據資產的歸屬不清晰,并且實際上使得亞馬遜和谷歌等大型互聯網公司在數據方面壟斷。此外,中心化服務的停機時間經常會帶來災難性的后果。
存儲領域其實原生適用于去中心化應用。首先,它解決了用戶數據隱私和所有權等問題。存儲在去中心化文件服務上的文件不受任何中心化機構的影響,比如可能希望控制和審查內容的政府機構。它還可以防止私營公司采取諸如審查服務或與執法部門共享文件的事件。
其次,海量的數據存儲于索引本身就需要分布式系統來實現。現有的中心化云服務同樣使用著分布式的方案,如 Spanner、TiDB 等。可以說分布式并不意味著去中心化,但去中心化一定是分布式的。區別于中心化存儲的架構,現有的去中心化方案會將數據分成小塊并在加密后存儲在全球的各個節點上,這個過程會創建數據的多個副本并提高對數據丟失的恢復能力。
第三,解決了無效挖礦的資源消耗。比特幣的 PoW 機制造成的大量電能消耗一直以來被人所詬病,而去中心化存儲賦予了用戶成為節點的機會,可以通過閑置的存儲資源來進行挖礦并獲利。而大量的存儲節點,也意味著成本的降低,可以預見的是,去中心化的存儲云服務甚至能夠饞食一部分 Web2 云服務市場份額。在網絡帶寬、硬件服務不斷升級的今天,這是一個及其龐大的市場,根據 Business Research 預測,全球的數據庫市場將在 2028 年超過 1200 億美金。
2. 去中心化存儲架構
為了創建真正去中心化的應用程序,去中心化數據庫也應該包含在 Web3 應用程序架構中。其可以分為四個主要組件:智能合約層、文件存儲、數據庫和通用基礎設施層。
智能合約層相當于是 Layer1,而通用基礎設施層則包括但不限于預言機、RPC、訪問控制、身份、鏈下計算和索引網絡。
雖然用戶感知不明顯,但文件存儲和數據庫層在 Web3 應用程序的開發中都發揮著至關重要的作用。它們為存儲結構化和非結構化數據提供了必要的基礎架構,這是各種應用程序的要求。由于本報告的性質,下文將進一步詳細介紹這兩個組成部分。
像 Filecoin、Arweave 和 Crust 等 DFSNs 主要用于非結構化數據的持久存儲,這些數據不遵循預定義的格式,也不需要頻繁更新或檢索。因此,DFSNs 通常用于存儲各種靜態類型的數據,例如文本文檔、圖像、音頻文件和視頻。
分布式存儲體系結構中這種類型的數據的一個優點是能夠利用邊緣存儲設備或邊緣數據中心將數據存儲移動得更靠近終端。這種存儲方法提供了更低的網絡通信成本、更低的交互延遲和更低的帶寬開銷。它還提供了更大的適應性和可擴展性。例如,以 Storj 為例,1TB 的每月存儲成本為 4.00 美元,而市場領頭羊的企業云存儲解決方案 Amazon S3 對相同數量的數據每月收費約 23.00 美元。
與傳統的中心化云存儲解決方案相比,用戶可以從更具成本效益的存儲選項中受益。DFSNs 的去中心化特性還提供了更高的數據安全性、隱私性和控制性,因為數據分布在多個節點或礦工之間,而不是存儲在單個中心化服務器中。
在 DFSNs 中存儲非結構化文件的局限性是顯而易見的,特別是在高效的數據檢索和更新方面。對于需要頻繁更新的數據,這些體系結構不是最理想的選擇。在這種情況下,MySQL 和 Redis 等傳統數據庫是更適合開發人員的選項,它們在 Web2.0 的互聯網時代經過了廣泛的優化和測試。
數據:10.03億美元BTC和3.85億美元ETH期權合約將于2月3日到期交割:2月1日消息,Deribit 數據顯示,超過 10.03 億美元 BTC 和 3.85 億美元 ETH 的期權合約將于 2 月 3 日到期交割。其中 BTC 的最大痛點價格為 2.25 萬美元;ETH 的最大痛點價格為 1550 美元。[2023/2/1 11:40:01]
尤其是在區塊鏈游戲和社交網絡等應用中,存儲結構化數據是一個不可避免的要求。傳統數據庫提供了一種有效的方式來管理大量動態數據并控制對其的訪問。它們提供了索引、查詢和數據操作等功能,這些功能對依賴結構化數據的應用程序至關重要。因此,無論是基于 DFSNs 還是自研底層存儲。高性能、高可用性的去中心化數據庫是存儲領域的一個非常重要的分支。
在目前的 Web3 項目中,去中心化的文件存儲項目(DFSNs)大致可以分為兩類。第一類包括Filecoin 和 Crust 等基于 IPFS 實現的項目。第二類包括 AR、Sia 和 Storj 等項目,它們有自己的底層協議或存儲系統。盡管它們有不同的實施方法,但都面臨著相同的挑戰:確保真正去中心化存儲的同時實現高效的數據存儲和檢索。
由于區塊鏈本身不適合在鏈上存儲大量數據,相關成本和對區塊空間的影響使這種方法不切實際。因此,理想的去中心化存儲網絡必須能夠存儲、檢索和維護數據,同時確保網絡中的所有參與者的工作都受到激勵,并遵守去中心化系統的信任機制。
我們將從以下幾個方面評估幾個主流項目的技術特點和優缺點:
數據存儲格式:存儲協議層需要確定數據應該如何存儲,例如數據是否應該加密,以及數據應該作為一個整體存儲還是分成小的散列塊。
數據復制備份:需要決定將數據存儲在哪里,例如應該有多少節點保存數據,是否應該將所有數據復制到所有節點,或者每個節點是否應該接收不同的片段,以進一步保護數據隱私。數據存儲格式和傳播將決定網絡上數據可用性的概率,即設備隨時間發生故障時的持久性。
長期的數據可用性:網絡需要確保數據在應在何時何地可用。這意味著要設計激勵機制,防止存儲節點隨時間刪除舊數據。
存儲數據的證明:網絡不僅需要知道數據的存儲位置,而且存儲節點應該能夠證明他們確實存儲了他們想要存儲的數據,以確定激勵的份額。
存儲價格發現:預計節點將為文件的持續存儲付費。
正如剛剛提到的,Filecoin 和 Crust 使用 IPFS 作為網絡協議和通信層,用于在對等點之間傳輸文件并將其存儲在節點上。不同之處在于 Filecoin 使用擦除編碼(EC)來實現數據存儲的可擴展性。擦除編碼(EC)是一種數據保護方法,將數據劃分為片段,擴展和編碼冗余數據塊,并將其存儲在不同的位置,如磁盤、存儲節點或其他地理位置。EC 創建了一個數學函數來描述一組數字,允許檢查它們的準確性,并在其中一個數字丟失的情況下恢復它們。
Source: usenix
基本方程為 n=k+m,其中總數據塊等于原始數據塊加上校驗塊。
從 k 個原始數據塊中計算出 m 個校驗塊。將這 k+m 個數據塊分別存放在 k+m 個硬盤上,就能容忍任意 m 個硬盤故障。當出現硬盤故障時,只要任意選取 k 個幸存數據塊就能計算得到所有的原始數據塊。同理,如果將 k+m 個數據塊分散在不同的存儲節點上,就能容忍 m 個節點故障。
當新的數據要存儲在 Filecoin 網絡上時,用戶必須通過 Filecoin 存儲市場連接到一個存儲供應商,并協商存儲條款,然后再下一個存儲訂單。同時,用戶必須決定使用哪種類型的糾刪碼以及其中的復制因子。通過糾刪碼,數據被分解成恒定大小的片段,每個片段都被擴展,并對冗余數據進行編碼,因此,只有片段的一個子集才需要重建原始文件。復制因子指的是數據應該多長時間被復制到存儲礦工的更多存儲扇區。一旦存儲礦工和用戶就條款達成一致,數據就會被傳送到存儲礦工,并被存儲在存儲礦工的存儲扇區。
Crust 的數據存儲方式則不一樣,他們將數據復制到固定數量的節點:提交存儲訂單時,數據被加密并發送到至少 20 個 Crust IPFS 節點(節點數量可以調整)。在每個節點上,數據被分成許多較小的片段,這些片段被散列成 Merkle 樹。每個節點保留構成完整文件的所有片段。
Arweave 也同樣使用完整文件的復制,但 Arweave 采用了一些不同的方法。交易提交到 Arweave 網絡后,第一個單個節點會將數據作為塊存儲在 blockweave 上(Arweave 的區塊鏈表現形式)。從那里開始,一種稱為 Wildfire 的非常激進的算法確保數據在網絡上快速復制,因為為了讓任何節點挖掘下一個塊,它們必須證明他們可以訪問前一個塊。
Sia 和 Storj 同樣使用 EC 來存儲文件。實際上 Crust 的實現:20 個完整的數據集存儲在 20 個節點上是非常冗余的,但也會使數據非常耐用。可如果從帶寬的角度來看,這是非常低效的。糾刪碼提供了一種更有效的實現冗余的方法,通過提高數據的持久性而不會產生大的帶寬影響。Sia 和 Storj 直接將 EC 分片傳播到特定數量的節點,以滿足一定的持久性要求。
數據:9500萬枚USDT從未知錢包轉移至幣安:金色財經消息,據Whale Alert數據顯示,9500萬枚USDT從未知錢包轉移至幣安。[2022/8/6 12:05:35]
之所以要先說明數據存儲格式是因為技術路徑的選擇直接決定了各個協議在證明、激勵層的區別。即如何驗證要存儲在特定節點上的數據是否確實存儲在該特定節點上。只有在驗證發生之后,網絡才能使用其他機制來確保數據隨著時間的推移保持存儲(即,存儲節點不會在初始存儲操作后刪除數據)。
此類機制包括證明數據在特定時間段內存儲的算法、成功完成存儲請求持續時間的財務激勵以及對未完成請求的抑制等。本節將介紹每個協議的存儲及激勵協議。
在 Filecoin 上,存儲礦工在收到任何存儲請求之前,必須將抵押品存入網絡,作為向網絡提供存儲的承諾,完成后,礦工可以在存儲市場上提供存儲并為其服務定價。同時,Filecoin 創新性地提出了 PoRep 和 PoSt 來進行礦工的存儲驗證。
Source: Filecoin
復制副本證明(PoRep):礦工需要證明它們存儲了數據的獨特副本。獨特的編碼確保了同一份數據的兩個存儲交易無法重用同一個磁盤空間。
時空證明(PoSt):在存儲交易的生命周期內,存儲礦工需每 24 小時證明一次自己在持續劃撥專用存儲空間來存儲該數據。
在提交證明后存儲空間提供者會獲得 FIL 回報,若無法遵守承諾,其抵押的 token 就會被沒收(Slash)。
但隨著時間的推移,存儲礦工需要通過定期運行該算法來始終如一地證明他們對存儲數據的所有權。但是,像這樣的一致檢查需要大量帶寬。而 Filecoin 的新穎之處在于,為了證明數據隨時間存儲并減少帶寬使用,礦工使用前一個證明的輸出作為當前證明的輸入,按順序生成復制證明。這是通過多次迭代執行的,這些迭代表示數據要存儲的持續時間。
和 Filecoin 一樣,Crust 與 IPFS 的關系同樣是激勵層和存儲層的關系。在 Crust Network 中,節點還必須先存入抵押品,然后才能在網絡上接受存儲訂單。節點提供給網絡的存儲空間量決定了抵押品的最大數量,該抵押品被質押并允許節點參與在網絡上創建區塊。這種算法被稱為保證權益證明(Guaranteed Proof of Stake, GPoS),它保證只有在網絡中擁有權益的節點才能提供存儲空間。
Source: Crust Wiki
和 Filecoin 不一樣的是,Crust 的存儲價格發現機制依賴于 DSM,節點和用戶會自動連接到去中心化存儲市場 (DSM),該市場會自動選擇在哪些節點上存儲用戶的數據。存儲價格是根據用戶需求(例如存儲持續時間 storage duration 、存儲空間 storage space、復制因子 replication factor)和網絡因素(例如擁塞 congestion)確定的。當用戶提交存儲訂單時,數據將被發送到網絡上的多個節點,這些節點使用機器的可信執行環境 (TEE:Trusted Execution Environment) 拆分數據并散列碎片。由于 TEE 是一個封閉的硬件組件,即使硬件所有者也無法訪問,因此節點所有者無法自行重建文件。
文件存儲在節點上后,包含文件哈希的工作報告與節點的剩余存儲一起發布到 Crust 區塊鏈。從這里確保數據隨時間存儲,網絡定期請求隨機數據檢查:在 TEE 中,隨機 Merkle 樹哈希與相關文件片段一起被檢索,該文件片段被解密并重新散列。然后將新散列與預期散列進行比較。這種存儲證明的實現稱為有意義的工作證明(MPoW:Meaningful Proof of Work)。
GPoS 是一種以存儲資源定義額度的 PoS 共識算法。 通過第一層 MPoW 機制提供的工作量報告,Crust 鏈上可以獲得所有節點的存儲工作量,而第二層的 GPoS 算法,就是根據節點工作量為每個節點計算一個 Staking 額度。再根據這個額度,進行 PoS 共識。即出塊獎勵跟每個節點的抵押量成正比,而每個節點的抵押量上限,則受到節點提供存儲量的限制。
相比于前兩種定價模式,Arweave 使用非常不同的定價模型,核心在于,在 Arweave 上,所有存儲的數據都是永久的,其存儲價格取決于在網絡上存儲數據 200 年的成本。
Arweave 數據網絡的底層基于了 Bockweave 的區塊生成模式。典型的區塊鏈,如比特幣,是一條單鏈結構,即每個塊都將鏈接到鏈中的前一個區塊。而 blockweave 的網狀結構中,每個塊在前一個塊的基礎上,還將鏈接到區塊鏈先前歷史中的隨機回憶塊(recall block)。回憶塊由區塊歷史中前一個塊的哈希值和前一個塊的高度的決定,這是一種具有確定性但不可預測的方式。當礦工想挖掘或驗證新塊時,礦工需有權利訪問召回塊的信息。
Arweave 的 PoA 采用 RandomX 哈希算法,礦工的出塊概率 = 隨機召回區塊的概率 * 第一個找到哈希的概率。礦工需要通過 PoW 機制找到合適的哈希值來生成新區塊,但隨機數(Nounce)依賴于前一個區塊和任意隨機的回憶塊信息。回憶塊的隨機性使得礦工被鼓勵存儲更多的區塊,由此獲得相對較高的計算成功率及出塊獎勵。PoA 也激勵礦工存儲“稀缺塊”,即他人沒有存儲的區塊,來獲得更大的出塊概率和獎勵。
數據:美國比特幣礦工數量自去年9月增加一倍:7月17日消息,Okcoin首席營銷官HaiderSF發推表示,美國比特幣礦工自去年九月增加了一倍。[2021/7/17 0:59:07]
Source: Arweave Yellow Paper
當一次性收費即后續數據讀取為免費服務,可持續意味著用戶可隨時訪問數據,那如何長效激勵礦工愿意零收入的提供數據讀取服務呢?
在 BitTorrent 的博弈論策略 “optimistic tit-for-tat algorithm“設計中,節點是樂觀的,將與其他節點合作,不合作的行為將受到懲罰。基于此,Arweave 設計了 Wildfire,一個隱性激勵措施的節點評分系統。Arweave 網絡中的各個節點將根據接受數據量和反應速度對相鄰的各節點進行打分,節點將優先選擇排名較高的對等方發送請求。節點排名越高,其信用度越高,出塊的概率也就越大,獲取稀缺區塊可能性也越大。
Wildfire 實際上是博弈,是高度可擴展的游戲。節點間不存在“排名”共識,亦無義務報告排名的產生和確定,而節點間的”善惡“由自適應機制調節,以確定新行為出現的獎勵和懲罰。
與 Filecoin 和 Crust 一樣,存儲節點必須存入抵押品才能提供存儲服務。在 Sia 上,節點必須決定發布多少抵押品:抵押品直接影響用戶的存儲價格,但同時發布低抵押品意味著如果它們從網絡中消失,節點也沒有任何損失。這些力量將節點推向平衡抵押品。
用戶通過自動存儲市場連接到存儲節點,其功能類似于 Filecoin:節點設置存儲價格,用戶根據目標價格和預期存儲時長設置預期價格。然后用戶和節點會自動相互連接。
Source: Crypto Exchange
在這幾個項目當中, Sia 的共識協議使用了最簡單的方式:存儲合同上鏈。在用戶和節點就存儲合同達成一致后,資金被鎖定在合同中,并使用擦除編碼將數據分割成片段,每個片段使用不同的加密密鑰進行單獨散列,然后每個片段被復制到幾個不同的節點上。記錄在 Sia 區塊鏈上的存儲合同記錄了協議條款以及數據的 Merkle 樹哈希值。為了確保數據在預期的存儲時間內被存儲,存儲證明會定期提交給網絡。這些存儲證明是基于隨機選擇的原始存儲文件的一部分和記錄在區塊鏈上的文件的 Merkle 樹的哈希值列表而創建。節點在一段時間內提交的每一個存儲證明都會得到獎勵,最后在合約完成時得到獎勵。
在 Sia 上,存儲合同最長可以持續 90 天。要存儲超過 90 天的文件,用戶必須使用 Sia 客戶端軟件手動連接到網絡,以將合同再延長 90 天。Skynet 是 Sia 之上的另一層,類似于 Filecoins Web3.Storage 或 NFT.Storage 平臺,通過讓 Skynet 自己的客戶端軟件實例為用戶執行合同續期,為用戶自動完成這一過程。雖然這是一個變通辦法,但它不是一個 Sia 協議級別的解決方案。
在 Storj 去中心化存儲網絡中,沒有區塊鏈或類似區塊鏈的結構。沒有區塊鏈也意味著該網絡對其狀態沒有全網共識。相反,跟蹤數據存儲位置由衛星節點處理,數據存儲由存儲節點處理。衛星節點可以決定使用哪些存儲節點來存儲數據,存儲節點可以決定從哪些衛星節點接受存儲請求。
除了處理跨存儲節點的數據位置跟蹤外,衛星還負責存儲節點的存儲和帶寬使用的計費和支付。在這種安排下,存儲節點設置自己的價格,只要用戶愿意支付這些價格,衛星就會將它們相互連接起來。
Source: Storj GitHub
當用戶想要在 Storj 上存儲數據時,用戶必須選擇一個衛星節點來連接并共享其特定的存儲要求。衛星節點然后會挑選出滿足存儲需求的存儲節點,并將存儲節點與用戶連接起來。然后用戶直接將文件傳輸到存儲節點,同時向衛星付款。然后,衛星每月為保存的文件和使用的帶寬支付存儲節點費用。
這樣的技術方案其實是非常中心化的,衛星節點的開發完全由項目方來定義,也意味著項目方掌握了定價權。雖然中心化的架構也為 Storj 帶來性能高效的服務,但正如開頭說到,分布式存儲并不一定等于去中心化。Storj 在以太坊上發布的 ERC-20 代幣 Storj 也并沒有用到任何智能合約的功能,其本質上只是提供了一種多樣的支付方式。
這和 Storj 的商業模式有很大關系,他們主打企業級的存儲服務,直接對標亞馬遜的 S3 服務,并與 Microsoft Azure 建立了合作伙伴關系,希望為企業提供各項性能指標都堪比、甚至超越亞馬遜存儲的服務。在性能數據未知的情況下,他們存儲的成本確實比亞馬遜要劃算很多,一定程度上可以說明去中心化存儲的商業模式是能夠走得通的。
技術路徑的選擇也在一定程度上影響了代幣模型的設計。四個主要的去中心化存儲網絡中的每一個都有自己的經濟模型。
Bitget合約大數據中心:BTC打破阻礙 目前處于回調階段:據Bitget合約大數據中心行情播報,截至今日11:00,Bitget交易所BTC/USDT合約過去24小時交易量高達11.6億美金,其中:盈利用戶占比43%,多頭盈利27%,空頭盈利24%;虧損用戶占57%,多頭虧損27%,空頭虧損22%。此外,Bitget正向合約當前盤口價差在0.5USDT左右,合約基差在0.2USDT左右。Bitget合約分析師表示,BTC四小時線看,布林帶開口狀態,MACD綠色動能持續增量。[2020/9/2]
Filecoin、Crust 和 Sia 都使用 Stake for Access(SFA)的代幣模型。在這種模式下,存儲提供商必須鎖定網絡的本機資產才能接受存儲交易。鎖定的數量與存儲提供商可以存儲的數據量成比例。這就產生了一種情況,存儲提供商在存儲更多數據時必須增加其抵押品,從而增加對網絡本地資產的需求。理論上,資產的價格應該隨著網絡上存儲的數據量的增加而增加。
Arweave 則利用了一種獨特的捐贈代幣模型,其中每筆交易的一次性存儲費的很大一部分被添加到捐贈池中。隨著時間的推移,捐贈池中的代幣以存儲購買力的形式積累利息。隨著時間的推移,捐贈將分配給礦工,以確保數據在網絡上的持久性。這種捐贈模式有效地長期鎖定了代幣:隨著 Arweave 上存儲需求的增加,更多的代幣被從流通中移除。
與其他三種網絡相比,Storj的代幣模型是最簡單的。它的 token $STORJ 用作網絡上存儲服務的支付手段,對于終端用戶和存儲提供商來說都是如此,所有其他網絡也是如此。因此,$STORJ 的價格是對 $STORJ 服務需求的直接函數。
很難說某一個存儲網絡在客觀上比另一個好。在設計去中心化存儲網絡時,沒有單一的最佳解決方案。根據網絡的目的及其試圖解決的問題,必須在技術設計、代幣經濟、社區建設等方面進行權衡。
Filecoin 主要面向企業和應用開發,提供冷存儲解決方案。它具有競爭力的價格和可訪問性,使其成為 Web2 實體為大量歸檔數據尋求經濟高效存儲的一種有吸引力的替代方案。
Crust 確保了過量冗余和快速檢索,使其適用于高流量的 dApp 和流行 NFT 數據的高效檢索。然而,它缺乏持久冗余嚴重影響了它提供永久存儲的能力。
Arweave 以其永久存儲的概念從其他去中心化存儲網絡中脫穎而出,這在存儲 Web3 數據(如區塊鏈狀態數據和NFT)方面尤其流行。其他網絡主要針對熱存儲或冷存儲進行優化。
Sia 瞄準了熱存儲市場,主要專注于尋求具有快速檢索時間的完全去中心化和私有存儲解決方案的開發人員。雖然它目前缺乏本地 AWS S3兼容性,但像 Filebase 這樣的訪問層提供了這樣的服務。
Storj 似乎更全面,但犧牲了一些去中心化。Storj 顯著降低了 AWS 用戶的進入門檻,迎合了企業熱存儲優化的關鍵目標受眾。它提供與 AmazonS3 兼容的云存儲。
在生態系統建設方面,我們主要可以討論兩個類型:第一類是上層 Dapps 完全建立在存儲網絡上,旨在增強網絡的功能和生態系統;其次,已有的去中心化應用和協議如 Opensea, AAVE 等選擇與特定的存儲網絡集成,以變得更加去中心化。在本節中,我們將重點介紹 Filecoin、Arweave 和 Crust,因為 Sia 和 Storj 在生態系統方面沒有突出的表現。
在 Filecoin 展示的生態系統中,已經有 115 個項目屬于上述第一類,這些項目都是完全基于Filecoin 的底層結構。可以觀察到,大多數項目都集中在通用存儲、NFT 和消費者存儲。Filecoin 生態系統中的另一個重要里程碑是 Filecoin 虛擬機(FVM),它與以太坊虛擬機(EVM)類似,提供了在智能合約中部署和執行代碼所需的環境。
有了 FVM,Filecoin 網絡在現有存儲網絡之上獲得了執行智能合約的能力。在 FVM 中開發者不會對用戶的存儲數據進行編程,而是定義這些數據通過智能合約(以去信任方式)存儲在該網絡后,會如何自動或有條件進行相關運作。可以想像的場景如下:
基于 Filecoin 上存儲的數據進行分布式計算(在數據的存儲位置進行計算,而無需將其先移動)
眾籌式的數據集保存計劃 - 如任何人都可以資助存儲一些對社會很重要的數據,如犯罪數據或環境變暖相關數據
智能存儲市場 - 如根據每天不同時段、復制層級、在某區域內的可及性動態調整存儲費率)
數百年的存儲和永續的托管 - 如存儲數據,讓經歷幾代人都還能使用
數據DAO或token化數據集 - 如將數據的價值作為token建模并組建DAO以協調和交易在其之上進行的計算。
行情 | TokenInsight:近24小時BTC錢包地址異動數據監控:TokenInsight數據顯示,北京時間2018年8月26日09:00:00至8月27日09:00:00,發生BTC大額轉賬(100枚BTC及以上)總交易額數約為76590.29枚,較昨日下降36.05%;最高約為1606.3303枚BTC,該交易由錢包地址:
19draJiAAAmqvWLoiGDuwP3iVYW4GjyeRG發起,該錢包地址為找零地址,交易接收地址為156個,其中約1598.60枚BTC被轉移至新的找零地址中。[2018/8/27]
本地存儲的NFTs - 如與跟蹤NFT的注冊記錄一起協同定位NFT內容
時間鎖式數據取回 - 如只有在公司的記錄公開后才解鎖相關的數據集
抵押貸款(如向存儲提供者發放確定目的貸款,像是接納來自特定用戶的FIL+交易提議,或在確定時間窗口增加容量)
同時,從核心上來看,FVM 虛擬機是基于 Webassembly(WASM) 的。這個選擇讓開發者能以任何可編譯為 WASM 的編程語言,來編寫原生的上層應用。此特性可以讓 Web3 開發者更容易上手,因為可以讓他們使用早已掌握的知識,繞過與特定語言相關的學習曲線。
開發人員還可以移植現有的以太坊智能合約,只需對源代碼進行少量(甚至無需)更改。復用以太坊網絡中經過審計和實戰檢驗的智能合約的能力,使開發者可以節省開發成本和時間,而用戶也可以在風險最小的情況下享受其實用性。
另外值得一提的是Filecoin Plus,這是一個旨在補貼用戶以折扣價存儲大型、有價值的數據集的程序。想要將數據上傳到網絡的客戶可以向社區中一組選定的名為公證人的成員申請,公證人審查并向客戶分配名為 DataCaps(數據配額)的資源。然后,客戶可以使用 DataCap 來補貼他們與存儲提供商的交易。
Filecoin Plus 計劃帶來了許多好處,使 Filecoin 網絡更加活躍,有價值數據的存儲繼續產生區塊需求;客戶以極具競爭力的價格獲得更好的服務;隨著區塊獎勵的增加而上升,與 2021 年相比,2022 年 Filecoin Plus 推出后,存儲的數據將增加 18 倍。
與 Filecoin 和 Arweave 相比,Crust 在生態系統建設方面有不同的路徑。它更偏向于直接與現有 Web3 應用程序合作并提供服務,而不是激勵第三方開發者在 Crust 上構建自己的生態系統應用。主要原因是 Crust 是建立在 Polkadot 上,雖然以太坊和 Cosmos 生態是在 Crust 項目方初期考慮過的選擇,但與它們技術路徑并不足夠兼容。Crust 更喜歡 Polkadot 的 Substrate 框架,以提供的高度可定制的開發空間、鏈上升級和鏈上治理。
Source: Crust Network
Crust 在開發者支持方面表現出色。它引入了 Crust 開發工具包,其中包括 js SDK、Github Actions、Shell Scripts 和 IPFS Scan,以滿足不同 Web3 項目的集成偏好。目前,開發工具包已集成到各種 Web3 項目中,如 Uniswap、AAVE、Polkadot Apps、Liquity、XX Messenger 和RMRK。
根據官方網站上提供的數據,目前有 150 多個項目與 Crust Network 整合。這些應用程序中有很大一部分(超過34%)是 DeFi 項目。這是因為 DeFi 項目通常對數據檢索有高性能要求。
如前所述,在 Crust Network 上,數據被復制到至少 20 個節點,在許多情況下,復制到 100 多個節點。雖然這確實需要更大的初始帶寬,但從多個節點同時檢索數據的能力加快了文件檢索,并在出現故障或節點離開網絡時提供了強大的冗余。Crust Network 依賴于這種高水平的冗余,因為它不像其他鏈那樣具有數據補充或修復機制。在這些去中心化的存儲網絡中,Crust Network 是最年輕的。
Source: Arweave, the newest ecosystem landscape
如上圖所示,Arweave 也有一個強大的生態系統。其中重點標注了大約 30 個應用,它們完全基于Arweave 開發。盡管沒有 Filecoin 的 115 個應用程序那么多,但這些應用程序仍然滿足用戶的基本需求,涵蓋了廣泛的領域,包括基礎設施、交易所、社交和 NFT 等。
特別值得注意的是建立在Arweave上的去中心化數據庫。Arweave 主要將其區塊組織用于數據存儲,同時在用戶端執行鏈外計算。因此,使用 Arweave 的成本僅由鏈上存儲的數據量決定。
這種計算與鏈的分離,被稱為基于存儲的共識范式(SCP),解決了區塊鏈的可擴展性挑戰。SCP 在 Arweave 上是可行的,由于數據輸入存儲在鏈上,鏈下計算會可信地產生與鏈上計算相同的狀態。
SCP 的成功實施為 Arweave 上眾多數據庫的開發打開了大門。在 Arweave 上構建的四個不同的數據庫:
WeaveDB:作為 Arweave 上的智能合約構建的鍵值數據庫,它使用白名單地址進行訪問控制邏輯。
HollowDB:作為 Arweave 上的智能合約構建的鍵值數據庫,它使用白名單地址和ZK證明來確保數據的可驗證性。ZK 證明也用于確保數據的可驗證性。
Kwil: 一個 SQL 數據庫,運行自己的 P2P 節點網絡,但使用 Arweave 作為存儲層。它使用公鑰/私鑰對進行訪問控制邏輯,并使用自己的共識機制進行數據驗證。
Glacier:一個 NoSQL 數據庫,架構為 ZK-Rollup,使用 Arweave 作為其數據可用性層。它使用公鑰/私鑰對作為訪問控制邏輯,使用 ZK 證明作為數據可驗證性。
去中心化存儲的增長取決于幾個核心因素,根據其特點,這些因素可分為三大類:總體市場前景、技術和公眾意識。這些因素相互關聯,相互補充,可以進一步劃分為更細微的子類別。隨后的段落對每個因素進行了更詳細的細分。
隨著互聯網滲透到當代生活中,云存儲服務幾乎對每個人都至關重要。2022 年,全球云存儲市場達到了驚人的 786 億美元,增長軌跡沒有減弱的跡象。一項市場研究表明,到 2027 年,該行業的估值可能達到 1837.5 億美元。
與此同時,IDC 預計,到 2029年,云存儲市場的估值將達到 3760 億美元。IDC 的預測進一步說明了對數據存儲日益增長的需求,該預測預計到 2025 年,全球數據圈將擴展到 175 zettaytes。鑒于這些充滿希望的前景,可以得出這樣的結論:去中心化存儲作為 Web2 同類產品的替代品,將從整體市場增長中獲益,推動其走上上升軌道。
作為 Web3 的關鍵基礎設施之一,去中心化存儲的增長與整個加密貨幣市場的擴張有著內在的聯系。即使不考慮存儲需求的激增,如果數字資產的采用率繼續上升,去中心化存儲的市場規模也可能穩步增長。沒有權力下放的基礎設施,就無法實現真正的去中心化。加密貨幣采用率的增加可能標志著公眾對去中心化的重要性有了更多的理解,從而推動了去中心化存儲的使用。
數據的價值往往體現在它所提供的分析意義,這就需要進行數據計算。然而,在現有的去中心化存儲市場中,明顯缺乏成熟的基于計算的產品是大規模數據應用的一個重大阻礙。Bacalhau 和 Shale 等項目正在應對這一挑戰,并將其工作重點放在 Filecoin 上。其他值得注意的項目包括 Fluence 和 Space and Time,它們分別在開發人工智能查詢系統和計算市場。隨著基于計算的產品的蓬勃發展,對計算資源的需求也將隨之增長。這種需求可以通過 $RNDR 的價格軌跡來略窺一二,這是一種面向需要額外計算能力的用戶的對等 GPU 計算網絡。其今年迄今的業績增長了驚人的 500%,反映出投資者對需求增長的預期。隨著這些行業的成熟,生態系統變得更加全面,隨著用戶的涌入,去中心化存儲的采用將大幅增加。
去中心化物理基礎設施網絡(DePIN)是基于區塊鏈的網絡,將現實世界的數字基礎設施集成到Web3生態系統中。DePIN 的關鍵領域包括存儲、計算、內容交付網絡(CDN)和虛擬專用網絡(VPN)。這些變革性網絡尋求通過采用加密經濟激勵和區塊鏈技術來提高效率和伸縮性。
DePIN 的優勢在于其產生良性循環的潛力,包括三個重要組成部分。首先,協議采用token 經濟設計來激勵參與者,通常是通過 token 增強實際的應用程序和網絡使用。隨著經濟模式的鞏固,代幣價格和協議使用量的飆升迅速引起了人們的關注,促進了用戶和資本的涌入。這種不斷增長的資本池和不斷擴大的用戶群吸引了更多的生態建設者和開發者進入該行業,使周期永久化。作為 DePIN 的核心賽道,存儲也將成為DePIN擴張的主要受益者之一。
人工智能的快速發展有望催化加密生態系統的增長,加速數字資產各個領域的發展。人工智能從兩個主要方面為去中心化存儲帶來激勵——通過刺激存儲需求和增強去中心化物理基礎設施網絡(DePIN)的重要性。
隨著基于生成式 AI 的產品數量呈指數級增長,它們生成的數據也呈指數級增加。數據的激增刺激了對存儲解決方案的需求,從而推動了去中心化存儲市場的增長。
盡管 Generative AI 已經出現了顯著的增長,但預計它將繼續長期保持這種勢頭。根據EnterpriseAppsToday 的統計,到 2025 年,生成人工智能將占全球所有生成數據的 10%。此外,CAGR 預計生成式 AI 將以 36.10% 的復合年增長率增長,到2032年將達到 1886.2 億美元,這表明其巨大的潛力。
在過去的一年里,生成式 AI 的受歡迎程度顯著提高,Google Trend 和 YouTube 搜索就是明證。這一增長進一步突顯了人工智能對去中心化存儲解決方案需求的積極影響。
人工智能技術所需的存儲和計算資源激增凸顯了 DePIN 的價值。隨著 Web 2.0 基礎設施市場由中央實體控制的壟斷,DePIN 成為尋求具有成本效益的基礎設施和服務的用戶的一種有吸引力的替代方案。通過使資源的獲取民主化,DePIN 提供了顯著更低的成本,從而增加了采用率。隨著人工智能繼續向上發展,其需求將進一步刺激 DePIN的增長。反過來,這有助于去中心化存儲行業的擴張。
Filecoin 虛擬機(FVM)不僅釋放了 Filecoin 本身的潛力,還徹底改變了整個去中心化存儲市場。由于 Filecoin 是最大的去中心化存儲提供商,占據了很大一部分市場份額,其增長基本上與整個行業的擴張平行。FVM 的出現將 Filecoin 從一個數據存儲網絡轉變為一個全面的去中心化數據經濟。除了實現永久存儲外,FVM 還將 DeFi 整合到生態系統中,從而產生更多的收益機會,并吸引更大的用戶群和資本流入該行業。
截至 6 月 22 日,FVM 上線 100 天時,Filecoin 網絡上已經部署了 1100 多個支持 dApp的獨特智能合約。此外,已經創建了 8 萬多個錢包,啟動了與這些 FVM 驅動的 dApp的交互。FVM 賬戶和合同的總余額已超過 280 萬 FIL。目前,FVM 生態系統內的協議都與 DeFi 有關,增強了 $FIL 的效用。隨著這種上升趨勢的持續,我們預計將出現大量應用程序,這可能會在存儲市場引發另一輪增長浪潮。此外,我們還期待其他存儲網絡引入類似 FVM 的虛擬機機制,引發生態熱潮。例如,Crust Network 于 7 月 17 日正式推出了其 EVM 存儲,將 Crust 主網、Polkadot 和 EVM 合同相結合,構建了一個新的 Crust 協議,無縫地為任何 EVM 公鏈提供存儲服務。
不論是游戲還是社交應用,都需要一個去中心化的數據庫服務,該服務能夠抵抗審查并實現高速讀寫。去中心化的數據庫能夠增強當前的 Web3 應用程序,而且能夠支持在不同領域開發新的應用程序和體驗。
去中心化社交 - 通過將大量的社交數據存儲在去中心化數據庫中,用戶將對自己的數據擁有更大的控制權,能夠在平臺之間遷移,并釋放內容貨幣化的機會。
游戲 - 管理和存儲玩家數據、游戲內資產、用戶設置和其他游戲相關信息是基于區塊鏈的游戲的一個重要方面。去中心化數據庫可以確保這些數據可以由其他應用程序和游戲無縫交換和組合。當前 GameFi 領域的一個熱門話題是全鏈游戲,這意味著將所有核心模塊,包括靜態資源存儲、游戲邏輯計算和資產管理,部署到區塊鏈上。具有高速讀寫功能的去中心化數據庫是實現這一愿景的重要基礎設施。
游戲和社交應用程序是互聯網用戶最多的行業,也是最有可能產生殺手級應用程序的行業,比如今年 2 月爆發的 Demus。我們相信,Web3 游戲和社交應用的爆發也將帶來對去中心化數據庫的巨大需求。
除了市場前景和技術之外,公眾意識是推動去中心化存儲市場增長的關鍵組成部分。中心化存儲和去中心化存儲的比較清楚地突出了后者的眾多優勢。然而,吸引更多用戶的能力取決于越來越多的人意識到這些好處。這可能是一個漫長的過程,需要整個行業的共同努力。從內容輸出到品牌曝光營銷,行業從業者必須努力傳達去中心化存儲如何徹底改變云存儲領域。這一努力補充了其他增長因素,放大了市場擴張和技術演變的影響。
總體而言,去中心化存儲是一個技術挑戰巨大的基礎設施行業,投資周期長,但增長潛力巨大。
投資周期長主要是由于分布式技術的迭代周期本身就長,項目開發人員需要在去中心化和效率之間找到微妙的平衡。提供高效、高可用的數據存儲和檢索服務,同時確保數據隱私和所有權,無疑需要進行廣泛的探索。即使是 IPFS 也經常經歷不穩定的訪問情況,而像 Storj 這樣的其他項目也不夠去中心化。
該市場的潛在增長空間也備受期待。僅在 2012 年,AWS S3 就存儲了1萬億個對象。考慮到一個對象可能在 10 到 100 MB之間,這意味著僅 AWS S3 就使用了 10000 到100000 PB 的存儲空間。
根據 Messari 的數據,截至 2022 年底,最大的提供商 Filecoin 的存儲利用率僅為 3% 左右。這意味著 Filecoin 上只有大約 600 PB 的存儲空間被積極利用。顯然,去中心化存儲市場仍有很大的發展空間。
而隨著人工智能 DePin 的興起,我們對去中心化存儲的未來保持著光明的前景,因為幾個關鍵的增長驅動因素將促進市場的擴張。
Gryphsis Academy
個人專欄
閱讀更多
Foresight News
金色財經 Jason.
白話區塊鏈
金色早8點
LD Capital
-R3PO
MarsBit
深潮TechFlow
作者:Jaleel、LeftOfCenter;區塊律動BlockBeats不出意外的話,這是 2023 年 Crypto 行業最重要的里程碑,2023 年 7 月 24 日.
1900/1/1 0:00:00NFT可以幫助蘊育出一次重大的工業變革,Christos A. Makridis 和 Soula Parassidis指出 致謝: Vera Molnar, Dispersion.
1900/1/1 0:00:00“一個驚人的事實是,幾乎所有公司——不論是做游戲的,還是做直播電商、新消費、教育培訓、健身、播客、長短視頻的——都在討論一個共同話題:以ChatGPT為代表的AIGC.
1900/1/1 0:00:00DeFi數據 1、DeFi代幣總市值:493.22億美元 DeFi總市值及前十代幣 數據來源:coingecko2、過去24小時去中心化交易所的交易量37.
1900/1/1 0:00:00作者:蔣海波 7月26日,幣安宣布將上線First Digital USD(FDUSD),對于大多數人而言,可能是第一次聽說這個穩定幣項目.
1900/1/1 0:00:00作者:Climber,金色財經EraLend 交互一場,仿佛去了一趟緬甸,zkSync Era里的水太深.
1900/1/1 0:00:00