IND:為大負荷設計的 Filecoin 索引器可擴展方案_New Kind of Network

來源：FilecoinNetwork

這篇文章描述了一個簡單的策略，可將大量涌入的索引負荷分散到由索引器節點組成的索引池中。同時，它讓這個索引池具備可擴展性。

索引器擴容的最終目標是10^{15}個索引。這并非存儲數據的字節大小，而是存儲索引的數量。一個索引實際上就是一張描述了CID標識與內容提供者數據之間關系的映射圖。實際的數據規模將會遠大于此。目前，我們可處理約10^{12}個索引，隨著時間的推移，我們會通過一列步驟向最終的擴容目標前進。

目前，大部分的索引負荷是由涌入的索引數據構成的。新增的數據可能超過單一的索引器能夠承受的范圍，它還在極速增加。因此，目前擴容路上最迫切的目標，就是處理增加中的涌入負荷。

方案：處理索引涌入的簡單策略

數據涌入

一個索引器接收到某個發布者傳來的“announce”消息，宣布已經有新的索引數據廣告時，就會發生數據涌入。作為回應，該索引器會從發布者那里檢索所有尚未檢索過的索引數據。隨著發布者數量增加，在某個時候，單一的索引器節點將無法跟上新增索引數據發布的速率，也可能沒有足夠的存儲空間來全部存儲這些數據。

分散涌入負荷

索引器擴容處理擁堵負載，是基于一個簡單策略——將涌入的索引負荷分散到由索引器節點組成的索引池中，這樣就能根據容量需求來增加節點，而不需要將數據到處移動來重新達到均衡。它先是分配不同的內容_發布者_給不同的索引節點，這樣每個節點可以處理涌入負荷的一部分。這是通過使用單獨的輕量服務AssignerService來實現的，后者不屬于關鍵的索引涌入路徑的一部分。

報告：如果SBF沒被指控從事欺詐活動，FTX也會因為大量安全問題而倒閉:金色財經報道，正在進行的FTX破產傳奇中的一份新中期報告描繪了該交易所資產的不安全程度，并提供了有關公司無能和可能瀆職行為的更多細節。該報告表示，如果SBF沒有被指控從事欺詐活動，那么FTX及其附屬公司可能會因為新報告中概述的大量安全問題而倒閉。報告稱，持有價值數千萬美元資產的熱錢包的密鑰沒有安全存儲，對熱錢包本身的依賴違反了標準的行業慣例。FTX和Alameda的數字資產可能永遠丟失，除了極易遭到盜竊或黑客攻擊外，許多錢包密鑰也沒有備份。 該報告由公司臨時首席執行官JohnRay III和一個外部法律團隊編寫，對SBF商業行為的混亂進行了更多詳細說明，并將其歸因于“傲慢、無能和貪婪”。[2023/4/11 13:55:31]

當一個索引器達到了配置的存儲限制后，它就會停止吸納新增的索引數據，而索引池里的其他索引器會從分配給完整索引器的發布者那里恢復吸納數據。如果存儲容量和涌入負荷分配需求增加，池子里就會增加更多的索引器節點。

這個擴容策略的三個主要組件是：

分配服務：它將發布者分配給索引器。

索引器凍結模式：這種索引器運作模式里，新內容不會被索引。

移交發布者任務：將凍結中的索引器的發布者任務重新分配給活躍的索引器，以在凍結索引器停止運行后恢復索引。

人民網推出靈境﹒人民藝術館，旨在運用數字技術為大眾藝術服務:1月25日消息，為了助力普及大眾藝術作品，為藝術愛好者提供更多展示空間，促進大眾藝術品市場的健康發展，讓藝術走進尋常百姓家，人民網即日推出靈境﹒人民藝術館，該網上展館將為藝術從業人員和愛好者提供數字化平臺，為藝術品數字版權保護、數字出版、數字轉化、區塊鏈（人民鏈）認證等提供服務，更好地運用數字技術為大眾藝術服務，未來還將探索藝術品交易新模式，為文藝作品面向市場開辟新渠道。（人民網）[2022/1/25 9:12:09]

這篇文章會概括描述這些組件。可以在設計文檔和設計展示中獲取更多信息。

擴容策略的優缺點

優點：

更少的同步工作：不需要讓每一個索引者與每一個發布者同步。

元數據不會重復發送給多個索引器：元數據只會在處理提供者的索引器上存在。

索引器之間不會分享數據。它們各自管理自己的發布者鏈。

不需要只為了檢查提供者而去閱讀廣告，這與提供者分片一樣。

索引器可有不同的存儲容量。

不需要共識機制。

涌入負荷可重新分配，而無需在索引器之間移動數據。

缺點：

不平均的分配：一些發布者可能會比其他發布者索引更多的數據。

火蟻集團聯合創始人陳鑫榮：BTC減半之后?礦機地址遷移、設備更迭成為大趨勢:9月5日，由數聯儲主辦，上海藍天經濟城、艾拓普、鏈證經濟聯合主辦，鏈天下俱樂部承辦，星際公鏈總冠名的“2020新基建分布式存儲峰會”于浙江杭州召開。

在由火蟻集團獨家冠名的晚宴上，火蟻集團聯合創始人陳鑫榮發表了致辭。他表示，在新的經濟形勢下，傳統金融向互聯網金融轉型成了時代發展的必然趨勢，數字貨幣將占據日益重要的地位。BTC減半之后，礦機地址遷移、設備更迭成為大趨勢，礦業生態面臨全新變革。火蟻礦業自2016年涉足數字貨幣挖礦產業以來，業務范圍覆蓋整個數字貨幣挖礦產業鏈，以綜合優勢成為核心的區塊鏈數據中心，向全球用戶提供靈活便捷的算力供應，以合規算力采購的模式，實現安全算力挖礦服務。[2020/9/7]

查詢請求需要分散和合并：查詢請求會重復發送給所有索引器，而響應會合并成一個發送給客戶。

提供者更改發布者可導致重復索引。

增加索引者不會馬上起效，除非一個現有的索引器達到了存儲容量限制。

這方案的整體好處是它的實施方案相對簡單，也能去除擁堵擴容的限制。

分配服務

分配服務負責將發布者分配給在其配置索引器池中的索引者。對一個索引器池來說，它作為單一實例運行在其管理的索引器所在的同一網絡上。一個索引器只能作為一個分配服務的索引器池里的成員。

聲音 | 香港理工大學曹建農：區塊鏈技術將為大數據的共享和交換提供支持:據人民網報道，香港理工大學電子計算學系系主任、華為區塊鏈奠基者曹建農在今日舉行的2019數博會“區塊鏈：數字文明的基石”高端對話上表示，區塊鏈技術將為大數據的共享和交換提供支持。他說：“大數據不是說有了數據就可以用得非常好，大數據是多元的，他們來自不同領域，我們要解決一個問題時，要用到很多不同領域的數據，如何共享我們的數據，這就需要區塊鏈技術，為大數據共享和交換提供支持。” 曹建農還表示，區塊鏈有三個性質：去中心化、透明性和不可更改，去中心化可以保證私隱性、透明性和不可更改性，即也保證了數據的權威性，大家互相信任，數據在實現共享和交換時，區塊鏈便可以滿足這些要求。[2019/5/27]

除了將新的發布者分配給索引器外，分配服務還檢測檢索器節點是否進入了凍結模式，并負責將發布者從凍結索引器重新分配給非凍結的索引器。索引服務還通過gossippubsub渠道重新發布直接的HTTP公告，這樣池中的所有索引器都能接收到這些信息。

基于幾個假設，分配服務是用于單個私有部署中使用：任務可以發給任何索引器，所有索引器的管理API是在私有網絡上運行，而且也沒有建立任何方式或協議讓不同的參與方管理池子中要添加或移除的節點。

將一個發布者分配給一個索引器

一個索引器接收到某個發布者傳來的“announce”消息，宣布已經有新的索引數據廣告時

動態 | 曹妃甸大數據產業園升級為大數據區塊鏈產業園:曹妃甸大數據區塊鏈產業園正式成立，此前的曹妃甸大數據產業園將正式升級為曹妃甸大數據區塊鏈產業園，是首個京津冀地區大數據區塊鏈產業園、區塊鏈試驗區。曹妃甸大數據區塊鏈產業園將全面支持符合國家政策的區塊鏈公司入駐，入駐支持包括公司名稱，區塊鏈經營范圍，資質審批，空間補貼等等。[2018/10/12]

分配服務會監聽gossip-sub和直接的HTTP消息——這些消息主要是宣布新廣告可被獲取了。它從每一條消息中讀取發布者信息，并判斷發布者是否已經分配給需要的索引器。如果答案是否定的，該分配服務就會選擇任務量最少的索引器，并將該發布者分配給這個索引器。在分配任務后，索引器會收到來自發布者的公告，并自行處理涌入數據。

索引服務會處理離線的索引器，它所用的方式能避免在索引器池里過度分配任務。索引服務還支持將特定發布者分配給特定索引器的配置選項。

進一步閱讀材料：

非持久化任務狀態(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#no-persisted-assignment-state)意味著索引器能在任何時候停止或重啟。

索引器池(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#indexer-pool)在某個單一部署中的索引器節點的集合。

任務復制(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#replication)將發布者分配給多個索引器。

索引器凍結模式

索引器存儲使用觸及到配置`FreezeAtPercent(<``https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer`(https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer"https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer")`>)`的限制后，索引器自動進入“凍結”模式。這個運作模式里，索引器不再存儲新增的索引數據，但還是會處理索引數據的更新或刪除。一個凍結的索引器不會接受新的發布者任務。在其內部，該索引器追蹤它已讀的每一個廣告鏈，目的是納入廣告。索引器會持續響應對索引數據的查詢。

索引器也可以通過其管理(admin)API來手動進行凍結。這可以是為了暫時凍結納入數據，直到索引器的存儲容量提升為止。這樣，持續的索引工作可以被其他索引器節點代替。

進一步閱讀材料：

磁盤使用監控(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#disk-usage-monitoring)由每一個索引器負責。

凍結的能力不依賴于分配服務(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#freeze-independent-of-assigner)。

解除凍結的能力(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#unfreeze)可讓索引器恢復索引工作。

發布者移交

分配服務定期統計索引器，要是它發現某個索引器被凍結，它就會將該被凍結的索引器分配的發布者重新移交給其他索引器——活躍的索引器會繼續之前凍結索引器上所做的工作。在移交過程中，活躍的索引器也會從凍結的索引器那取得提供者及其相關的進一步信息。

分配服務決定哪一個索引器將接收發布者的移交工作——這與分配新發布者的邏輯一樣。每一個發布者的移交過程都會單獨進行這一步驟，這樣凍結索引器的任務就會分配給池子里的可用索引器。

進一步閱讀材料：

分配服務可以恢復不完整的移交任務(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#resuming-incomplete-handoff)。

發布者數據在凍結和活躍索引器之間分發。(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#publisher-data-spread-across-frozen-and-active-indexers)

設立帶有分配服務的索引器池

這里(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#setting-up-indexer-pool-with-assigner-service)描述了設立帶有分配服務的索引器池的過程。可概括為以下步驟：

部署索引器(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#deploy-indexers)

部署分配服務(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#deploy-assigner-service)

按需部署額外的索引器(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#example-assigner-service-configuration)

這里還提供了分配服務配置模板文件(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#example-assigner-service-configuration)。

Tags：INDDEXnDEXINDEXNew Kind of NetworkPindexAscendex交易所Galactic Blue Index

抹茶交易所