WEB:方法論、工具與團隊：如何成為一名Web3數據分析師？_FinShi Capital

本文假設你是一個剛接觸web3的數據分析師，開始組建你的web3分析團隊，或者剛剛對web3數據產生興趣。無論采用哪種方式，你都應該已經大致熟悉了APIs、數據庫、轉換和模型在web2中的工作方式。

在這本新指南中，我將盡量簡明扼要地闡述我的三個觀點:

思考：為什么開放的數據渠道會改變數據發揮效用的方式

工具：web3數據棧中的工具概述，以及如何利用它們

團隊：web3數據團隊的基本考慮和技能

數據思考

讓我們先總結一下如何在web2中構建、查詢和訪問數據。我們有四個步驟來簡化數據渠道:

觸發API事件

更新到數據庫

特定產品/分析用例的數據轉換

模型訓練和部署

當數據是開源的時候，唯一需要的步驟是在轉換完成之后。Kaggle和hugsFace等社區使用一些公開的數據子集來幫助企業構建更好的模型。有一些特定領域的情況，比如在前面的三個步驟中開放數據的開放街道地圖，但是它們仍然有寫權限的限制。

我想聲明的是，我只是在這里談論數據，我并不是說web2完全沒有開源。像大多數其他的工程角色一樣，web2數據有大量的開源工具來構建他們的管道。我們仍然在web3中使用所有這些工具。總之，他們的工具是開放的，但他們的數據是封閉的。

科學家學術論文描述針對以太坊PoS鏈的3種攻擊方法:10月31日消息，來自斯坦福大學和以太坊基金會的計算機科學家Caspar Schwarz-Schilling、Joachim Neu、Barnabé Monnot、Aditya Asgaonkar、Ertem Nusret Tas、David Tse最近撰寫一份新白皮書，描述了針對以太坊PoS（權益證明）鏈的3種攻擊方法。該白皮書揭示了最近出現的兩次以太坊網絡攻擊，并且該論文的作者改進了這些技術。

除了前兩種方法（理論上會造成“短程重組”和“對抗性網絡延遲”）的改進之外，計算機科學家還提出了第三種攻擊。“結合兩種改進的攻擊技術，我們獲得了第三種攻擊，它允許擁有極少權益（stake）且無法控制網絡消息傳播的對手進行甚至是遠程（long-range）共識鏈重組。”作者們補充說，“誠實但理性或有意識形態動機的驗證者可以利用這種攻擊來增加他們的利潤或阻塞協議，從而威脅到PoS Ethereum的激勵一致性和安全性。該攻擊還可能導致投票處理擁堵導致共識不穩定。”

同時，以太坊網絡批評者使用這篇論文強調當網絡過渡到完整的PoS系統時與這些攻擊相關的潛在漏洞。Chia創始人、Bittorrent創建者Bram Cohen發布關于這項新研究的推文。Chia支持者回應稱，“讓我們在一年后重溫你的推文，看看Chia與ETH相比取得了什么成就。請考慮你的態度，正在拒絕像我這樣的社區成員。”

該論文的作者總結道，“我們的攻擊也使得可能出于意識形態動機的先天性惡意行為者推遲并在某些情況下徹底拖延達成共識的決定。第4.2節的改進攻擊為攻擊者提供了一種工具來做到這一點，即使攻擊者無法控制消息傳播延遲（這被認為是概率性的）。”（Bitcoin.com）[2021/10/31 6:23:20]

Web3也將數據開源，這意味著不再只有數據科學家在開放環境下工作，分析工程師和數據工程師也在開放環境下工作！每個人都參與到一個更連續的工作流程中，而不是一個幾乎是黑盒的數據循環。

聲音 | 廣電運通：“基于區塊鏈的門禁訪問控制方法與裝置”專利的相關解釋:2月28日，廣電運通（SZ002152）在投資者問答平臺上，針對貴公司公布了一項新專利--“基于區塊鏈的門禁訪問控制方法與裝置”的相關問題時表示，

1.目前市場上有多篇區塊鏈與門禁系統的相關專利，多是將門禁系統的操作數據記錄區塊鏈確保信息的準確性和完整性。我司專利在利用區塊鏈實現數據可信的基礎上，創新的提出門限加密與智能合約結合的方式，提高用戶生物特征數據的安全性。同時，基于智能合約的門禁授權訪問方法，可實現門禁訪問權限的安全管控。

2.本項專利采用了對用戶生物特征數據進行非對稱加密，而非對稱加密密鑰采用門限加密進行拆分加密上鏈的方式進行管理，在利用區塊鏈實現多方協作透明化的同時，極大提高了用戶生物特征數據的安全性，具有一定的技術門檻。

3.該專利主要應用場景為公租房、人才房等政策性住房管理，以及酒店、公寓、民宿等智能化管理，目前仍處于內部測試階段，市場收入較大程度取決與客戶接受程度，具有一定的不確定性[2020/2/28]

工作的形式已經從web2數據大壩到web3數據河流、三角洲和海洋。同樣重要的是需要注意，生態系統中的所有產品都會同時受到這個循環的影響。

聲音 | 通證通研究院：通證估值已經產生了成本定價、期權定價等方法:通證通研究院發布《尋找圣杯，科學估值指南——通證估值探索之四》深度研究報告：通證投資者迫切需要一種切實可行的估值方法輔助投資判斷。估值方法的發展歷程是不斷尋找歷史參照和不斷演進的過程。截至目前，通證估值已經產生了成本定價、期權定價、交換方程、價值儲備、相對估值等一系列方法，盡管仍然存在很多有待解決的問題，但是通證誕生時間尚短，對通證估值的探索也還在早期，隨著對通證本質認知的不斷提升和估值方法的不斷改進，未來發現合理的通證估值方法是必然的。[2019/4/26]

讓我們看一個web3分析師如何一起工作的例子。有幾十家交易所使用不同的交易機制和費用，允許你將代幣A交換為代幣B。如果這些是典型的交易所，如納斯達克，每個交易所將報告自己的數據在10k或一些API，然后其他一些服務，比如capIQ，會把所有交換數據放在一起，然后收取費用，讓你訪問他們的API。也許有時候，他們會舉辦一次創新競賽，這樣他們就可以在未來收取額外的數據/圖表功能。

在web3交易所中，我們有這樣的數據流：

dex.trades是Dune上的一個表格，所有的DEX交換數據都被聚合在一起，所以你可以很容易地在所有交易所中搜索單個代幣的交易量。

動態 | 加州地方法院：Ryan Coffey自動放棄對Ripple Labs等公司的起訴:據Ambcrypto消息，美國加利福尼亞州地方法院近日發表聲明稱，原告Ryan Coffey已自動放棄他對Ripple Labs、Brad Garlinghouse、XRP II、LLC和Inc的起訴，撤訴的原因尚不明晰。該投資者于今年5月提起對上述公司的訴訟。[2018/8/23]

一名數據分析師通過社區開源查詢創建了一個儀表盤，所以現在我們對整個DEX行業有了一個公開的概述。即使所有的查詢看起來都是由一個人寫的，你可以猜測這是在discord上經過大量的爭論，才準確地將其拼湊在一起得。

DAO科學家查看儀表板，并開始在他們自己的查詢中分割數據，查看特定的對，比如穩定幣。他們會觀察用戶行為和商業模式，然后開始建立假設。由于科學家可以看到哪個DEX在交易量中占據了更大的份額，他們將提出一個新的模型，并提議改變治理參數，以便在鏈上進行投票和執行。

之后，我們可以隨時查看公眾查詢/儀表板，看看提案如何創造出更具競爭力的產品。

在未來，如果另一個DEX出現，這個過程將重復。有人將創建插入查詢來更新這個表。這將反過來反映在所有的儀表板和模型。任何其他分析師/科學家都可以以別人已經完成的工作為基礎。

動態 | PundiX發起社區投票 對變更解鎖代幣的方法進行調查:據ambcrypto消息，PundiX官方推特于8月8日發文稱，因許多人建議改變每月末解鎖NPXS代幣的現行方法，因此邀請社區對新提案審核并進行投票批準。新提案中強調，用戶余額的隨機快照和解鎖代幣的分發將取決于用戶持有NPXS令牌的時間跨度。該提案旨在釋放未鎖定的NPXS令牌，使令牌的長期持有者受益。且PundiX官方要求，只有NPXS的持有者才能投票，而且投票者必須將少量NPXS轉移到提供的地址，同一地址不能進行兩次投票。此外，PundiX官方提案還表示，更多代幣的持有者將意味著更多選票。[2018/8/9]

由于共享的生態系統，討論、協作和學習在一個更緊密的反饋循環中發生。我承認這有時會讓人難以承受，我認識的分析師基本上都在輪換數據耗盡。然而，只要我們中的一個人繼續推動數據向前，那么其他人都會受益。

它并不總是必須是復雜的抽象視圖，有時它只是實用功能，如使它容易搜索ENS反向解析器或工具的改進，如自動生成大多數graphQL映射與一個CLI命令！所有這些都可以被每個人重用，并且可以在某些產品前端或您自己的個人交易模型中進行API的使用。

雖然這里開啟的可能性是驚人的，我確實承認，輪子還沒有平穩地運行。與數據工程相比，數據分析師/科學領域的生態系統仍然很不成熟。我認為有以下幾個原因：

數據工程是web3多年來的核心焦點，從客戶端RPCAPI的改進到基本的SQL/graphQL聚合。像theGraph和Dune這樣的產品就是他們在這方面所付出努力的例證。

對于分析師來說，要理解web3獨特的跨協議關系表是非常困難的。例如，分析人員可以理解如何只分析Uniswap，但卻很難在混合中添加聚合器、其他DEXs和不同的代幣類型。最重要的是，實現這一切的工具直到去年才真正出現。數據科學家通常習慣于收集原始數據并獨自完成所有的工作。我認為他們不習慣在開發初期與分析師和工程師進行如此密切和公開的合作。對我個人來說，這花了一段時間。

除了學習如何協同工作之外，web3數據社區還在學習如何跨這個新的數據堆棧工作。你不再需要控制基礎設施，或者慢慢地從excel構建到數據池或數據倉庫，只要你的產品上線，你的數據就會到處上線。你的團隊基本上是被扔到了數據基礎設施的最深處。

數據工具

以下是一些數據工具匯總：

下面我們看看每種類型以及用法：

交互+數據源：這主要用于前端、錢包和較低層次的數據攝取。1

客戶端：雖然以太坊的底層實現是相同的，但每個客戶端都有不同的額外特性。例如，Erigon對數據存儲/同步進行了大量優化，Quorum支持隱私鏈。

節點即服務：你不必選擇運行哪個客戶端，但使用這些服務將為你節省維護節點和API正常運行的麻煩。節點的復雜性取決于你想要捕獲多少數據。

查詢+數據映射：這一層中的數據要么作為URI在合約中引用，要么來自使用合約ABI將交易數據從字節映射到表模式。合約ABI告訴我們合約中包含哪些函數和事件，否則，我們只能看到部署的字節碼。

交易數據：這些是最常用的，主要用于儀表板和報告。theGraph和FlipsideAPI也在前端中使用。有些表是合約的1:1映射，有些表允許模式中額外的轉換。

元數據“協議”：這些并不是真正的數據產品，而是用于存儲DIDs或文件存儲的。大多數NFT將使用其中的一個或多個數據源，我認為今年我們將開始越來越多地使用這些數據源來增強我們的查詢。

專業提供商：其中一些是非常健壯的數據流產品，Blocknative用于mempool數據，Parsec用于鏈上交易數據。其他的聚合鏈上和鏈外數據，比如DAO治理或國庫數據。

高維度數據提供商：你不能查詢/轉換他們的數據，但是他們已經幫你完成了所有繁重的工作。

如果沒有強大的、杰出的社區來配合這些工具，web3就不會出現！我們可以看到每種類型對應的杰出社區：

Flashbots：專注于MEV上，提供從保護交易的自定義RPC到專業白帽服務的所有事宜。MEV主要指的是槍跑問題，當有人支付比你更多的Gas，這樣他們就可以搶先執行他們的交易。

Dune數據精英：專注于為Dune的數據生態做貢獻的數據分析精英。

Flipside數據精英：專注于為Web3數據升天做貢獻的數據分析精英。

MetricsDAO：跨生態工作，處理多個鏈上的各種數據獎勵。

DiamondDAO：專注于Stellar的數據科學工作，主要在治理、財政庫以及代幣管理方面。

IndexCoop：專注于代幣等特定領域的分析，以制定加密貨幣行業最好的指數。

OurNetwork：每周對各類協議以及?Web3的數據覆蓋。

注：以上DAO的參與聯系方式詳看原文。

每個社區都做了大量的工作來改善web3的生態系統。毫無疑問，擁有社區的產品將以100倍的速度增長。這仍然是一個被嚴重低估的競爭優勢，我認為除非人們在這些社區中建立了一些東西，否則他們不會獲得這個優勢。

數據團隊

不用說，你也應該在這些社區中尋找可以加入你的團隊的人。讓我們進一步分析重要的web3數據技能和經驗，這樣你就能真正知道你在搜索什么。如果你想被雇傭，把這看作是你追求的技能和經驗！

至少，分析師應該是Etherscan偵探，知道如何閱讀Dune儀表盤。這可能需要1個月的時間來適應悠閑的學習，如果你真的要瘋狂學習，則需要2周的時間。

除此之外，你還需要考慮更多的內容，特別是時間分配和技能轉移。

時間方面：在web3中，數據分析師大約有30-40%的時間將花在與生態系統中的其他分析師和協議保持同步上。請確保你不會氣暈他們，否則，這將成為對每個人的長期損害。與更大的數據社區一起學習、貢獻和構建是必要的。

可轉移性方面：在這個領域，技能和領域都是高度可轉移的。如果使用不同的協議，可能會減少上手時間，因為鏈上數據的表模式都是一樣的。

記住，知道如何使用這些工具并不重要，每個分析師或多或少都應該會寫SQL或創建數據儀表盤。這一切都是關于如何做出貢獻并與社區合作。如果你正在面試的人不是任何web3數據社區的一員，你可能要問問自己這是否是一個危險信號。

原文鏈接：

https://ath.mirror.xyz/w2cxg5OP1OEcqvSgsEjSSyKRJhPmam0w-fXGogiG-8g

作者?|?AndrewHong

譯者：GaryMa吳說區塊鏈

Tags：WEBWEB3API區塊鏈ALFweb3Projectweb3幣價格FinShi Capital區塊鏈專業怎么樣

比特幣價格