你想知道如何在Web3中成為一名高效的數據分析師嗎?還是,你只想構建一個Web3分析儀來對感興趣的Web3數據感進行分析?不管怎樣,歡迎你閱讀本文。
作為一個數據人,Web3數據中最具挑戰性的部分是理解數據本身。根據我的經驗,有一件事讓我覺得很容易,那就是把每個人都看作是一個巨大的數據倉庫和以太坊區塊鏈上面的協議,作為倉庫中包含多個表和視圖的各種模式。PS:這也適用于其他區塊鏈。
對于這篇文章,我將努力使事情變得簡潔,并使用這些主題突出它們:
Web3數據流和景觀。了解Web3,去中心化的數據存儲。用于解碼交易數據的工具:與Web3數據棧一起的工具概述,以及如何利用它們讓我們開始吧!
Web3的數據流和景觀
Web3的關鍵在于變得更加獨立和自主。這是通過區塊鏈和分布式對等網絡而不是服務器-客戶端關系來實現的。這使得數據流和格式與我們在Web2中習慣的不同。通過研究,我發現了像DuneAnalytics和FlipsideCrypto這樣的數據映射器,它們具有解碼的區塊鏈數據和內置的可視化工具,供對Web3感興趣的數據科學家使用和構建。
上圖:
https://docs.google.com/presentation/d/1I6vDOS52uMCmWg3KIbuKYe8lK-8_ol9bEksIUEHNNLI/edit#slide=id.gfac7071356_0_1
中證報:后續可探索在保險全流程中應用數字人民幣:金色財經報道,江蘇省落地首個數字人民幣退貨保險,投保商戶遇到消費者退貨時,可按照保險約定獲得一定數額的數字人民幣保險賠付,目前保險行業加速布局數字人民幣,涵蓋投保、理賠等多種應用場景。業內人士認為,數字人民幣的應用可提高保險公司工作效率、服務質量,后續可探索在保險全流程中應用數字人民幣。[2023/5/23 15:19:46]
上面的圖片顯示了從不同的區塊鏈模式中提取數據進行分析的不同方式,在此以以太坊為例。
如果你曾經在以太坊上進行過交易,那么你可能已經在區塊資源管理器上查找過它,并看到了這種信息:
通過Etherscan區塊瀏覽器看到的以太坊區塊鏈上的交易示例
學會閱讀交易細節將是所有以太坊數據分析和知識的基礎,但了解代幣和交易數據的流向也很重要。
解讀Web3數據
我可能偏向于使用以太坊區塊鏈來解釋解密區塊鏈數據,但根據經驗,當你了解數據在智能合約上的存儲和管理方式時,以太坊更容易理解。既然如此,重要的是要注意,我將談論的許多概念將廣泛適用于所有與EVM兼容的鏈和智能合約,例如Polygon、FantomOpera、BSC、ArbitrumOne等。
企業業務合同管理軟件供應商Icertis宣布完成1.5億美元的融資:金色財經報道,企業業務合同管理軟件供應商Icertis宣布完成1.5億美元的融資,其中包括7500萬美元的可轉換債務和7500萬美元的循環信貸額度。該筆融資將使Icertis通過加速人工智能、機器學習和區塊鏈等轉型技術的應用,進一步擴大公司在新興CLM類別中的領導地位。[2022/10/31 12:01:46]
一個智能合約交易相當于智能合約驅動的web3應用程序中的后臺API調用。智能合約上的活動細節及其產生的應用狀態變化被記錄在稱為交易、調用和日志的數據元素中。交易數據元素代表由用戶發起的功能調用,調用數據元素代表智能合約在交易中發起的額外功能調用,而日志數據元素代表交易執行期間發生的事件。
為了了解以太坊區塊鏈上的交易數據,我們可以嘗試使用Etherscan。這就像檢查你的汽車儀表盤,以尋找修復汽車問題的指針,但作為一個數據科學家,我們必須打開汽車的引擎蓋,了解幕后發生了什么。通常情況下,有3種不同類型的交易:
以基礎貨幣的形式從一個用戶轉移到另一個用戶,例如,張三在以太坊網絡上給李四發送了3個ETH由一個EOA創建一個智能合約,例如,張三將代碼提交給區塊鏈上的一個地址,創建一個智能合約,一旦一定數量的資源被轉移到賣方的賬戶,智能合約就會轉移NFT的所有權。EOA對智能合約的調用,例如,張三調用李四的智能合約,用999ETH交換NFT。當用戶在區塊鏈上提出請求時,在引擎蓋下發生的事情是:
加密藝術平臺Outland完成500萬美元種子輪融資:6月19日消息,位于美國洛杉磯的新興加密藝術平臺 Outland 宣布已于 2022 年 3 月完成 500 萬美元種子輪融資。本輪融資由 OKX Blockdream Ventures 領投,IMO Ventures 、Dragon Roark、JDAC Capital 參投。
Outland 于 2022 年 2 月上線,是首個由藝術機構、策展人、評論家等參與創始的 NFT 平臺。Outland 首發項目方力鈞 NFT 作品《Elemental》系列總交易額約 4000 ETH,并獲得 OpenSea 首?持續推薦。4 月底,Outland 發售美國當紅藝術家 James Jean 的 NFT 作品《Fragments》,總交易額達到 3700 ETH。7 月,Outland 將推出美國著名藝術家 Ian Cheng 的 NFT 作品《3Faces》。[2022/6/19 4:38:16]
與用戶相關的EOA發起一項交易,指定目標智能合約地址、目標功能、該功能的參數、交易付款以及它愿意支付的gas費用。該交易被廣播到網絡上,并由愿意執行目標智能合約中指定功能的礦工拾取。如果執行成功,智能合約會發出事件,標志著某些里程碑的完成。由此產生的事件數據結構被稱為"日志"。目標智能合約可以向其他智能合約發起內部交易。這些內部事務創建的數據結構被稱為"軌跡",也可能在各自的執行過程中發出額外的日志事件。
Web3音頻流媒體平臺Tamago完成100萬美元種子輪融資,Block0等參投:5月26日消息,Web3音頻流媒體平臺Tamago宣布完成100萬美元種子輪融資,Block0、BigBrainHoldings、Daedalus、HumanGuild以及MoveCapital參投。據悉,Tamago是一個基于NEAR協議的去中心化流媒體音樂平臺,通過Web3和NFT技術重新構建音頻流媒體業務模式,該平臺目前已收錄1000多首曲目,擁有超過700名用戶和45,000分鐘的流媒體素材,同時還利用集成NEAR錢包幫助藝術家通過曲目下載等方式收取費用。此外,Tamago計劃今年在平臺上發布一系列的獨家音樂NFT。[2022/5/26 3:42:42]
上圖:代幣傳輸的數據生命周期。來源:
https://docs.google.com/presentation/d/1I6vDOS52uMCmWg3KIbuKYe8lK-8_ol9bEksIUEHNNLI/edit#slide=id.gfac7071356_0_6
數據是如何結構化的
現在,你已經了解了發生在幕后的活動和相應的數據元素。現在是時候逐項列出構成web3景觀的各種元素了。交易和跟蹤數據結構包含了智能合約函數調用的細節,按照這個順序:
Variant Fund聯合創始人:Web3將使所有權真正成為用戶體驗的基石:金色財經報道,在Permissionless大會上,投資加密網絡和平臺的早期風險投資公司Variant Fund聯合創始人Li Jin談到了所有權經濟,她將所有權經濟描述為一種以數字所有權為先例的經濟,并表示Web3可能會極大地影響創作者賺錢和與粉絲互動的方式,這相當于一種社區經濟,創作者和粉絲之間的界限消失了。LiJin稱:這是Web2平臺永遠無法提供的東西,因此我繼續非常看好Web3網絡,它使所有權真正成為用戶體驗的基石。[2022/5/19 3:27:39]
在區塊鏈上,每筆交易都有一個獨特的哈希值`交易哈希值`,其中有各種交易細節。例如,我們可以在這里查詢這個交易哈希值0xbe3b109b857e8897cbe3c2a261d8072546ae693662422a1b93fe1a3a990dfded`From`是交易的發送方,`To`是交易的接收方,也可以是一個合約地址。在這個例子中,它是從`0x83ebd57bf4f22cba9c4a624a69c910d7c8619ee2`轉移到CROWDFUND_EDITIONS代幣的。`Value`是被轉移的ETH值。有時ETH值可以是0,在這種情況下,它是。`交易費用=交易使用的氣體*氣體價格`,你可以在這里找到更多與以太坊氣體有關的細節。輸入數據包含關于交易的額外信息。在這種情況下,它是一個轉移函數,細節包括交易的地址和價值。
數據本身是字節碼,在Dune上有數據類型`bytea`。前8個字符`0xa22cb465`是函數簽名的`MethodId`,它不總是唯一的。之后的每64個字符是一個不同的輸入變量。這里我們有兩個,分別對應于`toaddress`和`value`。基于以上信息,我們可以使用以下查詢來拉取Dune上的數據(
https://dune.xyz/queries/601249)——
訪問和處理Web3數據的工具
現在我們已經很好地理解了Web3數據的元素,它看起來像什么,并且已經在區塊鏈上查詢了我們的第一個交易數據,你可能想知道如何快速熟悉一個協議及其數據。有一系列很好的工具可以幫助我們做到這一點。
BlockExplorers
如前所述,使用BlockExplorers是深入了解區塊鏈上的交易的一個好方法。BlockExplorers是在線瀏覽器,可以顯示區塊鏈網絡上曾經發生過的所有交易的細節。以上面的截圖為例,重要的是要知道所有主要的區塊鏈都有探索器--突出的例子包括Etherscan、Polygonscan、BSCScan、Solanabeach等。
盡管區塊鏈探索者對于詢問區塊鏈賬本內的單個記錄很有幫助,但他們對于回答需要聚合或轉換數據的問題并不擅長。例如,如果你想知道過去3個月有多少NFT通過Opensea交易所售出,或者如果有人想知道交易從"Coinbase"流向"AxieInfinity"的頻率,只用區塊探索器就很難回答。為此,人們將需要直接訪問數據。這在我的上一篇文章中已經介紹過了(
https://thisgoke.medium.com/getting-into-web3-as-a-data-scientist-machine-learning-engineer-f77c450b4e83)。
分析數據
Duneanalytics是訪問和分析區塊鏈數據的一個偉大資源。在寫這篇文章時,它有Ethereum、Solana、Xdai、Polygon、Optimism和BSC的原始和解碼數據。它提供了一個PostgreSQL界面來查詢數據集,以及一個簡單的點選界面來在查詢結果的基礎上創建簡單的儀表盤。Dune上的用戶社區也相當活躍,并產生了一個廣泛的查詢和儀表盤的例子庫,供人們學習。下面是在Dune上創建的幾個分析實例
SolanaNFT交易概覽OpenSea市場分析Eth2號流動性質押如果你對SQL完全陌生,我會推薦這些有用的Dune分析的提示和指南:
內聯Ethereum地址。當在Dune中工作時,Ethereum地址被存儲為PostgresSQL字節數,當你在Etherscan上查詢時,它被編碼為`x`前綴,而不是通常的`0x`。識別交易中的合約地址。當試圖區分合約地址和普通地址時,你可以通過檢查`CREATE`操作碼是否在`traces`中被調用來實現,比如說
3.充分利用Dune上的標簽。標簽是一塊關于地址的元數據,如果你愿意,是一個標簽或元數據。它以鍵-值對的形式出現。鍵是標簽類型,而值是標簽名稱。從本質上講,你可以使用標簽來查找地址,看看它們是什么。你可以在這里獲得更多關于標簽是什么以及如何使用它們的見解
https://docs.dune.xyz/data-tables/data-tables/labels#what-labels-looks-like
如果你想獲取所查看地址的標簽,請使用此UDF,你可以這樣做;
4.表和列名的引號。PostgresSQL不能識別沒有引號的駱駝字母的列和表名。因此,在Postgres中,雙引號是為表和列保留的,而單引號是為值保留的,因此,如果你查詢表名中的大寫字母,Dune會拋出一個錯誤。
5.去除小數。在處理代幣金額時,記得檢查`erc20."tokens"`中的小數。
6.生成時間序列。當處理一個具有不連續時間序列的數據集時,使用
希望這是一篇有用的討論文章,你已經知道了足夠的知識來做基本的Web3數據探索和分析,使用Dune上的SQL,它看起來像什么,以及如何與它合作。在分析web3中的經濟活動和用戶行為時,重要的是要培養對特定智能合約工作方式的理解興趣,這就會繼續幫助你確定感興趣的指標中涉及的關鍵功能和事件。
Web3正在經歷快速發展和高變異,每天都有新的想法、產品、社區和實驗涌現。它目前觸及生活中的方方面面,包括但不限于支付、金融、藝術、音樂、游戲、社區、治理和身份,這使得任何人都能參與其中,令人興奮。
所以請理解,結合實際使用Web3產品、檢查Etherscan等區塊瀏覽器上的數據耗盡情況以及閱讀智能合約源代碼,是制定正確的數據分析策略的關鍵必要條件。
百年來,股票市場起起伏伏,周而復始,從未有停止,無數周期如璀璨流星般從歷史天空中劃過。為什么會有周期,為什么投資者要將無數精力投注到與市場波動的持續抗爭之中?因為他們的投資心理始終在影響市場的走.
1900/1/1 0:00:00RogerVer是比特幣的早期投資者和熱心推動者,獲得了“比特幣耶穌”的稱號。一年后,他在推特上重新露面,并在一次采訪中表示支持狗狗幣(DOGE),比起比特幣,他更傾向于將狗狗幣作為支付手段.
1900/1/1 0:00:00作為以太坊升級的關鍵一環,Layer2擴展解決方案一直備受關注。在近幾個月加密市場整體疲軟的環境下,Layer2龍頭Arbitrum的TVL卻逆勢增長,根據DefiLlama數據,截至4月28日.
1900/1/1 0:00:00在過去的七個月里,比特幣已經下跌超43,600點。比特幣短時回升至30,000美元,來到1hMA100均線上方.
1900/1/1 0:00:00TLDR: 1.X-to-earn在經濟系統和組織結構上都不同于Web2的龐氏架構;龐氏這個詞并不總是表示騙局.
1900/1/1 0:00:00北京時間5月1日9:00,預熱已久、萬眾期待的“天王級”?NFT?項目Otherside正式啟動了其地塊的公開銷售.
1900/1/1 0:00:00