YTH:python爬取區塊鏈瀏覽器上的交易列表數據_Opium Network

2022年6月3日 端午節安康。

今天主要分享如何利用爬蟲爬取區塊鏈瀏覽器上的交易列表數據。

dune上沒有bsc鏈上的轉賬明細數據表。Footprint Analytics上現有的bsc_transactions表transfer_type粒度不夠。

python 3.7

數據存儲：mysql 5.7

緩存：redis 6.2.6

開發工具：pycharm

（1）所有協議、合約、swap地址轉賬信息全爬不太實際，對存儲要求比較高。所以針對需要分析的協議，專門去爬取對應智能合約轉賬是個不錯的選擇。

（2）區塊鏈瀏覽器肯定是有反爬機制的。所以在代理選擇上，要選擇國外的代理。國內的代理都訪問不到，具體原因你懂的。本文中不涉及代理部分，因為國外的代理廠家之前沒有了解過。不過即使是上代理，對代碼層面改動也比較小

Injective測試網集成Pyth Network，允許開發者構建DApp以訪問機構數據:3月22日消息，Cosmos生態智能合約平臺Injective測試網集成預言機Pyth Network，允許開發者構建DApp以訪問各種資產的高保真、高頻市場數據。這是Pyth數據首次支持Cosmos生態系統。Pyth Network引入一種創新的按需拉動模型預言機，用戶可以在需要時將可用價格推送到鏈上，并使該區塊鏈環境中的每個人都能夠訪問該數據點。Pyth在Injective上運行由Wormhole實現。發布者能夠以交易的形式將數據直接發送到Pyth，隨后將這些數據資產放在鏈上。當目標鏈（如Injective）請求數據時，Pyth能夠通過Wormhole發送數據。[2023/3/22 13:20:06]

（3）采用了urllib同步請求 + 范圍內隨機時長程序休眠。減少了被風控的概率。但是也降低了爬蟲的效率。

預言機解決方案Pyth Network正式發布中文白皮書:3月12日，據官方消息， 預言機解決方案Pyth Network今日正式發布中文白皮書。這份白皮書介紹了一種全新的預言機設計模型，并且第一次正式描述了Pyth Network的愿景：建立一個自我可持續的、去中心化的預言機網絡。Pyth帶來了一個全新商業模型，一個以質押為基礎的激勵系統，讓數據發布者、數據使用者，以及其他的網絡參與者能夠共同獲利。

在過去的幾個月時間里，Pyth Network已經持續免費地向全世界釋放了高保真的數據，消除了數據中間商，降低了數據成本，提升了數據質量，并開放給所有人。通過應用鏈上陪審團系統HUMAN Protocol，Pyth能夠無需信任地驗證其所提供的的價格數據和置信區間與真實的鏈下數據相比是否準確。[2022/3/12 13:52:56]

后面再研究用scrapy或異步請求

基于Solana的DeFi期權抵押平臺Zeta將集成Pyth預言機:據官方消息，基于Solana的DeFi期權抵押平臺Zeta宣布將集成Pyth Network價格預言機。通過使用Pyth，Zeta可以訪問鏈上的高頻價格數據，以構建快速的鏈上期權定價和清算引擎。[2021/5/31 22:58:26]

同步：請求發送后，需要接受到返回的消息后，才進行下一次發送。異步：不需要等接收到返回的消息。

找到需要爬取合約的具體地址：

第一頁

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三頁

英國喜劇天團Monty Python成員John Cleese發布NFT:英國喜劇天團 Monty Python 的成員 John Cleese 正在拍賣一件自己的 NFT 畫作，這幅名為「布魯克林大橋」的作品為 John Cleese 本人在 iPad 上繪制的布魯克林大橋寫生，目前正在 NFT 市場 OpenSea 上進行拍賣，該作品起拍價為 100 美元，目前最高出價為 50000USDC。John Cleese「布魯克林大橋」的作品受到本周早些時候另一件名為「待售橋」的 NFT 作品的啟發，這是一件布魯克林大橋的 Google 在地圖視圖，目前在 OpenSea 上價值 27 美元，意欲諷刺美國歷史上臭名昭著的詐騙犯 George C. Parker，從 1900 年至 1928 年，George C. Parker 使用不同的假名，出售了很多美國地標建筑，包括自由女神像，麥迪遜廣場花園，大都會博物館，格蘭特將軍國家紀念堂，和布魯克林橋。[2021/3/21 19:04:17]

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....

可以知道 p = ？就代表頁數。

然后F12 點擊“網絡”，刷新界面，查看網絡請求信息。

主要查看，網頁上顯示的數據，是哪個文件響應的。以什么方式響應的，請求方法是什么

如何驗證呢，就是找一個txn_hash在響應的數據里面按ctrl + f去搜索，搜索到了說明肯定是這個文件返回的。

查看響應的數據，是html的格式。在python里面，處理html數據，個人常用的是xpath（當然，如果更擅長BeautifulSoup也可以）

在python里面安裝相關的依賴

pip install lxml ‐i https://pypi.douban.com/simple同時在瀏覽器上安裝xpath插件，它能更好的幫助我們獲到網頁中元素的位置

XPath Helper - Chrome 網上應用店 (google.com)

然后就可以通過插件去定位了，返回的結果是list

**注：**瀏覽器看到的網頁都是瀏覽器幫我們渲染好的。存在在瀏覽器中能定位到數據，但是代碼中取不到值的情況，這時候可以通過鼠標右鍵-查看網頁源碼，然后搜索實現

然后就是利用redis，對txn_hash去重，去重的原因是防止一條數據被爬到了多次

最后一個需要考慮的問題：交易是在增量了，也就是說，當前第二頁的數據，很可能過會就到第三頁去了。對此我的策略是不管頁數的變動。一直往下爬。全量爬完了，再從第一頁爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到數據庫了。這個沒啥好說的。

以上就可以拿到轉賬列表中的txn_hash，后面還要寫一個爬蟲深入列表里面，通過txn_hash去爬取詳情頁面的信息。這個就下個文章再說，代碼還沒寫完。

今天就寫到這里。拜拜ヾ(?ω?`)o

來源：Bress

作者：撒酒狂歌

Tags：YTHWORTWOETWZYTH幣Opium NetworkSnetworkBoba Network

Coinw