TIM:一文了解Medalla測試網網絡動蕩始末_LightHouse Token

“roughtime”事件分析報告

作者：Terence、Raul、Preston狀態：等待決議。根本原因已找到，問題已緩解。網絡：Medalla總結：Cloudflare的roughtime服務器全都返回錯誤信息，而Prysm節點并沒有采取適當的應急措施。這個bug導致所有Prysm節點出現時鐘偏移。在時鐘偏移的影響下，驗證者為超前的slot提議區塊并生成見證消息。影響：由于roughtime響應錯誤以及出現時鐘偏移，驗證者計算slot錯誤，提議的區塊和生成的見證消息均無效。這個問題影響到了全局參與度。在北京時間凌晨1:30至2:45之間，所有Prysm節點都受到了影響。根本原因：來自Cloudflare服務器的roughtime響應出錯。具體來說，是因為“ticktock”報告了一個24小時之后的時間。這個時間戳，再經過所有6個服務器的數據取平均值，是的所有Prysm節點都產生了+4小時的時間調整。解決方案：在我們評估roughtime響應錯誤所引發的潛在問題時，先將roughtime時鐘同步設為可選項。發現：Terence最先發現了這個問題。他注意到一個本地信標鏈節點一直在拒絕超前的區塊和見證消息。幾分鐘之后，由于roughtime時鐘偏移量較高，產生了報警。同時，#general和#bug-report頻道的用戶開始報告本地節點拒絕超前區塊和見證信息的問題。

Coinbase第二季度交易額環比下降36%，交易收入環比下降13%:8月6日消息，據Coinbase第二季度收益報告，2023年第二季度Coinbase的交易額為920億美元，環比下降36%，同比下降58%。其中，消費者交易額為140億美元，環比下降33%，同比下降70%；機構交易額為780億美元，環比下降37%，同比下降54%。因此，第二季度總交易收入也在下降，為3.27億美元，環比下降13%。Coinbase歸因于市場交易量下降。[2023/8/6 16:21:30]

經驗教訓

哪里出了問題我們誤以為，對于roughtime服務器故障的問題，我們有適當的應急方案。網絡中的每個Prysm節點同時受到影響，導致驗證者參與率大幅降低。PrysmaticLabs團隊原以為，NTP服務器本身較為分散，而且每個服務器都開放6個端口，不會出現全局故障的問題。萬幸的是一位貢獻者已經向我們提交了一個PullRequest，把roughtime時間校準設為可以選擇退出的功能。我們已經可以用命令行功能標簽立即選擇取消roughtime時鐘校準，這讓修復措施變得簡單，而且只需一次PullRequtest就能驗證。用戶在Discord上積極參與討論。當節點出現問題時，有大量用戶提供了詳細報告和重要指標。我們有一個持續不斷的重同步機制，當它發現時鐘偏移量超過2秒時，它會不斷更新節點本地的時間。我們一直在重新校準roughtime時鐘，以便更快解決這一問題。這可能讓這次事件提前了大約30分鐘至1小時結束。roughtime時鐘同步問題似乎在大約90分鐘后就解決了，而且在我們能夠緊急發布新版本前，這個事件就已經結束了。時間線2020/08/151:25AM：Terence發現他的本地節點由于一直拒絕超前區塊，收到了大量報警。這些區塊的slot都超前了4個多小時。1:28AM：Prometheus監控報警系統收到了roughtime偏移量高的報警。那時，距離網絡最后一次敲定區塊過去了10epoch。1:35AM：至少有30名用戶在Discord頻道表示他們開始收到下方報警：WARNroughtime:Roughtimereportsyourclockisoffbymorethan2secondsoffset=4h0m0.028854657s1:43AM：Terence在#war-room頻道群發了告警消息，稱這是一個PS0級別的事件，需要大家共渡難關。1:45AM：Discord頻道的用戶提出，重啟信標鏈節點和驗證者客戶端無法暫時解決這個問題。最可行的方案是將roughtime時鐘同步設為可選禁用的功能。1:51AM：問題上升到了多客戶端聊天室1:52AM：Ivan完成了https://github.com/prysmaticlabs/prysm/pull/68982:00AM：Terence與512位驗證者一起在本地測試了6898號PullRequest。2:20AM：據已捕獲的調試日志顯示，“ticktock”服務器有段時間一直在報告24小時之后的時間。

多數DeFi代幣在過去一周中上漲:金色財經報道，據CoinDesk市場指數，在比特幣和以太幣大多停滯不前的一周內，去中心化金融 (DeFi) 中一些鮮為人知的名字公布了兩位數的收益。本周的 DeFi 和整體領導者是 Injective Protocol (INJ)，這是第 1 層區塊鏈，旨在構建去中心化金融應用程序，包括交易所和借貸協議。INJ 也是今年迄今為止的領先者，自 1 月以來增長了 527%。DeFi 協議 Lido (LDO)、Synapse (SYN) 和 PancakeSwap (CAKE) 也表現強勁，分別上漲 15%、13% 和 12%。[2023/6/3 11:55:29]

2:27AM：Raul聯絡了Preston。Preston將在1小時內回來構建新版本。同時，我們將發布docker鏡像。2:40AM：Preston指出只靠緊急修復還不夠，我們需要取消將roughtime時鐘同步作為默認項。2:42AM：Raul開始調查Kibana，并使用fluentd中的filter分析來自roughtime的調試日志響應。2:43AM：Terence交叉檢查了信標鏈命名空間中所有pod的kubectl日志。正如預期的那樣，pod確實存在roughtime時鐘偏移問題。2:46AM：Raul向6898號PR提交了正確的修復程序。3:05AM：Raul確認該修復程序可以讓節點在本地工作。如果存在時鐘偏移，修復程序會產生告警日志，但是不會試圖基于roughtime服務器更新時間。3:08AM：Terence在我們的discord頻道向所有人宣布：“Prysm節點出現roughtime響應錯誤，應急措施沒有達到預期效果。我們已經找到了故障所在，很快就會進行緊急修復，并在1小時內上線新版本。在即將發布的新版本中，roughtime時鐘同步將不再是默認項。”3:18AM：Buildkite單元測試、規范測試、docker鏡像構建成功。e2e測試尚未完成。Preston準備啟動上線流程。3:22AM：新版本生成：https://github.com/。Terence確認這個方法可以修復其驗證者節點。Preston開始使用新的docker鏡像依次重啟我們的有狀態集合中的pod。集群驗證者會基于新的鏡像進行更新。3:34AM：Docker鏡像被標記成alpha21版本，穩定性好，二進制文件已經構建完成3:34AM：對有狀態集合中pod的健康狀態進行監控，確保滾動更新成功3:36AM：使用新的docker鏡像對我們的驗證者pod進行滾動啟動。4:29AM：在日志上查看返回的延時值。平均來看，這些值似乎都在0.1秒以下。延遲不是調查的關鍵指標。準確來說，“中點”才是需要研究的地方。注：下表時間是太平洋標準時間。https://kibana.prylabs.network/

數據：99,999,982枚USDC從Binance轉移到未知錢包:金色財經報道，據Whale Alert數據顯示，99,999,982枚USDC（價值約100,025,094美元）從Binance轉移到未知錢包。[2023/1/14 11:11:40]

-圖片來源：@prestonvanloon.eth-5:32AM：查看高于2秒的偏移量。從該數據中可以看出，在長達90分鐘的全局故障期間，Prylabs出塊節點的偏移量大約是14000秒。注：下表時間是太平洋標準時間。https://kibana.prylabs.network/

-圖片來源：@prestonvanloon.eth-4:41AM：通過Prometheus報警系統關于平均偏移量的數據，我們可以明顯看出在北京時間凌晨1:30至2:45之間確實存在時鐘偏移問題，之后偏移量開始下降并恢復正常。4:52AM：即時調查結束。這次時鐘偏移故障顯然已經結束，而且修復程序已經發布。已經更新的節點將立即恢復，還沒有更新的節點需要過段時間恢復。監控系統顯示，驗證者參與度在逐步回升。6:20AM：用戶報告說罰沒保護機制已經啟動。這是因為之前的時鐘偏移導致驗證者超前4小時提議區塊并生成見證消息。為了避免遭到罰沒，Prysm驗證者沒有繼續提議無效區塊。8:13AM：再次故障8:13AM：Nishant注意到6898號PR中存在嚴重缺陷。只有在roughtime功能標記開啟的情況下，用戶才能設置它的功能。8:16AM：Preston更新了“最新的”二進制文件，使其指向alpha20版本來實現臨時回滾，并建議用戶回滾至alpha20版本。我們現在正在等待合并7004號PR作為alpha22版本的候選。8:45AM：值班團隊正在評估是否擴大熱狀態緩存的大小，以便alpha22版本能夠更快讓網絡重新開始敲定區塊。當前默認的熱狀態緩存大小為8個epoch，但是Medalla測試網距離上一次敲定區塊已經過去了將近100個epoch。9:12AM：值班團隊決定將默認緩沖大小更新至64epoch，并使其可以通過功能標記來配置。經過初步測試，這有可能會使內存使用量增加1.5G。等網絡重新開始敲定區塊后，緩沖大小還可以調整。9:57AM：所有PrysmaticLabs驗證者節點都生成了會被罰沒的見證消息。緊急修復程序刪除了Prylabs驗證者節點的本地存儲。沒有任何外部的罰沒保護機制在運行。具體情形尚待確認……在1024名驗證者中，至少有800名驗證者已經或即將遭到罰沒。10:37AM：多名用戶報告稱無法同步區塊鏈。目前的問題是，網絡中有太多節點在同一時間進行同步。Alpha22版本被推遲，需要等待進一步通知。10:46AM：Prylabs團隊認為現在最好的辦法就是等待。用戶應該運行alpha20版本或最新的docker鏡像。2020/08/162:12AM：正在對同步難的問題進行調查。11:36AM：Nishant和Victor發布初始同步修復程序。參見PullRequest7012。2020/8/171:51AM：合并拉取7012號PR。一些用戶報告說同步成功。PrysmaticLabs開始將7012部署到出塊節點上。5:15AM：從commit0be1957c2897909b943b80fdd028f5346ae6cde6開始開發Alpha.22版本5:33AM：Alpha22版本發布。鏈接：https://github.com/5:40AM：通過Discord頻道宣布Alpha22版本上線。Prysmatic的值班團隊繼續監控同步情況，以便進行優化。與此同時，越來越多用戶同步至最新區塊。12:53AM：Alpha23版本上線，已在Discord頻道宣布該消息。Alpha23版本包含一些同步修復程序，有望解決Medalla測試網的問題。建議用戶在運行時開啟“--dev”標記，以便獲得更好的體驗。

美參議員：美國穩定幣法可能在今年通過:金色財經消息，美國參議員Pat Toomey在Consensus2022大會上表示，美國可能會在今年年底之前通過一項關于穩定幣的新聯邦法律。[2022/6/11 4:18:04]

Optimism的2.31億枚OP激勵基金現已開放申請:6月9日消息，以太坊二層擴容網絡Optimism的OP Stimpack（治理基金第一階段）現已開放申請，該2.31枚OP贈款計劃旨在資助OP生態系統中的建設者和項目，資金將通過TokenHouse投票分配。TokenHouse投票過程將以兩周為周期運行。投票周期1于6月9日至6月22日運行，將對Gov Fund第0階段提案進行投票，即將數百萬枚OP分配給自第一天以來一直在推動OP增長的項目；第2輪投票周期為6月23日至7月6日，將對新的Gov Fund第1階段提案進行投票。另外，Optimism還將3500萬枚OP投票權委托給整個生態系統中的數十個個人和團體。5月初，Optimism宣布建立為Optimism上項目提供資金的基金OP Stimpack，Optimism將為該基金分配2.31億枚OP，并將啟動面向建設者的空投。首先將通過項目的TVL以及每日交易量決定項目可以申領的OP代幣數量，之后將向任何符合Optimism愿景的項目開放，該階段將在首輪追溯空投發放后啟動。[2022/6/9 4:14:31]

Tags：TIMTIMEGHTIMETIMERStime幣官網下載LightHouse Tokenepikprime幣行情

KuCoin