COM:Tech at Klaytn技術系列：確認產生Cache問題的原因_BICAC

KlaytnStateTrieCacheSeries#1:?確認產生Cache問題的原因

Klaytn為了提高區塊鏈平臺的性能，做了許多方面的努力。我們將通過下列文章介紹statetriecache性能改善過程。

??確認Cache問題的原因

??尋找最佳的Cache

??計算Statetriecachemiss

??進行?CacheSizeTuning

本篇將介紹進行Klaytn有關測試時出現的問題以及這些問題的來源-Go語言GC(GarbageCollector)。在進行Klaytn有關測試時，出現了下列問題。

<imgalt=""class="tuvhyaj-ioqf"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>

ETH 2.0總質押數已超1873.90萬:金色財經報道，數據顯示，ETH 2.0總質押數已超1873.90萬，為18738982個，按當前市場價格，價值約333.30億美元。此外，目前ETH 2.0質押總地址數已超73.92萬，為739241個。[2023/5/27 9:45:48]

利用Prometheus提供的API測試內存使用量

在Klaytnbinary中，以3500TPS處理transaction時，大約需要用到100G的內存。我們為了確認具體是哪里在消耗大量內存，利用Go語言所提供的內存分析工具，進行了確認。

??gotoolpprofcn-mem0.prof

File:kcn

BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f

Type:inuse_space

Time:Mar26,2020at8:56am(KST)

Enteringinteractivemode(type"help"forcommands,"o"foroptions)

(pprof)top

Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal

Dropped382nodes(cum<=0.22GB)

Showingtop10nodesoutof77

Optimism：5月31日OP流通量將增加，會有大量鏈上轉賬用于分發:5月18日消息，Optimism 發推表示，伴隨著 OP 推出即將滿一周年，5 月 31 日 OP 流通量將增加，在此之前的兩周內，用戶可能會注意到大量鏈上轉賬，這些是為分發做準備的計劃交易。[2023/5/18 15:11:07]

?flatflat%sum%cumcum%

?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue

?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set

?1.53GB3.52%85.47%1.53GB3.52%reflect.New

?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt

通過內存分析工具，我們可以看到每個部分所消耗的內存。在上述結果中，可以通過?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB，還可以看到其中的96.33%，即41.91GB具體用在哪里。不僅如此，通過30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue，可以看到有30GB(68.97%)用于bigcache上。

數據：Optimism上AMM協議Velodrome TVL突破1億美元:1月20日消息，據Defillama數據顯示，Optimism 上 AMM 協議 Velodrome TVL 達 1.01 億美元，創下自 2022 年 8 月份以來的新高。[2023/1/20 11:23:50]

??

這兩個測試結果中，我們發現了問題。根據Prometheus所提供的內存使用library，kcn大約占了100GB，但內存分析結果(43.50GBtotal)表明，kcnbinary只占了?43.5GB。我們無法確認其余56.5GB(=100GB-43.5GB)的內存去了哪里。?

于是我們猜測應該是Bigcache占據了大部分內存。為了確認Bigcache是否占據了內存，我們在相同環境的2臺服務器上設置了不同的cachesize進行測試，設置分別為30GB和0GB。2臺服務器的top和內存分析結果如下。

(Top命令結果是GiB，Prometheus所提供的library的結果是GB，兩者為相同的量)

Cypresssynctest

AWSInstance:m5.8xlarge

memorysize:128G

cachesize:30G,0G

FASB 加密會計審查不包括 NFT 和某些穩定幣:金色財經報道，據《華爾街日報》報道，財務會計準則委員會 (FASB) 將不可替代代幣 (NFT) 和某些穩定幣排除在其加密貨幣會計審查之外。周三，美國董事會描述了其加密資產標準，該標準將被期待已久的規則涵蓋，要求公司對數字資產進行核算和披露。

FASB 沒有指定將被排除在規則之外的特定加密資產。但它表示，該規則所涉及的數字資產將包括那些無形的、不具有現金流或商品和服務所有權的合同權利的資產，以及可替代的資產。NFT 本質上是不可替代的，并且可能對基礎資產擁有權利，而一些穩定幣是有形資產。[2022/9/1 13:01:16]

<imgalt=""class="tuvhyaj-ioqf"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj-ioqf"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>

幣安：將支持Monero網絡升級和硬分叉:金色財經消息，Binance官方推特發布消息稱，將支持Monero網絡升級和硬分叉。[2022/8/11 12:17:39]

top命令結果(左：cache30G；右：cache0GB)

<imgalt=""class="tuvhyaj-ioqf"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj-ioqf"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>

GoMemoryProfiling結果(左：cache30G；右：cache0GB)

我們可以看到，被分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為70GB和35GB，有35GB的內存追蹤不到。而沒有分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為5GB和2GB，有3GB的內存追蹤不到。?

通過以上測試，我們可以推斷，若使用Bigcache，會占用大于分配額的內存。而就算不使用Bigcache，也會出現3GB左右的遺漏。當然，GC(GarbageCollector)的運作，可能令不管使用什么樣的Go程序都有機會出現內存分析結果和實際使用量的誤差。

而且，我們通過這篇文章可以得知，長時間占據大量的heap內存，并在分配時使用pointer的話，會消耗非常大的內存。

<imgalt=""class="tuvhyaj-ioqf"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>

GC(GarbageCollector)可尋找程序動態分配的內存中不再運作的部分，收回該部分的內存并分配給其他區域。為此，Go語言的GC(GarbageCollector)會對沒有運作的區域進行確認，看是否被分配了內存。這時，用于確認的標志就是pointer，如果某個區域有很多pointer或占據了大量內存，GC在搜查過程中會消耗較大內存。

話句話說，在運行GC(GarbageCollector)之前，內存使用量為44GB，一旦開始運行，內存使用量就會增加100GB。再加上進行內存分析的時間剛好在GC完成運轉后，所以只看到了運轉前的內存使用量，即44GB。由于Klaytn分配的Bigcache量很大，所以GC一直在消耗更多的內存。

這類情況會導致系統突然出現內存不足的情況。因為Klaytn需要長時間運轉，必須避免由于占用過多內存導致系統突然崩潰的情況。在下一篇文章內，我們將會介紹解決該內存遺漏問題的過程。

關于Klaytn

項目名稱:Klaytn

英文縮寫:KLAY

官方網站:https://www.klaytn.com/??

項目簡介：Klaytn是以服務為中心的企業級分布式信任區塊鏈平臺，通過高效的“混合”設計，結合了公有鏈和私有鏈的最優功能。Klaytn與全球眾多知名品牌的參與合作，通過共同的不懈努力，創建可靠的去中心化業務平臺。Klaytn治理委員會是一個由跨國企業和組織組成的聯盟，負責運營共識節點網絡，推動生態系統發展。Kakao的區塊鏈開發部門「GroundX」已正式推出Klaytn，并可用于商業用途。

來源：金色財經

Tags：COMCHECACACHbitpiecom官網下載正版cher幣投資機構BICACMachinecoin

DOGE