GPT:火爆出圈的最強 AI GPT 是否可用于合約安全審計？_TRAIL價格

前言

近期 ChatGPT 爆火，其對傳統文字工作的效率提高及總結能力讓使用者驚艷。緊隨其后 CodeGPT 這樣基于 GPT 的插件出現，也充分體現了其對代碼編寫效率的提高。而最新 GPT-4 的發布，是否可以應用到對區塊鏈 、Solidity 智能合約的審計中呢？

基于這樣的疑問，我們進行了多種可行性測試。

測試使用的對比模型對象：GPT-3.5(Web), GPT-3.5-turbo-0301, GPT-4(Web)。

代碼片段使用 Prompt：Help me discover vulnerabilities in this Solidity smart contract.

漏洞代碼片段的檢測對比

在此部分，我們分三次測試，使用歷史上常見的漏洞代碼作為測試一和測試二的用例，來驗證其對基礎漏洞的檢測能力，測試三中使用中等難度的漏洞代碼作為測試用例。

測試一

用例：《智能合約安全審計入門篇 —— Phishing with tx.origin》

漏洞代碼：

動態 | 區塊鏈、股權轉讓概念持續火爆 相關上市公司備受市場青睞:據證券市場周刊報道，上半周，兩市熱點題材萎靡，區塊鏈、股權轉讓、殼資源是僅存的幾個亮點。消息面上，11月8日，《上市公司證券發行管理辦法》、《創業板上市公司證券發行管理暫行辦法》等再融資規則發布，股權轉讓概念受關注，區塊鏈則是自10月底以來持續火爆的概念。上市公司中兼具兩個概念的為數不多，如恒久科技(11.600,-0.19,-1.61%)（002808）近日收購信息安全企業閩保股份正式涉鏈就被市場所挖掘；九鼎新材(23.720,0.71,3.09%)（002201）則再度霸占股權轉讓概念上漲榜。[2019/11/13]

（1）對 GPT 進行提問：

（2）GPT-3.5(Web) answer

（3）GPT-3.5-turbo-0301 answer

獨家 | Fomo3D第一輪大獎贏家揭曉 同類DAPP游戲或將再度火爆:第三方大數據評級機構RatingToken最新數據顯示，2018年8月21日全球共新增2014個合約地址，其中271個為代幣型智能合約。

另外RatingToken安全審計團隊專家指出，Fomo3D第一輪已經結束，獲獎者共獲得了10,469.660003123933104565個ETH。最后一筆有效買入交易發生在開獎前16分鐘，考慮到擁堵情況和參與者熱情，獲獎者操作極難復制。同時巨額利潤可能引起山寨類Fomo3D游戲再次爆發，參與此類游戲一定要注意智能合約代碼是否公開，合約安全是否有保障。特此提醒投資者需保持冷靜仔細甄別，警惕幸存者偏差誤導投資。

此外，昨日登上新增合約風險榜TOP10的合約包括Le Photon Token(LPT)、Relative Strengthening Index (RSI)、Your MOM(YMOM)、f3dplus(f3dplus)、JyagaEbiCoin(JEC)、FoMo3D Long Official(F3D)、FOMO Fast(FAST)、Okami PK Long Official(Okami)、SKW(SKW)和LandOwner VS Peasant(Land)。

如需查看更多智能合約檢測結果，請查看原文鏈接。[2018/8/22]

“區塊鏈大爺”火爆2018全球區塊鏈精英峰會會場:據火訊財經報道稱，4月28日，在2018全球區塊鏈精英峰會會場外，一個頭發花白的大爺吸引了很多人的注意，大爺手持宣傳牌，上面寫著“全球首個保潔鏈-Clean Chain，去中介化的保潔服務與管理”，同時發布需求“求技術合伙人！求交易所聯系方式！”在宣傳語中還表達了保潔行業是人類剛需，與區塊鏈技術相結合勢不可擋的強烈意愿。現場很多人稱其為“區塊鏈大爺”。[2018/4/28]

（4）GPT-4(Web) answer

可以看到結果：3 個測試版本都發現了關鍵的 tx.origin 相關問題。

測試二

用例：《智能合約安全審計入門篇 —— 溢出漏洞》

火幣HT搶購火爆，數據驚人:火幣全球通用積分Huobi（HT）搶購數據：1分40秒售罄, 1月25日第二天比首日更加激烈，其中1萬元點卡套餐6秒被秒光~其次是1000元1分4秒；100,000萬1分5秒；100元1分40秒。HT在1月24日上午10點推出后就引發幣圈瘋搶，2分26秒內售罄。[2018/1/25]

（1）對 GPT 進行提問：

可以看到 GPT-3.5(Web)、GPT-3.5-turbo-0301 都發現了關鍵的 Overflow 漏洞，出乎意料的是 GPT-4(Web) 居然沒有相關提示。

比特幣火爆：Coinbase去年營收超10億美元:隨著加密貨幣的價格暴漲，美國比特幣交易平臺Coinbase也實現了快速發展，并因此遭遇了硅谷創業公司難得一遇的煩惱：有太多投資者想要入股該公司。知情人士透露，這家成立6年的公司去年的營收突破10億美元大關，主要是因為人們對比特幣和其他虛擬貨幣的興趣激增所致。該公司去年8月估值為16億美元，現在至少翻了一番。知情人士表示，Coinbase截至去年9月30日僅能實現約6億美元的年營收，但感恩節和圣誕節期間的比特幣交易將其全年營收提升到10億美元以上。[2018/1/23]

測試三

用例：《空手套白狼 —— Popsicle 被黑分析》

對比結果，我們可以看到 3 個版本都未發現關鍵的漏洞點。

代碼片段的檢測總結

可以看到 GPT 模型對簡單的漏洞代碼塊的檢測能力還是不錯的，但是對稍微復雜一點的漏洞代碼暫時還無法檢測，并且在測試中可以看到 GPT-4(Web) 的整體上下文可讀性很高，輸出格式清晰、舒服，但是其對代碼的審計能力暫時沒有遠超 GPT-3.5(Web)、GPT-3.5-turbo-0301，甚至在部分測試中由于 Transformer 輸出存在一定的不確定性反而導致 GPT-4(Web) 遺漏了一些關鍵問題。

為了更加契合普通項目方在合約審計中的簡單操作需求，這里我們提高些難度，針對代碼量大的合約進行全量導入上下文，讓 GPT-4 模型進行審計（GPT-3 對上下文的字符總數限制更小這里就不做測試）。

用例：《千萬美元被盜 —— DeFi 平臺 MonoX Finance 被黑分析》

整份合約分批輸入，在對話最后提出檢測漏洞請求

這里使用 Prompt：

Here is a solidity smart contract 

Contract code

The above is the complete code,help me discover vulnerabilities in this smart contract.

可以看到，GPT-4 雖然在 OpenAI 公布的信息中其單次輸入字符總數已經是當前最高，但還是會由于文本超長導致在最后提問時 GPT 會上下文缺失而只識別到部分內容，所以這樣對大型合約而言就無法進行完整的上下文審計。

拆封整份合約，分批輸入分批檢測

對話 1：

Help me discover vulnerabilities in this solidity smart contract.

分段內容 1

對話 2：

分段內容 2

對話 3：

分段內容 3

（1）優點

GPT 對合約代碼中基礎的簡單的漏洞具備部分檢測能力，并且在檢測出漏洞后會以很高的可讀性來解釋漏洞問題，這樣的特性比較適合為初級合約審計工作者前期訓練提供快速指導和簡單答疑。

（2）存在的問題

a. 每次生成內容波動

GPT 對每次對話的輸出存在一定的波動，可以通過 API 接口參數進行調整，但是依舊不是恒定的輸出，雖然這樣的波動性對語言對話來說是好的方式，大大提高了對話給人的真實感。但是這對代碼分析類的工作來說是一個不好的問題。因為為了覆蓋 AI 可能告知我的多種漏洞回答，我需要多次請求同一問題并進行對比篩選，這無形中又提高了工作量，違背了 AI 輔助人類提高效率的基準目標。

例如這里再次運行 "漏洞代碼片段的檢測對比測試二（其中簡單改變函數名后再次生成）：

可以看到其輸出結果比之前測試又多了一些額外內容。

b. 漏洞分析能力依舊有很大的提高空間

對稍微復雜的漏洞進行檢測即會發現當前的（2024.3.16）訓練模型不能正確的分析并找到相關關鍵漏洞點。

GPT 輔助合約審計的可行性和潛力分析

雖然當前來看 GPT 對合約漏洞的分析及挖掘能力還處于相對較弱的狀態，但它對普通漏洞小代碼塊的分析并生成報告文本的能力依舊讓使用者興奮，在可預見的未來幾年伴隨這 GPT 及其他 AI 模型的訓練開發，相信對大型復雜合約的更快速，更智能，更全面的輔助審計一定會實現。當科技發展可指數級提高人工的效率時就會發生質變，我們非常期待 AI 對區塊鏈安全的助力，我們會持續關注新 AI 產品對區塊鏈安全的影響。最后可見的將來我們必將與 AI 在一定程度上進行融合，愿 AI 和區塊鏈與你同在。

慢霧科技

個人專欄

閱讀更多

金色財經 善歐巴

金色早8點

白話區塊鏈

Odaily星球日報

MarsBit

歐科云鏈

深潮TechFlow

Arcane Labs

BTCStudy

Tags：GPT區塊鏈WEBTRAFoxGPT區塊鏈工程好就業嗎3WEBTRAIL價格

以太坊最新價格