作者:Callum@Web3CN.Pro
ZK 從 2022 年開始持續火熱,其技術已經取得了很大的發展,ZK 系的項目也不斷發力。與此同時,隨著機器學習(Machine Learning, ML)的普及,也廣泛應用于生產生活中,許多企業開始構建、訓練以及部署機器學習模型。但目前機器學習面臨的一個重大問題是如何保證可信度和對不透明數據的依賴性。這就是 ZKML 的重要意義:讓使用機器學習的人完全了解模型而不需要透露模型本身的信息。
1. 什么是ZKML
什么是 ZKML,我們把它分開來看。ZK(零知識證明)是一種密碼協議,證明者可以向驗證者證明給定的陳述是真實的而無需透露任何其他信息,也就是說不需要過程就可以知道結果。
ZK有兩大特點:第一,證明了想證明的東西而無需透露給驗證者過多的信息;第二,生成證明很難,驗證證明很容易。
基于這兩個特點,ZK發展出了幾大用例:Layer 2 擴容、隱私公鏈、去中心化存儲、身份驗證、以及機器學習等。本文的研究重點將集中在ZKML(零知識機器學習)上面。
互操作性協議Rarimo與Polygon ID合作推出首個用于驗證憑證的多鏈零知識證明:金色財經報道,互操作性協議Rarimo宣布與隱私保護ID基礎設施Polygon ID合作,這是鏈上身份向前邁出的革命性一步,每個使用 Polygon ID 的身份提供商都立即實現跨鏈,這不僅是Polygon ID首次成為多鏈,而且由于PolygonID是第一個也是唯一一個允許用戶將鏈外憑證表示為零知識證明 (ZKP) 的解決方案,此次合作標志著數字身份領域的首創。Rarimo表示,既然以太坊已被納入其中,Polygon上頒發的憑證將在未來幾周內在BNB Chain和Avalanche上提供。[2023/7/22 15:51:50]
什么是ML(機器學習),機器學習是一門人工智能的科學,涉及算法的開發和應用,使計算機能夠自主學習和適應數據,通過迭代過程優化其性能,無需編程過程。它利用算法和模型來識別數據得到模型參數,最終做出預測/決策。
目前,機器學習已成功地應用于各個領域,隨著這些模型的完善,機器學習需要執行的任務越來越多,為了保證高準確度的模型,這就需要用到ZK技術:使用公共模型驗證私有數據或使用公共數據驗證私有模型。
以太坊生態零知識協議Semaphore發布V2版本:7月7日消息,以太坊生態針對開發者的零知識協議 Semaphore 推出 V2 版本,更新內容包括不再需要擁有 EdDSA 私鑰,從而實現更簡單的電路(circuit)和更高效的零知識證明生成;用于身份承諾和 Merkle 樹的哈希函數從 MiMC 遷移到 Poseidon,將證明時間減半并提高了 Gas 效率;合約模塊化、三個新的 JavaScript 庫等。
Semaphore 最早由以太坊社區成員 Kobi Gurkan、Koh Wei Jie 和 Barry Whitehat 提出,在 2019 年發布 V1 版,可以讓以太坊用戶可以證明他們的群組成員身份,并在不透露原始身份的情況下發送諸如投票或支持的信號。Semaphore 不是面向用戶的應用程序,旨在為以太坊開發人員提供強大而簡單的工具,以使用私有憑據構建 DApp。[2022/7/7 1:57:35]
目前我們所談到的ZKML是創建 ML 模型推理步驟的零知識證明,而不是 ML 模型訓練。
零知識證明研發機構StarkWare啟動基于STARK的可驗證延遲函數服務:零知識證明研發機構StarkWare在以太坊主網上啟動了基于STARK的可驗證延遲函數(VDF)服務VeeDo。VDF是一種可通過計算提供延遲和時間滯后的函數。StarkWare打算用VeeDo解決的第一個應用是以太坊上的無需信任的、不可支配的隨機性概念驗證(PoC)。目前,該PoC已在主網激活。另外,StarkWare還在研究時間鎖(TimeLock)以及下一代PoW機制。
注:2018年7月份,StarkWare獲得了以太坊基金會提供的400萬美元資助,將研發對STARK友好的哈希函數和技術,并為生態系統提供開源代碼。STARK將允許區塊鏈在兼備隱私和后量子安全的情況下進行大規模擴展(例如分片)。(Medium)[2020/6/24]
2. 為什么需要ZKML
隨著人工智能技術的進步,區分人工智能和人類智能和人類生成變得更加困難,零知識證明就有能力解決這個問題,它讓我們能夠確定特定內容是否是通過將特定模型應用于給定輸入而生成的,而無需透露有關模型或輸入的任何其他信息。
聲音 | V神:零知識證明技術對Layer 2更有幫助:在萬向區塊鏈實驗室主辦的第五屆區塊鏈全球峰會上,當被問及最新進展時,V神表示目前正在關注零知識證明,該技術經過十幾年的發展仍然有創新,Zk-SNARKs就取得了一些進步。V神還表示,零知識證明對Layer 2 也許并沒有太大幫助,但對Layer 2也許會有幫助。[2019/9/18]
傳統的機器學習平臺,往往需要開發者將自己的模型架構提交給主機進行性能驗證。這可能會導致幾個問題:
知識產權損失:公開完整的模型架構可能會暴露開發人員希望保密的有價值的商業秘密或創新技術。
缺乏透明度:評估過程可能不透明,參與者可能無法驗證他們的模型與其他模型的排名。
數據隱私問題:經過敏感數據訓練的共享模型可能會無意中泄露有關基礎數據的信息,從而違反隱私規范和法規。
這些挑戰催生了對能夠保護機器學習模型及其訓練數據隱私的解決方案的需求。
ZK提出了一種有前途的方法來解決傳統 ML平臺所面臨的挑戰。通過利用 ZK的力量,ZKML 提供了具有以下優勢的隱私保護解決方案:
聲音 | CFTC專員:繼續看好隱私幣的零知識證明技術:據AMBCrypto消息,近日,美國商品期貨交易委員會(CFTC)專員Brian Quintenz接受采訪時表示,盡管存在AML(反洗錢)的問題,但對零知識證明協議持積極態度。政府接受任何形式的隱私幣的可能性很小,加密貨幣交易平臺也禁止用戶進行不受監控的交易,這也是為什么Monero沒有在Coinbase上線的原因。[2019/6/28]
模型隱私:開發者可以在不公開整個模型架構的情況下參與驗證,從而保護他們的知識產權。
透明驗證:ZK可以在不泄露模型內部的情況下驗證模型性能,從而促進透明和無需信任的評估過程。
數據隱私:ZK可用于使用公共模型驗證私有數據或使用公共數據驗證私有模型,確保敏感信息不被泄露。
將 ZK 集成到 ML 過程中提供了一個安全且隱私保護的平臺,解決了傳統 ML 的局限性。這不僅促進了機器學習在隱私行業的采用,也吸引了經驗豐富的 Web2 開發人員探索 Web3 生態系統內的可能性。
3. ZKML應用和機會
隨著密碼學、零知識證明技術和硬件設施的日益完善,越來越多的項目開始探索 ZKML 的使用。ZKML的生態系統可以大致分為以下四個類別:
模型驗證編譯器:將模型從現有格式(例如 Pytorch、ONNX 等)編譯成可驗證計算電路的基礎設施。
廣義證明系統:為驗證任意計算軌跡而構建的證明系統。
ZKML特定證明系統:專門為驗證 ML 模型的計算軌跡而構建的證明系統。
應用程序:處理ZKML用例的項目。
根據ZKML這些應用的生態類別,我們可以對當前一些應用ZKML的項目做一個分類:
圖片來源:@bastian_wetzel
ZKML 仍然是一項新興技術,它的市場還很早,而且許多應用程序只是在黑客松上進行試驗,但ZKML仍為智能合約開辟了一個新的設計空間:
DeFi
使用ML參數化的Defi應用程序可以更加自動化。例如,借貸協議可以使用 ML 模型來實時更新參數。目前,借貸協議主要信任由組織運行的鏈下模型來確定抵押品、LTV、清算門檻等,但更好的替代方案可能是社區訓練的開源模型,任何人都可以運行和驗證。使用可驗證的鏈下ML預言機,ML模型可以對簽名數據進行鏈下處理以進行預測和分類。這些鏈下ML預言機可以通過驗證推理并在鏈上發布證明,從而無信任地解決現實世界的預測市場、借貸協議等問題。
Web3 社交
篩選Web3社交媒體。Web3 社交應用程序的去中心化特性將導致更多的垃圾郵件和惡意內容。理想情況下,社交媒體平臺可以使用社區同意的開源 ML 模型,并在選擇過濾帖子時發布模型推理的證明。作為社交媒體用戶,可能愿意查看個性化廣告,但希望對廣告商保密用戶的偏好和興趣。因此用戶可以選擇根據喜好在本地運行一個模型,該模型可以輸入媒體應用程序來為其提供內容。
GameFi
ZKML可以應用于新型鏈上游戲,可以創建合作的人類與人工智能游戲和其他創新的鏈上游戲,其中人工智能模型可以充當NPC,NPC 采取的每項行動都會發布到鏈上,并附有任何人都可以驗證以確定正在運行的正確模型的證明。同時,ML 模型可用于動態調整代幣發行、供應、銷毀、投票門檻等,可以設計一款激勵合約模型,如果達到某個再平衡閾值并驗證推理證明,它會重新平衡游戲內經濟。
身份驗證
用保護隱私的生物特征認證代替私鑰。私鑰管理仍然是Web3中最大的困點之一。通過面部識別或其他獨特因素提取私鑰也許是 ZKML 的一種可能解決方案。
4. ZKML的挑戰
雖然ZKML在不斷改進和優化,但該領域還處于早期發展階段,仍存在一些從技術到實踐的挑戰:
以最小的精度損失量化
電路的大小,特別是當一個網絡由多層組成時
矩陣乘法的有效證明
對抗性攻擊
這些挑戰一是會影響到機器學習模型的準確性,二是會影響其成本和證明速度,三是模型竊取攻擊的風險。
目前對于這些問題的改進正在進行,@0xPARC 在 2021 年的ZK-MNIST演示展示了如何在可驗證電路中執行小規模MNIST圖像分類模型;Daniel Kang 對ImageNet規模模型進行了同樣的操作,目前 ImageNet 規模的模型的精度已經提高到 92%,預計將很快達到與更廣泛的ML空間的進一步的硬件加速。
ZKML 仍處于早期開發階段,但它已經開始展現不少成果,可以期待看到更多ZKML的鏈上創新應用。隨著 ZKML 的不斷發展,我們可以預見未來隱私保護機器學習將成為常態。
金色財經
澎湃新聞
金色薦讀
金色財經 善歐巴
鏈得得
LD Capital
深潮TechFlow
Odaily星球日報
Foresight News
BTCStudy
iBox
當元宇宙完全實現時,將如何改變我們的生活?它會超越今天的社交媒體觀念嗎?它會改變商業嗎?它會徹底改變娛樂,創造精致的虛擬世界供我們互動嗎?也許元宇宙會隨著時間的推移實現以上所有內容.
1900/1/1 0:00:00文/Aylo,alphaplease創作者;譯/金色財經0xnative 1、DeFiLlama 滿足用戶所有DeFi 需求的一站式商店。資深用戶一般都會每周查看DeFiLlama.
1900/1/1 0:00:00原文節選自:Delphi Digital《The Great Reset: Navigating Crypto in 2023》 編譯:Web3大航海 我們將今年的報告命名為“大重置”.
1900/1/1 0:00:00chatGPT在上半年熱度持續加溫,很多加密圈的博主都開始日更prompt技巧了,很多資金也都去了AI領域.
1900/1/1 0:00:00原文:《在Sui上構建Capy原型》 作者:Alan 在這個去中心化的游戲中,玩家購買、交易、繁殖和裝飾可愛的南美半水生嚙齒動物Capybaras.
1900/1/1 0:00:00撰寫:Ignas 編譯:深潮 TechFlowDeFi 世界有什么新事情正在發生?每個月我都會跟隨資金來尋找答案.
1900/1/1 0:00:00