導讀隱私聚合技術是專用于解決MPC安全多方求和問題的一種特殊協議。能夠解決該問題的協議有很多種,包括基于加法同態加密的協議,線性秘密分享的協議等等。本文中的隱私聚合是指基于Google在CCS2017上提出的用于解決聯邦學習中梯度安全聚合問題的協議在聯邦場景下的優化。
初識
在聯邦學習領域中,我們遇到的一個主要問題是,如何保證在分布式訓練中梯度聚合時各客戶端梯度的數據安全性。服務器若是直接拿到明文梯度進行聚合,雖然是對梯度進行操作,沒有直接操作原數據并不會直接泄露隱私數據,但是對于攻擊者來說,由于梯度本身就包含原數據的一些信息,通過梯度進行攻擊,還是很容易攻擊到客戶端的隱私數據。
因此,保證各客戶端在梯度聚合階段自己梯度的安全就非常重要。
Google在CCS2017上提出了一種協議用來解決梯度聚合的安全問題,其核心思想是對于每一個客戶端的梯度加上混淆項,由于混淆項是和其他客戶端共同協商特殊構造的且只有自己知道,在聚合時,每個客戶端傳給服務器的梯度中的混淆項都可以消除掉,使得服務器可以在拿到真實的梯度聚合結果的前提下無法攻擊到各客戶端的真實梯度值。由于每一個客戶端發來的都是混淆過的梯度,且梯度中的混淆項只有客戶端自己知道,在其他客戶端和服務器不合謀的前提下,可以保證各客戶端梯度的隱私性。
IMF今日發布的加密貨幣科普視頻實為兩年前舊聞,且存在諸多疏漏:國際貨幣基金組織IMF今日在推特上發布了一條關于加密貨幣的科普視頻,這段時長兩分鐘的視頻最初發布于2018年6月。該視頻稱加密貨幣是“貨幣進化的下一步”,但沒有特別提到DLT、區塊鏈,甚至是代幣名稱等術語。BTC、XRP和ETH只出現在說明加密交易的圖形中。盡管這段視頻到目前為止已經獲得了超過13.7萬的點擊量和2900個贊,但來自加密社區的許多反應都是批評的,他們指出了信息中的漏洞和似乎具有誤導性的措辭。
Reddit用戶nanooverbtc稱:“他們犯了很多錯誤,比如把私鑰稱為密碼。”該視頻也沒有討論挖礦或加密貨幣供應。Kraken策略師Pierre Rochard等知名人士表示:“可證明的稀缺性是比特幣有趣的原因,你忘了提這一點。”(Cointelegraph)[2020/8/24]
隱私聚合協議
想要站在巨人的肩膀上,首先要學會攀爬。我們需要先學習一下Google是如何做的,概括學習《PracticalSecureAggregationforPrivacy-PreservingMachineLearning》這篇會議論文。
人大附中物理老師李永樂科普拜占庭將軍問題和區塊鏈:5月14日,人大附中物理老師、科普視頻網紅李永樂在其公眾號發布視頻《拜占庭將軍問題是什么?區塊鏈如何防范惡意節點?》。李永樂老師在視頻中對拜占庭將軍問題和區塊鏈進行了講解,他表示,拜占庭將軍問題本質上指的是,在分布式計算機網絡中,如果存在故障和惡意節點,是否能夠保持正常節點的網絡一致性問題。在近40年的時間里,人們提出了許多方案解決這一問題,稱為拜占庭容錯法。例如蘭波特自己提出了口頭協議、書面協議法,后來有人提出了實用拜占庭容錯PBFT算法,在2008年,中本聰發明比特幣后,人們又設想了通過區塊鏈的方法解決這一問題。區塊鏈通過算力證明來保持賬本的一致性,也就是必須計算數學題,才能得到記賬的權力,其他人對這個記賬結果進行驗證,如果是對的,就認可你的結果。與拜占庭問題比起來,就增加了叛徒的成本。[2020/5/14]
▲?相關概念
人民數字FINTECH推出區塊鏈科普動畫:人民日報數字傳播發布微博稱,人民數字FINTECH出品《趣味科普|區塊鏈動畫》。[2020/3/31]
混淆公式:
聚合公式:
閾值秘密分享:
秘密分享是指數據拆散成多個無意義的數,并將這些數分發到多個參與方那里。每個參與方拿到的都是原始數據的一部分,一個或少數幾個參與方無法還原出原始數據,只有全部參與方的數據湊在一起時才能還原出原本數據。閾值秘密分享則是將還原的條件放寬,參數方個數達到閾值時數據就可以還原。
動態 | 新浪財經:官媒針對區塊鏈的報道從科普宣傳轉向打假監管:據新浪財經今日消息,“1025新政”滿月,一個月間,官媒對區塊鏈的態度風向已轉。據11月初的一項統計,七家黨媒在新政一周內發布了65篇直接相關報道,當時文章中的關鍵詞是數據、產業、安全、創新等,大量文章偏向于科普區塊鏈的概念以及應用介紹,提醒警惕虛擬貨幣炒作的僅有3篇。近期,官媒的批評焦點則紛紛指向借區塊鏈之名進行的虛擬貨幣發行和炒作行為。據統計,新華網、人民網收錄轉載的,以打擊虛擬貨幣或揭露假借區塊鏈行騙為主題的文章,自10月25日到11月25日午間,共28篇;其中,11月19日至11月25日的一周內就高達15篇。這些文章主要圍繞三個觀點展開:厘清區塊鏈和虛擬貨幣的關系,說明二者概念不等;打擊偽“區塊鏈”騙局,或是虛擬貨幣騙局揭露;提醒民眾,區塊鏈不能成為炒作的噱頭,更不是行騙的招牌,需警惕此類活動,理性投資。[2019/11/26]
▲?協議流程
動態 | 央行官微舊文重發“再科普”:范一飛詳解數字貨幣:據中國經濟網消息,今日,央行官微公眾號頭條重新發布央行副行長范一飛在2018年1月25日題為《關于央行數字貨幣的幾點考慮》的文章,對央行數字貨幣再次進行科普。同時,微信公眾號第二條發布支付司副司長穆長春8月10日在第三屆中國金融四十人伊春論壇上的演講。近年來,各主要國家和地區央行及貨幣當局均在對發行央行數字貨幣開展研究,新加坡央行和瑞典央行等已經開始進行相關試驗,人民銀行也在組織進行積極探索和研究。[2019/8/21]
第0輪:客戶端初始化相關安全參數,生成公私鑰對用于后續流程,并發送公鑰給服務器。服務器收集足夠客戶端的公鑰數據,并記錄這一階段的存活客戶端為u1。
第1輪:服務器廣播收到的公鑰給所有客戶端。客戶端拿到其他客戶端的公鑰,并隨機生成生成混淆項bu;將自己的私鑰su以及bu通過秘密分享生成客戶端總數量的碎片,并使用碎片對應客戶端的的公鑰cu加密,返回給服務器。服務器收集足夠客戶端加密的碎片數據,并記錄這一階段的存活客戶端為u2。
第2輪:服務器將收集到的客戶端加密的碎片數據轉發到對應的客戶端。客戶端收到后根據混淆公式對自己的數據進行混淆,并將混淆后的數據發送給服務器。服務器將u3廣播給每個客戶端,并記錄這一階段的存活客戶端為u3。
第3輪:客戶端收到u3,檢查客戶端個數是否大于等于安全參數t,小于則終止協議。若大于等于t則對u3進行簽名將簽名發送給服務器。服務器收集到足夠客戶端的簽名,并記錄這一階段的存活客戶端為u4。
第4輪:服務器向客戶端廣播收集到的簽名列表。客戶端收到簽名列表,驗證簽名列表大于等于安全參數t,否則中止協議。如果大于等于安全參數t則進行驗簽。驗簽出錯則中止協議。驗簽結束后,對于u2和u3的差集中的客戶端,即離線客戶端,向服務器發送離線客戶端的私鑰su的碎片,對于u2中的客戶端,即在線客戶端,向服務器發送在線客戶端bu的碎片。服務器將收集到每個客戶端的bu碎片進行還原,將收集到的離線客戶端的su碎片進行還原,然后將收到的所有混淆數據根據聚合公式進行聚合,并使用恢復su減去離線客戶端的混淆項,最終消去所有混淆項獲得真實的聚合結果。具體的方式可參看原論文的詳細協議流程。
Google這篇論文的背景是移動端作為客戶端提供數據參與聯邦學習的訓練,因此每個客戶端都是有很大的可能性隨時離線的。由于每個客戶端的梯度都在聚合之前進行了混淆,如果有客戶端在梯度混淆后還未發給服務器就離線了,會導致在聚合階段,其他客戶端梯度中的混淆項無法被消除,服務器拿到的梯度聚合值是錯誤的,影響最終訓練的結果。
為解決這個問題,協議引入了閾值秘密分享技術在聚合前,將自己混淆項的一部分分享給其他客戶端,這樣服務器可以在客戶端離線后從其他在線客戶端恢復離線客戶端的混淆項。但如果服務器可以隨意恢復任意客戶端的混淆項從而拿到梯度的真實值,這樣即使解決了離線客戶端的問題,也失去了隱私保護的特性。為了防止服務器隨意還原客戶端梯度的混淆項,協議中引入了另一個隨機生成的混淆項,并同樣將新引入的混淆項通過秘密分享技術分享給其他客戶端。
每個客戶端在第4輪被請求某個客戶端的碎片時,如果該客戶端離線則只提供su的碎片,如果該客戶端在線則只提供bu的碎片,對于離線客戶端中會影響聚合結果的混淆項可以通過該客戶端的su恢復出來,而對于在線客戶端發來梯度中的兩個混淆項無法都還原出來。通過設置秘密分享時的閾值大小為安全參數之上,使得就算服務器向一批客戶端獲取某個客戶端的su,向另一批客戶端獲取這一客戶端的bu,客戶端的總數量使得服務器也無法同時獲取su和bu,保證客戶端真實梯度的安全性。
閾值的安全參數根據不同的敵手模型如下圖所示。
優化和擴展
該協議主要是面向移動端聯邦學習中的梯度聚合,因此在聯邦場景下可以將解決離線客戶端問題的第二個混淆項bu,秘密分享和還原的階段去除,可以省去大幅的開銷,并且更適合于聯邦場景下的隱私計算。
由于該協議中的混淆項,是客戶端與其他所有參與協議的客戶端一起協商計算產生的,對于參與協議客戶端較多的情況下整個協議的性能會大幅下降,針對于這種情況,KalikinkarMandal等人提出了新的方案進行改進,方案引入了正則圖和鄰居用戶的概念,每個客戶端之和在他鄰居中的客戶端協商秘鑰產生掩碼以解決該問題。
基于上述協議解決了MPC中的多方加減法運算,但其實借鑒上述協議思路,可以改造出適用于乘法和除法運算的協議,即項協議中的混淆公式和聚合公式中的加減依次替換為乘除就可以解決MPC中的多方乘除運算,但由于對多個混淆項交替進行了乘除運算,在最終聚合時會產生一定的精度損失,針對精度損失的問題則可以修改混淆公式,避免直接做除法運算,而在最終聚合時進行除法計算抵消混淆項。
作者簡介
劉敬
數據網格實驗室算法工程師
致力于研究MPC通用和專用算法
Tags:區塊鏈數字貨幣加密貨幣GOO區塊鏈的未來發展前景視頻數字貨幣將造就大批富翁加密貨幣市場分析報告Public Goods
據CoinDesk10月30日消息,許多新興市場和發展中經濟體一直在尋求通過穩定幣和央行數字貨幣解決其金融系統的弱點.
1900/1/1 0:00:00來源:澎湃新聞 記者邵文 ·PaLM2模型提供了不同規模的四個版本,其中輕量級的Gecko模型可以在移動設備上運行,速度非常快,不聯網也能在設備上運行.
1900/1/1 0:00:00作者:肖仰華,系復旦大學教授、上海市數據科學重點實驗室主任 來源:澎湃新聞 ·通用人工智能是人類歷史上第一次關于智能本身的革命,是一種元革命,是歷次某個技術革命難以比擬的.
1900/1/1 0:00:00作者:孫鵬越編輯:大風 來源:鋅財經 圖片來源:由無界AI工具生成比五一假期還要火熱的,只有大模型賽道了.
1900/1/1 0:00:00據AMBCrypto1月17日消息,OpenSea凍結被盜NFT資產策略引發社區質疑。根據OpenSea網站披露的政策信息顯示:“當OpenSea收到可靠的報告或得知某件物品被盜時,我們會鎖定該.
1900/1/1 0:00:00微博財經博主AlbertTheKing表示,剛才的移倉操作大部分小白都搞不懂。我來稍微科普一下:我們高位買了廉價高strike末日put以19000put為例,買這個put花了0.007btc一.
1900/1/1 0:00:00