區塊鏈:科普 | 聯邦學習這件小事_TEP

背?景

計算機學院的學生小A意圖使用大數據及人工智能的相關技術完成自己的一個課題《大學生男生生活費消費行為的偏好分析》，然而苦于數據量不夠，便寄希望于身邊的朋友以及學校的廣大男性同學，原本以為是一件輕而易舉的事，然而…

由于個人隱私易泄露，數據交易難定價，合作者激勵制度不健全，以及惡意提供無用或者虛假數據等問題，收集真實且有價值的的數據遠比想象中難。

而近兩年來，“聯邦學習”被學術界和工業界經常提及，聯邦學習究竟是什么，為何能解決以上問題，我們從它的前世今生開始慢慢揭開面紗。

▲?人工智能是什么

人工智能是人為制造出來的智能，可以讓機器“智能”地完成一些通常認為只能由人來完成的簡單工作。其研究目的是促使智能機器會“聽”、會“看”、會“說”、會“思考”、會“學習”、會“行動”。

民盟中央建議加速元宇宙科普和立法:3月4日消息，民盟中央已起草了《關于“元宇宙”技術發展的提案》，并將提交全國政協十三屆五次會議。在提案中，民盟中央建議，在科普層面需加速知識傳播，法律層面則需加快立法步伐。民盟中央擬提交的提案指出，目前，在新興網絡層面，相關政策法規相對缺失。“元宇宙”在未來將會帶動形成全新的網絡形態，當遇到突發輿情，全虛擬的環境、場景將更難進行源頭追蹤、問題疏導。因此建議應盡早加快立法研究，盡快形成與技術、市場發展相適應的治理模式和法律基礎，全面提升我國社會治理的水平。建議組織相關部門，針對“元宇宙”相關需求、風險進行立法研究，并盡快發布。此前消息，民進中央擬向全國政協十三屆五次會議提交《關于積極穩妥推進元宇宙技術和產業發展的提案》。建議推進元宇宙技術產業發展，建立相關監管治理體系。（華夏時報）[2022/3/4 13:37:12]

自1956年人工智能的概念被提出至今，有了飛速的發展。從早期的電子游戲AI等，到現階段的智能家居、圍棋新星阿爾法狗等，到未來的無人駕駛工具以及毀天滅地的終結者都是人工智能應用的產物。

徐明星新書《趣說金融史》正式發布 科普金融發展之道:金色財經現場報道，9月23日，歐科云鏈創始人徐明星攜手著名財經作家李霽月、行業觀察者顧澤輝力作《趣說金融史》一書，跨越5000年金融歷史，重讀金錢故事，并預測新的金融時代。該書由中信出版社出版，將于近期正式發售。據了解，本書可以更好地呈現金融的起源與發展，幫助人們理解貨幣、金融與未來經濟。作為區塊鏈行業領軍企業——歐科云鏈的創始人，徐明星深知技術探索對經濟社會的重要推動作用，他曾先后出版過《圖說區塊鏈》、《區塊鏈：重塑經濟與世界》、《通證經濟》、《鏈與未來》等行業權威著作，解讀區塊鏈等新型技術的推動下，金融與社會的升級之道，對經濟社會發展做出了重大貢獻。其中，《區塊鏈：重塑經濟與世界》曾作為新中國70周年重點推薦圖書之一被相關書店推薦。[2021/9/23 17:00:57]

人工智能已經改變了我們的生活，從遙不可及的實驗室科技轉變成為我們身邊隨處可見的工具，甚至改變世界的重要伙伴。人工智能中的“學習”能力是人工智能發展的核心，方法也層出不窮，機器學習、深度學習、強化學習……可以統稱為機器學習。發展至今，我們也逐漸發現了制約機器學習和人工智能進一步發展的瓶頸。

現場 | 火幣中國推出數字經濟及區塊鏈產業科普新書:金色財經現場報道，12月6日，由海南省工業和信息化廳主辦，南南合作金融中心協辦，海南生態軟件園、火幣中國承辦的“海南自貿港數字經濟和區塊鏈國際合作論壇”在海口舉行，這是全球首次區塊鏈部長級論壇。

在本次論壇上，火幣中國舉行了“數字經濟及區塊鏈產業科普系列新書發布”儀式，希望通過教材、專業教育、培訓等多種方式，幫助從業者、高校、研究機構深入了解區塊鏈，從而建立起區塊鏈全局性知識模型，真正推動區塊鏈應用落地。火幣中國CEO袁煜明介紹，將聯合機械工業出版社面向普通高等教育推出《區塊鏈導論》、《區塊鏈系統設計與應用》和《區塊鏈新商業模式分析》系列教材，這是國內最早推動的區塊鏈教材之一；火幣中國還積極參與數字經濟的研究，由中信出版社出版的新書《讀懂Libra》已經上市；由火幣中國負責編寫的區塊鏈技術科普讀物《區塊鏈技術進階指南》將于12月面世；首本行業內最全的區塊鏈應用案例集《區塊鏈產業應用100例》在本次論壇進行了首次刊印。[2019/12/6]

▲?機器學習的瓶頸

動態 | 人民日報官方微博科普區塊鏈 強調區塊鏈不等于比特幣:人民日報官方微博今早發表9圖科普區塊鏈。其中涉及區塊鏈的特點有：1、安全；2、不可篡改；3、可訪問；4、無第三方。區塊鏈對未來的影響：1、不需繁瑣個人證明；2、看病避免反復檢查；3、旅行消費更加便捷；4、交易無需第三方。同時強調，區塊鏈不等于比特幣。比特幣只是區塊鏈技術的一種應用，區塊鏈還有醫療衛生、食品安全、版權保護等諸多應用領域。[2019/10/28]

1.算法瓶頸

目前的機器學習存在著魯棒性較差以及算法的不可解釋性兩大問題。

雖然人工智能領域依靠深度學習在圖像識別上取得了巨大的突破，然而在加入“噪聲”后將圖片內容完全識別錯誤的“人工智障”行為依舊屢見不鮮；其次，在引入神經網絡的機器學習中，“黑盒子”狀態的算法雖然提升了算法的效果，但因缺乏嚴格的數學理論證明以及算法的解釋性，從而一直為學業界的人士所詬病。

2.數據瓶頸

2.1?數據需求量大

動態 | 央行官微舊文重發“再科普”：范一飛詳解數字貨幣:據中國經濟網消息，今日，央行官微公眾號頭條重新發布央行副行長范一飛在2018年1月25日題為《關于央行數字貨幣的幾點考慮》的文章，對央行數字貨幣再次進行科普。同時，微信公眾號第二條發布支付司副司長穆長春8月10日在第三屆中國金融四十人伊春論壇上的演講。近年來，各主要國家和地區央行及貨幣當局均在對發行央行數字貨幣開展研究，新加坡央行和瑞典央行等已經開始進行相關試驗，人民銀行也在組織進行積極探索和研究。[2019/8/21]

計算能力和計算成本是首當其沖需解決的問題，而一個好的機器學習算法背后，是大量數據多輪次的重復性計算的結果，需要大量算力成本。

2.2?數據供給稀缺

云計算、AI技術發展至今，我們發現制約AI應用落地的是沒有足夠的數據支撐算法的訓練和驗證。巧婦難為無米之炊，缺少數據的機器學習算法猶如空油的F1賽車，無法施展它最強的性能。

聯邦學習的前世今生

▲?數據隱私問題

數據是機器學習的原油，伴隨機器學習的興起和大數據的浪潮，數據的收集成為業內的產業之一。因為產業的暴利和法制的不健全，用戶的信息被大肆的爬取、收集、販賣，導致很長一段時間我們的生活不堪其擾。

APP上的信息爬取，電話與身份信息泄露讓我們總是能接收到各種廣告推銷電話。更有甚者，“裸貸”風波和Facebook用戶信息泄露，讓大眾在信息化時代對于個人信息安全更加謹慎小心。2018年的歐洲隱私和數據保護法案GDPR的出臺雖然一定程度上保障信息隱私安全并規范了數據收集方式，但無形中加劇了優質數據整合的難度，對機器學習與人工智能領域都是一次重大的挑戰。

▲?聯邦學習的前世

伴隨著以上涉及到的問題，Google公司早在2016年提出聯邦學習的概念，這一概念原本用于解決安卓手機終端用戶在本地更新模型的問題，具體如下：

Step1.?手機下載現有模型；

Step2.?用手機的本地數據來訓練模型；

Step3.?訓練好后，迭代更新，并將更新的額內容加密上傳到云端；?

Step4.?與其它用戶的更新進行整合，作為對共享模型的改進；

Step5.?該過程不斷重復，改進后的共享模型也會不斷地被下載到本地。

值得注意的是，在執行的過程中有兩個特別的點：?

每個設備端在更新己方模型時都是依賴于自己數據的個性化更新；該場景中的共享模型可能不是完整的機器學習模型/神經網絡模型，可能是經過壓縮的模型。▲?聯邦學習的今生

聯邦學習的正式誕生是在2017年，Google的AI?blog中提出的一種分布式機器學習框架，目標是在保證數據隱私安全及合法合規的基礎上，實現多方共同建模，并提升AI模型的效果。當完成訓練后，根據聯邦學習特有的激勵機制，會給予所有的參與方一定的激勵作為共同參與訓練的獎勵。隨后以楊強教授為首的團隊進一步推進聯邦學習框架，直至我們現在所看的樣子。

聯邦學習的分類

▲?聯邦學習的精髓

國際人工智能聯合會主席楊強教授曾經舉過一個聯邦學習的例子：

我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地。

故而，在本地數據不出庫的情況下，通過對中間加密數據的流通與處理來完成多方對共享模型的機器學習訓練，便是聯邦學習的精髓所在。

▲?橫向聯邦學習

橫向聯邦學習是指，在不同數據集之間數據特征重疊較多而用戶重疊較少的情況下，按照用戶維度對數據集進行切分，并取出雙方數據特征相同而用戶不完全相同的那部分數據進行訓練。

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多、用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

▲?縱向聯邦學習

縱向聯邦學習是指，在不同數據集之間用戶重疊較多而數據特征重疊較少的情況下，?按照數據特征維度對數據集進行切分，并取出雙方針對相同用戶而數據特征不完全相同的那部分數據進行訓練。

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

▲?遷移聯邦學習

聯邦遷移學習是指，在多個數據集的用戶與數據特征重疊都較少的情況下，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的情況。

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商場間的聯合。主要適用于以深度神經網絡為基模型的場景

小結

本次帶大家走進“聯邦學習的大門”，簡要介紹了聯邦學習的「前世今生」及「不同分類」，下一篇將會詳細講解「不同分類下的聯邦學習」，敬請期待！

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：區塊鏈人工智能元宇宙TEP區塊鏈運用的技術中不包括哪一項內容人工智能就業前景元宇宙虛擬數字人appDinoStep

Gate.io