比特幣價格 比特幣價格
Ctrl+D 比特幣價格
ads
首頁 > 中幣 > Info

IGC:前沿研究:AIGC+無線邊緣網絡的暢想_SPS

Author:

Time:1900/1/1 0:00:00

原文:EnablingAI-GeneratedContent(AIGC)ServicesinWirelessEdgeNetworks

編譯:DeFi之道

簡介

人工智能生成內容技術由于具有的獨特能力,在文本、圖像和視頻等內容領域的有著很大的應用潛力。毫無疑問,AIGC將顯著影響未來的很多日常應用,特別是在元宇宙賽道。由于能夠高效地生成大量高質量的內容,AIGC可以節省在手工內容創建上的時間花費和其他資源,最近的研究表明,AIGC在技術發展方面已經取得了重大進展。

具體來說,在文本生成方面,參考文獻中和的作者已經探索了使用深度學習技術生成連貫和多樣化文本的方法。對于圖像生成,和作者則重點研究使用第一代對抗網絡來生成逼真的圖像。在音頻生成中,的作者探索了用于合成高質量語音的深度學習技術。此外,擴散模型是AIGC領域的最新突破,2020年,OpenAI發布了GPT-3模型,作為一種多模式的全能語言模型,GPT-3能夠進行機器翻譯、文本生成、語義分析等。而在2022年發布的基于擴散模型的DALL-E2被認為是最先進的圖像生成模型,其性能可以優于GANs。

但是,AIGC模型需要大量的數據來進行訓練,而且大型的AIGC模型還很難被部署。以StableDiffusion為例,StabilityAI公司維護了超4000個NVIDIAA100GPU集群,運營成本就達到了5000萬美元。而StableDiffusionV1模型的一次訓練需要15萬A100GPU小時。此外,由不同數據集訓練的AIGC模型只能適用于特定的任務,例如,由人臉數據集訓練的AIGC模型可以用于修復損壞的人臉圖像,但不能有效地糾正模糊的景觀圖像。由于用戶任務的多樣性和有限的邊緣設備容量,很難在每個網絡邊緣設備上部署多個AIGC模型。為了進一步提高AIGC服務的可用性,一個很有前途的部署方案是基于“Everything-as-a-service”,它可以有效地為用戶提供基于訂閱的服務。通過采用EaaS部署方案,我們進一步提出了“AIGC-as-a-service”的概念,具體來說就是AIGC服務提供商可以在邊緣服務器上部署人工智能模型,通過無線網絡向用戶提供即時服務,提供更方便和可定制的體驗。用戶可以輕松地訪問和享受AIGC的低延遲,在邊緣網絡中部署AaaS有幾個優點:

個性化:AIGC模型可以根據每個用戶的需求進行定制的內容,提供個性化的體驗。例如,可以提供個性化的產品推薦,通過根據用戶的位置、偏好和使用模式給用戶提供服務。

高效率:通過在更接近用戶的地方部署AIGC服務,服務質量將得到顯著提高,例如,通過本地的內容傳輸,可以更有效地利用網絡和計算資源,降低延遲。

靈活性:AIGC可以進行定制和優化,以滿足動態需求和資源可用性。通過調度無線網絡用戶對AIGC的訪問,可以使網絡中用戶的整體QoS最大化。

因此,基于邊緣網絡的AaaS有可能徹底改變通過無線網絡來創建和交付內容的方式。然而,目前對AIGC的研究主要集中在AIGC模型的訓練上,而忽略了在無線邊緣網絡中部署AIGC時的資源分配問題。具體來說,AIGC可能需要大量的帶寬和計算能力來生成內容以及向用戶交付內容,而這可能會導致網絡性能的下降。此外,擴展AaaS以滿足大量用戶的需求也是一項挑戰。因此,為用戶分配合適的AIGC服務提供商至關重要的,一方面,用戶追求那些能提供優質服務的ASPs;另一方面,也要避免某些AIGC服務過載和需要重新傳輸,從而消耗稀缺的網絡資源,文章主要有以下幾個方面的內容:

江蘇省委書記:大力發展區塊鏈等前沿產業和新業態新模式:3月13日,江蘇省委書記婁勤儉發表署名文章《疫情防控不松勁 推動發展再加力》。文章表示,這次疫情對整個產業結構、組織方式帶來了深刻變化,我們要主動適應,加快轉型,大力發展人工智能、區塊鏈、云計算、大數據、邊緣計算等前沿產業和新業態新模式,謀劃儲備加快推進“新基建”項目,大力培育新增長點。[2020/3/14]

對AIGC及其背后的技術的全面概述,討論了AIGC的各種應用及其在無線邊緣網絡中的用例和部署挑戰。

回顧了現有的基于圖像的感知質量指標。通過實際實驗,我們提出了一個通用模型來揭示AaaS中計算資源消耗與生成內容質量之間的關系。

提出了一種支持深度強化學習的方法來實現最優ASPs的動態選擇。證明了DRL算法相比其他四種解決方案上的優勢。

AI內容生成與技術

在本節中,我們將回顧AIGC的發展進展,介紹了AIGC背后的技術。然后,我們將討論幾種AIGC在邊緣網絡中的相關應用。

1.生成技術

我們在訓練AIGC模型中引入了生成技術,基本模型結構下圖所示。

圖1:AIGC中的生成技術、AIGC的類別和在無線邊緣網絡中的應用

l自動回歸模型:ARMs屬于統計模型,它涉及到基于過去的值來預測一個時間序列的未來值。ARMs可以通過基于前一個元素預測下一個元素來生成文本或其他媒體類型。ARMs的一個潛在應用是,通過根據邊緣用戶之前的音符來預測音樂序列中的下一個音符,進而來生成音樂。

變分自編碼器:VAEs可以通過學習輸入數據來生成新的數據,其中包括一個編碼器網絡和一個解碼器網絡。編碼器網絡處理輸入數據并輸出一個潛在的表示,解碼器網絡以這種潛在的表示作為輸入,并生成與輸入數據相似的合成數據。

生成對抗網絡:GANs由兩個神經網絡組成,即生成器網絡和鑒別器網絡。將這兩個網絡一起進行訓練,以提高生成器生成真實圖像的能力和鑒別器區分合成圖像和真實圖像的能力。

基于流的模型:FBMs通過一系列可逆變換將一個簡單的分布轉換為目標分布,這些轉換被實現為神經網絡,而應用這些轉換的過程被稱為“流(Flow)”。

擴散模型:訓練DMs對被高斯噪聲模糊的圖像進行去噪,以學習如何實現逆轉擴散過程。幾種基于擴散的生成模型已經被提出,包括擴散概率模型、噪聲條件評價網絡和去噪擴散概率模型等。

此外,經典的技術,如Transformer,也可以用于訓練AIGC模型,這將在下面進行討論。

2.移動網絡中的AIGC與應用程序類別

下文介紹了幾類AIGC技術及其在邊緣網絡中的應用,這可以作為未來潛在的研究方向。

文本到文本的AIGC:文本到文本AIGC可以根據給定的文本輸入生成類人的回復輸出。因此,它可以用于自動回答、語言翻譯或文章摘要。一個代表性的文本到文本AIGC模型就是GPT,它是由OpenAI?開發的語言模型。GPT是在大量生成的文本數據集上訓練的,比如書籍或文章,該模型可以根據前面的單詞來預測序列中的下一個單詞并創建文本。GPT非常成功,并且已經在幾個自然語言處理基準測試上取得了非常好的效果。GPT可以用來構建許多基于語言的服務,在無線邊緣網絡中,如圖1所示,GPT可以作為一個聊天機器人,為司機提供導航和信息警報等服務。

動態 | 天津高新區將聚焦區塊鏈等前沿科技領域 打造“京津獨角獸生態圈”:據今晚報1月6日消息,今起五年,天津高新區將實施五大行動。其中包括新興動能培育行動。即高新區將聚焦人工智能、大數據、云服務、區塊鏈等前沿科技領域,引進培育一批獨角獸和潛在獨角獸企業,打造“京津獨角獸生態圈”等。[2020/1/6]

文本到圖像的AIGC:文本到圖像AIGC允許用戶基于文本輸入來生成圖像,允許通過書面描述創建對應的視覺內容。它可以被看作是自然語言處理和計算機視覺技術的結合。如圖1所示,文本到圖像的AIGC可以幫助移動用戶進行各種活動。例如,車聯網中的用戶可以請求基于視覺的路徑規劃,此外,文本到圖像的AIGC還可以幫助用戶創建藝術,并根據用戶的描述或關鍵字創作各種風格的圖片。

文本到3D的AIGC:文本到3DAIGC可以通過使用無線AR應用程序從文本描述生成3D模型。通常,生成3D模型比生成2D圖像需要更高的計算資源。考慮到下一代互聯網服務的發展,如元宇宙,基于文本來生成3D模型而無需復雜的手工設計,未來將會有非常大的應用潛力。

圖像到圖像的AIGC:指使用人工智能模型從源圖像中生成真實的圖像,或創建輸入圖像的程式化版本。例如,當涉及到輔助藝術品創作時,圖像到圖像的AIGC可以僅根據用戶輸入的草圖生成視覺上令人滿意的圖片。此外,圖像到圖像的AIGC還可以用于圖像編輯服務,比如用戶可以刪除一個圖像中的遮擋或修復損壞的圖像。

與音頻相關的AIGC:與音頻相關的AIGC模型可以分析、分類和操作音頻信號,包括語音和音樂。具體來說,文本到語音模型的設計是為了從文本輸入中合成自然的語音。音樂生成模式可以綜合各種風格和流派的音樂。視聽音樂的生成包括使用音頻和視覺信息,如音樂視頻或專輯藝術作品,以生成與特定視覺風格或主題更緊密相關的音樂作品。此外,與音頻相關的AIGC可以作為語音助手,回答用戶的查詢。Alexa和Siri是現實應用程序的例子。

鑒于AIGC模型的強大能力,在無線邊緣網絡中部署AaaS存在幾個挑戰,下面將介紹這些挑戰。

AaaS與無線邊緣網絡

在本節中,我們將詳細討論AaaS,包括挑戰和性能指標。

AaaS的挑戰

為了在無線邊緣網絡中部署AaaS,ASPs首先應該在大數據集上訓練AIGC模型。AIGC模型和邊緣網絡生成技術中的應用程序擴散模型需要托管在邊緣服務器上,并且可以被用戶訪問。需要持續的維護和更新,以確保AIGC模型在生成高質量內容方面保持準確和有效。用戶可以提交內容生成請求,并從ASPs租用的邊緣服務器接收生成的內容。盡管在無線邊緣網絡中部署AaaS有優點,但仍有相應的挑戰需要解決:

帶寬消耗:AIGC消耗了大量的帶寬。特別是對于與高分辨率圖像相關的AaaS,上傳和下載過程都需要大量的網絡資源來實現,來確保低延遲的服務。例如,在壁紙天堂應用中,一個人工智能生成的壁紙的數據大小可以達到10兆字節左右。此外,由于生成的圖像的多樣性,用戶可能為了獲得滿意的圖像,向特定的邊緣服務器進行多次重復請求,進一步消耗網絡資源。

時變頻道質量:AaaS中的QoS會受到生成內容的無線傳輸影響。低信噪比、低中斷概率和高誤碼概率會降低AIGC服務的QoS和用戶滿意度,這是時變信道偶爾遇到深度衰落時造成的。

用于訓練AIGC模型的數據集:用于訓練AIGC模型的數據集可能會影響生成內容的質量。由于不同的ASPs有不同的AIGC模型,用戶可以被分配到合適的ASPs來滿足他們的需求。例如,使用了更多的人臉圖像進行訓練的AIGC模型將比使用其他數據集進行訓練的AIGC模型更適合生成虛擬化身。

現場 | 周平:國內將政府標準與開源連在一起 促進區塊鏈標準站在行業發展最前沿:金色財經現場報道,在2019網易未來大會“原點·共生”分論壇區塊鏈+實體經濟論壇上,中國電子技術標準化研究院軟件工程與評估中心主任周平作了以“區塊鏈標準化之路”為主題的演講。周平表示,區塊鏈很新,還無法形成國家標準,只能通過團體標準來逐漸應用推動形成國家標準。明年相對應的國家標準會出現,英國在初項提案中共定義110余個術語,經過相對模糊的數據采取簡化或者完全刪除的處理方式,目前共定義84個術語。區塊鏈行業標準的作用,能夠支撐核心關鍵技術創新與發展,另一個作用是培育行業的發展。目前國內政府標準與開源連在一起,來促進區塊鏈標準能夠站在行業發展的最前沿。[2019/11/23]

計算資源消耗:訓練有素的AIGC模型在生成內容時仍然消耗一定的時間和計算資源,例如,擴散模型AaaS的輸出質量隨著推理步驟數的增加而增加。

l效用最大化和激勵機制:激勵機制的設計在AaaS中具有重要意義,因為它可以激勵ASPs生成高質量的內容,滿足期望的目標和目標。

解決上述挑戰的一個常見問題是如何評估AIGC的性能。雖然目前市面上已經提出了許多不同模式的評估指標,但大多數都是基于人工智能模型或者本身難以計算,沒有數學表達式。對于無線網絡中AaaS的優化設計,基于人工智能的資源分配解決方案可以利用基于人工智能的性能指標來模擬對用戶的主觀感受。然而,傳統的數學資源分配方案需要有對計算資源消耗的關系,如擴散模型中的推理步數與生成內容的質量之間的關系進行建模,如圖2所示。為了解決這一問題,我們以與圖像相關的AaaS為例,引入了各種性能評價指標,并探討了度量值之間的數學關系。

性能指標

我們首先討論AIGC的評估指標。我們專注于評估圖像的感知質量,但同樣的方法也可以應用于其他類型的內容,我們還建立了AaaS中計算資源消耗與生成內容質量之間的關系。

1)基于圖像的指標:圖像質量評估指標可以是基于分布的和基于圖像的。基于分布的度量標準,例如,弗雷切特初始距離,取一個圖像特征列表來計算分布之間的距離,以評估生成的圖像。然而,對于無線網絡中的實際AaaS,質量評價是主觀的,用戶很難計算出基于分布的指標。因此,我們關注基于圖像的指標,試圖通過建模人類視覺系統的生理和心理視覺特征,或通過信號保真度度量來實現對質量預測的一致性。具體來說,如果不以原始圖像作為參考,無參考圖像質量評價方法可以被認為是:

全分辨:TV是對圖像平滑度的一種度量。計算全分辨的一種常見方法是取圖像中相鄰樣本之間的絕對值之和,它衡量了圖像的“粗糙度”或“不連續性”。

無參考的空間域圖像質量評估:BRISQUE用局部歸一化亮度系數的場景統計數據來量化由于失真而可能造成的圖像“自然性”損失,研究表明,BRISQUE表現與人類對圖像質量的感知類似。

圖像質量越高,TV值越小,對于有參考圖像的AaaS,我們可以使用全參考圖像質量的評價方法:

離散余弦變換圖像質量評價:DSS通過測量離散余弦變換域的結構信息變化,利用人類視覺感知的基本特征,對這些次頻帶的質量進行加權計算。

基于Haar小波的感知相似性指數:HaarPSI利用從Haar小波分解得到的系數來評估兩幅圖像之間的局部相似性,以及圖像區域的相對重要性。

平均偏差相似指標:MDSI利用梯度相似度、色度相似度和偏差池等,是一個可靠和完整的參考感知圖像質量評估的模型。

聲音 | 香港區塊鏈協會主席梁捷揚:香港政府對區塊鏈等前沿科技政策的支持非常有力:香港區塊鏈協會主席梁捷揚表示,香港政府對人工智能、區塊鏈、大數據、云計算等前沿科技領域政策的支持非常有力,在區塊鏈領域已經形成了包含政府、NGO、區塊鏈創業企業等在內的完整產業生態,大量來自大陸和海外的人才正涌入香港。虛擬貨幣新規針對虛擬資產出臺特定條款條件,并推出“沙盒監管”。但他表示,香港證監會(SFC)已于7月中旬暫停了沙盒試驗的申請,并將于9月3日展開新的、小范圍的政策咨詢,充分聽取香港區塊鏈業界的聲音。他長期看好粵港澳大灣區將為區塊鏈產業帶來的機遇。在他看來,粵港澳大灣區有望形成全球范圍內最大的科技創業生態。(火星財經)[2019/8/30]

視覺信息保真度:VIF是一種有競爭力的測量保真度的方法,它量化了參考圖像中的信息,以及從失真圖像中可以提取多少參考信息。

圖像質量越高,上述衡量圖像質量的度量值就越高。

2)感知圖像質量度量值的一般模型:基于擴散模型的AIGC模型正在成為主流。如圖1的所示,擴散過程可以看作是一個逐級去噪的過程。因此,增加推理步驟的數量將提高感知圖像的質量。然而,生成的圖像質量并不總是隨著步驟數的增加而增加。過度的推理步驟會導致不必要的資源消耗。我們進行了真實的實驗來調查推理步驟數和各種感知圖像質量指標之間的關系,即TV、BRISQUE、DSS、HaarPSI、MDSI和VIF。

實驗平臺建立在一個通用的Ubuntu20.04系統上,AMD銳龍ThreadripperPRO3975WX處理器規格和NVIDIARTXA5000的GPU。我們以基于擴散模型的損壞圖像恢復服務作為AaaS為例子。具體來說,我們在服務器上部署了中提出的訓練有素的模型RePaint。如圖2所示,我們首先生成一系列損壞的圖像,例如20張圖像。然后,將這些損壞的圖像輸入“重新繪制”。我們可以觀察到,隨著推理的進行,損壞的圖像逐漸恢復,如圖2所示。此外,衡量圖像質量的BRISQUE度量值下降,如圖2所示。我們在圖3中展示了在不同的時間和推理步驟下的各個度量值的變化。

圖2:用于修復損壞的圖像的AaaS示例

圖3.推理步驟的數量與不同感知圖像質量指標之間的關系

因此,我們給出了一個包含四個參數的感知圖像質量度量的一般模型,如圖3的頂部所示。具體來說,Ax是圖像質量開始提高時的最小推理步驟數,Ay是圖像質量的下限,可以視為高噪聲圖像的評價值,Bx是根據AIGC模型的能力而使圖像質量開始穩定時的推理步驟數,By是模型所能達到的最高圖像質量的值。無論性能度量值與圖像質量成正比還是成反比,無論AaaS類型如何,我們都可以很容易地通過實驗找到點和,如圖3所示。

經驗教訓:盡管擴散過程存在固有的不確定性,但從圖3中我們可以觀察到,感知到的圖像質量隨著推理步驟的增加而近似成比例的增加或下降。在實際的AIGC模型分析中,我們可以用圖3所示的簡單擬合方法對一個性能度量進行實驗,得到我們提出的一般數學模型中的四個參數。然后,該模型可用于無線邊緣網絡支持的AIGC服務分析。

深度強化學習的動態ASPs選擇

聲音 | 谷歌聯合創始人布林:谷歌\"未能走在區塊鏈的最前沿\":7月10日,據國外媒體報道 ,谷歌聯合創始人謝爾蓋·布林(Sergey Brin)周末在摩洛哥舉行的區塊鏈會議上表示,谷歌錯過了走在區塊鏈技術前沿的機會。盡管谷歌可能錯過了分布式賬本技術的早期應用,但布林認為區塊鏈依舊處于Alphabet公司旗下研究部門Google X的研究之下。[2018/7/10]

在本節中,我們研究了最優的ASPs邊緣服務器選擇問題。我們提出了一個支持DRL的解決方案,以最大化實用功能,同時滿足用戶的需求。

AaaS系統模型

如我們的演示圖2所示,三個用戶分別在兩個圖像修復AIGC模型中進行選擇,在CelebA-HQ和Places2數據集上進行訓練。用戶1和用戶2上傳了相同的損壞圖像,我們可以觀察到不同的AIGC模型對于相同的用戶任務會產生不同的結果。

進一步研究了在無線邊緣網絡中大規模部署AaaS的情況,模擬設置了20個AIGC服務提供商和1000個邊緣用戶。每個ASPs為AaaS提供最大的資源容量,即在一個時間窗口內的總擴散步數,在600到1500范圍內隨機,每個用戶在不同的時間向ASPs提交多個AIGC任務請求。這些任務指定了其所需要的AIGC資源的數量,即擴散步數,我們將其設置為一個在100到250之間的隨機值,用戶任務的到達情況遵循泊松分布。具體來說,在288小時內,用戶任務到達速率λ=0.288h/請求,總共有1000個任務。需要注意的是,由不同的ASPs提供的AIGC模型的質量是不同的,例如,修復后的圖像可以更真實和自然。

一個簡單但不太有效的ASPs選擇是,用戶將任務請求直接發送到生成內容質量最好的ASPs。然而,由于計算資源不足和實踐中任務可能中斷,這種方法不可避免地使一些ASPs過載,此外,用戶此時也不知道ASPs生成內容的質量。移動用戶需要多次要求ASPs來估計生成內容的質量,以進行近似選擇,這帶來了不必要的負載和無線網絡資源消耗。為此,在生成內容質量未知的前提下,如何為用戶任務選擇合適的ASPs,最大限度地提高整個系統的效用,減少集中某個ASPs造成的AIGC資源過載和中斷問題,是一個具有挑戰性但又非常重要的問題。

基于深度強化學習的解決方案

我們使用SoftActor-CriticDRL來解決上述動態ASPs選擇問題。如圖4所示,學習過程在評估和改進之間交替進行。與傳統的行為者-批評者體系結構不同,SAC中的策略被訓練為最大限度地在預期回報和信息熵之間進行權衡。AaaS環境中的狀態空間、動作空間和獎勵的定義如下:

圖4:Thestructureofsoftactor–criticDRLalgorithm.

狀態:狀態空間由兩部分組成,(a)到達的用戶任務的特征向量。

動態:ASPs選擇問題的動態空間是一個表示所選ASPs的整數。

獎勵:包括兩部分,生成內容的質量獎勵和擁塞懲罰。前者被定義為修復后的圖像的感知質量。此外,任何超載AIGC模型的操作都必須作進行懲罰。首先,行為本身應該受到固定的懲罰。其次,考慮到操作原因會導致ASPs的模型崩潰,并且正在運行的任務將被中斷,當前的操作也會根據正在進行的任務的進度受到額外的懲罰。返回的總回報是質量獎勵減去擁塞懲罰。

圖5顯示了啟用了DRL后的ASPs選擇策略和四個基準測試策略的效用曲線。由于DRL可以學習和進化,隨著學習步驟的進展,DRL對ASPs的選擇更全面、更準確。因此,效用迅速上升,顯示出獨特的學習能力。一個有趣的發現是,當DRL超過循環時,DRL已經有了一個特定的負載平衡能力,此時,DRL已經學會了避免可能導致崩潰的操作,從而避免了擁塞懲罰。然后,DRL開始學習不同的ASPs的優先級,并尋求將當前的用戶任務放在高質量的ASPs上,以最大化獎勵。

圖5:獎勵值與DRL中迭代次數的關系

圖6計算了五種策略下AIGC任務崩潰的數量、已完成任務的平均獎勵和崩潰任務的數量。一方面,啟用了DRL的ASPs選擇策略可以實現零任務崩潰,并將擁塞懲罰最小化,這對于為用戶提供令人滿意的生成內容質量至關重要。另一方面,DRL策略可以了解ASPs可能提供的內容質量,而這在其他策略中是未知的。然后,DRL可以將用戶任務分配給能夠提供更高QoS的ASPs,從而有效地增加每個任務的平均獎勵。以上兩個優勢的結合最終使得DRL下的ASPs選擇策略能獲得更高的獎勵。

圖6:五種策略下的任務崩潰的數量、已完成任務的平均獎勵和崩潰任務統計

未來方向

Assa安全

在無線網絡中部署AaaS時,來自用戶的請求和生成的內容都是在無線環境中傳輸的。因此,需要研究AIGC的安全技術,例如,通過改進物理層安全技術來保護AIGC數據的傳輸,此外,區塊鏈可以用于實現分布式的內容分發,允許在用戶之間直接共享和訪問內容,而不需要一個中央節點。通過區塊鏈驗證AIGC的真實性和來源,確保AIGC的準確和可信。此外,在AIGC模型的訓練過程中,需要保證訓練數據的隱私性,特別是生物特征數據,如人臉圖像等數據的安全,一種可能的解決方案是通過federatedlearning模型來進行訓練。

基于物聯網和無線傳感輔助的AaaS

考慮到傳感技術的快速發展,我們的目標是利用無線傳感信號實現無源AaaS。例如,無線傳感器可以收集有關環境或用戶行為的數據,然后可以將這些數據輸入到AIGC模型中,以生成相關的內容,這可以被應用到醫療保健,比如借助使用物聯網設備,通過無線傳感來檢測用戶的活動水平、睡眠模式或心率,AIGC可以生成個性化鍛煉計劃等內容。

AaaS的個性化資源分配

雖然目前的AIGC模型可以通過定制化來滿足用戶的需求,但還需要更多的研究來實現個性化的AIGC服務。例如,對于文本到圖像的AaaS,當兩個用戶都輸入文本“一只猴子站在一只斑馬旁邊”時,當前的ASPs會為用戶生成類似的圖像,但是,如果我們推斷這兩個用戶分別是馴馬師和猴子研究者,我們就可以進行個性化的計算資源分配。具體來說,應該分配更多的計算資源來為馴馬師生成和傳輸圖像中的斑馬。對于猴子研究人員來說,更適合生成猴子圖像的AIGC模型應該被分配來處理這個任務。一個潛在的解決方案是將用戶反饋和偏好納入到內容生成過程中,并開發評估個性化內容有效性的技術。

總結

在本文中,我們回顧了AIGC技術,并討論了其在無線網絡中的應用。為了向用戶提供AIGC服務,我們提出了AaaS的概念。然后,討論了在無線網絡中部署AaaS所面臨的挑戰。在解決這些挑戰時,一個基本的問題是關于資源消耗和生成內容的感知質量之間的數學關系。在探索了各種基于圖像的性能評價指標之后,我們提出了一個通用的建模方程,此外,我們還研究了重要的ASPs選擇問題。采用DRL算法實現了接最優的ASPs選擇,我們希望本文能夠激勵研究人員為無線邊緣網絡感知的AaaS發展做出貢獻。

參考目錄:

L.Yunjiu,W.Wei,andY.Zheng,“Artificialintelligence-generatedandhumanexpert-designedvocabularytests:Acomparativestudy,”SAGEOpen,vol.12,no.1,Jan.2022.

M.Chen,A.Radford,R.Child,J.Wu,H.Jun,D.Luan,andI.Sutskever,“Generativepretrainingfrompixels,”inProc.Int.Conf.Mach.Learn.PMLR,2020,pp.1691–1703.

J.Guo,S.Lu,H.Cai,W.Zhang,Y.Yu,andJ.Wang,“Longtextgenerationviaadversarialtrainingwithleakedinformation,”inProc.AAAIConf.Artif.Intell.,vol.32,no.1,2018.

T.Karras,T.Aila,S.Laine,andJ.Lehtinen,“Progressivegrowingofgansforimprovedquality,stability,andvariation,”inProc.Int.Conf.Mach.Learn.,2018.

X.Huang,M.-Y.Liu,S.Belongie,andJ.Kautz,“Multimodalunsupervisedimage-to-imagetranslation,”inProc.Eur.Conf.Comput.Vis.,2018,pp.172–189.

W.Ping,K.Peng,K.Zhao,andZ.Song,“WaveFlow:Acompactflowbasedmodelforrawaudio,”inProc.Int.Conf.Mach.Learn.PMLR,2020,pp.7706–7716.

L.FloridiandM.Chiriatti,“GPT-3:Itsnature,scope,limits,andconsequences,”MindsMach.,vol.30,no.4,pp.681–694,Apr.2020.

P.DhariwalandA.Nichol,“DiffusionmodelsbeatGANsonimagesynthesis,”Adv.NeuralInf.Process.Syst.,vol.34,pp.8780–8794,2021.

G.Harshvardhan,M.K.Gourisaria,M.Pandey,andS.S.Rautaray,“Acomprehensivesurveyandanalysisofgenerativemodelsinmachinelearning,”Comput.Sci.Rev.,vol.38,p.100285,2020.

H.Du,J.Liu,D.Niyato,J.Kang,Z.Xiong,J.Zhang,andD.I.Kim,“Attention-awareresourceallocationandQoEanalysisformetaversexURLLCservices,”arXivpreprintarXiv:2208.05438,2022.

S.Kastryulin,D.Zakirov,andD.Prokopenko,“PyTorchImageQuality:Metricsandmeasureforimagequalityassessment,”2019,opensourcesoftwareavailableathttps://github.com/photosynthesis-team/piq..Available:https://github.com/photosynthesis-team/piq

A.Mittal,A.K.Moorthy,andA.C.Bovik,“No-referenceimagequalityassessmentinthespatialdomain,”IEEETrans.ImageProcess.,vol.21,no.12,pp.4695–4708,Dec.2012.

L.Gatys,A.Ecker,andM.Bethge,“Aneuralalgorithmofartisticstyle,”J.Vis.,vol.16,no.12,pp.326–326,Dec.2016.

A.Lugmayr,M.Danelljan,A.Romero,F.Yu,R.Timofte,andL.VanGool,“Repaint:Inpaintingusingdenoisingdiffusionprobabilisticmodels,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2022,pp.11461–11471.

P.Christodoulou,“Softactor-criticfor?discreteactionsettings,”arXivpreprintarXiv:1910.07207,2019.

Tags:IGCAIGAAASPSTIGCAIG價格AAA幣sps幣多少錢一個

中幣
ETH:金色觀察 | 流動性質押協議賽道大熱 Rocket Pool上線幣安_TPO

2023年1月18日16:00幣安創新區正式上線以太坊流動性質押協議RocketPool代幣RPL,并開放RPL/BTC、RPL/BUSD、RPL/USDT現貨交易對.

1900/1/1 0:00:00
WEB:十五張圖看懂2022年加密VC的投資變化_SOCC幣

原文標題:《2022:CryptoVCComesDowntoEarth》原文作者:alexthorn 原文編譯:DeFi之道 簡介 2022年.

1900/1/1 0:00:00
TEAM:當談論跨鏈橋時 我們都在談論什么?_Mintlayer

圖片來源:由MazeAI生成 入門 你是否曾經徒步旅行并嘗試在不使用橋的情況下過河?我有,我可以告訴你這感覺很糟糕.

1900/1/1 0:00:00
ZK Validator: 2022年零知識證明領域回顧

原文: 作者:ZeroKnowledgeValidator隨著2022年即將結束,我們想整理一份關于零知識技術領域進展的報告.

1900/1/1 0:00:00
NFT:金色Web3.0日報 | 美國司法部調查Sabre Labs創始人_DEFI

DeFi數據 1、DeFi代幣總市值:389.34億美元 DeFi總市值及前十代幣數據來源:coingecko2、過去24小時去中心化交易所的交易量20.

1900/1/1 0:00:00
EFI:2023年什么值得展望?我們和11位crypto投資人聊了一下午_DEF

作者:北辰 在2022年的最后兩天,鏈茶館邀請了11位上海的cryptoVC朋友進行線下閉門聚會,從宏觀市場到公鏈、公鏈、DeFi、NFT、鏈游、SocialFi、錢包等各賽道都進行了梳理.

1900/1/1 0:00:00
ads