STA:Stable Diffusion 團隊放大招！新繪畫模型直出 AI 海報，像素級生成_PFL幣

來源：量子位

開源AI繪畫扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新開源模型DeepFloydIF，一下獲星2千+并登上GitHub熱門榜。

DeepFloydIF不光圖像質量是照片級的，還解決了文生圖的兩大難題：

準確繪制文字。

以及準確理解空間關系。

Stargate DAO成員在社區會議上討論如何處理即將收到的160萬枚ARB:3月30日消息，Stargate DAO成員在周三社區電話會議上討論如何處理160萬枚Arbitrum（ARB）代幣的預期分配，這些代幣價值不到200萬美元。LayerZero Labs的員工MaxPower表示，這些代幣尚未收到，但當收到時將必須決定是否持有、出售、部署或委托這些代幣。

一些與會者建議，DAO應該將ARB代幣分發給用戶，或將其部署為流動性激勵。與此同時，其他治理代幣持有者建議委托ARB代幣，以便Stargate DAO可以參與Arbitrum治理。

據DeFiLlama的數據，Stargate的總鎖定價值（TVL）為3.64億美元，其中近22%來自Arbitrum平臺。（CoinDesk）[2023/3/30 13:34:35]

Balancer將為LSD協議StaFi的rETH-ETH池創建Gauge，BAL釋放上限為10%:2月8日消息，流動性質押衍生品協議 StaFi 在 Balancer 社區提議為以太坊上的 rETH-ETH 池創建一個 Balancer Gauge，BAL 釋放上限為 10%。StaFi 將使其 Balancer rETH-ETH 池成為以太坊主網上 rETH 的主要流動性來源。通過增強池的流動性，Balancer 將會從增加的交易費用中獲益。目前該提案已獲得 Balancer 社區投票通過。

StaFi 于 2020 年第三季度推出，重點是為以太坊和其他權益證明鏈（例如 Polygon、Solana 和 Polkadot）上的抵押資產帶來流動性。與其他 LSD 協議類似，StaFi 發行流動性收據 Toekn (rETH)，代表用戶通過無許可的驗證器集在信標鏈上質押的以太坊份額。自推出以來，該協議已在 11 種 Token 中積累了價值超過 3600 萬美元的質押資產，并擁有 3439 個活躍驗證者。[2023/2/8 11:54:54]

網友表示，這可是個大事，之前想讓Midjourneyv5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆，對于鏡子理解的也不對。

Web3娛樂公司Orange Comet收購Mint State Labs:金色財經報道，Web3娛樂公司Orange Comet, Inc.今天宣布收購游戲技術提供商Mint State Labs。Mint State Labs的首席執行官Peter Morales將擔任首席技術官，繼續監督Orange Comet的數字基礎設施和技術發展。 收購的條款沒有披露，但Mint State Labs的領導層和所有員工及承包商將加入Orange Comet。 （prnewswire）[2022/12/23 22:02:36]

使用DeepFloydIF，可以把指定文字巧妙放置在畫面中任何地方。

Layer2 ZK Rollup的NFT市場Mint Square上線.stark域名:9月17日消息，基于以太坊Layer2 ZK Rollup的NFT市場Mint Square上線由Starknet.id提供支持的.stark域名。.stark個人資料URL現已支持Mint Square測試網，主網即將推出，目前可按長度過濾或按類別進行搜索瀏覽。[2022/9/17 7:02:48]

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫，文字都會以合適的字體、風格、排版出現在合理的地方。

這意味著，AI直出商品渲染圖、海報等實用工作流程又打通一環。

AOFEX幣幣理財已升級為AOFEX Staking:據官方消息，AOFEX幣幣理財已升級為AOFEX Staking并上線三款產品。AOFEX Staking主要提供 “靈活質押” 與 “鎖倉質押” 兩大功能。

AOFEX Staking致力于探索更多數字資產價值洼地，并大幅降低操作門檻，讓數字金融服務更好地普惠大眾。

AOFEX是數字貨幣金融衍生品交易所，旨在為用戶提供優質服務和資產安全保障。[2021/3/9 18:28:20]

還在視頻特效上開辟了新方向。

目前DeepFloydIF以非商用許可開源，不過團隊解釋這是暫時的，獲得足夠的用戶反饋后將轉向更寬松的協議。

有需求的小伙伴可以抓緊反饋起來了。

像素級圖像生成

DeepFloydIF仍然基于擴散模型，但與之前的StableDiffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL，結合超分辨率模塊中額外的注意力層，獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。

也就是擴散過程不再作用于表示圖像編碼的潛空間，而是直接作用于像素。

官方還提供了一組DeepFloydIF與其他AI繪畫模型的直觀對比。

可以看出，使用T5做文本理解的谷歌Parti和英偉達eDiff-1也都可以準確繪制文字，AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源，谷歌的幾個模型更是連個Demo都不給，DeepFloydIF就成了更實際的選擇。

具體生成圖像上DeepFloydIF與之前模型一致，語言模型理解文本后先生成64×64分辨率的小圖，再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上，通過把指定圖像縮小回64×64再使用新的提示詞重新執行擴散，也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外，DeepFloydIF的優勢還在于，IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中，IF-4.3B取得了最好的FID分數，并達到SOTA。

誰是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的獨立研發團隊，深受搖滾樂隊平克弗洛伊德影響，自稱為一只“研發樂隊”。

主要成員只有4人，從姓氏來看均為東歐背景。

這次除了開源代碼外，團隊在HuggingFace上還提供了DeepFloydIF模型的在線試玩。

我們也試了試，很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多，不過既然開源了，相信在中文數據集上訓練好的變體也不會太晚出現。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在開源上的唯一動作

語言模型方面，他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna，基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

DeepfloydIF在線試玩：

https://huggingface.co/spaces/DeepFloyd/IF

代碼：

https://github.com/deep-floyd/IF

StableVicuna在線試玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

權重下載：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

參考鏈接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

Tags：STADEEPFLOPFLTESTA幣Deeper NetworkFLOKICFOPFL幣

Bitcoin