欧美区国产区日韩区在线观看_最新中文字幕有码在线播放_影音先锋亚洲欧美丝袜_在线免费观看国产视频_高清精品无码少妇_先锋影音中文字幕_飘花电影院午夜伦限_免费99久久国产综合麻豆

作者：Zehong Ma等

解讀：AI生成未來

亮點直擊

DeCo解耦框架：DiT專注低頻語義建模（采用下采樣輸入）；輕量級像素解碼器重建高頻信號。

創(chuàng)新頻率感知損失函數(shù)：通過DCT轉換至頻域；基于JPEG量化表分配自適應權重；強化視覺顯著頻率，抑制高頻噪聲。

DeCo在像素擴散模型中取得領先性能：ImageNet上FID得分1.62（256×256）和2.22（512×512），縮小了與兩階段潛在擴散方法的差距。本文預訓練的文本到圖像模型在系統(tǒng)級評估中同樣在GenEval（0.86）和DPG-Bench（81.4）上獲得SOTA結果。

通過架構級解耦實現(xiàn)專業(yè)化分工，為像素擴散模型提供了新的設計范式，同時保持端到端訓練的優(yōu)勢。

總結速覽

解決的問題

核心矛盾：像素擴散模型需要在一個單一的擴散Transformer中同時建模高頻信號（細節(jié)、噪聲）和低頻語義（結構、內容），導致模型負擔過重、效率低下且生成質量受損。

具體弊端：

高頻噪聲會干擾DiT對低頻語義的學習。

單一模型難以在巨大像素空間中兼顧兩種不同特性的任務。

傳統(tǒng)方法導致訓練和推理速度慢，輸出圖像存在噪聲且質量下降。

提出的方案

核心框架：提出名為DeCo的頻率解耦像素擴散框架。

核心思想：將高低頻組分的生成進行解耦，讓不同組件各司其職。

具體措施：

讓DiT專注于低頻語義建模，使用下采樣輸入。

引入一個輕量級像素解碼器，在DiT提供的語義引導下，專門負責重建高頻信號。

提出一種頻率感知流匹配損失函數(shù)，以優(yōu)化訓練。

應用的技術

架構解耦：采用DiT作為語義主干，配合輕量級像素解碼器的雙路徑架構。

頻率感知損失：利用離散余弦變換將信號轉換到頻域，并基于JPEG量化表先驗為不同頻率分量分配自適應權重，以強調視覺顯著頻率、抑制高頻噪聲。

端到端訓練：保持像素擴散端到端訓練的優(yōu)勢，同時通過解耦設計提升效率。

達到的效果

性能領先：在ImageNet上取得了像素擴散模型中卓越的性能，F(xiàn)ID達到1.62（256×256）和2.22（512×512），顯著縮小了與主流潛在擴散方法的差距。

全面優(yōu)異：預訓練的文本到圖像模型在系統(tǒng)級評估中，于GenEval（0.86）和DPG-Bench（81.4）上獲得領先成績。

質量提升：通過解耦設計和頻率感知損失，有效提升了視覺保真度，并緩解了高頻噪聲的干擾。

驗證有效：實驗結果驗證了在像素擴散中解耦高低頻組分建模這一思路的有效性。

方法

概述

本節(jié)首先回顧基線像素擴散中的條件流匹配，隨后介紹本文提出的頻率解耦像素擴散框架。

條件流匹配。 條件流匹配提供了一個連續(xù)時間生成建�？蚣埽�其通過學習速度場，將樣本從簡單先驗分布（如高斯分布）傳輸?shù)揭詷撕灪蜁r間為條件的數(shù)據(jù)分布。給定通過干凈圖像與噪聲間插值構建的前向軌跡，條件流匹配的目標是將模型預測速度與真實速度進行匹配：

其中軌跡  的線性插值定義為：

真實速度  可通過  對時間的導數(shù)  推導得出：

在像素擴散基線中，軌跡  通常首先通過補丁嵌入層（而非VAE）進行令牌化處理以實現(xiàn)圖像下采樣。在本文的基線及DeCo實驗中，本文對DiT輸入統(tǒng)一采用16×16的補丁尺寸�；�線方法將補丁化后的軌跡  輸入DiT，通過解補丁層預測像素速度。該方案要求DiT同時建模高頻信號與低頻語義，而高頻信號（特別是高頻噪聲）難以建模，會干擾DiT對低頻語義的學習。

DeCo框架。 為實現(xiàn)高頻生成與低頻語義建模的分離，本文提出頻率解耦框架DeCo。如下圖3所示：

DiT被用于從下采樣的低分辨率輸入  中生成低頻語義 ，具體過程如下：

其中  為時間， 為標簽或文本提示。如后文所述，輕量級像素解碼器隨后以DiT輸出的低頻語義  為條件，結合全分辨率密集輸入  生成額外高頻細節(jié)，最終預測的像素速度如下所示：

該新范式利用像素解碼器生成高頻細節(jié)，使DiT能專注于語義建模。這種解耦機制將不同頻率的建模任務分離到不同模塊，從而加速訓練并提升視覺保真度。

為進一步強化視覺顯著頻率并忽略不重要的高頻分量，本文引入了頻率感知流匹配損失函數(shù) 。該損失函數(shù)通過源自JPEG感知先驗的自適應權重對不同頻率分量進行重新加權。結合基線中的標準像素級流匹配損失與REPA對齊損失，最終目標函數(shù)可表示為：

像素解碼器

如上圖3所示，像素解碼器是一個輕量級無注意力網(wǎng)絡，由個線性解碼塊和若干線性投影層構成。所有操作均為局部線性運算，可在無需自注意力計算開銷的前提下實現(xiàn)高效的高頻建模。

稠密查詢構建。 像素解碼器直接以全分辨率含噪圖像作為輸入（不進行下采樣）。所有含噪像素與其對應的位置編碼拼接后，通過線性投影形成稠密查詢向量：

其中 ， 和  分別表示原始圖像的高度和寬度（例如256）， 代表像素解碼器的隱藏維度（例如32）。相關消融實驗參見下表4(c)和(d)。

解碼器塊。 對于每個解碼器塊，DiT輸出經過線性上采樣并調整形狀以匹配的空間分辨率，得到。隨后通過MLP生成自適應層歸一化的調制參數(shù)：

其中  為 SiLU 激活函數(shù)。本文采用 AdaLN-Zero [43] 對每個模塊中的稠密解碼器查詢進行如下調制：

其中 MLP 包含兩個帶有 SiLU的線性層。

速度預測。 最后，通過線性投影及重排操作將解碼器輸出映射至像素空間，得到預測速度 。該速度包含像素解碼器生成的高頻細節(jié)以及來自 DiT 的語義信息。

頻率感知 FM 損失

為進一步促使像素解碼器聚焦于感知重要的頻率并抑制無關噪聲，本文引入了頻率感知流匹配損失。

空間-頻率變換。 本文首先將預測的和真實的像素速度從空間域轉換到頻域。具體流程為：將色彩空間轉換為 YCbCr 后，按照 JPEG標準執(zhí)行分塊 8×8 離散余弦變換。將該變換記為 ，則有：

感知加權。 為強化視覺顯著頻率并抑制次要頻率，本文采用JPEG量化表作為視覺先驗生成自適應權重。量化間隔越小的頻率具有越高的感知重要性。因此，本文使用質量等級下縮放量化表的歸一化倒數(shù)作為自適應權重，即。當質量等級介于50至100之間時，可根據(jù)JPEG預設規(guī)則獲取對應的縮放量化表：

其中  表示 JPEG 標準中定義的基礎量化表。基于自適應權重 ，頻率感知流匹配損失定義如下：

實證分析

為驗證DeCo有效實現(xiàn)頻率解耦，本文分析了DiT輸出與像素速度的DCT能量譜（下圖4）。

相較于基線方法，本文的像素解碼器成功保持了像素速度中的所有頻率分量。同時，DeCo中DiT輸出的高頻能量顯著低于基線，表明高頻組分已從DiT轉移至像素解碼器。這些觀測證實DeCo實現(xiàn)了有效的頻率解耦。上表4(c)(d)的結果進一步表明，這一成功解耦得益于兩項關鍵架構設計：

多尺度輸入策略。 多尺度輸入策略至關重要：通過該策略，像素解碼器可在高分辨率原始輸入上輕松建模高頻信號，同時使DiT能夠從高頻信號已被部分抑制的低分辨率輸入中專注建模低頻語義。值得注意的是，本方案DiT采用16×16的補丁尺寸，顯著大于PixelFlow[6]的4×4補丁，使其更適用于語義捕獲而非細節(jié)重建。

基于AdaLN的交互機制。 自適應層歸一化為DiT與像素解碼器提供了強大的交互機制。在本框架中，DiT的作用類似于傳統(tǒng)文生圖模型中的文本編碼器，提供穩(wěn)定的低頻語義條件。AdaLN層隨后以DiT輸出為條件，對像素解碼器中的稠密查詢特征進行調制。實驗證實，該調制機制在融合低頻語義與高頻信號方面，比UNet等采用上采樣疊加低頻特征的簡單方法更為有效。

實驗

本文在ImageNet 256×256數(shù)據(jù)集上進行了消融實驗與基線對比。針對類別到圖像生成任務，本文在ImageNet 256×256和512×512分辨率上提供詳細對比，并報告FID、sFID、IS、精確度與召回率；針對文本到圖像生成任務，本文報告在GenEval和DPG-Bench上的結果。

基線對比

實驗設置。 基線對比中所有擴散模型均在ImageNet 256×256分辨率下訓練20萬步，采用大型DiT變體。相較于基線的核心架構改進是將最后兩個DiT塊替換為本文提出的像素解碼器。推理階段使用50步歐拉采樣且不采用無分類器引導。本文對比了需要VAE的兩階段DiT-L/2，以及PixelFlow、PixNerd等近期像素擴散模型，同時將DDT適配為像素擴散基線PixDDT，并集成JiT到本文的基線中（結合REPA）以進行公平對比。

詳細對比。 如下表1所示，本文的DeCo框架在參數(shù)量更少的情況下，所有指標均顯著超越基線，同時保持相當?shù)挠柧毰c推理成本。值得注意的是，僅通過頻率解耦架構，DeCo（未使用）即可將FID從61.10降至34.12，IS從16.81提升至46.44；結合頻率感知FM損失后，DeCo進一步將FID降低至31.35并在其他指標上持續(xù)提升。相較于兩階段DiT-L/2，本文的無VAE DeCo模型在達到相當性能的同時顯著降低了訓練與推理開銷。相比其他像素擴散方法：DeCo比多尺度級聯(lián)模型PixelFlow更高效且性能更優(yōu)；比基于單尺度注意力的PixDDT表現(xiàn)更卓越；相較近期PixNerd在取得更優(yōu)FID的同時降低了訓練與推理成本。

JiT指出高維噪聲會干擾有限容量模型對低維數(shù)據(jù)的學習，通過預測干凈圖像并將生成過程錨定在低維數(shù)據(jù)流形，成功將FID從61.10降至39.06（上表1）。本文的DeCo具有相似動機——防止含高維噪聲的高頻信號干擾DiT學習低頻語義的能力，但提出了架構層面的解決方案：引入輕量級像素解碼器專注建模高頻信號，解放DiT學習低頻語義。DeCo還能緩解干凈圖像中高頻噪聲（如相機噪聲）的負面影響，因此實現(xiàn)了優(yōu)于JiT的FID（31.35對39.06）。

類別到圖像生成

實驗設置。 在ImageNet上的類別到圖像生成實驗中，本文首先在256×256分辨率下訓練320輪，隨后在512×512分辨率下微調20輪。推理階段使用100步歐拉采樣配合CFG [18]與引導間隔[29]，在單張A800 GPU上測量推理延遲。

主要結果。 本文的DeCo在ImageNet 256×256和512×512上分別達到領先的FID 1.62和2.22。在256×256分辨率下，DeCo展現(xiàn)出卓越的推理效率：僅需1.05秒即可生成圖像（100推理步），而RDM需38.4秒、PixelFlow需9.78秒。訓練效率方面（表1），單次迭代僅需0.24秒，遠低于PixelFlow的1.61秒。在相同320輪訓練后，本模型FID（1.90）顯著低于基線的2.79，并超越近期PixelFlow與PixNerd。如下圖5所示，DeCo僅用80輪（40萬步）即達到FID 2.57，超越基線800輪的表現(xiàn)，實現(xiàn)10倍訓練效率提升。經過800輪訓練后，DeCo在像素擴散模型中以250采樣步數(shù)達到最優(yōu)FID 1.62，甚至可與兩階段潛在擴散模型媲美。使用相同heun采樣器與50步推理在600輪時，DeCo達到FID 1.69，以更少參數(shù)量和FLOPs超越JiT的FID 1.86。在512×512分辨率下，DeCo顯著優(yōu)于現(xiàn)有基于像素的擴散方法，創(chuàng)下領先的FID 2.22。此外，按照PixNerd方法將ImageNet 256×256模型在320輪后微調20輪，本文的FID和IS可與DiT-XL/2及SiT-XL/2經過600輪訓練后的結果相媲美。

文本到圖像生成

實驗設置。 針對文本到圖像生成任務，本文在BLIP3o [5]數(shù)據(jù)集上訓練模型（包含約3600萬預訓練圖像和6萬高質量指令微調數(shù)據(jù)），采用Qwen3-1.7B [65]作為文本編碼器。完整訓練在8×H800 GPU上耗時約6天。

主要結果。 相較于兩階段潛在擴散方法，本文的DeCo在GenEval基準測試中獲得0.86的綜合評分，超越SD3 、FLUX.1-dev 等知名文生圖模型以及BLIP3o、OmniGen2等統(tǒng)一模型。值得注意的是，盡管使用與BLIP3o相同的訓練數(shù)據(jù)，本模型仍實現(xiàn)更優(yōu)性能。在DPG-Bench上，DeCo取得與兩階段潛在擴散方法相當?shù)母偁幜ζ骄�分。相比其他端到端像素擴散方法，DeCo較PixelFlow和PixNerd具有顯著性能優(yōu)勢。這些結果表明，通過DeCo實現(xiàn)的端到端像素擴散能以有限訓練/推理成本達到與兩階段方法相媲美的性能。文生圖DeCo的生成效果可視化見上圖1。

進一步消融實驗

本節(jié)針對像素解碼器設計、DiT與像素解碼器交互機制、頻率感知FM損失超參數(shù)進行消融研究，所有實驗均遵循前文設置。

像素解碼器隱藏維度。 如上表4(a)所示，當隱藏維度時DeCo性能最優(yōu)：過小維度限制模型能力，更大維度未帶來增益。故默認采用隱藏維度32。

像素解碼器深度。 上表4(b)顯示3層解碼器效果最佳：單層能力不足，6層可能引發(fā)優(yōu)化困難。采用32隱藏維與3層結構時，本文的無注意力解碼器僅含850萬參數(shù)，能高效處理高分辨率輸入。

像素解碼器補丁尺寸。 上表4(c)表明當解碼器補丁尺寸為1（直接處理全分辨率輸入）時性能最優(yōu)。對解碼器輸入進行補丁化會降低效果，當采用與DiT相同的16大補丁時性能最差，這驗證了多尺度輸入策略的有效性。所有對比實驗均保持相近參數(shù)量與計算成本。

DiT與像素解碼器交互機制。 上表4(d)顯示，采用UNet [46]式的簡單上采樣疊加方案效果遜于基于AdaLN的交互。AdaLN [43]以DiT輸出作為語義條件指導速度預測，提供了更有效的交互機制。

損失權重。 上表4(e)表明當損失權重為1時結果最優(yōu)，故設為默認值。

中的JPEG質量因子。上表4(f)研究了JPEG質量因子影響：質量為100（無損壓縮）時所有頻率等權處理，所得FID為33.84（與未使用的34.12接近）；常用質量85表現(xiàn)最佳，在強調重要頻率同時適度弱化次要頻率以實現(xiàn)最優(yōu)平衡；質量降至50會過度抑制高頻信號，輕微損害性能。因此所有實驗采用JPEG質量85。

結論

DeCo——一種面向像素擴散的頻率解耦創(chuàng)新框架。通過使用DiT建模低頻語義、輕量級像素解碼器建模高頻信號，DeCo顯著提升了生成質量與效率。提出的頻率感知FM損失通過優(yōu)先處理感知重要頻率進一步優(yōu)化視覺質量。DeCo在類別到圖像與文本到圖像生成基準測試中均達到像素擴散領先性能，縮小了與兩階段潛在擴散方法的差距。

參考文獻

[1] DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation

       原文標題 : 端到端像素擴散天降外掛！北大&華為等開源DeCo：生圖質量超越SD3、OmniGen2等