欧美区国产区日韩区在线观看_最新中文字幕有码在线播放_影音先锋亚洲欧美丝袜_在线免费观看国产视频_高清精品无码少妇_先锋影音中文字幕_飘花电影院午夜伦限_免费99久久国产综合麻豆

作者：Wei Chow，Linfeng Li等

解讀：AI生成未來(lái)

亮點(diǎn)直擊

提出了EditMGT，這是首個(gè)基于MGT的圖像編輯模型，它通過(guò)利用MGT的令牌翻轉(zhuǎn)特性來(lái)顯式地保留與編輯無(wú)關(guān)的區(qū)域，從而從根本上解決了擴(kuò)散模型中存在的虛假編輯泄露問(wèn)題。

提出了結(jié)合區(qū)域保持采樣的多層注意力整合方法，以實(shí)現(xiàn)對(duì)編輯相關(guān)區(qū)域的自適應(yīng)定位，從而解決了在無(wú)需手動(dòng)預(yù)定義掩碼的情況下確定編輯應(yīng)用位置的挑戰(zhàn)。

構(gòu)建了CrispEdit-2M，這是一個(gè)包含7個(gè)不同類(lèi)別、經(jīng)過(guò)嚴(yán)格篩選的200萬(wàn)樣本的高分辨率（≥1024）圖像編輯數(shù)據(jù)集。

在四個(gè)流行基準(zhǔn)測(cè)試上進(jìn)行的大量實(shí)驗(yàn)驗(yàn)證了我們方法的有效性，緊湊的960M參數(shù)模型實(shí)現(xiàn)了比同類(lèi)方法快6倍的編輯速度。

總結(jié)速覽

解決的問(wèn)題

擴(kuò)散模型（DMs）在圖像編輯中存在全局去噪動(dòng)態(tài)性問(wèn)題，導(dǎo)致對(duì)非目標(biāo)區(qū)域的意外修改（編輯泄露）。

現(xiàn)有解決方案（如依賴(lài)高質(zhì)量數(shù)據(jù)、預(yù)定義掩碼或反轉(zhuǎn)技術(shù)）存在靈活性不足、無(wú)法顯式保證非相關(guān)區(qū)域不變或推理速度慢等局限。

提出的方案

提出了首個(gè)基于掩碼生成Transformer（MGTs）的圖像編輯框架——EditMGT。

構(gòu)建了一個(gè)大規(guī)模高分辨率（≥1024）圖像編輯數(shù)據(jù)集CrispEdit-2M，涵蓋7個(gè)不同類(lèi)別，用于訓(xùn)練模型。

應(yīng)用的技術(shù)

自適應(yīng)定位：利用MGT的交叉注意力機(jī)制提供定位信號(hào)，并設(shè)計(jì)了一種多層注意力整合方案，以細(xì)化注意力圖，實(shí)現(xiàn)細(xì)粒度、精確的編輯相關(guān)區(qū)域定位。

顯式區(qū)域保留：提出了區(qū)域保持采樣技術(shù)，限制在低注意力區(qū)域進(jìn)行令牌翻轉(zhuǎn)，以抑制偽編輯，從而將修改限制在目標(biāo)區(qū)域內(nèi)，并保持周?chē)�非目�?biāo)區(qū)域的完整性。

高效適配：通過(guò)注意力注入的方式，將預(yù)訓(xùn)練的文本到圖像MGT模型適配為圖像編輯模型，無(wú)需引入額外參數(shù)。

達(dá)到的效果

性能領(lǐng)先：在四個(gè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試上，模型（參數(shù)量<1B）取得了圖像相似度指標(biāo)的最先進(jìn)性能。在風(fēng)格變更和風(fēng)格遷移任務(wù)上分別提升了3.6%和17.6%。整體性能優(yōu)于多個(gè)更大規(guī)模（6B-8B）的基線(xiàn)模型。

效率顯著：實(shí)現(xiàn)了6倍的編輯速度提升（編輯1024×1024圖像僅需2秒），同時(shí)內(nèi)存占用僅為13.8 GB。

精確編輯：能夠自適應(yīng)定位編輯區(qū)域，并顯式地保留非目標(biāo)區(qū)域，有效解決了編輯泄露問(wèn)題。

EditMGT：邁向基于MGT的圖像編輯

首先介紹基于 MGT 的編輯架構(gòu)實(shí)現(xiàn)，該架構(gòu)利用注意力注入（attention injection）在不引入額外參數(shù)的情況下實(shí)現(xiàn)圖像編輯。隨后闡述了推理過(guò)程。重點(diǎn)分析了 MGT 模型中的注意力機(jī)制，提出了多層注意力整合（multi-layer attention consolidation）結(jié)合區(qū)域保持采樣（region-hold sampling）的方法，以利用該機(jī)制確保在推理過(guò)程中保留無(wú)關(guān)區(qū)域。最后描述了 EditMGT 及其提出的 CrispEdit-2M 數(shù)據(jù)集的訓(xùn)練過(guò)程。

圖 2 EditMGT 概述。我們的方法通過(guò)原始圖像注意力注入來(lái)監(jiān)督編輯圖像的生成。 右圖說(shuō)明了多模態(tài)轉(zhuǎn)換器塊內(nèi)的token交互，而單模態(tài)塊則采用類(lèi)似的架構(gòu)。

架構(gòu)

預(yù)備知識(shí)。MGT 從一張所有視覺(jué) token 都被掩蓋（masked）的空白畫(huà)布開(kāi)始。在每次采樣迭代中，所有缺失的 token 都會(huì)并行采樣，并使用拒絕標(biāo)準(zhǔn)，模型似然度較低的 token 會(huì)被掩蓋，并在下一次細(xì)化迭代中重新預(yù)測(cè)。本文定義圖像和文本條件 token 分別為  和 ，其中  是嵌入維度， 和  分別是它們的 token 數(shù)量。

在 Meissonic 的實(shí)現(xiàn)中，每個(gè) transformer 塊首先應(yīng)用旋轉(zhuǎn)位置編碼（RoPE）來(lái)編碼 token。對(duì)于圖像 token ，RoPE 根據(jù) token 在 2D 網(wǎng)格中的位置  應(yīng)用旋轉(zhuǎn)矩陣：，其中  表示位置  處的旋轉(zhuǎn)矩陣。文本 token  經(jīng)過(guò)相同的變換，其位置設(shè)置為 。多模態(tài)注意力機(jī)制隨后將連接后的位置編碼 token  投影為查詢(xún)（Query）、鍵（Key） 和值（Value） 表示。注意力權(quán)重計(jì)算如下：。然后， 和  的乘積在傳播到下一個(gè)模塊之前通過(guò)歸一化層。 被賦予了豐富的語(yǔ)義信息，隨后基于注意力權(quán)重納入額外的圖像條件，同時(shí)在推理過(guò)程中引入局部和全局引導(dǎo)。

**圖像條件集成 (Image Conditional Integration)**。為了讓原始圖像監(jiān)督圖像生成過(guò)程，本文進(jìn)一步定義了圖像條件 token ，其形狀與  相同。具體而言，本文設(shè)定 RoPE 矩陣滿(mǎn)足：，這確保了原始圖像與編輯后圖像在空間上的對(duì)齊。如圖 2 右側(cè)所示， 與  共享參數(shù)并經(jīng)歷相同的迭代去噪步驟，但關(guān)鍵區(qū)別在于  的時(shí)間步長(zhǎng)（timestep）在整個(gè)過(guò)程中始終固定為零。這一設(shè)計(jì)選擇防止了  發(fā)生漂移，從而使其保持作為穩(wěn)定調(diào)節(jié)信號(hào)的作用。

在訓(xùn)練階段，模型  的優(yōu)化目標(biāo)是在大規(guī)模圖像-文本數(shù)據(jù)集  上，最小化在給定未掩蔽（unmasked）token 和條件 token 的情況下重建被掩蔽 token 的負(fù)對(duì)數(shù)似然，其中  代表被掩蔽的 token：

其中 ， 是應(yīng)用于 token 的二進(jìn)制掩碼，用于選擇索引  進(jìn)行掩蔽， 指未被掩蔽的 token， 是 token  的預(yù)測(cè)概率。本文在訓(xùn)練中使用余弦調(diào)度策略，掩蔽率  采樣自截?cái)喾从嘞曳植�，其密度函�?shù)為 。

為了在推理過(guò)程中控制  的強(qiáng)度，遵循 [41] 的方法，本文在注意力權(quán)重中引入偏置項(xiàng) ，即 ，其中  是調(diào)節(jié)拼接后的 token  之間注意力的偏置矩陣。該過(guò)程可表述如下：

該公式保留了每種 token 類(lèi)型內(nèi)部的原始注意力模式，同時(shí)將  和  之間的注意力權(quán)重縮放 。在測(cè)試時(shí)，設(shè)置  會(huì)移除條件的影響，而  則會(huì)增強(qiáng)它。通過(guò)這種方法，本文利用注意力機(jī)制無(wú)縫嵌入了調(diào)節(jié)條件，從而在不引入額外參數(shù)的情況下實(shí)現(xiàn)了從文生圖（text-to-image）模型到圖像編輯模型的轉(zhuǎn)變。

推理

基于上述架構(gòu)，本工作觀察到 EditMGT 中的交叉注意力機(jī)制自然地為編輯相關(guān)區(qū)域的自適應(yīng)定位提供了信息豐富的線(xiàn)索。如下圖3所示，本工作研究了迭代圖像  和指令  之間的交叉注意力機(jī)制（由于篇幅限制，省略了原始圖像  與這兩種模態(tài)之間的交叉注意力可視化）。

圖3：EditMGT 中的注意力機(jī)制。文生圖注意力圖編碼了豐富的語(yǔ)義對(duì)應(yīng)關(guān)系。本工作通過(guò)堆疊和過(guò)濾操作增強(qiáng)了其清晰度

分析表明，MGT 模型中的每個(gè)文生圖注意力權(quán)重都包含豐富的語(yǔ)義信息，建立了文本指令與視覺(jué)區(qū)域之間的有效對(duì)應(yīng)關(guān)系。值得注意的是，模型可以在初始迭代中預(yù)測(cè)編輯圖像中關(guān)鍵區(qū)域的樣式。例如，在“給狗戴上生日帽”的例子中，MGT 直接描繪了帽子形狀的輪廓。

多層注意力整合（Multi-layer Attention Consolidation）。來(lái)自單個(gè)中間塊的原始注意力權(quán)重表現(xiàn)出不夠突出且缺乏清晰焦點(diǎn)的問(wèn)題，即使是從最連貫的層中提取也是如此。為了解決這一局限性，本工作提出了多層注意力整合，系統(tǒng)地增強(qiáng)注意力的清晰度。具體而言，聚合了從第 28 塊到第 36 塊的注意力權(quán)重，這些塊選自連貫的單模態(tài)處理層，以放大信號(hào)強(qiáng)度。然而，觀察發(fā)現(xiàn)聚合后的注意力權(quán)重仍然表現(xiàn)出不完整的激活區(qū)域，其特征是內(nèi)部不連續(xù)和邊界定義不清，這可能導(dǎo)致對(duì)象內(nèi)部的 token 分類(lèi)錯(cuò)誤。為了減輕這些偽影，本工作結(jié)合了自適應(yīng)過(guò)濾（Adaptive Filtering）以實(shí)現(xiàn)增強(qiáng)的清晰度和空間精度。

區(qū)域保持采樣（Region-Hold Sampling）。在注意力機(jī)制的分析中，觀察到 MGT 的注意力權(quán)重表現(xiàn)出豐富的語(yǔ)義信息，實(shí)現(xiàn)了良好對(duì)齊的文圖對(duì)應(yīng)關(guān)系。在圖像生成過(guò)程中，MGT 通過(guò)迭代 token 翻轉(zhuǎn)（token flipping）逐步細(xì)化目標(biāo)圖像。如下圖4所示，EditMGT 準(zhǔn)確地定位了編輯的關(guān)鍵區(qū)域。因此，本工作通過(guò)顯式地將低注意力區(qū)域翻轉(zhuǎn)回其原始 token 來(lái)保留未修改的區(qū)域。

定義  分別為第  層歸一化后的  和  的注意力圖。為了靈活控制翻轉(zhuǎn)頻率，引入閾值  來(lái)確定哪些 token 應(yīng)恢復(fù)為原始圖像。具體來(lái)說(shuō)，可以按如下方式獲取定位圖：

其中  表示矩陣  的第  行切片， 是要選擇的所有行索引的集合，且 （當(dāng)且僅當(dāng)選擇整個(gè)  時(shí)等號(hào)成立）。如果僅使用指令中的關(guān)鍵詞（例如特定對(duì)象），則可以使用  提取相應(yīng)部分。在推理過(guò)程中，EditMGT 翻轉(zhuǎn)具有高置信度的 token，同時(shí)保留低置信度 token 作為 [MASK] 以供后續(xù)細(xì)化。通過(guò)引入的采樣方法，滿(mǎn)足  的 token 被恢復(fù)為其原始對(duì)應(yīng)物，從而保持采樣調(diào)度器的完整性以及與源圖像的一致性。

下圖4 展示了編輯圖像與  之間的關(guān)系——當(dāng)  超過(guò)某個(gè)閾值時(shí)，輸出變得與原始圖像完全相同。

圖4：不同閾值  下的編輯結(jié)果可視化、GEdit Bench 語(yǔ)義分?jǐn)?shù)以及與原始圖像的 L1 距離

訓(xùn)練細(xì)節(jié)

鑒于高分辨率圖像編輯數(shù)據(jù)集的稀缺，本工作構(gòu)建了涵蓋 7 個(gè)不同類(lèi)別的 CrispEdit-2M 數(shù)據(jù)集。CrispEdit-2M 包含 200 萬(wàn)個(gè)短邊  像素的樣本，使用開(kāi)源模型生成，并采用嚴(yán)格的過(guò)濾程序以確保數(shù)據(jù)質(zhì)量。結(jié)合額外收集的 200 萬(wàn)個(gè)高分辨率樣本，總共使用了 400 萬(wàn)個(gè)圖像編輯數(shù)據(jù)樣本進(jìn)行訓(xùn)練。

EditMGT 基于 Meissonic 實(shí)現(xiàn)。由于 Meissonic 表現(xiàn)出生成卡通風(fēng)格內(nèi)容的偏好，且采用 CLIP 作為文本編碼器，缺乏強(qiáng)大的語(yǔ)言理解能力（這是編輯模型的關(guān)鍵要求），因此將 EditMGT 的訓(xùn)練分為三個(gè)階段：

階段 1：基于 LLM 的基礎(chǔ)模型。利用約 100 萬(wàn)個(gè)文本-圖像對(duì)，直接采用 Gemma2-2B-IT 作為文本編碼器，訓(xùn)練 5,000 步。

階段 2：編輯模型全量微調(diào)。在完整的 400 萬(wàn)圖像編輯數(shù)據(jù)集上進(jìn)行 50,000 步的全量微調(diào)。

階段 3：高質(zhì)量微調(diào)。使用更高質(zhì)量的編輯數(shù)據(jù)對(duì)模型進(jìn)行 1,000 步的微調(diào)，以增強(qiáng)模型輸出與人類(lèi)偏好之間的對(duì)齊。實(shí)驗(yàn)

為了驗(yàn)證 EditMGT 的有效性，本工作在三個(gè)像素級(jí)基準(zhǔn)測(cè)試（Emu Edit, MagicBrush, AnyBench）和一個(gè)基于 GPT 的評(píng)估基準(zhǔn)（GEdit-EN-full）上進(jìn)行了全面評(píng)估。

主要結(jié)果

本工作在四個(gè)基準(zhǔn)數(shù)據(jù)集上對(duì) EditMGT 與基線(xiàn)方法進(jìn)行了定量比較。

Emu Edit & MagicBrush：如下表 1 所示，EditMGT 在圖像相似度（CLIP）方面在所有評(píng)估模型中取得了 SOTA 性能，在 MagicBrush 上有 1.1% 的顯著提升。在語(yǔ)義圖像相似度（DINO）方面，該方法分別取得了第二佳和 SOTA 的結(jié)果。指令依從性指標(biāo)顯示了一致的強(qiáng)勁表現(xiàn)。盡管 L1 分?jǐn)?shù)未顯示顯著優(yōu)勢(shì)，但這可能歸因于 EditMGT 與預(yù)定目標(biāo)圖像之間固有的多樣性差異。

AnyBench：如下圖 6(a)(b) 所示，按任務(wù)類(lèi)型分類(lèi)時(shí)，EditMGT 在 AnyBench 評(píng)估的所有任務(wù)中均取得了最佳或接近最佳的性能。特別是在風(fēng)格更改（style change）任務(wù)中，EditMGT 比第二名的方法大幅提升了 3.6%。對(duì)于隱式指令（implicit instruction）任務(wù)，EditMGT 始終取得 SOTA 結(jié)果，超過(guò)第二名 1.7%，表明該模型在處理隱式指令引導(dǎo)方面具有卓越能力。詳細(xì)分?jǐn)?shù)見(jiàn)表 6 和表 7。

GEdit-EN-full：如下表 2 所示，盡管模型大小僅為 960MB，但它實(shí)現(xiàn)了與 12B 參數(shù)量的 FluxKontext.dev 模型相當(dāng)?shù)母?jìng)爭(zhēng)力，并表現(xiàn)出優(yōu)于 VAREdit-8B、GoT-6B 和 OmniGen2 (7B) 的整體性能。值得注意的是，該模型在背景更改、顏色更改、人像編輯和風(fēng)格遷移（style transfer）等幾個(gè)具有挑戰(zhàn)性的任務(wù)上優(yōu)于 FluxKontext.dev，其中風(fēng)格遷移提升了 17.6%。

定性結(jié)果

除定量指標(biāo)外，如下圖 5 所示，本工作將 EditMGT 與 UltraEdit (SD3)、GoT-6B、OmniGen2-7B 和 VAREdit-8B 進(jìn)行了定性比較。觀察結(jié)果如下：

卓越的指令理解能力：例如，對(duì)于“照片看起來(lái)有點(diǎn)發(fā)黃，請(qǐng)調(diào)整顏色”，其他模型錯(cuò)誤地增加了黃色調(diào)，只有 EditMGT 正確地減少了暖色調(diào)以實(shí)現(xiàn)美白。

強(qiáng)大的對(duì)象屬性理解：在“點(diǎn)亮所有蠟燭”的例子中，只有 EditMGT 成功點(diǎn)亮了所有蠟燭；對(duì)于“添加黑色長(zhǎng)筒襪”，它準(zhǔn)確理解了形容詞“長(zhǎng)”。

有效的結(jié)構(gòu)保留：在生成皮克斯風(fēng)格動(dòng)畫(huà)時(shí)，EditMGT 不僅成功渲染了角色，還保持了拍攝對(duì)象的原始姿勢(shì)和位置。

深入分析

數(shù)據(jù)擴(kuò)展（Data Scaling）：如前圖 6 所示，不同訓(xùn)練步驟的實(shí)驗(yàn)表明，即使更換文本編碼器，模型架構(gòu)也能保持一致的可擴(kuò)展性。

架構(gòu)消融（Architecture Ablation）：主要研究了文本編碼器的選擇（見(jiàn)附錄表 5）。經(jīng)驗(yàn)分析表明，Gemma2-IT-2B 在評(píng)估的選項(xiàng)中取得了最佳性能。

推理算法有效性：如圖 4 所示，增加  值會(huì)逐漸減少圖像內(nèi)的編輯區(qū)域。隨著  增加，L1 距離減小，而語(yǔ)義分?jǐn)?shù)先略微提高后急劇下降，證明了閾值控制的有效性。

速度優(yōu)勢(shì)：如下圖 1(b) 所示，在 1024×1024 分辨率下，EditMGT 實(shí)現(xiàn)了比性能相似的模型快 6 倍的編輯速度（每次編輯僅需 2 秒）。EditMGT 和 CrispEdit-2M 概述

結(jié)論

EditMGT，首個(gè)基于掩碼生成 Transformer（MGT）的圖像編輯框架，利用 MGT 的局部解碼范式來(lái)解決擴(kuò)散模型中固有的編輯泄漏（editing leakage）問(wèn)題。通過(guò)提出的多層注意力整合（multi-layer attention consolidation）和區(qū)域保持采樣（region-hold sampling），EditMGT 實(shí)現(xiàn)了精確的編輯定位，同時(shí)顯式地保留了非目標(biāo)區(qū)域。盡管僅使用了 9.6 億（960M）參數(shù)，該模型在四個(gè)基準(zhǔn)測(cè)試中均達(dá)到了最先進(jìn)的圖像相似度性能，在風(fēng)格更改和風(fēng)格遷移任務(wù)上分別有 3.6% 和 17.6% 的顯著提升。此外，EditMGT 提供了 6 倍的編輯速度，證明了 MGT 為圖像編輯提供了一種極具競(jìng)爭(zhēng)力的替代方案。

參考文獻(xiàn)

[1] EditMGT: Unleashing Potentials of Masked Generative Transformers in Image Editing

       原文標(biāo)題 : 僅960M參數(shù)，不僅干翻百億大模型，速度還快了6倍！字節(jié)最新圖像編輯模型EditMGT開(kāi)源啦