DreamBooth
外觀
這是此頁批准,以及是最近的修訂。
DreamBooth是一个深度學習模型,用佇咧微調現有的文生圖模型,由 Google Research 佮博士頓大學的研究人員佇二空二二年開發。頭仔利用谷歌開發的 Imagen 文生圖模型開發,DreamBooth 會當應用著其他的文生圖模型,咧使用指定主題的三到五張圖像咧進行演算、訓練了後,會當予模型產生閣較幼路佮個性化的圖樣。
技術
預先訓練的文生圖擴散模型,雖然通常會當提供真濟款無仝款的圖像輸出,毋過欠缺生做無啥知名的主題圖像所需要的特別性,並且佇無仝情況佮背景下呈現已經知主題的能力有限。運行 DreamBooth 來微調模型的過程首先需要輸入一套描繪某一種特定主題的圖像,一般三到五張圖像就有夠額,遮的圖像佮包含主題所屬類別名稱的提示詞配對,加上一个獨特的標識符(比如講:` a photograph of a [Nissan R 三十四 GTR] car `,用 ` car ` 是類別); 同時,一个「特定類別的先驗保存損失」(class-specific prior preservation loss)來予模型佇咧已經訓練好的類別上產生無仝的主題實例。對一組輸入圖像提著的一對低解析度佮高解析度的圖像予人用來微調超解析度組件,有這款微小節保留。
用法
DreamBooth 會使用來著 Stable Diffusion 等模型進行微調,通過這款用例伊會當去慢解說 Stable Diffusion 無法度成特定個人的圖像的常見缺陷。毋過,按呢的用例是相當了 VRAM 的,因此對業餘用戶來講是成本高昂的。有人對使用 DreamBooth 來訓練模仿佮人類藝術家特定藝術風格的道德問題表示關切。
參考文獻
外部連結
- DreamBooth 的官方 GitHub IO
- Stable Diffusion 的 DreamBooth 實現