之前寫了一篇人工智能文本轉(zhuǎn)圖像模型 Stable Diffusion 入門教程，主要講解了使用 Stable Diffusion 通過文本生成圖像的操作方法，重點講解了?Stable Diffusion WebUI 1.4?和?pharmapsychotic Stable Diffusion?兩個版本的使用方式，今天為大家介紹一下?Deforum Stable Diffusion v0.5，重點講解如何使用 Deforum Stable Diffusion 制作動畫視頻。

(資料圖片)

Deforum Stable Diffusion v0.5?是由?Deforum 團(tuán)隊制作的一個支持動畫視頻功能的 Google Colab 版的 Stable Diffusion，可以通過 Google Colab 在線運行，也可以部署到本地運行。Deforum 支持生成圖片、動畫視頻，支持添加參考圖、參考視頻，與之前介紹過的幾個版本相比，它的功能更為全面，也包含一些新的小功能，即使不是為了制作動畫，Deforum 也是一個很好的選擇。

Deforum Stable Diffusion v0.5 支持 2D、3D、Video Input 和 Interpolation 四種動畫模式，下面就逐一進(jìn)行講解，最后講解文本轉(zhuǎn)圖像、圖像轉(zhuǎn)圖像等基礎(chǔ)功能。因為中間穿插了一些知識點，建議仔細(xì)閱讀全文。

準(zhǔn)備工作

在 Google Colab 平臺使用 Stable Diffusion 需要調(diào)用官方模型，也就是「sd-v1-4.ckpt」這個文件（目前的版本），如果你之前在 Google Colab 成功運行過任意版本的 Stable Diffusion，那么這個模型就已經(jīng)成功下載到你的谷歌云盤了，可以直接運行 Deforum Stable Diffusion；如果你之前沒有使用 Google Colab 運行過 Stable Diffusion，請參考人工智能文本轉(zhuǎn)圖像模型 Stable Diffusion 入門教程內(nèi)的「04.01.-04.14.」成功運行一遍 Stable Diffusion WebUI 1.4?自動下載「sd-v1-4.ckpt」文件或參考教程內(nèi)的「05.01.-05.06.」手動下載「sd-v1-4.ckpt」文件并上傳至谷歌云盤。

入門教程

1.?打開?Deforum Stable Diffusion v0.5（https://colab.research.google.com/github/deforum/stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb），若未自動登錄谷歌賬號請點擊頁面右上角「登錄」按鈕，登入你的谷歌賬號。

2.?點擊「復(fù)制到云端硬盤」或點擊「文件」選擇「在云端硬盤中保存一份副本」。

3. 副本創(chuàng)建完成會自動打開新的標(biāo)簽頁或出現(xiàn)「筆記本的副本已完成」彈窗，點擊「在新標(biāo)簽頁中打開」。

4. 點擊「“Deforum_Stable_Diffusion.ipynb”的副本」修改筆記本名稱（可按創(chuàng)作主題或其他方式命名，方便后期修改和區(qū)分，之后可以通過云盤的這個副本文件直接運行程序）。

5.?點擊頁面右上角「連接」按鈕連接?GPU，連接成功后此位置會顯示「RAM 磁盤」字樣和容量。

6.?點擊「Setup」前方的小三角收起單元格，點擊「已隱藏5個單元格」前方的圓形按鈕運行「Setup」。

7. 彈出「允許此筆記本訪問您的 Google 云端硬盤文件嗎？」的窗口，點擊「連接到 Google 云端硬盤」。

8. 彈出「登錄 - Google 賬號」窗口，選擇你的谷歌賬號，點擊「允許」。

9. 「已隱藏5個單元格」前方的圓形按鈕開始轉(zhuǎn)圈表示正在運行準(zhǔn)備程序，等待幾分鐘后圓圈停止轉(zhuǎn)動表示運行完畢。

2D 動畫教程

10.1.1. 參考下圖設(shè)置2D動畫參數(shù)，設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

上圖為 2D 動畫使用的主要參數(shù)，其中也包含一些通用參數(shù)，我先對一些概念簡單做一下說明。

幀率，就是每秒播放多少幀畫面，生成的每一張圖就是一幀，Deforum 的默認(rèn)幀率是每秒 12 幀，這也是常規(guī)定格動畫的幀率，最低可以設(shè)置為每秒 8 幀，再低可能畫面就不太連貫了，電影常用的幀率是每秒 24 幀，電視劇和綜藝節(jié)目常用的幀率為每秒 25 幀或每秒 30 幀，目前每秒 30 幀的幀率應(yīng)該是比較普遍的標(biāo)準(zhǔn)，通常意義來講，幀率越高畫面越流暢，所以有些高畫質(zhì)的電影或游戲也常用每秒 60 幀或每秒 120 幀的幀率。

回到 Deforum，假如你要制作一個時長 10 秒的動畫，采用 12 幀/秒需要生成 120 張圖片，采用 24 幀/秒需要生成 240 張圖片，采用 30 幀/秒需要生成 300 張圖片，采用 60 幀/秒需要生成 600 張圖片。按我上圖中的參數(shù)設(shè)置，生成一個時長 10 秒 12 幀/秒的尺寸為 1024x512 的動畫視頻用時 40 分鐘左右（使用的是 T4 GPU），更高的幀率意味著更長的渲染時間，所以我建議使用12幀/秒，如果要求高一點可以采用 25 幀/秒或 30 幀/秒，最好提前預(yù)估一下渲染時長是否可以接受。

雖然幀率是渲染完成后可以隨意更改的，因為渲染完成后你得到的是一堆序列圖片，可以按任意幀率生成視頻，但還是建議提前計劃好幀率，計算好總幀數(shù)，然后按照總幀數(shù)設(shè)置動畫關(guān)鍵幀。因為渲染完成后修改幀率會導(dǎo)致時長發(fā)生變化，那么動畫就會加速或者減速，可能會影響觀感。

關(guān)鍵幀，2D 和 3D 動畫采用的都是關(guān)鍵幀動畫，參數(shù)欄中包含「0:(0)」如此格式的參數(shù)都可以設(shè)置關(guān)鍵幀，前面的數(shù)字表示幀數(shù)，括號中的數(shù)字表示具體參數(shù)。示例，translation_x: 0:(0), 50:(2), 100:(2), 119:(-8)，關(guān)鍵幀參數(shù)需用逗號隔開，關(guān)鍵幀需從小到大依序排列，例如「0:(0), 50:(2)」表示第 0 幀鏡頭向左移動0像素，第 1 幀鏡頭向左移動 0.04 像素，第 2 幀鏡頭向左移動 0.08 像素，第 3 幀鏡頭向左移動 0.12 像素...第 25 幀鏡頭向左移動 1 像素...第 50 幀鏡頭向左移動 2 像素，例如「50:(2), 100:(2)」表示第 50 幀至第 100 幀每一幀鏡頭都向左移動 2 像素，總結(jié)就是前后兩個括號內(nèi)的數(shù)字不同為遞增或遞減的變速運動，前后兩個括號內(nèi)的數(shù)字相同為勻速運動。

注意幀數(shù)是從第 0 幀開始命名的，所以一個總幀數(shù)為 120 幀的動畫其幀數(shù)是從第 0 幀到第 119 幀，如果末尾也有動畫效果最后一個關(guān)鍵幀需要設(shè)置在第 119 幀。如果一個參數(shù)只設(shè)置了第 0 幀的參數(shù)，那么全程每一幀都會保持第 0 幀的運動方式，比如 zoom: 0:(1.04) 表示每一幀都放大 1.04 倍。

注意上圖中的參數(shù)運動方式我是以鏡頭為標(biāo)準(zhǔn)進(jìn)行注釋的，鏡頭的運動方向和畫面的運動方向是相反的，我是假設(shè)有一個攝像機(jī)對著畫面，注釋的運動軌跡為攝像機(jī)的運動軌跡。

上圖中 flip_2d_perspective 為 2D 模擬 3D 運動的 2.5D 效果，勾選后生效，有 4 個參數(shù)可調(diào)，我簡單試驗了一下，效果有點迷惑，不太好描述，就沒有做解釋，一般不需要啟用這個功能，有興趣的可以自己摸索一下。

上圖中 strength_schedule 為參考強(qiáng)度，2D 和 3D 動畫每一幀都是以前一幀為參考圖配合動態(tài)參數(shù)進(jìn)行渲染的，strength_schedule 的范圍是 0-1，當(dāng)設(shè)置為 0 時即為每一幀都不參考前一幀，假如總步數(shù)為 50 那么每一幀都會使用 prompt 渲染 50 步，所以畫面的變化會非常大，無法做到連貫，當(dāng)設(shè)置為 1 時，隨著幀數(shù)的變化畫質(zhì)會越來越差，設(shè)置為 0.2 時會使用 prompt 渲染 40 步，設(shè)置為 0.5 時會使用 prompt 渲染 25 步，設(shè)置為 0.8 時會使用 prompt 渲染 9 步，值越大每幀畫面越靠近前一幀，但是過大畫面會逐漸失去細(xì)節(jié)變模糊，值越小畫面越清晰，但是過小畫面變化會過大導(dǎo)致畫面不連貫，因此建議將此參數(shù)設(shè)置在?0.55-0.65左右。

2D 動畫只需要設(shè)置上圖中有注釋的參數(shù)即可，其他功能無需設(shè)置，大部分功能即使設(shè)置了在 2D 模式下也不會生效。

10.1.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開始更換 prompt，以下圖為例，從第 0 幀至第 49 幀會使用第一個 prompt 進(jìn)行渲染，從第 50 幀至最后一幀會使用第二個 prompt 進(jìn)行渲染，prompts 的數(shù)量沒有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號或逗號等內(nèi)容（上方的 prompts 為圖片的 prompts，在動畫模式下不會生效，不用管）。設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.1.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過大會導(dǎo)致顯存不足報錯；使用隨機(jī)種子每次運行生成的效果都不太一樣，不利于動畫的修改，建議先使用第一個 prompt 跑出一張滿意的圖作為第 0 幀，然后使用這張圖的種子，種子模式設(shè)置為 iter 后整個動畫每一幀的種子就是在前一幀的基礎(chǔ)上加 1，是一串固定的種子，這樣方便對動畫效果進(jìn)行調(diào)整，但需要注意的是即使是一串固定的種子，也可能會由于參數(shù)的一些調(diào)整造成畫面有一些明顯的變化，這是不可避免的，如果想保持之前的狀態(tài)進(jìn)行微調(diào)，請注意參數(shù)的調(diào)整幅度要小一點，否則會大變樣；共有 8 種采樣模式可供選擇，相同的 prompt 使用不同的采樣模式效果略有差異，據(jù)說每個模式在特定的主題下會產(chǎn)生比較好的結(jié)果，大家可以自行嘗試一下，個人體驗是使用 euler_ancestral 模式在大部分主題下都能產(chǎn)生比較不錯的畫面效果和比較好的畫質(zhì)，所以推薦大家使用這個模式制作動畫視頻；種子共有三種模式，分別是 iter、fixed 和 random，iter 模式上面介紹過了，fixed 就是從頭到尾每一幀都使用相同的種子，不適合運動畫面，random 就是隨機(jī)種子，但是如果指定了第 0 幀的種子，那么雖然是一串隨機(jī)的種子但是每次重新運行都還會是相同的一串隨機(jī)種子，所以選擇 random 制作 2D 動畫也是可以的。 設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始逐幀渲染圖片了。

10.1.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、各項動態(tài)參數(shù)和渲染進(jìn)度及渲染時間等信息，過程中注意保持網(wǎng)絡(luò)連接通暢，若發(fā)現(xiàn)網(wǎng)絡(luò)中斷，比如單元格前方的按鈕變成紅色，或者頁面右上角顯示正在分配、重新連接等字樣，先不要慌張，請先確認(rèn)你的網(wǎng)絡(luò)連接是否正常，如果正常，可以在頁面空白處點擊幾下，滑動一下頁面，通常會自動恢復(fù)連接，如果網(wǎng)絡(luò)連接正常但網(wǎng)頁顯示不正常，請先查看云端硬盤是否有新的圖片生成，如果有也不用處理，稍后網(wǎng)頁會恢復(fù)正常，如果網(wǎng)絡(luò)確認(rèn)中斷了，請及時重新連接網(wǎng)絡(luò)，網(wǎng)絡(luò)正常后點擊頁面右上角「重新連接」重新連接 GPU，一般短暫的網(wǎng)絡(luò)中斷重新連接后也會自動恢復(fù)正常，如果重新連接后無法繼續(xù)渲染可以使用 Resume Animation 功能接著渲染，這個功能我在下文講解。全部渲染完成后單元格前方會出現(xiàn)綠色對鉤。

10.1.5.?取消勾選「skip_video_for_run_all和?render_steps」后點擊「skip_video_for_run_all」前方的圓形按鈕，就開始通過序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運行該單元格即可，生成的視頻會展示在此單元格下方，也會自動保存在相應(yīng)的文件夾里。生成完畢后單元格前方會出現(xiàn)綠色對鉤，如果下方仍然沒有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.1.6. 如果對效果不滿意可以重新修改參數(shù)，修改過參數(shù)的單元格都需要重新運行一遍，點擊單元格前方的圓形按鈕運行即可，參數(shù)修改完畢并重新運行后，重新運行「Run」單元格就開始重新渲染了，渲染過程中發(fā)現(xiàn)不滿意可以隨時點擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運行「Run」，重新渲染的圖片和之前的圖片會保存在同一個文件夾內(nèi)，如果想分開保存可以修改 batch_name 后再運行「Run」，這樣重新渲染的圖片會保存在新的文件夾里。

10.1.7. 由于 GPU 的限制我們可能無法直接生成大尺寸的圖片和視頻，所以動畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過?Real-ESRGAN或者?Topaz Gigapixel AI等工具對序列圖片進(jìn)行智能放大，然后再通過 AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。如果不進(jìn)行后期放大和加工你就只能得到一個 1024x512 左右的小視頻咯。使用 Real-ESRGAN 可以參考我的盲圖像超分辨率模型 Real-ESRGAN 使用教程，Topaz Gigapixel AI?是一個電腦軟件，大家可以下載后直接根據(jù)界面提示操作。

上方為我使用前文參數(shù)生成的 2D 動畫視頻，我用 Topaz Gigapixel AI 將視頻尺寸從 1024x512 放大至了 2560x1280，因為是為教程制作的動畫，所以時長較短，運動范圍略大，如果幀數(shù)多一些畫面會更加流暢，內(nèi)容也會更連貫。（平臺壓縮了畫質(zhì)）

3D 動畫教程

10.2.1. 參考下圖設(shè)置 3D 動畫參數(shù)，設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

上圖為 3D 動畫使用的主要參數(shù)，圖中未列出參數(shù)對 3D 動畫不起作用，2D 動畫的 zoom 縮放功能由 translation_z 前后移動代替，前后移動同時也就起了放大縮小的效果，fov為視場，值越大運動幅度越小，透視形變越小，我這里使用的是默認(rèn)值 40，大家可以看我后面的視頻體會一下效果，fov 值不可為 0，建議?40-100左右，未作說明的參數(shù)建議使用默認(rèn)值。

10.2.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開始更換 prompt，prompt 的數(shù)量沒有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號或逗號等內(nèi)容（上方的 prompts 為圖片的 prompts，在動畫模式下不會生效，不用管）。設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.2.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過大會導(dǎo)致顯存不足報錯。設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始逐幀渲染圖片了。

10.2.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、各項動態(tài)參數(shù)和渲染進(jìn)度及渲染時間等信息，全部渲染完成后單元格前方會出現(xiàn)綠色對鉤。

10.2.5.?取消勾選「skip_video_for_run_all和?render_steps」后點擊「skip_video_for_run_all」前方的圓形按鈕，就開始通過序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運行該單元格即可，生成的視頻會展示在此單元格下方，也會自動保存在相應(yīng)的文件夾里。生成完畢后單元格前方會出現(xiàn)綠色對鉤，如果下方仍然沒有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.2.6. 如果對效果不滿意可以重新修改參數(shù)，修改過參數(shù)的單元格都需要重新運行一遍，點擊單元格前方的圓形按鈕運行即可，參數(shù)修改完畢并重新運行后，重新運行「Run」單元格就開始重新渲染了，渲染過程中發(fā)現(xiàn)不滿意可以隨時點擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運行「Run」，重新渲染的圖片和之前的圖片會保存在同一個文件夾內(nèi)，如果想分開保存可以修改 batch_name 后再運行「Run」，這樣重新渲染的圖片會保存在新的文件夾里。

10.2.7. 由于 GPU 的限制我們可能無法直接生成大尺寸的圖片和視頻，所以動畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過?Real-ESRGAN或者?Topaz Gigapixel AI等工具對序列圖片進(jìn)行智能放大，然后再通過 AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。如果不進(jìn)行后期放大和加工你就只能得到一個 1024x512 左右的小視頻咯。使用 Real-ESRGAN 可以參考我的盲圖像超分辨率模型 Real-ESRGAN 使用教程，Topaz Gigapixel AI?是一個電腦軟件，大家可以下載后直接根據(jù)界面提示操作。

上方為我使用前文參數(shù)生成的 3D 動畫視頻，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，noise_schedule 設(shè)置成了 0.04 對這個視頻來說可能有一點點略高，直出的圖片噪點稍微有一點點多，用 Real-ESRGAN 放大后把噪點都自動處理掉了，畫面干凈了許多。（平臺壓縮了畫質(zhì)）

Video Input 參考視頻動畫教程

10.3.1. 參考視頻動畫需要先將參考視頻上傳至谷歌云盤或者 Google Colab，建議上傳至谷歌云盤，因為云盤上傳速度比較快，另外就是上傳到 Google Colab 是一次性的，如果中間網(wǎng)絡(luò)中斷或是一次沒有做完想下次接著做就需要重新上傳一次。登錄你的谷歌云盤，新建一個 init 文件夾或者打開任意文件夾，將你的參考視頻上傳至這個文件夾內(nèi)。（請先將參考視頻的畫面比例調(diào)整至輸出視頻的畫面比例，否則參考視頻會按設(shè)置的畫面比例進(jìn)行拉伸變形）

10.3.2.?點擊頁面左側(cè)邊欄第四個「文件」圖標(biāo)展開文件窗口，找到你的參考視頻，點擊參考視頻后方的三個小圓點，點擊復(fù)制路徑。（如果想將參考視頻上傳至 Google Colab 也可以直接將視頻拖至文件窗口的空白處，上傳完成后復(fù)制路徑即可）

10.3.3.?將上一步復(fù)制的路徑粘貼至圖中位置，將動畫模式設(shè)置為?Video Input，設(shè)置抽幀參數(shù)，我們的參考視頻有可能是 30 幀/秒的視頻，假如時長為 10 秒，參考視頻就有 300 幀，如果我們只需要做一個 15 幀/秒的視頻，那就不需要那么多幀，我們就可以進(jìn)行抽幀，將參數(shù)設(shè)置為 2，就只剩下了 150 幀，這 150 幀將作為參考圖片供我們渲染 150 張圖片，最后就可以合成一個時長為 10 秒 15 幀/秒的視頻了。我們可以利用抽幀控制總幀數(shù)，所以調(diào)試階段可以將這個值設(shè)置的高一點，這樣可以盡快的看到整個動畫各個階段的效果，如果效果滿意了再將參數(shù)調(diào)低，生成最終的視頻，這樣可以節(jié)約一些時間。Video Input 模式一般只要設(shè)置下圖中注釋的三個參數(shù)即可，其他參數(shù)在該模式下均無效果。設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.3.4.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開始更換 prompt，prompt 的數(shù)量沒有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號或逗號等內(nèi)容（上方的 prompts 為圖片的 prompts，在動畫模式下不會生效，不用管）。我這個動畫視頻從頭至尾是一個穩(wěn)定連續(xù)的畫面，所以只設(shè)置了一個 prompt，如果你的畫面前后是有變化的可以設(shè)置多個 prompt。設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.3.5. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過大會導(dǎo)致顯存不足報錯，種子模式需設(shè)置為 fixed，strength 為參考圖/視頻強(qiáng)度，設(shè)置為 0 完全使用文本描述進(jìn)行渲染，設(shè)置為 1 完全使用參考圖/視頻進(jìn)行渲染，建議將參數(shù)設(shè)置為 0.4-0.8 左右，根據(jù)自己的需要看希望更貼近參考還是有更多變化，值越大越像參考圖/視頻。設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始逐幀渲染圖片了。

10.3.6. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、參考圖片信息和渲染進(jìn)度及渲染時間等信息，全部渲染完成后單元格前方會出現(xiàn)綠色對鉤。

10.3.7.?取消勾選「skip_video_for_run_all和?render_steps」后點擊「skip_video_for_run_all」前方的圓形按鈕，就開始通過序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運行該單元格即可，生成的視頻會展示在此單元格下方，也會自動保存在相應(yīng)的文件夾里。生成完畢后單元格前方會出現(xiàn)綠色對鉤，如果下方仍然沒有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.3.8. 如果對效果不滿意可以重新修改參數(shù)，修改過參數(shù)的單元格都需要重新運行一遍，點擊單元格前方的圓形按鈕運行即可，參數(shù)修改完畢并重新運行后，重新運行「Run」單元格就開始重新渲染了，渲染過程中發(fā)現(xiàn)不滿意可以隨時點擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運行「Run」，重新渲染的圖片和之前的圖片會保存在同一個文件夾內(nèi)，如果想分開保存可以修改 batch_name 后再運行「Run」，這樣重新渲染的圖片會保存在新的文件夾里。

10.3.9. 由于 GPU 的限制我們可能無法直接生成大尺寸的圖片和視頻，所以動畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過?Real-ESRGAN或者?Topaz Gigapixel AI等工具對序列圖片進(jìn)行智能放大，然后再通過 AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。

上方為我使用前文參數(shù)生成的 Video Input 參考視頻動畫，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，視頻中也展示了參考視頻及效果對比，因為我選用的參考視頻本身光線效果就不是太好，所以面部打光效果不太好，另外由于畫面中有很多手部的畫面，我只有通過調(diào)高 strength 來盡量保持手部的完整，因此也犧牲了一些描述詞的效果，比如我描述詞中寫了奧黛麗赫本，如果降低 strength 面部特征是可以更加靠近奧黛麗赫本的，但是同時手部等細(xì)節(jié)也會相對變得不那么穩(wěn)定，所以我最后還是把 strength 設(shè)置為了 0.75，算是偏高的范圍，這樣會更靠近參考視頻，參考視頻動畫就是通過調(diào)節(jié) strength 和 scale 包括 prompt，來進(jìn)行取舍以達(dá)到最佳的效果。（平臺壓縮了畫質(zhì)）

Interpolation 插值動畫教程

10.4.1. 將動畫模式設(shè)置為?Interpolation，勾選關(guān)鍵幀模式或設(shè)置固定幀模式參數(shù)，默認(rèn)不勾選關(guān)鍵幀模式則為固定幀模式，若勾選了關(guān)鍵幀模式則固定幀模式自動失效，二者只有一個起作用，除了這兩個模式以外的其他參數(shù)在該模式下均不起作用。設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.4.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，幀數(shù)僅在interpolate_key_frames關(guān)鍵幀模式下起作用，當(dāng)在上一步勾選了 interpolate_key_frames 后，以下圖為例，那么總幀數(shù)就會變成 51 幀，第 0 幀會按 prompt 0 進(jìn)行渲染，第 5 幀會按 prompt 5 渲染，第 20 幀會按 prompt 20 渲染，第 30 幀會按 prompt 30 渲染，第 50 幀會按 prompt 50 渲染，相鄰的兩個 prompt 之間的幀數(shù)，以前兩個 prompt 為例，從第 0 幀到第 5 幀 prompt 0 的權(quán)重會從 100% 降至 0%，prompt 5 的權(quán)重會從 0% 升至 100%，相鄰的兩個 prompt 會隨著幀數(shù)前一個權(quán)重遞減至 0%，后一個權(quán)重遞增至 100%，以達(dá)到從第一個 prompt 變成第二個 prompt 的效果。若沒有勾選 interpolate_key_frames 則為固定幀模式，以上圖參數(shù) 40 為例，interpolate_x_frames 40表示每兩個相鄰的關(guān)鍵幀之間都是40幀，以下圖為例，有 5 個 prompt，總幀數(shù)就會變成 165 幀，此時下圖中的關(guān)鍵幀不起作用，第 0 幀使用 prompt 0 進(jìn)行渲染，第 41 幀使用 prompt 5 渲染，第 82 幀使用 prompt 20 渲染，第 123 幀使用 prompt 30 渲染，第 164 幀使用 prompt 50 渲染。插值動畫就是沒有動態(tài)，只是從一個 prompt 漸變到下一個 prompt，再漸變到下一個 prompt 直至最后一個 prompt。設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.4.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過大會導(dǎo)致顯存不足報錯，Interpolation 模式下無論種子模式如何設(shè)置都會按 fixed 生效，也就是所有圖片都會使用同一個種子進(jìn)行渲染，以此達(dá)到一個靜態(tài)連續(xù)變化模擬動態(tài)的效果。設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始逐幀渲染圖片了。

10.4.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，Interpolation 模式下會先把所有的 prompt 都渲染一遍，例如上面設(shè)置了 5 個 prompt，那么這里會先將這 5 個 prompt 分別渲染出來，然后再從第 0 幀開始逐幀渲染，可以用來確認(rèn) prompt 是否有誤，其實建議的做法是先使用圖片功能調(diào)試好所有的 prompt 之后再進(jìn)行動畫制作。此處圖片下方只會顯示種子值、渲染進(jìn)度和渲染時間，全部渲染完成后單元格前方會出現(xiàn)綠色對鉤。

10.4.5.?取消勾選「skip_video_for_run_all和?render_steps」后點擊「skip_video_for_run_all」前方的圓形按鈕，就開始通過序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運行該單元格即可，生成的視頻會展示在此單元格下方，也會自動保存在相應(yīng)的文件夾里。生成完畢后單元格前方會出現(xiàn)綠色對鉤，如果下方仍然沒有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.4.6. 如果對效果不滿意可以重新修改參數(shù)，修改過參數(shù)的單元格都需要重新運行一遍，點擊單元格前方的圓形按鈕運行即可，參數(shù)修改完畢并重新運行后，重新運行「Run」單元格就開始重新渲染了，渲染過程中發(fā)現(xiàn)不滿意可以隨時點擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運行「Run」，重新渲染的圖片和之前的圖片會保存在同一個文件夾內(nèi)，如果想分開保存可以修改 batch_name 后再運行「Run」，這樣重新渲染的圖片會保存在新的文件夾里。固定幀模式可通過降低固定幀參數(shù)減少總幀數(shù)快速預(yù)覽整體變化效果，效果基本滿意后再提高參數(shù)渲染長動畫，關(guān)鍵幀模式也可以通過減小關(guān)鍵幀幀數(shù)來達(dá)到快速預(yù)覽的效果。

10.4.7. 由于 GPU 的限制我們可能無法直接生成大尺寸的圖片和視頻，所以動畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過?Real-ESRGAN或者?Topaz Gigapixel AI等工具對序列圖片進(jìn)行智能放大，然后再通過 AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。

上方為我使用前文參數(shù)生成的 Interpolation 插值動畫，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，插值動畫比較適合用來制作類似延時攝影/縮時攝影這類的動畫，就是同一個場景隨著時間的變化發(fā)生改變這種，當(dāng)然也可以用于制作不同場景或者不同物體之間的轉(zhuǎn)變動畫，建議先調(diào)教好 prompt 后再制作動畫。（平臺壓縮了畫質(zhì)）

其他動畫功能

Coherence，Animation Settings - Coherence 包含兩個參數(shù)，一個是 color_coherence，顏色模式，建議使用默認(rèn)值，另一個是?diffusion_cadence，該參數(shù)僅對 2D 與 3D 動畫有效，默認(rèn)為 1，該參數(shù)一共有 8 個級別，1-8，當(dāng)設(shè)置為 1 時，每一幀都會通過一個種子進(jìn)行擴(kuò)散生成圖像，假如第 0 幀使用種子 3520080201，則第 1 幀使用種子 3520080202，第 2 幀使用種子 3520080203，第 3 幀使用種子 3520080204...以此類推，當(dāng)設(shè)置為 2 時，每隔一幀才通過種子進(jìn)行擴(kuò)散生成圖像，假如第 0 幀使用種子 3520080201，則第 2 幀使用種子 3520080202，第 4 幀使用種子 3520080203，第 6 幀使用種子 3520080204...以此類推，其中跳過的幀數(shù)會使用前后幀的圖片進(jìn)行混合疊加后得出，當(dāng)設(shè)置為 3 時則是第 0、3、6、9、12...這些幀會使用種子生成圖像，跳過的幀會使用前后幀的圖片進(jìn)行混合疊加后得出，這樣做會大幅縮減渲染時間，但可能會使動畫變得模糊起來，因為間隔幀是使用前后幀的畫面進(jìn)行混合疊加而成的，所以清晰度會受損，但是畫面的連貫性有可能會提升，因為每個種子生成的圖片都是有差異的，通過間隔幀減慢了差異的變化速度，畫面可能會變得更連貫，在某些偏靜態(tài)的動畫里可能比較受用，動態(tài)幅度較大的還是不建議使用，有興趣的朋友可以自己嘗試一下，這里要提醒的是因為跳過的幀不會使用種子，所以這個值的變化同時也會造成畫面的變化，如果想利用跳過幀預(yù)覽動畫效果是無法做到的，因為修改后動畫效果也會改變。如果使用此模式后畫面清晰度受損，可以嘗試通過調(diào)整 noise_schedule、strength_schedule 和 scale 來調(diào)節(jié)畫面效果。

Resume Animation，恢復(fù)動畫渲染，當(dāng)出于某種原因動畫渲染主動或被迫中斷后，想要接著繼續(xù)渲染可以使用此功能，此功能也可用于修改動畫關(guān)鍵幀參數(shù)，假如你想修改的參數(shù)只影響動畫的后面某部分畫面，可以到云盤中保留不受影響的幀數(shù)，將需要改動的幀數(shù)圖片全部刪除，如果是想接著繼續(xù)渲染不用刪除圖片，然后點開這個動畫的任意一張圖，點擊圖片名稱，復(fù)制名稱的前半部分，如下圖所示，粘貼在?Animation Settings-?Resume Animation?中的resume_timestring?位置，如下圖所示，并勾選resume_from_timestring，然后重新運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤，再重新運行「Run」，程序就會接著這個名稱的最后一張圖開始渲染下一張圖，就是繼續(xù)渲染動畫了。

文本轉(zhuǎn)圖像教程

10.5.1. 將動畫模式設(shè)置為?None，新開的文件默認(rèn)就是 None，設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.5.2.?設(shè)置 Prompts，Deforum 有個優(yōu)點就是 Prompt 的個數(shù)沒有限制，你可以一次填寫很多個 Prompt，然后一次性全部渲染，程序會按照先后順序依次渲染每一個 Prompt，當(dāng)然你只寫一個也沒問題，animation_prompts 在該設(shè)置下不起作用，可以無視，設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.5.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過大會導(dǎo)致顯存不足報錯，若要生成人物肖像等內(nèi)容建議將尺寸設(shè)置為?512x512，這樣容易取得最佳效果；8 種采樣模式略有區(qū)別，但區(qū)別也不算太大，大家可以自己嘗試；n_batch 為每個 prompt 生成圖片的張數(shù)，以上圖為例，共有 8 個 prompt，那么設(shè)置為 50 后每一個 prompt 都會分別生成 50 張圖；因為每次運行只會生成一個總的 settings 文件，所以建議在使用 random 隨機(jī)種子模式時可將文件名格式設(shè)置為顯示種子值，否則無法追蹤每張圖片的種子，使用 iter 時即使將文件名格式設(shè)置為顯示 prompt 也可以通過文件名序號計算出每張圖的種子，大家可按自己的需要設(shè)置文件名格式；設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始渲染圖片了。

10.5.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，顯示順序為先顯示種子和進(jìn)度條，渲染完成后圖片會顯示在進(jìn)度條下方，所以對應(yīng)的種子值在圖片的上方；所有圖片都會按順序在頁面上展示，但是頁面展示圖片有一個上限，超過以后會自動刷新顯示新的一批圖片；全部生成完畢后單元格前方會出現(xiàn)綠色對鉤，可以去云盤相應(yīng)的文件夾內(nèi)查看或下載圖片及參數(shù)文件。

10.5.5. 如果覺得尺寸不夠大可以使用?Real-ESRGAN或者?Topaz Gigapixel AI等工具對圖片進(jìn)行智能放大，可參考盲圖像超分辨率模型 Real-ESRGAN 使用教程進(jìn)行操作。

圖像轉(zhuǎn)圖像教程

10.6.1. 將動畫模式設(shè)置為?None，新開的文件默認(rèn)就是 None，設(shè)置完成后點擊「Animation」前方的圓形按鈕運行「Animation Settings」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.6.2.?設(shè)置 Prompts，在下圖 prompts 處填寫 prompts，如果有多個想法可以設(shè)置多個 prompt，換行依次填寫即可，注意保持格式正確，animation_prompts 在該設(shè)置下不起作用，可以無視，設(shè)置完成后點擊「prompts」前方的圓形按鈕運行「prompts」，運行完成后該單元格前方會出現(xiàn)綠色對鉤。

10.6.3. 圖像轉(zhuǎn)圖像也就是參考圖模式需要先將參考圖上傳至 Google Colab 或者谷歌云盤，上傳至 Google Colab 只需要點擊頁面左側(cè)邊欄第四個「文件」圖標(biāo)展開文件窗口，然后將圖片直接拖入空白處即可，上傳完成后會顯示在文件列表末端，你也可以將參考圖上傳至谷歌云盤，然后從列表中找到圖片文件即可，點擊參考圖后方的三個小圓點選擇復(fù)制路徑。

10.6.4. 參考下圖設(shè)置圖像參數(shù)，勾選use_init使用參考圖，將上一步復(fù)制的路徑粘貼至init_image后方，設(shè)置strength參考圖強(qiáng)度，當(dāng)設(shè)置為 0 時完全使用 prompt 進(jìn)行渲染，若總步數(shù)為 50 則使用 prompt 渲染 50 步，畫面與參考圖毫無關(guān)系，當(dāng)設(shè)置為 1 時完全使用參考圖進(jìn)行渲染，若總步數(shù)為 50 則使用 prompt 渲染 0 步，也就是會原圖直出，與 prompt 毫無關(guān)系，當(dāng)設(shè)置為 0.5 時則是各占一半，若總步數(shù)為 50 則使用 prompt 渲染 25 步，所以如果想要畫面更靠近參考圖，可以將strength設(shè)置為0.5-1，低于0.5畫面與參考圖的差異會逐步變大；如果只想對局部進(jìn)行渲染可以使用遮罩文件，勾選 use_mask 后參考上一步上傳遮罩圖片即可，遮罩有兩個參數(shù)可調(diào)節(jié)效果，有需要的可以自己實驗；要注意的是如果參考圖畫面比例與設(shè)置的尺寸比例不一致參考圖會被強(qiáng)制拉伸變形為設(shè)置的尺寸，如果不想?yún)⒖紙D發(fā)生變形請將參考圖長寬比修改成和出圖尺寸相同的比例。設(shè)置完成后點擊「Load Settings」前方的圓形按鈕運行「Run」，就開始渲染圖片了。

10.6.5. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，顯示順序為先顯示種子和進(jìn)度條，渲染完成后圖片會顯示在進(jìn)度條下方，所以對應(yīng)的種子值在圖片的上方；所有圖片都會按順序在頁面上展示，但是頁面展示圖片有一個上限，超過以后會自動刷新顯示新的一批圖片；全部生成完畢后單元格前方會出現(xiàn)綠色對鉤，可以去云盤相應(yīng)的文件夾內(nèi)查看或下載圖片及參數(shù)文件。

10.6.6. 如果覺得尺寸不夠大可以使用?Real-ESRGAN或者?Topaz Gigapixel AI等工具對圖片進(jìn)行智能放大，可參考盲圖像超分辨率模型 Real-ESRGAN 使用教程進(jìn)行操作。

制作動畫建議先使用文本轉(zhuǎn)圖像功能或圖像轉(zhuǎn)圖像功能調(diào)試好 prompt 和參數(shù)，效果比較滿意后直接使用滿意的 prompt 和參數(shù)包括種子去制作動畫，這樣效率會比較高。

最后分享一下?Deforum?的官方 Discord（https://discord.com/invite/upmXXsrwZc），大家如果有其他疑問也可以去官方頻道進(jìn)行詢問和交流。

以上就是此次 Deforum Stable Diffusion 教程的全部內(nèi)容了，部分內(nèi)容是根據(jù)個人使用經(jīng)驗和個人理解進(jìn)行解釋的，可能不一定絕對準(zhǔn)確，但可以供大家參考。

在這里我也呼吁大家合理使用 AI 工具，尊重版權(quán)，尊重創(chuàng)作者，未經(jīng)允許不要使用他人的作品進(jìn)行 AI 創(chuàng)作，如果使用 AI 生成的內(nèi)容與他人風(fēng)格過于類似或者存在爭議建議不要用于商業(yè)用途。

文中展示的參數(shù)包括?prompts 僅供學(xué)習(xí)交流使用，請勿用于商業(yè)用途。