畫(huà)制作教程:用 LivePortrait 三步讓老照片開(kāi)口說(shuō)話)
人像動(dòng)畫(huà)制作教程用 LivePortrait 三步讓老照片開(kāi)口說(shuō)話【免費(fèi)下載鏈接】LivePortraitBring portraits to life!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/li/LivePortraitLivePortrait 是一款來(lái)自快手團(tuán)隊(duì)的免費(fèi)開(kāi)源人像動(dòng)畫(huà)工具只要給它一張靜態(tài)照片和一段參考動(dòng)作就能讓照片里的人物眨眼、微笑、開(kāi)口說(shuō)話甚至轉(zhuǎn)動(dòng)頭部。這篇人像動(dòng)畫(huà)制作教程面向零基礎(chǔ)新手不要求任何編程背景跟著下面的步驟你也能在十幾分鐘內(nèi)做出第一條會(huì)動(dòng)的人像視頻。別讓老照片繼續(xù)沉默下去打開(kāi)手機(jī)相冊(cè)那些泛黃的老照片、聚會(huì)時(shí)的合影、孩子的周歲照……大多只能靜靜躺在文件夾里。定格的一瞬間再美好也總讓人忍不住想要是照片里的人能眨眨眼、笑一笑該多好。這個(gè)愿望如今已經(jīng)不再是特效公司的專(zhuān)利。LivePortrait 正是為這件事而生的開(kāi)源人像動(dòng)畫(huà)工具——它把讓肖像動(dòng)起來(lái)做成了一種開(kāi)箱即用的體驗(yàn)無(wú)需復(fù)雜的影視后期不要求會(huì)寫(xiě)代碼一張圖加上一段參考動(dòng)作就能產(chǎn)出自然、流暢、幾乎看不出生硬拼接痕跡的動(dòng)畫(huà)結(jié)果。更重要的是它免費(fèi)、開(kāi)源背后有公開(kāi)的技術(shù)論文支持社區(qū)也在持續(xù)更新模型與功能。人像動(dòng)畫(huà)制作的門(mén)檻第一次降到了普通人的手邊。一張圖能活成什么樣三種典型想象在動(dòng)手之前先看看這個(gè)工具能把你的素材變成什么。給回憶補(bǔ)上動(dòng)態(tài)。把全家福里爺爺?shù)膰?yán)肅表情換成微笑讓老照片里的人物沖你眨眨眼靜態(tài)的家族記憶瞬間有了溫度——這大概是普通人最容易共情的玩法。讓創(chuàng)作多一種素材。短視頻博主可以快速產(chǎn)出名畫(huà)開(kāi)口說(shuō)話歷史人物表情包這類(lèi)高傳播內(nèi)容歷史愛(ài)好者能讓文物與畫(huà)作里的面孔活過(guò)來(lái)講一段別開(kāi)生面的故事。給寵物做專(zhuān)屬表情包。除了人類(lèi)肖像LivePortrait 還專(zhuān)門(mén)訓(xùn)練了動(dòng)物模型貓貓狗狗也能在你的驅(qū)動(dòng)下做出眨眼、張嘴等表情。下面這張對(duì)比圖直觀展示了表情遷移的威力左側(cè)人物的表情被完整地搬到了右側(cè)人物臉上生成結(jié)果幾乎看不到違和感。零基礎(chǔ)快速上手跑通第一條人像動(dòng)畫(huà)整個(gè)流程可以濃縮成四步裝環(huán)境、下模型、啟動(dòng)界面、點(diǎn)擊生成。按順序做就好。第一步準(zhǔn)備基礎(chǔ)環(huán)境動(dòng)手前請(qǐng)確認(rèn)電腦上已經(jīng)裝好了三樣?xùn)|西Git用于拉取代碼、conda用于創(chuàng)建獨(dú)立的運(yùn)行環(huán)境和FFmpeg用于視頻的讀取與合成。前兩者通常不難搞定FFmpeg 是新手最容易卡住的環(huán)節(jié)——好消息是不同系統(tǒng)都有現(xiàn)成的安裝方案Ubuntu 上執(zhí)行sudo apt install ffmpegmacOS 上用brew install ffmpegWindows 用戶則可以把ffmpeg.exe和ffprobe.exe放進(jìn)項(xiàng)目根目錄。第二步克隆倉(cāng)庫(kù)并安裝依賴(lài)打開(kāi)終端依次執(zhí)行下面的命令git clone https://gitcode.com/GitHub_Trending/li/LivePortrait cd LivePortrait conda create -n LivePortrait python3.10 conda activate LivePortrait pip install -r requirements.txt如果你使用的是搭載 Apple Silicon 的 Mac官方提供了單獨(dú)的依賴(lài)清單requirements_macOS.txt照著一并安裝即可。NVIDIA 顯卡用戶記得先確認(rèn)自己的 CUDA 版本再安裝與之匹配的 PyTorch——這一步版本不匹配是新手最常見(jiàn)的翻車(chē)點(diǎn)之一。第三步下載預(yù)訓(xùn)練模型代碼只提供了骨架真正的大腦是預(yù)訓(xùn)練權(quán)重。執(zhí)行下面的命令把模型下載到項(xiàng)目的pretrained_weights目錄huggingface-cli download KlingTeam/LivePortrait --local-dir pretrained_weights若官方渠道訪問(wèn)不便文檔里也給出了鏡像站與網(wǎng)盤(pán)等多種備選途徑。第四步兩種方式產(chǎn)出第一條動(dòng)畫(huà)方式一命令行直出。運(yùn)行下面的命令稍等片刻就會(huì)在animations目錄下得到一段名為s6--d0_concat.mp4的成品畫(huà)面里同時(shí)包含驅(qū)動(dòng)視頻、原始素材與生成結(jié)果三段對(duì)比python inference.py你也可以換成自己的素材例如用assets/examples/source/s9.jpg這張?jiān)磮D配合assets/examples/driving/d0.mp4的動(dòng)作去驅(qū)動(dòng)。方式二圖形界面操作。對(duì)零基礎(chǔ)用戶來(lái)說(shuō)更推薦這個(gè)方式。運(yùn)行python app.py瀏覽器會(huì)自動(dòng)打開(kāi)一個(gè) Gradio 操作面板整個(gè)流程被清晰拆成了三步選擇源素材上傳你想復(fù)活的肖像圖片或視頻選擇驅(qū)動(dòng)素材上傳包含目標(biāo)表情與動(dòng)作的參考視頻點(diǎn)擊 Animate一鍵生成動(dòng)畫(huà)結(jié)果直接展示在頁(yè)面底部。從上傳到出片整個(gè)過(guò)程不超過(guò)一分鐘第一次成功的成就感來(lái)得非??臁?chuàng)意玩法合集讓照片活出六種花樣跑通基礎(chǔ)流程后你其實(shí)只解鎖了 LivePortrait 的冰山一角。下面按玩法逐一拆解每個(gè)都能單獨(dú)組合進(jìn)你的創(chuàng)作流程。玩法一用一張照片偷學(xué)另一張臉的表情不想費(fèi)心找驅(qū)動(dòng)視頻LivePortrait 支持用單張圖片作為驅(qū)動(dòng)信號(hào)。在界面上切換到Driving Image模式上傳一張帶著目標(biāo)表情的人像系統(tǒng)會(huì)自動(dòng)提取其中的表情與姿態(tài)特征并應(yīng)用到你的源照片上。想讓人物學(xué)一個(gè)驚訝臉一張素材圖就夠了。玩法二像調(diào)音臺(tái)一樣手動(dòng)捏表情如果既不想找驅(qū)動(dòng)素材又想要精確到嘴角上揚(yáng)幾分的控制那就試試表情編輯面板。它把面部變化拆解成了一個(gè)個(gè)可拖動(dòng)的滑塊眼睛開(kāi)合度、嘴唇開(kāi)合度、微笑強(qiáng)度、眨眼程度……想要微微笑還是笑不露齒全憑你的手感。玩法三給頭部裝一個(gè)方向盤(pán)表情之外姿態(tài)同樣可調(diào)。通過(guò) yaw、pitch、roll 三個(gè)方向的控制可以讓畫(huà)面中的人物向左看、向右看、微微仰頭。把它和表情滑塊組合使用你就能導(dǎo)演出相當(dāng)豐富的單人表演。玩法四讓整段視頻換一副表情如果源素材本身就是一段視頻LivePortrait 同樣支持——也就是業(yè)內(nèi)常說(shuō)的 v2v視頻到視頻編輯。上傳一段人物說(shuō)話的視頻再設(shè)定目標(biāo)表情或姿態(tài)參數(shù)就能在保持口型與動(dòng)作節(jié)奏的基礎(chǔ)上對(duì)整段視頻的表情進(jìn)行重定向。玩法五給貓貓狗狗做專(zhuān)屬表情包動(dòng)物模式是另一個(gè)寶藏功能。運(yùn)行python app_animals.py打開(kāi)動(dòng)物版界面上傳一張寵物照片再選擇一個(gè)驅(qū)動(dòng)動(dòng)作例如眨眼就能得到專(zhuān)屬的寵物表情動(dòng)畫(huà)。需要注意動(dòng)物模式需要 NVIDIA GPU 支持并且首次使用時(shí)要編譯一個(gè) X-Pose 相關(guān)的算子官方文檔里寫(xiě)得很清楚。玩法六用動(dòng)作模板提速并保護(hù)隱私很多驅(qū)動(dòng)素材其實(shí)是重復(fù)使用的。LivePortrait 支持把一段驅(qū)動(dòng)視頻提煉成.pkl動(dòng)作模板文件之后可以反復(fù)調(diào)用既省去了重復(fù)處理的時(shí)間也避免了反復(fù)上傳他人視頻帶來(lái)的隱私顧慮——你需要的只是動(dòng)作而不是那張臉。進(jìn)階與避坑從能動(dòng)到動(dòng)得漂亮三個(gè)影響效果上限的素材習(xí)慣同樣的參數(shù)有人出片自然有人出片僵硬差別往往在素材準(zhǔn)備上驅(qū)動(dòng)視頻盡量用 1:1 畫(huà)幅并讓畫(huà)面集中在頭部區(qū)域避免大面積的肩部移動(dòng)干擾表情提取保證第一幀是正面、中性表情這是模型判斷表情基線的重要依據(jù)優(yōu)先選擇表情豐富、動(dòng)作連貫的驅(qū)動(dòng)片段動(dòng)作太少會(huì)讓結(jié)果顯得沒(méi)精神。生成面板里的關(guān)鍵旋鈕driving multiplier驅(qū)動(dòng)倍率控制表情動(dòng)作的夸張程度值越大表情越明顯但過(guò)大會(huì)導(dǎo)致變形失真relative motion / paste-back / stitching分別控制相對(duì)運(yùn)動(dòng)、背景回貼與邊緣拼接保持默認(rèn)開(kāi)啟通常效果最穩(wěn)motion smooth strength運(yùn)動(dòng)平滑針對(duì)視頻重定向場(chǎng)景數(shù)值越大相鄰幀之間的動(dòng)作過(guò)渡越柔和。初次使用建議全程默認(rèn)參數(shù)出片之后再按需微調(diào)避免一開(kāi)始就被參數(shù)勸退。新手常見(jiàn)問(wèn)題速查表現(xiàn)象大概率原因建議做法報(bào)錯(cuò)提示找不到 FFmpeg系統(tǒng)未安裝 FFmpeg按系統(tǒng)類(lèi)型安裝 ffmpeg 后重試生成速度偏慢未開(kāi)啟編譯優(yōu)化啟動(dòng)時(shí)加--flag_do_torch_compile首次約一分鐘預(yù)熱之后可提速 20%30%驅(qū)動(dòng)效果沒(méi)精神驅(qū)動(dòng)視頻首幀非中性表情換成正面、中性表情開(kāi)頭、頭肩區(qū)域集中的素材動(dòng)物模式無(wú)法運(yùn)行缺少 NVIDIA GPU 或未編譯算子確認(rèn)硬件條件并按官方文檔先編譯 X-Pose 依賴(lài)想保護(hù)他人隱私不想反復(fù)上傳人臉視頻將驅(qū)動(dòng)視頻提煉為.pkl動(dòng)作模板復(fù)用寫(xiě)在最后素材、源碼與下一步到這里你已經(jīng)了解了 LivePortrait 的全部主干能力從圖像驅(qū)動(dòng)、視頻驅(qū)動(dòng)到表情編輯、姿態(tài)控制再到動(dòng)物模式與動(dòng)作模板。它真正難得的地方在于——把專(zhuān)業(yè)級(jí)的人像動(dòng)畫(huà)能力壓縮進(jìn)了普通人也愿意嘗試的幾分鐘流程里。想進(jìn)一步研究原理可以去看項(xiàng)目核心實(shí)現(xiàn) src/live_portrait_pipeline.py模型配置在 src/config/models.yaml想換一批素材試手項(xiàng)目自帶的 assets/examples/ 里有現(xiàn)成的源圖與驅(qū)動(dòng)視頻更多安裝細(xì)節(jié)與更新記錄都收錄在 assets/docs/ 目錄中?,F(xiàn)在去相冊(cè)里挑一張最有故事的照片吧。把它拖進(jìn) LivePortrait看著畫(huà)面里的人慢慢眨起眼睛——你會(huì)發(fā)現(xiàn)讓回憶動(dòng)起來(lái)這件事真的沒(méi)有想象中那么遠(yuǎn)?!久赓M(fèi)下載鏈接】LivePortraitBring portraits to life!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考