Loading...
Loading...
通过`runcomfy` CLI在RunComfy上创建AI头像、虚拟主播(Talking-Head)及唇同步视频。支持调用字节跳动OmniHuman(音频驱动全身头像)、万智源Wan 2-7(通过`audio_url`实现人像音频驱动嘴部同步)、HappyHorse 1.0(竞技场排名第一的文本转视频/图像转视频,支持内置音频)以及Seedance v2 Pro(多模态影视级生成,支持参考音频+参考主体)等模型。会根据用户的实际需求——UGC旁白、虚拟主持人、配音产品演示、唇同步角色、对话场景——选择合适的模型,并提供各模型的文档化提示模板以及最简`runcomfy run`调用指令。当用户提及“talking head”“lip sync”“avatar video”“让X说话”“audio to video”“audio driven avatar”“virtual presenter”“AI spokesperson”“dubbed video”“UGC avatar”“HeyGen替代方案”“Synthesia替代方案”“digital human”“让这张人像说话”“从旁白生成视频”或任何明确要求让面部开口说话的请求时,该功能将触发。
npx skill4agent add prime-skills/runcomfy-agent-skills ai-avatar-videoruncomfy run# 1. 安装(详见runcomfy-cli技能)
npm i -g @runcomfy/cli # 或:npx -y @runcomfy/cli --version
# 2. 登录
runcomfy login # 或在CI环境中:export RUNCOMFY_TOKEN=<token>
# 3. 生成头像视频
runcomfy run <vendor>/<model>/<endpoint> \
--input '{"prompt": "...", "audio_url": "https://...", "image_url": "https://..."}' \
--output-dir ./outruncomfy-clinpx skills add agentspace-so/runcomfy-agent-skills --skill ai-avatar-video -gbytedance/omnihuman/api字节跳动音频驱动全身头像模型。上传一张人像+一个音频文件,即可生成主体自然说话/唱歌/做手势的视频。在RunComfy的中被选为默认推荐模型。 适用场景:UGC旁白、虚拟主持人、配音产品演示、同一人像生成多语言片段。 不适用场景:无音频文件(需从脚本生成语音)——请使用HappyHorse 1.0。/feature/lip-sync
happyhorse/happyhorse-1-0/text-to-videohappyhorse/happyhorse-1-0/image-to-video竞技场排名第一的文本转视频/图像转视频模型,支持从提示词生成内置音频。无需外部音频文件——只需在提示词中引用台词即可。 适用场景:仅提供书面脚本无音频文件、“写脚本→生成视频”、概念片段、基于现有图像生成会说话的头部视频。 不适用场景:需要与特定MP3精确唇同步——每次调用都会重新生成音频,无法锁定。
bytedance/seedance-v2/pro字节跳动多模态旗舰模型——最多支持9张参考图片、3个参考视频、3个参考音频,可一次性生成具备影视级运镜/镜头/灯光控制的视频。 适用场景:结合参考主体+参考音频+参考场景的影视级独白、广告创意。 不适用场景:简单的“人像+音频”任务——功能过剩,速度较慢。请使用OmniHuman。
audio_urlwan-ai/wan-2-7/text-to-video支持字段的开源模型——提示词描述场景,音频文件驱动嘴部动作。 适用场景:需要完全控制场景(不仅限于人像)、有特定旁白MP3、开源工作流。 不适用场景:最简单的人像说话任务——请使用OmniHuman。audio_url
community/wan-2-2-animate/api基于Wan 2-2基础模型的社区发布变体。支持音频驱动风格化角色(插画、动漫、吉祥物)的全身动画。 适用场景:风格化/插画角色+音频(非写实人像)。 不适用场景:写实主体——请使用OmniHuman或Wan 2-7。
runcomfy run bytedance/omnihuman/api \
--input '{
"image_url": "https://your-cdn.example/presenter.jpg",
"audio_url": "https://your-cdn.example/voiceover.mp3"
}' \
--output-dir ./outaudio_urlwan-ai/wan-2-7/text-to-videoaudio_urlruncomfy run wan-ai/wan-2-7/text-to-video \
--input '{
"prompt": "30多岁女性的工作室人像,自信表情,柔和窗边光线,中性灰色背景。",
"audio_url": "https://your-cdn.example/voiceover.mp3",
"duration": 8
}' \
--output-dir ./outruncomfy run community/wan-2-2-animate/api \
--input '{
"image_url": "https://your-cdn.example/character.png",
"audio_url": "https://your-cdn.example/voiceover.mp3"
}' \
--output-dir ./outhappyhorse/happyhorse-1-0/text-to-videohappyhorse/happyhorse-1-0/image-to-videoruncomfy run happyhorse/happyhorse-1-0/text-to-video \
--input '{
"prompt": "30多岁女性,自信表情,看着镜头清晰说道:\"欢迎来到我们的产品演示。今天我们将展示三个要点。\"柔和日光,中性背景。",
"duration": 6,
"aspect_ratio": "9:16",
"resolution": "1080p"
}' \
--output-dir ./outruncomfy run happyhorse/happyhorse-1-0/image-to-video \
--input '{
"image_url": "https://your-cdn.example/portrait.jpg",
"prompt": "她看着镜头清晰说道:\"嗨,我是Aria。\"音频:友好语气,中性口音。",
"duration": 5
}' \
--output-dir ./out清晰说道:"…""音频:友好语气,中性口音。"bytedance/seedance-v2/proruncomfy run bytedance/seedance-v2/pro \
--input '{
"prompt": "变形镜头特写——主体对着镜头自信独白,窗边黄金时段光线,浅景深。",
"reference_images": ["https://your-cdn.example/subject.jpg"],
"reference_audio": ["https://your-cdn.example/voiceover.mp3"],
"duration": 10,
"aspect_ratio": "21:9"
}' \
--output-dir ./outai-image-generationaudio_url/models/feature/lip-sync/models/feature/character-swaprecently-added| 代码 | 含义 |
|---|---|
| 0 | 成功 |
| 64 | CLI参数错误 |
| 65 | 输入JSON错误/架构不匹配 |
| 69 | 上游服务5xx错误 |
| 75 | 可重试:超时/429请求过多 |
| 77 | 未登录或令牌被拒绝 |
runcomfy run <model_id>.runcomfy.net.runcomfy.com--output-dirnpm i -g @runcomfy/clinpx -y @runcomfy/cliruncomfy login~/.config/runcomfy/token.jsonRUNCOMFY_TOKEN--inputmodel-api.runcomfy.net*.runcomfy.net*.runcomfy.comallowed-tools: Bash(runcomfy *)runcomfy <subcommand>runcomfy-cliai-video-generationlipsyncface-swapimage-to-videoai-image-generation