fal-lip-sync

Compare original and translation side by side

🇺🇸

Original

English

🇨🇳

Translation

Chinese

fal-lip-sync

Create talking head videos, sync lips to audio, and animate portraits using fal.ai models.

使用fal.ai模型创建说话人头像视频、实现音频口型同步，以及制作动态人像动画。

Scripts

脚本

Script	Purpose
`talking-head.sh`	Generate a talking head video from an image + audio/text
`lip-sync.sh`	Sync lips in an existing video to new audio

脚本	用途
`talking-head.sh`	从图片+音频/文本生成说话人头像视频
`lip-sync.sh`	将现有视频中的口型与新音频同步

Usage

使用方法

Talking Head (Image + Audio → Video)

说话人头像（图片 + 音频 → 视频）

bash

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --audio-url "https://example.com/speech.mp3" --model veed/fabric-1.0

bash

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --audio-url "https://example.com/speech.mp3" --model veed/fabric-1.0

Talking Head (Image + Text → Video with auto TTS)

说话人头像（图片 + 文本 → 自动TTS生成视频）

bash

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --text "Hello, welcome to our presentation" --model fal-ai/creatify/aurora

bash

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --text "Hello, welcome to our presentation" --model fal-ai/creatify/aurora

Lip Sync (Video + Audio → Synced Video)

口型同步（视频 + 音频 → 同步后视频）

bash

./scripts/lip-sync.sh --video-url "https://example.com/video.mp4" --audio-url "https://example.com/new-speech.mp3"

bash

./scripts/lip-sync.sh --video-url "https://example.com/video.mp4" --audio-url "https://example.com/new-speech.mp3"

Arguments

参数

talking-head.sh

Argument	Description	Required
`--image-url`	URL of portrait/face image	Yes
`--audio-url`	URL of audio to sync	Yes (or --text)
`--text`	Text to speak (auto TTS)	Yes (or --audio-url)
`--model` / `-m`	Model endpoint	No (default: veed/fabric-1.0)
`--tts-model`	TTS model for --text mode	No (default: fal-ai/minimax/speech-2.6-turbo)
`--wait` / `-w`	Wait for completion	No (default: true)
`--async` / `-a`	Return request ID immediately	No

参数	说明	是否必填
`--image-url`	人像/人脸图片的URL	是
`--audio-url`	待同步音频的URL	是（或使用--text）
`--text`	需要播报的文本（自动TTS）	是（或使用--audio-url）
`--model` / `-m`	模型端点	否（默认值：veed/fabric-1.0）
`--tts-model`	--text模式下使用的TTS模型	否（默认值：fal-ai/minimax/speech-2.6-turbo）
`--wait` / `-w`	等待任务执行完成	否（默认值：true）
`--async` / `-a`	立即返回请求ID	否

lip-sync.sh

Argument	Description	Required
`--video-url`	URL of video to lip sync	Yes
`--audio-url`	URL of audio to sync to	Yes
`--model` / `-m`	Model endpoint	No (default: fal-ai/sync-lipsync/v2)

参数	说明	是否必填
`--video-url`	待做口型同步的视频URL	是
`--audio-url`	用于同步的音频URL	是
`--model` / `-m`	模型端点	否（默认值：fal-ai/sync-lipsync/v2）

Finding Models

查找模型

To discover the best and latest lip sync and talking head models, use the search API:

bash

undefined

如需查找效果最佳、最新的口型同步和说话人头像模型，可使用搜索API：

bash

undefined

Search for talking head models

搜索说话人头像模型

bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "talking head"

Search for lip sync models

搜索口型同步模型

bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "lip sync"

Search for live portrait / expression transfer

搜索动态人像/表情迁移相关模型

bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "live portrait"


Or use the `search_models` MCP tool with relevant keywords like "lip sync", "talking head", "avatar".

bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "live portrait"


也可以使用`search_models` MCP工具，搭配「lip sync」「talking head」「avatar」等相关关键词进行搜索。

Output Format

输出格式

json

{
  "video": {
    "url": "https://fal.media/files/...",
    "content_type": "video/mp4"
  }
}

Present the video URL directly to the user.

json

{
  "video": {
    "url": "https://fal.media/files/...",
    "content_type": "video/mp4"
  }
}

直接将视频URL展示给用户即可。