视频
文生视频、图生视频、首帧→尾帧。一个入口接入多家顶级模型。
用文字或图片生成视频。平台提供两个引擎:fal 是主力(模型丰富),Higgsfield 是 DoP 风格的图生视频选项。
你能做什么
三种生成方式:
- 文生视频(t2v)——描述一个场景,得到一段视频。
- 图生视频(i2v)——让一张静态图动起来。
- 首帧 → 尾帧——在两张静态图之间插值出运动。
部分模型还支持参考图生视频、续写/延长、编辑。你能用哪些方式,取决于你选的模型:
| 引擎 | 文生视频 | 图生视频 | 首帧/尾帧 | 参考 / 续写 |
|---|---|---|---|---|
| fal(Veo、Seedance、Kling、Grok、Happy-horse) | ✓ | ✓ | ✓(Veo、Kling) | ✓(随模型而异) |
| Higgsfield(DoP) | 经图编织 | ✓ | ✓ | — |
怎么选模型
fal_generate_video 是主力:一个入口接入多家顶级模型。用 model_id 选模型,把该模型的参数放进 input。各家族支持的方式与字段不同:
| 家族 | model_id 示例 | 支持方式 | 关键 input 字段 |
|---|---|---|---|
| Veo 3.1(Google) | fal-ai/veo3.1、fal-ai/veo3.1/image-to-video、.../first-last-frame-to-video、.../reference-to-video、.../extend-video | t2v、i2v、首尾帧、参考、续写 | prompt、image_url、duration(4s/6s/8s)、resolution(720p/1080p/4k)、generate_audio、aspect_ratio |
| Seedance 2.0(字节) | bytedance/seedance-2.0/text-to-video、.../image-to-video、.../reference-to-video | t2v、i2v、参考 | prompt、image_url、resolution(480p/720p)、duration(auto/"4"–"15")、aspect_ratio、generate_audio |
| Kling 3.0 | fal-ai/kling-video/v3/pro/text-to-video、.../pro/image-to-video | t2v、i2v | prompt、start_image_url(i2v)、end_image_url、duration("3"–"15",默认 "5")、generate_audio |
| Grok Imagine(xAI) | xai/grok-imagine-video/text-to-video、.../image-to-video | t2v、i2v、参考、编辑、续写 | prompt、image_url、duration(整数 1–15)、resolution(480p/720p)、aspect_ratio |
| Happy-horse(阿里) | alibaba/happy-horse/text-to-video、.../image-to-video | t2v、i2v、参考、编辑 | image_url、prompt、resolution(720p/1080p)、duration(3–15,默认 5) |
higgsfield_generate_video — DoP 风格图生视频。模型:higgsfield-ai/dop/lite / dop/standard / dop/turbo(各带一个 /first-last-frame 变体)。它没有纯文生视频——要文生视频,先编织一张图(见下文)。
首帧图的字段名因模型而异。 Kling 用 start_image_url;其余家族(Veo、Seedance、Grok、Happy-horse)都用 image_url。按你选的模型填对字段。
duration 格式因模型而异。 Veo 要 "8s",Seedance 用 "auto" 或 "8",Kling 用 "5",Grok 与 Happy-horse 用整数。按你选的模型那一行填。
界面
fal_generate_video — 提交任务。入参:model_id(一个 endpoint id)+ input(该模型的完整参数对象,原样透传)。返回 request_id。
fal_get_video_status — 轮询任务。同时带 model_id 和 request_id。返回 IN_QUEUE / IN_PROGRESS,或 COMPLETED(携带视频 URL)。
higgsfield_generate_video — 提交。入参:prompt、image_url(必填)、model_id、params(model-specific,原样透传)。返回 request_id。
higgsfield_get_video_status — 轮询。只带 request_id。返回 in_progress、completed(携带视频 URL)、或 failed / nsfw。
在 Skill 里怎么用
视频生成是异步两步:
- 用
*_generate_video提交 → 拿到request_id。 - 轮询
*_get_video_status直到COMPLETED→ 拿到视频 URL。
生成可能要几分钟——持续轮询直到完成。fal 轮询时要同时带 model_id 和 request_id;Higgsfield 只带 request_id。
在仅支持图生视频的引擎上做文生视频(或任何想要美术化构图的时候):先生成一张图,再把它作为首帧喂入。
# 文生视频(Veo 3.1,带音频,8 秒)
fal_generate_video(
model_id="fal-ai/veo3.1",
input={ "prompt": "A cinematic drone shot over a misty mountain lake at dawn",
"duration": "8s", "resolution": "1080p", "generate_audio": true }
)
# 图生视频(Kling——注意是 start_image_url,不是 image_url)
fal_generate_video(
model_id="fal-ai/kling-video/v3/pro/image-to-video",
input={ "prompt": "the character slowly turns and smiles",
"start_image_url": "https://…", "duration": "5" }
)图生视频的编织:
1. google_generate_image / openai_generate_image(prompt) → 图片
2. fal_generate_video(model_id=".../image-to-video",
input={ prompt: 运动描述, image_url: <图片> }) → request_id
(或 higgsfield_generate_video,带 image_url)
3. 轮询 *_get_video_status 直到 COMPLETED → 视频 URL