头像服装动作组合搭配视频
定位
本负载物定义「头像 × 服装 × 动作」三必备主体要素 +「配音口播 × 背景 × 物品」三可选次要要素自由组合的 AI 短视频生成领域:六要素皆可随机生成或由用户指定——头像、服装、动作缺省随机,配音口播(音频驱动对口型)、背景(场景生成/替换)、物品(手持道具/广告产品)缺省无、启用时同样可指定或随机,组合出无限搭配,输出换装、穿搭、虚拟试衣、舞蹈/走秀/口播/姿势等成片。六要素生成产物(头像图/服装图/三视图/深度视频/背景图/物品图/音频)各自亦为可独立交付的资产,无需合成成片即可单独交付,或跨链复用、自由组合成静态换装图/场景图/角色设定图等非成片产物。核心是「判定 → 生成 → 组合 → 守护」五域管线。
核心能力
- 要素判定:六要素(头像/服装/动作三必备主体 + 配音口播/背景/物品三可选次要)逐一判定「指定/随机/无」,识别全随机/半自动/全定制模式,预判成片合成方式(动作迁移/配音口播),主动索要素材。
- 主体资产生成:头像、服装、动作分离生成(特征剥离法),动作经深度提取剥离长相(版权友好),产出可独立交付的资产。
- 次要要素生成:配音口播(音频/TTS)、背景(场景生成/替换)、物品(手持道具/广告产品)各自独立生成,可插拔扩展。
- 资产组合:固定组合(三视图合成角色 + 动作迁移/配音口播成片)+ 自由组合(任意要素→静态产物),提示词组合(描述融合、一次生成)与产物组合(垫图/迁移合成)双方式,云端/本地/内置三路径。
- 要素资产独立交付:六要素生成产物(头像图/服装图/三视图/深度视频/背景图/物品图/音频)各为可独立交付的资产,无需合成成片即可单独交付,或跨链复用、自由组合另作他用。
- 质量守护:四维一致性(身份/服装/物品/背景)+ 合规审查(肖像/版权/产品授权),把守成片出口。
应用场景
六要素正交组合,覆盖成片、资产、组合复用三类产物形态,另附输入模式组合玩法:
成片(动态视频,固定组合产物)
| 类别 | 场景 |
|---|---|
| 换装穿搭 | AI 换装视频、AI 模特穿搭、虚拟试衣、电商带货短视频 |
| 动作视频 | 舞蹈、走秀/台步、姿势/转身展示、运动示范 |
| 数字人口播 | 音频对口型、虚拟主播、口播视频(音频驱动) |
| 背景替换 | 场景背景替换、绿幕/抠像合成、虚拟场景切换、电商场景图 |
| 产品植入 | 手持广告产品、道具展示、品牌植入口播 |
资产(静态产物,独立交付)
| 类别 | 场景 |
|---|---|
| 角色身份 | 角色三视图设定、角色一致性资产 |
| 深度提取 | 原视频转深度视频(动作迁移控制信号)、版权剥离、深度图生成 |
| 资产独立交付 | 头像图、服装平铺图、三视图/设定图、深度视频、场景背景图、产品白底图、口播音频(单要素即交付) |
组合复用(自由组合静态产物)
任意要素自由组合为静态产物,要素数越多组合越丰富(单要素→双要素→三要素及以上,各产物附变体应用)。完整组合清单见 references/avatar-outfit-motion-requirements.md 的 AOM4-04「组合建议」。
组合玩法(输入模式)
| 模式 | 说明 |
|---|---|
| 全随机 | 零输入,六要素全部随机生成 |
| 半自动 | 只指定部分要素(如只给动作),其余随机 |
| 全定制 | 六要素全部指定 |
生产力价值
投入产出
- 成本:砍掉模特/场地/灯光/拍摄投入,近零人力成本。
- 效率:天级实拍 → 分钟级产出。
- 产量:六要素正交,A 头像 × O 服装 × M 动作 × V 配音口播 × B 背景 × P 物品 = 组合爆炸,边际成本远低于实拍。
- 门槛:专业团队 → 一人 + 一句需求 + 一份 SOP。
决策自动化
- 决策:路径判定、权限模式已固化,消除试错摩擦。
- 全自动出片:把模糊需求一次性转化为确定的六要素方案、成片合成方式与素材清单,自动索要缺失素材,消除「缺素材」的试错,是全自动出片的开关。
资产与组合
- 资产复用:六要素资产独立交付,一份产出多处复用,组合价值随要素数平方增长。
- 可插拔扩展:配音口播/背景/物品三可选次要要素按需插拔,扩展成片能力而不破坏主体身份一致性。
- 双通道:提示词组合轻量快速、产物组合精确可复用,两种组合方式按需选择。
- 递归嵌套:三视图既组合头像/服装/物品、又作为新资产参与下一级组合,构成「资产→组合→新资产→组合」的递归闭环。
质量一致性
- 换装不换脸:特征剥离法从源头锁定身份与服装的分离性,消除「换装就换脸」的返工。
- 四维一致性:身份/服装/物品/背景四维一致性校验(含物品回流三视图锁定的手-物一致性),把守成片出口、保证质量守恒可交付。
- 边界不越检:静态产物(要素资产/自由组合图)在生成/组合时内部校验即可,不越界过度质检。
合规安全
- 合规:深度剥离长相 + 产品授权审查,规避肖像/版权风险。
能力覆盖
- 双赛道:同一角色形象同时支撑动作视频与数字人口播,覆盖换装 + 口播两类内容需求。
- 三路径兜底:云端连接器 / 本地 ComfyUI / 内置 VideoGen 三条路径,保证任何资源条件下都能组合成片。
- 场景扩展:背景/物品/音频让成片直接用于口播带货、电商场景与品牌植入。
特有维度
| 维度 | 说明 | 影响 |
|---|---|---|
| 多模态性 | 同时涉及图像生成、深度估计、视频生成三类模型 | 需跨模型串联,接口对齐是关键 |
| 要素正交性 | 头像/服装/动作(必备主体)与配音口播/背景/物品(可选次要)六要素相互独立、皆可指定或随机、自由组合 | 任务可并行、可随机、可复用 |
| 资产独立性 | 六要素生成产物各为可独立交付、跨链复用、可自由组合的资产 | 生成域与合成域解耦,支持单要素交付与多要素另作他用 |
| 版权敏感性 | 动作迁移涉及原视频人物肖像 | 深度剥离长相是默认前置步骤 |
| 硬件分叉 | 深度提取可 CPU,动作迁移需云端或显卡 | AOM4 组合阶段必须按资源选路径 |
三层结构
第一层:任务清单 + 依赖拓扑 → references/avatar-outfit-motion-catalog.md
第二层:任务要求清单 → references/avatar-outfit-motion-requirements.md
第三层:范本清单 → references/avatar-outfit-motion-exemplars.md(子文件在 references/exemplars/)
脚本工具链
scripts/ 内含深度提取工具链,供 AOM2 主体资产生成域的动作提取任务直接执行:
scripts/infer_depth.py:单图 → 深度图。python scripts/infer_depth.py <model.pth> <in.png> <out.png> [vitb]scripts/video_to_depth.py:视频 → 深度视频。python scripts/video_to_depth.py <model.pth> <in.mp4> <out.mp4> [vitb] [max_frames]scripts/depth_anything_v2/:Depth Anything V2 官方推理包(dpt.py、dinov2.py、dinov2_layers/、util/)。
环境依赖:模型权重 Depth Anything V2 Base(约 372MB,从 hf-mirror 下载);Python 依赖 torch torchvision opencv-python numpy(CPU 版即可)。
使用规则
执行流程
- 首次加载:读取
references/avatar-outfit-motion-catalog.md,获取域划分、依赖拓扑、元操作映射。 - 按需深入:确认目标任务后,读取
references/avatar-outfit-motion-requirements.md获取组件清单;需样本法时读取references/avatar-outfit-motion-exemplars.md及references/exemplars/子文件。 - 独立执行:脚本工具链已内嵌于
scripts/,可直接执行深度提取(AOM2-03);资产组合(三视图/动作迁移/配音口播)依赖外部模型(见域概览)。
交互提示
执行过程中须在两个决策点主动向用户确认,不得默认跳过:
- 素材采集提示(AOM1 六要素判定后):凡判定为「指定」的要素,主动索要对应素材——头像图 / 服装图 / 动作模板视频 / 配音音频或台词 / 背景图或场景描述 / 产品图;并明确说明「随机」要素无需提供、「无」要素直接跳过。
- 路径指定提示(AOM4 成片合成前):主动询问用户「是否指定执行路径」(云端连接器 / 本地 ComfyUI / 内置 VideoGen);用户指定则按其指定,未指定则按三路径决策表自动选择并告知选择依据。
输入双形态
任务串联的输入接口统一兼容「提示词(描述)」与「产物(中间产物)」两种形态,二者在接口上等价、按需选择:
| 要素类型 | 输入形态 | 说明 |
|---|---|---|
| 图像类(头像/服装/物品/背景/三视图/正面单图) | 提示词 或 产物 | 两者皆可;提示词跳过中间产物、轻量快速,产物精确可控、可复用 |
| 视频/音频驱动源(动作视频/深度视频/音频) | 产物 | 须实际视频/音频驱动,不可用纯提示词替代 |
提示词路径(描述融合一次生成)与产物路径(先生成中间产物再合成)构成任务串联的两条等价输入通道。
权限模式
| 模式 | 触发条件 | 允许操作 | 禁止操作 |
|---|---|---|---|
| 只读模式 | 用户仅咨询、要求介绍 | 读取、解释、给建议 | 改文件、执行脚本、生成素材 |
| 降级模式 | 无云端连接器、无 ComfyUI、无脚本环境 | 仅路径 C(内置 VideoGen) | 深度提取、1:1 动作迁移 |
| 正常模式 | 素材与模型就绪 | 全流程执行 | 无 |
内容权限
- 修改权限:修改本负载物须走 M3-10 负载物深化流程,新增内容转化为新任务或融合进现有任务,不得绕过任务体系直接追加文件。
- 用户填充:用户可向
references/exemplars/添加范本用于样本法,须脱敏并注册到 exemplars 清单。
通用任务执行能力
本负载物由元技能系统(meta-skill-system)的三轴执行框架消费:
- 执行轴:6 大元操作(S 感知 / C 认知 / A 行动 / O 组织 / I 交互 / G 守护)按管线编排,每个任务标注元操作映射。
- 内容轴:清单法按 requirements 组件清单逐项填充;样本法按 exemplars 范本模仿产出。
- 创新轴:按需激活,对成片风格、动作组合、服装搭配做模式直用 / 改进 / 迁移 / 构建。
- 协同模式:顺序(创新定方向 → 执行拆管线 → 内容定方法)、并行、条件、迭代、递归,按任务特征动态激活。
与执行框架的接口
执行框架按 Step 0–4 消费本负载物:
- Step 0 三轴判定:换装视频任务通常为「中等复杂度(3–7 步)+ 结构化产出(图片/视频)+ 按需创新」。
- Step 1 领域校准(R1–R5 领域特定推导):
| R 维度 | 评分 | 校准结果 |
|---|---|---|
| R1 信息密度 | 中 | S/C 权重标准,G 偏常规 |
| R2 创造性 | 高 | A 权重高,C 偏发散,G 偏宽松(容忍风格差异) |
| R3 交互性 | 低 | I 权重低,仅需求确认时激活 |
| R4 规范性 | 中低 | G 聚焦版权(深度剥离长相)与一致性,非法律级 |
| R5 迭代性 | 中 | 循环中等,S→C→A 链适度回环(重新生成/调参) |
- Step 2 三轴分解:任务分解为元操作单元,入口单元为 S(素材感知/随机生成),终点单元为 A(成片交付)。
- Step 3 管线编排与执行:沿 域1 要素判定 → 域2 主体资产生成(头像/服装/动作)‖ 域3 次要要素生成(背景/物品/音频)→ 域4 资产组合(三视图/动作迁移/配音口播/自由组合)→ 域5 质量守护 主链路。
- Step 4 整合交付:按三条交付出口呈现——成片经 AOM5 质检后交付(附三视图一致性、路径选择依据);要素资产或自由组合静态产物直接交付(跳过 AOM5)。
域概览
按价值链组织的 5 域 12 任务(生成域产出可独立交付的六要素资产,组合域组合为角色、成片与任意静态产物):
| 域 | 任务数 | 典型任务 |
|---|---|---|
| AOM1 要素判定域 | 1 | 六要素判定 |
| AOM2 主体资产生成域 | 3 | 头像生成、服装生成、动作提取 |
| AOM3 次要要素生成域 | 3 | 背景生成、物品生成、音频准备 |
| AOM4 资产组合域 | 4 | 三视图合成、动作迁移成片、配音口播对口型、自由组合 |
| AOM5 质量守护域 | 1 | 成片校验审查 |
域间逻辑流:AOM1 → AOM2 ‖ AOM3 → AOM4 → AOM5。三条交付出口——①生成域资产独立交付;②组合域自由组合静态产物直接交付;③组合域成片经 AOM5 质检后交付。
完整清单见 references/avatar-outfit-motion-catalog.md。
事实纪律
- 仅使用确知的事实和可验证的信息,不得编造模型能力或生成效果。
- 深度估计、视频生成的耗时/显存/积分等参数须基于实测或官方说明,不确定的标注「待验证」。
- 路径选择(云端/本地/降级)须向用户展示依据。
- 范本模仿产出时仅借鉴结构和风格,不直接复制样本内容。
- 涉及真人肖像的动作迁移须先深度剥离长相,遵守版权与合规。
标题层级规范
| 文件类型 | 一级 | 二级 | 三级 | 四级 |
|---|---|---|---|---|
| SKILL.md | # |
## |
### |
#### |
| references/*-catalog.md | ## |
### |
#### |
##### |
| references/*-requirements.md | ## |
### |
#### |
##### |
| references/*-exemplars.md | ## |
### |
#### |
##### |
| references/exemplars/*.md | ## |
### |
#### |
##### |
