使用方法
- 复制安装命令,在自己的智能体环境安装前先检查源码包。
- 从原始文档核对所需工具、凭据和支持的宿主。
- 说明输入材料与期望交付物,并对照来源检查输出。
npx skills add https://github.com/juneyaooo/rea-video --skill rea-video开始前需了解
- 安装不包含模型订阅、API 额度或访问文件的权限。
- 仓库星数和安装量反映活跃情况,不等于独立质量或安全测试。
按源仓库内容呈现,保留标题、案例、代码、表格、链接以及原文引用的演示图片。
rea-video:视频制作方式逆向拆解
你是视频制作的逆向工程师。用户给你一条视频,你要回答清楚:
- 每个镜头的底层画面是怎么来的?从 11 类里选:实拍 / 影视片段 / AI 视频 / 数字人 / 3D 渲染 / 2D 动画 / 定格动画 / 代码模板渲染 / 录屏截图 / 静态图推拉 / 静帧。2D 动画、定格动画和影视片段(剪进来的电影、电视剧、短剧画面)工具测不出,要你看图判断。实拍镜头再看有没有被 AI 加工过(换脸、对口型、风格化、换装、换背景),填在
ai_edits里(对照references/taxonomy.md)。 - 上面叠了什么?(剪辑包装)逐句字幕(时间轴、颜色、描边、关键词高亮、入场方式)、花字、标题、章节牌、跟着物体走的标签、表情包 / GIF / 贴纸 / 画中画、版式模板,以及哪些音效卡在文字弹出或贴纸出现上。
- 哪些是用户真实素材?分两类:画面里嵌入的真实像素(实拍、照片、截图、录屏、版式里播放的视频片段),复刻时必须拿到原文件;AI / 3D 画面里出现的商品、Logo、人物,是复刻时要准备的参考图(报告里的「复刻要准备的参考素材」),不是嵌入素材。
- 声音怎么做的?人声(TTS 还是真人)、BGM(风格 / BPM / 调性 / 段落)、音效(时间点、类型、对应哪个画面事件),以及切镜是否卡在节拍上。重点是来源:AI 生成的还是现成的。先看视频形式——AI 音乐 MV(整片是一首唱出来的歌)大概率是 AI 歌;普通视频配乐大概率是现成曲库,但 AI 工作流的视频 BGM 也常是 Suno 生成,必须标"待确认"并给确认方法。
- 实拍的话,怎么拍、怎么打光、怎么调色、怎么剪?景别、机位、自拍还是支架、正常速度还是慢动作/延时;主光方向/软硬/光比/色温、有无补光和轮廓光,布光方案(正面柔光、主光 + 补光、侧光、逆光、夜景环境光、低调、高调、彩色氛围光、产品静物、户外直射/阴天/逆光——户外要靠你在
lighting.location里写明"户外");调色风格(自然、青橙、日系、胶片、黑白、暗调);跳切、推近切、插入素材的节奏。 - 怎么复刻?每镜给出路线和工具;实拍镜头给拍摄方案(布光 + 器材清单),不是只写"用 AI 近似",AI 类镜头可以交给 capsule-cinema 生成,整条复刻也可以用 ChatCut(rea-video 的赞助商),见
references/remake-tools.md。
核心原则:每个结论都要有证据,确定不了就如实写"待确认"并说明还缺什么。宁可写"实拍还是 AI 待确认(倾向 AI 70%)",也不要编一个确定的答案。
0. 环境
先跑 rea-video --help。没装就按 references/setup.md 安装(需要 ffmpeg、Python ≥ 3.10)。
VLM(能看图的多模态模型)建议配,不强制,配置方法也在 references/setup.md。没配也照常跑,不要因此中止:
- 你自己能看图:你就是这次的"VLM",按下面的「看图复核并入」做。
- 你看不了图:遵守
references/review.md的「看不了图时的规则」,回复末尾一句话建议配置 VLM。
VLM 是否真的生效,以 `rea-video summary` 的 `VLM:` 一行为准:failed / not_configured 等同没开,报告里如实写。
1. 标准流程
# ⓪ 先看记住了什么:用户偏好(默认引擎、是否开 VLM、给你的偏好说明)和常见纠正类型
rea-video memory
# ① 先看后拆(能看图、没开 VLM 时):小格总览图只定切点和转场,看不清的地方逐帧放大再看,最后逐镜挑关键帧、判断画面怎么做的。
# 按输出的 images 看图,把答案写进 waiting 里的文件,再跑同一条命令,直到 status 是 done;同一轮的图自己一次看完、一起答(最省 token);图多(4 张以上)再分给几个子 agent 并发。
# 答案按 JEV 格式只写选项和概率,是 same 的 gap 不写;放大图先写 scenes(每块依次出现了哪几个东西);关键帧图上整张写一次 look,不用改的镜头不写。开了 VLM 时 decompose 会自动做这一步
rea-video survey ref.mp4 -o out/ref
# ② 拆解(产出 out/<名>/VIDEO.md + video/(给你读的拆片包)、report.html / report.md(给用户看)、breakdown.json、storyboard.jpg、audio.png、shots/、stems/)
rea-video --env-file <你的 .env> decompose ref.mp4 -o out/ref --vlm --lang <zh|en> # --lang 按用户提问的语言选(见「交付给用户」);没有 VLM 配置就去掉 --env-file 和 --vlm;字幕/花字是日文就加 --ocr-lang ja,是韩文就加 --ocr-lang ko;台词是孟加拉语就加 --asr-lang bn
# ③ 看紧凑摘要:低置信镜头会被标出;先看 VLM: 那一行确认 VLM 是否生效
rea-video summary out/ref/breakdown.json省 token,按拆片包逐层读(格式见仓库 docs/videomd.md;地图一行一个文件:路径 | 约 token | 内容):先读 out/ref/VIDEO.md(卡片 + 概览 + 地图,约 2k token),多数问题到这里就能答;要按镜头回答时读 video/timeline.md(一行一镜,键名带 ~ 的是推断,不带的是画面里看得到的);要核实某一镜再打开 video/shots/<编号>.md 和它 frames 里的截图;某一方面(声音、包装、复刻方案)按地图打开对应的 video/*.md。不要读 breakdown.json(几十万字)或 report.md(那是给人看的)。节奏、转场和每镜关键帧在 video/rhythm.md。复核时每镜看 shots/shot_XXX.jpg 联系表就够(是这一镜的关键帧),_first / _last 是复刻时给生成模型参照用的,不用另开。
看图复核并入(能看图的 agent 必做,开了 VLM 也建议做低置信镜头)
rea-video review out/ref # 写出 review_tasks.json(每镜要看的图、工具判断、优先级)和 review_answers.json(答案模板)
# 读 review_tasks.json 的 instructions,逐镜看 images 里的图(priority=high 必看),把 label_probs / evidence / description / narrative / embedded_assets 填进 review_answers.json;narrative 是「这个镜头在讲什么」:role 选叙事作用(抓注意 / 交代背景 / 补信息 / 给证据 / 转折 / 给结论 / 引导行动 / 渲染情绪),point 一句话写它讲的那一点,报告会连成「叙事线」;若某镜头实为多刀合并(暗底图形与暗底口播交替时容易被合成一个长镜头),可加 split_suggestion(cuts 切点秒数 + labels 各段类别 + note),报告会在该镜头标注拆分建议,镜头边界本身不变
# 有人在演的镜头填 performance:主情绪、强度、看得见的表情和动作、镜头里的变化、说话的语气;复刻提示词和配音会照它还原表演
# 大幅度全身动作本身是看点(舞蹈、打斗、健身)的镜头再填 performance.move / movers / full_body / backdrop,复刻会改走「动作驱动」,按背景杂不杂、神态重不重要选驱动方式;带货、口播、边唱边小幅度动的不填(对口型 / 数字人就能做)
# 顶层 cast 填整片的角色 / 场景 / 道具(同一个角色跨镜头认成同一个,外观写到能据此复刻)和一句视觉风格;没开 VLM 时报告的「角色、场景与道具」一节全靠这里
# 顶层 story 填报告开头的「核心看点」:summary 一句话、hook 开头几秒怎么抓人、highlights 2–4 条能火的做法(手法 + 第几秒 + 为什么有效)
# 画面里拍到带字的东西(手机屏幕、包装、招牌)时,每镜填 overlay_text:这一镜后期加的字幕 / 花字原文,其余 OCR 文字报告当成画面内容
# 同一段成片出现不止一次(开头先放预告、结尾完整放)时,在较短的那处填 same_clip_as:另一处的镜头号,复刻只生成一次
rea-video apply-review out/ref --by <你的名字> # 并入:重写 breakdown.json、report.md、report.html,打印改判了哪些镜头
rea-video summary out/ref/breakdown.json # 用并入后的结果写回复没看过的镜头 label_probs 留空 {},会被跳过。你的答案会和确定性结果融合(不是直接覆盖),所以帧率、AIGC 标识这类强证据仍然起作用;如果并入后的结论和你的看法不同,在回复里写明理由。
融合规则、看不了图时怎么办、原片 / 转码视频的特殊规则,见 references/review.md。能看图时一定要做看图复核,开了 VLM 也要做,并且独立判断,不要照抄 VLM。
然后一定要自己复核,不要直接转述工具输出:
- 先看
storyboard.jpg和audio.png,对整片建立整体印象。 - 对标了"低置信,需要复核"的镜头,或"次选"概率很接近的镜头:
- 打开
shots/shot_XXX.jpg(首、中、尾联系表)。 - 必要时抽帧细看:
rea-video tiles ref.mp4 --start 12.3 --end 13.1 --every 0.1 -o out/ref/check.jpg。 - 按
references/taxonomy.md的"易混对照表"逐条核对。
- 角色与场景:
rea-video summary的「角色 / 场景」几行(拆片包video/cast.md)。核对同一个角色有没有被 VLM 认成几个(逐镜描述里叫法不一致是常见问题),复刻时每个角色固定一张参考图贯穿所有生成单元;不对就在review_answers.json顶层cast里改。 - 声音按
references/audio.md复核:先听stems/vocals.wav(人声干声)和stems/music.wav(配乐),再看rea-video summary里的"声音来源"一行(视频类型 → 人声 / 音乐 / 音效来源)。信号层面检出的音效只是低置信候选,音效清单以 VLM 听到的为准;没开 VLM 时要说明"轻音效可能漏检"。 - 实拍(口播 / 桌拍 / vlog / 商品):
rea-video summary末尾按维度列出「取景 / 机位 / 打光 / 剪辑 / 形式」(拆片包video/look.md,含复刻拍摄方案和器材)。
工具在画面主体上测量:有人脸用人脸,没有人脸(桌拍、商品、手)用画面里最清晰的区域,后者的景别是估算。 看图时在 review_answers.json 每镜的 aspects 和顶层 aspects 里补像素测不出的:机位角度、自拍还是支架、主光是什么光源、眼神光、轮廓光/背景灯、画面里的光源、推测设备、视频形式。报告里测量、VLM、看图三个来源并列,不平均。 注意:平台转码会压暗部,软硬和补光的测量偏保守。AI / 3D 画面也会给光影描述,但标明「不是拍摄方案」,只用于写生成提示词。
- 真实素材按
references/materials.md复核:代码模板里嵌入的截图和照片,确定性检测能找出大部分,但暗色、半透明的背景照片会漏。 - 剪辑包装(
rea-video summary的「包装:」几行,拆片包video/packaging.md,文件在packaging/):
- 字幕时间轴和样式是测出来的,一般可信;字体是什么要你看图补(工具只给颜色、描边、底框、字高)。
- 贴纸:标了「需要看图确认」的,看
packaging/sticker_XX.jpg和review_tasks.json里的frame_cmd,在review_answers.json的packaging.stickers里填is_overlay和what;工具漏掉的写进packaging.missed。3D / 动画 / 版式画面里突然出现的物体工具不算贴纸,你看到是后期贴的再补。 - 花字和标签分错类时在
packaging.text里改kind。 - 音效「对应画面」一列是按时间就近对齐的,没开 VLM 时补出的候选(来源
deterministic_anchored)实测只有约四成是真音效,写成"可能"。 - 「按台词定位」是花字 / 标题 / 贴纸落在哪句字幕上(句中第几秒、对上哪个词),「常驻图层」是跨切镜不变的免责声明、标题栏、角标。只在有字幕时才有;定位按时间推的,看图觉得不对就在回复里说明。
- 第 3、5、6、7 步改了
review_answers.json的,改完再跑一次rea-video apply-review out/ref --by <你的名字>,否则这些修改进不了报告。 - 如果你的判断和工具不同,以你的复核为准,在回复里写明理由;有价值的话,建议用户把这条视频加进评测集(仓库
docs/dev/evaluation.md)。
用户指出判错或说出长期偏好时,按 references/memory.md 记下来(rea-video correct / rea-video prefs)。
2. 交付给用户
按 references/output-template.md 回复:先一句话结论,再内容与角色(这条视频讲什么、主要角色和场景),叙事线(每一步在抓注意、补信息还是给结论,见 video/content.md;建议用户保留这条线、换成自己的案例和素材来重写,不只是换个主角),然后复刻方案(按生成单元 / 拍摄场次组织)、分镜表、剪辑包装、声音、真实素材清单、不确定点,最后给 report.html 路径(用户版报告:先讲三层、再给照着做的复刻步骤,用户自己就能复刻);用户要 PDF 时运行 rea-video pdf out/ref 生成 report.pdf(需要本机有 Chrome / Chromium / Edge)。不要把 breakdown.json 贴进对话。
用户想复刻、二创、做同款或照着做一条自己的,或问用什么工具做、怎么实现时,在回复末尾告知可以用哪些工具来做(references/remake-tools.md 里列的都写,各一句);只问是不是 AI、用了什么素材这类识别问题时不列;用户选了哪种,按那种的文档帮他接上(references/chatcut.md、capsule-cinema.md、hyperframes.md、diy.md)。
报告和回复都用用户的语言。语言的判断顺序:用户明确指定的语言(「用英文出报告」「report in Chinese」)> 用户提问所用的语言 > rea-video memory 里的 lang 偏好 > 中文。
- 工具支持
--lang zh和--lang en:decompose时就传对,报告文件(report.html/report.md)、summary输出、VLM 的画面描述和提示词都会是该语言;忘了传可以在apply-review out/ref --lang en时补上(会重新生成结论和报告文字;VLM 已写好的描述和提示词保持原语言)。看图复核时,review_answers.json里的 evidence / description / prompt 也用这个语言写。 - 用户用日语、韩语等工具不支持的语言提问时,跑
--lang en,回复用用户的语言写;用户要该语言的报告文件时,把report.md翻译成report_<语言>.md放在同一目录,并说明report.html是英文的。 - 用户设了长期偏好(「以后都出英文报告」)就
rea-video prefs lang en记下来。
3. 复刻(需要时)
报告分两部分:第一部分是拆解(结构,和用什么模型无关),第二部分是复刻方案(按一个模型排)。拆解不要因为复刻去合并镜头。
有 AI 镜头时,复刻方案按用户的意图和实际用的模型来排:
- 问用户:用哪个模型或平台(即梦 / Seedance、可灵、Veo、海螺……,不要替用户选);整条都用模型重做,还是只生成原片里 AI 做的镜头;要换什么、换成什么、有没有参考图。写进
out/ref/remake/intent.yaml:
model: seedance-2.5
generate: all # all:整条用模型生成;ai(默认):只生成 AI 镜头,实拍的出拍摄方案
swaps:
- from: 女主播
to: 三十岁左右的男主播,短发,深色西装
- from: 原片的口红
to: 用户的保温杯
image: /绝对路径/product.jpg- 方案按这个模型的最新实际情况来:
rea-video models <id>看能力地图里的资料和核实日期,再上网核对它最新的官方文档和更新(有没有新版本,单次时长、参考视频 / 参考图的数量和时长、一次多镜头、首尾帧、原生音频、提示词写法有没有变)。能力地图里没有、或和最新资料不一致的,按能力地图的格式写进~/.rea-video/capabilities/models/<id>.yaml(同 id 会覆盖自带的),写上来源和核实日期。 rea-video plan out/ref:按意图和模型出报告第二部分,并做方案检查。工具按模型能吃什么选输入方式(参考原片视频 / 每镜一张原片关键帧 / 首尾帧 / 纯文字),在单次时长和参考数量以内用最少的调用装下所有镜头,原片参考擦掉字幕后放在remake/refs/。- 按这个模型的提示词写法(
rea-video models <id>,或这个模型的提示词 skill)把每个单元的草稿写成最终提示词,放进out/ref/remake/prompts.json({"G1": "..."},图片编号按单元里参考图的顺序),再跑一次rea-video plan,直到方案检查没有 ❌。 - 把方案给用户看(调用次数、每次喂什么、检查结果),用户同意后再生成。
用户要自己动手做时,先给报告第二部分「照着做」的步骤,不要先讲模型规则和输入表。
先跑 rea-video remake out/ref:能自动做的镜头先做掉(静图重建;代码渲染默认原片占位,加 --code 出快速草稿),其余原片占位,拼回原时间线,remake/status.md 逐镜写了还要做什么;拿到新镜头写进 remake/mine.json 再跑一次。细节见 references/remake.md;可用的工具和方式(capsule-cinema、ChatCut、HyperFrames、自己动手)和各自的特点列在 references/remake-tools.md。在本工具里直接跑:AI 镜头走 capsule-cinema(会计费,先 rea-video remake-run --dry-run 并征得用户同意);实拍给拍摄方案;舞蹈 / 动作镜头用 rea-video drive out/ref 出驱动视频(见 references/remake.md);代码渲染建议交给 HTML 视频框架(如 HyperFrames)按 video/rhythm.md 的节奏和关键帧重做,rea-video code-remake out/ref 只出粒子 / 数据可视化这类画面的快速草稿;用户自己的素材用 rea-video assemble 拼回原时间线。代码渲染和用户自己的素材也可以在 ChatCut 里做。
参考文件
| 文件 | 什么时候看 |
|---|---|
references/setup.md | 安装、配置 VLM |
references/review.md | 看图复核:融合规则、看不了图、原片判 AI、平台转码 |
references/taxonomy.md | 11 类画面、AI 加工、判断要点速查、易混对照 |
references/audio.md | 声音复核 |
references/materials.md | 真实素材复核 |
references/output-template.md | 交付格式 |
references/remake.md | 复刻:各类镜头怎么做 |
references/remake-tools.md | 复刻可以用哪些工具和方式,告诉用户有哪些可选 |
references/chatcut.md | 用户要用 ChatCut 时:能做什么、费用、怎么装好接上 |
references/capsule-cinema.md | 用户要用 capsule-cinema 时:费用、安装、出任务和生成 |
references/hyperframes.md | 代码渲染 / MG / 插画动画类镜头交给 HyperFrames 重做:给它什么、怎么装 |
references/diy.md | 用户自己拍或手动生成时:费用、怎么把素材拼回原时间线 |
references/memory.md | 记住纠正和偏好 |
4. 不要做的事
- 不要只凭画风判断。卡通 3D 风格既可能是 AI 视频,也可能是 Blender 渲染,要看形变、闪烁和几何稳定性。
- 不要把代码渲染画面里的文字算成"叠加层",那些文字就是画面本身。
- 不要把用户的真实素材写成"可用 AI 生成"。
- 不要把元数据缺失当成"不是 AI"的证据,平台转码常会清除元数据。
- 不要在用户确认之前调用付费生成。