AI 助手
TRAE 智能问答助手
你好,我是 TRAE 文档问答助手 🎉 你在阅读当前文档的过程中,无论对文档概念的解释,还是文档内容方面的疑问,都可以随时向我提问,我会全力为你解答
推荐问题
TRAE IDE 里最热门的 Skill 是哪些?
如何创建自定义智能体?
如何配置 Rules?
文档反馈

从《world.execute(me);》开始,用 TRAE 做 MV

复制页面

不知道大家有没有听过一首歌,歌名就是一行代码:《world.execute(me);》。歌词里充斥着 INITIALIZATION、SIMULATION 这样的编程术语,听着像是一段正在运行的程序。

还有一首《I'm Upping My P(doom)》,拿 AI 毁灭人类的概率开起了玩笑。

两位社区开发者分别为这两首歌写了一支 MV,下面是两支 MV 的混剪片段(一定要点击打开看和听哦!),我们先来品鉴看一下效果如何!

以前我们总认为做一个视频,需要用到视频剪辑等各类软件,但是现在有了 TRAE,只需要一个提示词,就可以让你的想法变成超酷炫的 MV!

今天的最佳实践就从《world.execute(me);》​这首歌讲起,如何用 TRAE 快速生成视频,包括歌曲类 MV、产品介绍演示视频都可以使用!

本次主要会用到 2个开源项目和 2 个 Skill,均可在 TRAE 中直接使用:

  • 开源项目:world-execute-me-dsh-pv 和 pdoom-video 是社区开发者用代码制作的两支 MV,源码完整开放。将仓库地址发给 TRAE,它会帮你安装依赖并渲染出同款视频。
  • Skill:ai-music-video 和 hyperframes。安装到 TRAE 后,可以用来为歌曲制作歌词视频,或为产品制作演示视频。

world-execute-me-dsh-pv

作者:MisakaZentai
仓库地址:https://github.com/MisakaZentai/world-execute-me-dsh-pv

如果聊天窗口就是 AI 的整个世界,会是什么样子?

这支《world.execute(me);》同人 PV,用三分半钟在一个聊天窗口里讲完了鲸鱼娘的一生:她从一个像素开机,经过预训练和微调后部署上线,然后把你写进了记忆。你离开后,页面被一层层拆掉,出现满屏的 EXECUTION 和鲸落,最终只剩聊天输入框中的一句“在吗?”……

画面分成左右两半:左边是你和她的聊天窗口,右边是她所在的模型世界。

Image

world-execute-me-dsh-pv 项目包含这支 PV 的全部出片代码。整支 PV 以 Mili 的歌曲《world.execute(me);》为主题,每一帧都由代码根据歌曲时间生成。

完整 PV 如下:

注:视频中的音乐版权归原作者所有,此处仅用于展示项目效果。

如何做同款:

  • 所需环境:Python 3.12+、Node 20+、FFmpeg。
  • 所需音频:
    • 自行准备正版《world.execute(me);》音频,命名为 song.mp3。
    • 歌词文件 lyrics.lrc 可选。没有的话,脚本会自动从 LRCLIB 下载歌词。
  • 字体:项目默认调用微软雅黑等 Windows 自带字体。在 macOS 上实测,TRAE 会自己换成本机字体,排版可能和原片略有出入,详见 docs/FONTS.md。

把下面这段话发给 TRAE,剩下的交给它:

克隆 https://github.com/MisakaZentai/world-execute-me-dsh-pv,按 README 准备环境、安装依赖。把 <你的音频路径> 复制到 input/song.mp3,然后运行 python build.py all 渲染 PV,完成后确认 out/film.mp4 已生成。

成片分辨率为 1280×720。

要渲染 4K 视频的话,替换为以下命令:

python build.py all --4k

pdoom-video

作者:mexicat
仓库地址:https://github.com/mexicat/pdoom-video

P(doom) 是 AI 圈的一个说法,指 “AI 导致人类灾难性后果的概率”。pdoom-video 项目拿这个梗做了一支充满黑色幽默的 MV:

  • 笑脸面具滑开,背后竟是长满橙色眼睛的触手怪物……
  • 黑洞扭曲网格,歌词沿着奇点旋转……
  • 安全评估表上,末日概率填着 0.44,却照样盖下“Safe Enough”的大章……
  • 随音乐倾斜、撕裂、爆发的巨幅文字,在黑、白、橙三色之间轮番登场……

Image

此前,社区兴起了一波用 AI 编写代码来制作 MV 的创作热潮,pdoom-video 是其中完成度较高的项目之一。

项目以歌曲《I'm Upping My P(doom)》为基础,通过分析音频、对齐歌词时间轴,将歌词内容、音乐节奏与画面同步起来。歌词会随演唱逐词高亮,场景、文字动画和视觉特效也会根据歌词内容和音乐节奏实时变化。

完整视频如下:

注:视频中的音乐版权归原作者所有,此处仅用于展示项目效果。

如何做同款:

  • 所需环境:Bun、Google Chrome、FFmpeg(需支持 libx264)。
  • 所需音频:不用准备,歌曲已经放在仓库的 audio/pdoom.mp3 里。

把下面这段话发给 TRAE:

克隆 https://github.com/mexicat/pdoom-video,按 README 安装依赖,然后在 app 目录下运行 bun scripts/render.ts video --samples auto --shutter 0.2 --out ../out/pdoom.mp4 渲染 1080p 完整视频,完成后确认项目根目录的 out/pdoom.mp4 已生成。

成片为 1920×1080、60 fps。

要渲染 4K 视频的话,用以下命令:

bun scripts/render.ts video --scale 2 --samples auto --shutter 0.2 --x264 aq-mode=3:rc-lookahead=30 --out ../out/pdoom-4k.mp4

特别说明

前面两个是开源项目,都是为某一首歌写的,如果你想换首歌就需要修改代码。如果你想基于这个开源项目二创的话,你可以自己提供歌曲、形象等素材,让 TRAE 基于你的要求二次修改这个开源项目代码即可。

那如果想给别的歌做视频,你可以用 ai-music-video 这个 Skill。

ai-music-video

作者:Dracowyn
仓库地址:https://github.com/Dracowyn/ai-music-video-skill/tree/main/skills/ai-music-video

它是一个做 MV、歌词视频和卡拉 OK 字幕的 Skill,可以调用 Midjourney、SD/Flux、Seedance、Kling、Wan、Suno 等工具生成图像、视频和音乐,也可以纯用代码做出与歌曲节奏同步的动画。

从风格选择、歌词与节拍对齐、分镜设计,到口型同步检查和最终渲染,整条流程都覆盖了。

适合谁:​想给自己喜欢的歌做歌词视频,又不想用剪辑软件的人。

实测案例:

巨型电磁轨道、霓虹城市、能量屏障、空间碎裂……下面是让 TRAE 调用 ai-music-video 做的一段赛博风格歌词动画,音乐节选自 fripSide 的《Only My Railgun》。

注:视频中的音乐版权归原作者所有,此处仅用于展示项目效果。

怎么上手:

  • 准备两个文件:
    • 歌曲文件,支持 WAV、MP3 等常见格式,需命名为 song,例如 song.mp3;
    • 歌词文件 lyrics.txt。
  • 在提示词里带上这些关键词之一:MV、歌词视频、卡拉 OK 字幕、对口型、分镜、歌词时间轴。
  • 指定想要的风格和效果,例如:
用 ai-music-video Skill,把 input 目录下的 song.mp3 和 lyrics.txt 做成逐词高亮的歌词视频。风格:赛博、热血、二次元。用纯代码动画实现,1920×1080,30 fps,保留原音频。

如果要做的是产品演示视频,可以用 hyperframes。

hyperframes

hyperframes 是一个用 HTML 做视频的 Skill,可以把网站直接转成视频。从项目初始化、场景组织到渲染,整套流程都覆盖了,还能加转场、字幕、图表、卡片等效果。默认输出 1920×1080、30 fps 的视频。

它默认遵守的原则:不擅自加配音和字幕,不乱改画面比例,优先使用产品真实界面、品牌 Logo 等真实素材,只在需要时配上贴合画面的音效。

适合谁:​要给产品做功能演示、宣传短片的开发者和产品经理。

实测案例:

这是一个可以直接运行的单文件 HTML 应用 “均衡餐盘”,用五张卡片分别展示蔬菜、蛋白、主食、水果和乳制品的完成进度。点击 “记一份” 后,蔬菜卡片、总进度和达标提示会同步更新。

Image

使用的提示词如下:

将下面的“均衡餐盘”页面制作成一支 20 秒的产品功能演示视频:.../diet-app/index.html

以页面现有的 DOM、CSS、文案和交互状态为基础,不要用截图或录屏代替。视频依次展示五类膳食首页、点击“记一份”记录蔬菜、总进度从 4/5 更新为 5/5,以及五类全部达标后的状态。结尾显示“每天吃够五类,吃得均衡一点”。

视频规格为 1920×1080、30 fps,全程静音,不添加配音或字幕。完成后直接导出,成品放到:<指定路径>

TRAE 收到指令后调用了 hyperframes 技能,先读取 HyperFrames 规范,分析原页面的 DOM、CSS 和交互状态,再用页面原有的元素做出了这段 20 秒的动画: