VideoLingo:打造Netflix级字幕的开源AI视频处理神器

多客科技

作者：微信文章


VideoLingo 是一个集视频翻译、本地化和配音功能于一体的工具，目标是生成符合 Netflix 质量标准的字幕，消除生硬的机器翻译和多行字幕问题，同时添加高质量配音，打破语言障碍，实现全球知识共享。
核心功能

1. 视频下载：支持通过 yt-dlp 下载 YouTube 视频。2. 字幕识别：利用 WhisperX 实现字级和低幻觉的字幕识别。3. 字幕分割：借助 NLP 和 AI 技术进行字幕分割。4. 术语管理：提供自定义和 AI 生成的术语，确保翻译的连贯性。5. 翻译优化：采用三步翻译 - 反思 - 适应流程，实现电影级的翻译质量。6. 字幕标准：仅生成符合 Netflix 标准的单行字幕。7. 配音功能：支持使用 GPT - SoVITS、Azure、OpenAI 等进行配音。8. 一键启动：在 Streamlit 中实现一键启动和处理。9. 多语言支持：Streamlit 用户界面支持多种语言。10. 日志记录：提供详细的日志记录，并支持进度恢复。

安装与使用

安装

1. 克隆仓库

git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo

2. 安装依赖：要求 python=3.10，具体安装命令未在提供的 README 中完整给出。

使用

可以参考 docs/pages/docs/start.zh-CN.md 中的 API 配置指南进行大模型和 TTS 的配置。如果选择 Docker 方式，可以按照 docs/pages/docs/docker.zh-CN.md 或 docs/pages/docs/docker.en-US.md 中的说明进行镜像拉取和容器运行。
语言支持

• 输入语言支持：英语、俄语、法语、德语、意大利语、西班牙语、日语、中文（中文目前使用单独的标点增强 Whisper 模型）。• 翻译支持：支持所有语言，配音语言取决于所选的 TTS 方法。