返回项目列表

端云协同直播回放切片系统

|

React 19FFmpeg.wasmWORKERFSFastAPISQLAlchemyGroq WhisperDeepSeekSSE
00
📋

项目概述

围绕视频、AI 找精彩片段、输出短视频切片搭建端到端处理链路,自动筛选精彩片段、生成标题文案并完成批量导出。

00
👨‍💻

我的职责

负责浏览器侧音频预处理、服务端任务队列、可观测 Pipeline、长音频时间轴、LLM 分批分析、浏览器批量导出和数据回流。

00
💼

核心业务

服务直播带货复盘与短视频二次分发,减少剪辑师人工筛选和粗剪工作量,并将 ASR 转写结果回流数据中台。

00

项目亮点

  • 1浏览器侧 React 19 + FFmpeg.wasm,服务端 FastAPI + SQLAlchemy 2.0,外部 AI 能力由 Groq Whisper + DeepSeek 提供
  • 2FFmpeg.wasm 通过 WORKERFS 零拷贝挂载源文件,转为 16kHz / 单声道 / 64kbps MP3,使 2.5GB 视频上传前压缩至约 30MB
  • 3PostgreSQL 承载轻量任务队列,API 写入 pending 后秒回,Task Runner 按节奏抢占任务并串行推进 Pipeline
  • 4服务启动时自动将进行中任务重置为 pending,在零云依赖条件下实现崩溃可恢复
  • 5音频准备、ASR、LLM 分析、切片、入库全部进度统一落库,SSE 每秒读取并推送,支持断线续传与多端一致
  • 6长音频按 25 分钟无损分段并串行转录,时间戳叠加 offset 复原绝对时间轴
  • 7LLM 分析按约 6000 token 分批,并用双向重叠去重处理边界,支撑 6 小时视频不触发上下文溢出
  • 8浏览器侧再次调用 FFmpeg.wasm,依据 AI 时间段批量裁切并打包 ZIP,后端避开重型转码
00
🛠

技术方案

核心技术包括 React 19、FFmpeg.wasm、WORKERFS、FastAPI、SQLAlchemy 2.0、PostgreSQL 任务队列、Groq Whisper、DeepSeek、SSE、ffmpeg 时间轴处理、浏览器端 ZIP 打包和 ASR 回流数据中台。