多模态素材中心与 AI 销售考核培训系统

一端管理商品图、详情图、视频、直播片段等多模态素材，让其可被语义命中；另一端消费可信知识自动生成销售考题并自动评分。

负责多模态向量模型、retrieval_text 设计、manual / enriched 两条素材入库路线、长视频片段定位、多模态混排和 AI 销售考核评分。

让商品素材既能服务 AI 客服多模态回复，也能反向补充数据中台；同时用自动出题和五维评分替代低效人工培训考核。

• 1text / image / video 三类资产统一建模在 rag_assets 表，采用 pgvector 1024 维与 HNSW vector_cosine_ops，一条 SQL 完成跨模态召回
• 2向量化对象不是媒体文件，而是描述“这张图 / 视频能回答什么问题”的 retrieval_text，使媒体素材天然对齐用户文本提问
• 3manual 入库通过标题、描述、标签、分类拼接 retrieval_text 后向量化；命中结果仅返回打码版 URL 以守住隐私边界
• 4enriched 增强通过 OCR + VLM 补图片文字和描述，通过 ASR + LLM 摘要补视频口播，使召回相似度从约 0.38 提升至约 0.71
• 5长视频依据 ASR 时间戳切分为多条素材，media_url 附带时间参数，前端播放器可直接定位精彩片段
• 6AI 销售考核消费 knowledge_articles / knowledge_chunks 自动生成分级场景题，并用 LLM 从实战性、需求把握、销售策略、话术自然度、红线检查五维评分
• 7知识库膨胀到十万级后，将固定 top-30 检索升级为 LLM 规划主题、多轮向量检索和 MMR 去重的 RAG 出题方案

核心技术包括 pgvector、HNSW vector_cosine_ops、text-embedding-v3、RapidOCR、qwen-vl、ASR、LLM 摘要、UPSERT、MMR、多轮向量检索、LLM 自动出题、LLM 自动评判和人工二次复核。