返回项目列表

AI 算力网关与多智能体共享基座

|

MCP ServerFastAPILLM GatewayViking DBMemoryPrompt CenterDockerServerless
00
📋

项目概述

把 LLM 网关、RAG 检索、会话记忆和 Prompt 管理拆为 4 个独立 MCP Server,通过标准协议、租户隔离和独立部署,让业务只关注 Agent 编排。

00
👨‍💻

我的职责

负责 MCP Server 拆分、REST 到 MCP 桥接网关、多租户鉴权与配额、统一模型路由、RAG 物理隔离、双层记忆和容器化分层发布。

00
💼

核心业务

解决多条 AI 业务线重复建设模型网关、RAG、记忆、Prompt 能力的问题,让智能体基础能力沉到统一平台层。

00

项目亮点

  • 1围绕共享服务边界拆分 LLM 网关、RAG 检索、会话记忆、Prompt 管理 4 个 MCP Server,经 Streamable HTTP 暴露 Tool / Prompt 原语
  • 2FastAPI 网关串联认证、日志、配额、路由四层中间件,通过 Trace ID 贯通全链路追踪
  • 3MCP Client Manager 管理短连接,并按项目执行 API Key 认证与 Token 配额计量,支撑多租户隔离和成本管控
  • 4通过逻辑模型名映射 Endpoint 实现 auto / pro / lite 路由,YAML 热切换对业务无感
  • 5RAG 服务基于 project_id 分配独立 Collection 做物理隔离,新项目调用 ingest_document Tool 即可自助纳管
  • 6双层记忆区分会话记忆和用户画像,用户事实可在客服 Agent 与写作 Agent 间同步复用
  • 7固化召回历史、读画像、检索知识、渲染 Prompt、LLM 推理、存记忆、提取事实的七步 Agent 编排流水线
00
🛠

技术方案

核心技术包括 MCP Server、Streamable HTTP、FastAPI Gateway、MCP Client Manager、Trace ID、API Key、Token 配额、YAML 热切换、Viking DB、PostgreSQL UPSERT、Prompt 原语、Docker、阿里云 Serverless、灰度发布与秒级回滚。