BGE-Reranker Service

BGE-Reranker-V2-M3 文本重排序服务，用于 RAG 检索后的精排阶段。

特性

• 模型: BAAI/bge-reranker-v2-m3 (2.2GB)
• 推理: FP16, GPU 加速
• 延迟: ~45ms (模型加载后)
• 最大文档数: 100条/请求

部署

cd /data/ymq/bge-reranker
bash build.sh deploy   # 启动
bash build.sh stop     # 停止
bash build.sh status   # 状态

API

GET /api/status

服务状态。

POST /api/rerank

{
    "query": "安装步骤",
    "documents": ["打开包装箱", "拧下螺丝", "注意事项"],
    "top_k": 3
}

返回:

{
    "status": "SUCCEEDED",
    "query": "安装步骤",
    "ranked_docs": [
        {"doc": "拧下螺丝", "score": 0.164},
        {"doc": "打开包装箱", "score": 0.065},
        {"doc": "注意事项", "score": 0.017}
    ],
    "total": 3,
    "returned": 3,
    "elapsed": 0.0456
}

在 RAG 中的角色

查询 → CLIP embedding → VDB 向量召回 top-20
                      → FalkorDB 图扩展
                      → 合并
                      → BGE-Rerank (本服务) → top-5
                      → LLM 生成答案

离线模型下载

# 使用 huggingface-cli
huggingface-cli download BAAI/bge-reranker-v2-m3 --local-dir /data/ymq/models/BAAI/bge-reranker-v2-m3

# 或使用 hf
hf download BAAI/bge-reranker-v2-m3 --local-dir /data/ymq/models/BAAI/bge-reranker-v2-m3

配置

• 端口: 9090
• GPU: 2
• 虚拟环境: /data/ymq/wan22-service/py3

Git

git@git.opencomputing.cn:yumoqing/bge-reranker.git