80 lines
1.6 KiB
Markdown
80 lines
1.6 KiB
Markdown
# BGE-Reranker Service
|
|
|
|
BGE-Reranker-V2-M3 文本重排序服务，用于 RAG 检索后的精排阶段。
|
|
|
|
## 特性
|
|
|
|
- 模型: BAAI/bge-reranker-v2-m3 (2.2GB)
|
|
- 推理: FP16, GPU 加速
|
|
- 延迟: ~45ms (模型加载后)
|
|
- 最大文档数: 100条/请求
|
|
|
|
## 部署
|
|
|
|
```bash
|
|
cd /data/ymq/bge-reranker
|
|
bash build.sh deploy # 启动
|
|
bash build.sh stop # 停止
|
|
bash build.sh status # 状态
|
|
```
|
|
|
|
## API
|
|
|
|
### GET /api/status
|
|
服务状态。
|
|
|
|
### POST /api/rerank
|
|
```json
|
|
{
|
|
"query": "安装步骤",
|
|
"documents": ["打开包装箱", "拧下螺丝", "注意事项"],
|
|
"top_k": 3
|
|
}
|
|
```
|
|
|
|
返回:
|
|
```json
|
|
{
|
|
"status": "SUCCEEDED",
|
|
"query": "安装步骤",
|
|
"ranked_docs": [
|
|
{"doc": "拧下螺丝", "score": 0.164},
|
|
{"doc": "打开包装箱", "score": 0.065},
|
|
{"doc": "注意事项", "score": 0.017}
|
|
],
|
|
"total": 3,
|
|
"returned": 3,
|
|
"elapsed": 0.0456
|
|
}
|
|
```
|
|
|
|
## 在 RAG 中的角色
|
|
|
|
```
|
|
查询 → CLIP embedding → VDB 向量召回 top-20
|
|
→ FalkorDB 图扩展
|
|
→ 合并
|
|
→ BGE-Rerank (本服务) → top-5
|
|
→ LLM 生成答案
|
|
```
|
|
|
|
## 离线模型下载
|
|
|
|
```bash
|
|
# 使用 huggingface-cli
|
|
huggingface-cli download BAAI/bge-reranker-v2-m3 --local-dir /data/ymq/models/BAAI/bge-reranker-v2-m3
|
|
|
|
# 或使用 hf
|
|
hf download BAAI/bge-reranker-v2-m3 --local-dir /data/ymq/models/BAAI/bge-reranker-v2-m3
|
|
```
|
|
|
|
## 配置
|
|
|
|
- 端口: 9090
|
|
- GPU: 2
|
|
- 虚拟环境: /data/ymq/wan22-service/py3
|
|
|
|
## Git
|
|
|
|
git@git.opencomputing.cn:yumoqing/bge-reranker.git
|