yumoqing 220901ff61 feat(migration): m0021删llm_usage token冗余列+m0025加project_id列索引(2026-09-10用户定夺,配对pipeline-llm@427cd7c)
- m0021: usages JSON全量不截断为计费唯一事实源,req_tokens/resp_tokens同源冗余删除,
  统计查询走JSON_EXTRACT+JSON_VALID守卫;backup_tables含llm_usage,dmig幂等(列不存在跳过)
- m0025: 按项目统计费用,project_id NOT NULL DEFAULT '0'(哨兵=非项目调用,对齐org_id平台约定),
  idx_llm_usage_project(project_id,created_at);token绑定project_id全链透传落库
- 两迁移id字段与文件名一致性已校验;llm_call_trace新表走create_tables.py动态扫描models建表,无需迁移
2026-09-11 15:30:24 +08:00

Pipeline-App — 独立产线后端服务

基于 ahserver 的独立产线管理后端,提供产线定义、运营管理和分销功能。

架构

  • 部署模式:独立 ahserver Web 应用(端口 9090
  • 数据库pipeline(独立数据库,非 sage
  • 认证:复用 Sage RBACSAGE_RBAC_DB 环境变量指向 sage 库)
  • 模块数3 个业务模块

业务模块

pipeline_core — 产线核心定义

产线的创建、步骤编排和版本管理。

说明
pipelines 产线主表名称、描述、状态、owner
pipeline_steps 步骤表(产线下的有序步骤,支持并行/串行)
pipeline_versions 版本表(产线快照,支持发布/回滚)

API 端点pipelines/pipeline_steps/pipeline_versions 的 CRUD + pipeline_publish发布版本

pipeline_ops — 产线运营管理

定价、供应量配置和使用记录。

说明
pipeline_pricing 定价表(按产线+步骤+模型定价,单价/包量)
pipeline_capacity 供应量表(产线日/月配额,并发限制)
pipeline_usage_log 使用记录表(调用日志、用量统计)

API 端点pricing/capacity/usage_log 的 CRUD + get_search_pipeline_id下拉数据源

注:原 pipeline_dist分销管理模块已于 2026-09-10 删除,其功能(分销商/分销协议/分销折扣) 与 supplychain 模块重复,统一由 supplychain 承载(二级分销商/分销协议/分销折扣→渠道价)。

目录结构

pipeline-app/
├── app/
│   ├── pipeline_app.py          # ahserver 主入口
│   └── global_func.py           # 全局函数dbname 映射)
├── conf/
│   └── config.json              # 配置文件(端口/数据库/认证)
├── pipeline_core/               # 产线核心模块
│   ├── pipeline_core/           # Python 包
│   ├── models/                  # 3 张表定义
│   ├── json/                    # 3 个 CRUD 定义
│   ├── wwwroot/                 # API 端点 + 前端
│   ├── scripts/load_path.py     # RBAC 注册
│   └── pyproject.toml
├── pipeline_ops/                # 运营模块(同上结构)
├── build.sh                     # 构建脚本venv + 依赖 + DDL + CRUD
├── start.sh / stop.sh           # 启停脚本
└── README.md

部署步骤

1. 创建数据库

CREATE DATABASE pipeline CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

2. 配置数据库密码

编辑 conf/config.json,将数据库密码替换为实际值(当前为 [REDACTED])。

3. 构建

cd ~/test/pipeline-app
bash build.sh

build.sh 会:创建 py3 venv → 安装依赖 → json2ddl 生成 DDL → xls2crud 生成 CRUD 界面

4. 建表

# 每个模块分别生成并执行 DDL
cd pipeline_core && ../py3/bin/json2ddl mysql models/ > mysql.ddl.sql
cd pipeline_ops && ../py3/bin/json2ddl mysql models/ > mysql.ddl.sql
# 在 MySQL 中执行所有 DDL

5. 初始化 RBAC

# 设置 SAGE_RBAC_DB 环境变量指向 sage 数据库
export SAGE_RBAC_DB=sage
# 运行各模块的 load_path.py
cd pipeline_core && ../py3/bin/python scripts/load_path.py
cd pipeline_ops && ../py3/bin/python scripts/load_path.py

6. 启动

cd ~/test/pipeline-app
bash start.sh    # 启动服务(端口 9090
bash stop.sh     # 停止服务

技术要点

  • 数据库名:所有模块共用 pipeline 数据库(通过 global_func.py 映射)
  • sqlor API:严格使用 sor.C/U/D/R 模式,sor.U() 只接受 2 个参数id 在 data 字典中)
  • dspy 规范:零 import、零 print、零 uuid使用预加载全局函数
  • 独立部署:与 Sage 解耦,通过 HTTP API 对外提供服务

文件统计

  • 数据表6 张core 3 + ops 3
  • API 端点23 个 dspy 文件
  • CRUD 管理6 个(自动生成)
  • 总文件数:~80 个
Description
No description provided
Readme 525 KiB
Languages
Python 92.8%
Shell 4.8%
JavaScript 2.4%