# pipeline_core

产线核心模块 —— 管理产线定义、步骤编排、版本控制、发布流程。

## 功能

- **产线管理**：产线 CRUD，定义产线名称与描述
- **步骤编排**：产线步骤的增删改查，支持依赖关系（DAG）
- **版本控制**：产线版本发布与回滚
- **编辑器**：可视化产线步骤编排界面

## 数据表

| 表 | 说明 |
|---|------|
| pipelines | 产线定义 |
| pipeline_steps | 产线步骤（含 deps 依赖） |
| pipeline_versions | 产线版本快照 |
| llm | 大模型配置 |
| sd_projects | 软件项目定义（2026-09-10 自 pipeline-sdlc 迁入，跨产线共享） |
| sd_project_role_models | 项目角色模型配置（同上迁入；下拉 codes 指 sd_role 字典 + llm_model(status=active)） |
| pipeline_deliverables | 产线交付物（同上迁入；主要写入方 pipeline-bidding） |
| pipeline_user_memory | 跨会话持久记忆（2026-09-10 多租户：加 org_id/user_id 归属列，key 掺租户维度，迁移 m0023） |

## 跨产线共享资源（wwwroot/api/）

三张迁入表配套 15 个 api dspy 与手写角色模型页（`wwwroot/sd_project_role_models/`，
git 跟踪、勿被 xls2ui 覆盖）。sdlc 侧页面消费 `get_project_options.dspy` 用绝对路径
`/pipeline_core/api/**` 引用；反向本模块页面消费 sdlc 子表也用绝对路径。

### 已知表治理清单（2026-09-10 审计）

- `pipeline_conversations`：孤儿表——有真实读写（pipeline-service agent_loop_v2 的 sor.C
  落盘、驾驶舱 v2 历史加载），但**全平台无 models JSON 定义**，建表靠历史残留，
  新库部署会缺表。待补 models 定义（归属 pipeline-service 或 core 待定）。
- `sd_conversations`：死表——pipeline-sdlc 有 models 定义，但 2026-08-01 后全平台零写，
  仅存 SELECT/DELETE/孤儿巡检引用。驾驶舱 v2 已改用 pipeline_conversations。待删除决议。

## 安装

```bash
cd pkgs/pipeline_core && pip install .
```

## 集成

伞仓 (pipeline-app) 通过 wwwroot symlink 加载本模块：
```
wwwroot/pipeline_core -> ../pkgs/pipeline_core/wwwroot
```

## 通用会话产线隔离（2026-09-05）

配合 pipeline-service 的 7 层隔离（详见其 README），本模块承担：

- `agent_config.load_agent_config(generic=True)`：不挂产线能力包，
  并剔除 GENERAL_TOOLS 中 category=project/shell 的工具（schema 层防线，
  LLM 根本看不见项目管理/命令执行工具）
- `upload_tools.resolve_upload_dir(generic=True)`：通用会话上传文件落
  `_general/{uid}` 专属目录，与 AgentExecutor 的文件根一致
  （_resolve_ws_path 越界保护只认该目录）
- `wwwroot/api/agent_chat_generic.dspy`：纯通用会话入口（generic=True）

## agent 通用能力对齐 Hermes（2026-09-10）

把 Hermes Agent 的「写入侧/运行时侧」能力补齐给产线会话 agent，GENERAL_TOOLS
从 25 个扩到 29 个，新增四工具（定义在本模块 `agent_config.py`，handler 在
pipeline-service `agent_loop_v2.py`）：

| 工具 | 能力 | 隔离/门禁 |
|---|---|---|
| `memory` | add/list/remove 持久记忆（对齐 Hermes memory） | 多租户写入门禁在 handler：只能写 user/project/pipeline 域（global/org 种子域禁写），org_id/user_id 强制注入会话真实身份（忽略 LLM 传值），无身份拒写，remove 仅本人条目 |
| `manage_skill` | create/patch/write_file/remove_file/delete 技能（对齐 skill_manage） | 只落本租户 orgs/{org} 或 org 0 降级 users/{uid}；改 global 原版走 fork-on-write 继承副本；产线层拒改；子文件限 references/scripts/templates/assets |
| `process` | poll/log/wait/kill 后台任务（配套 run_command background） | 状态文件化在 workspace/.bg/，跨 worker 可见；只解析发起者 workspace |
| `subagent` | list/steer/stop/result 后台子 agent（配套 delegate_subtask background） | 同 workspace 并行上限 3、深度限制 1、子会话历史隔离 |

`run_command` 加 `background`/`timeout` 参数；`delegate_subtask` 加 `background`。

**记忆多租户（memory_store.py）**：每条记忆带 org_id/user_id 归属列；
`visible_to()` 是唯一可见性权威（平台种子 org_id='' 全员只读 + org 归属本机构共享 +
user 归属仅本人 + pipeline/project 域带机构匹配）；`memory_key` = hash(content+org+
user+scope+scope_id)，同内容跨租户 key 不同、唯一索引永不碰撞；`_evict_partition`
按 org+user 分区淘汰，agent 写入绝不删种子或他租户记忆；写后失效缓存保多 worker
一致。`get()` 是无过滤底层查询（管理用），agent 读取一律走 `get_visible()`。

**ToolDefinition.required 字段（2026-09-10）**：None=旧行为（全参数必填），含可选
参数的工具须显式声明 required 列表，否则 `to_openai_schema()` 把可选参数标成
required、LLM 被迫为每个参数编值。GENERAL_TOOLS 全部带可选参数的工具已补 required。