pipeline-service

yumoqing/pipeline-service

Fork 0

Commit Graph

Author	SHA1	Message	Date
ymq	25c2452647	feat(secret_vault): 用户敏感信息管理模块(2026-09-17) 敏感信息入库 + 会话占位符引用 + 入站自动侦测 + 执行边界注入，真值全程不进模型上下文/不落库/不进命令字符串（根治"用户贴apikey→每轮上行供应商"泄露面）。核心 secret_vault.py: - AES 密文入库(appPublic.aes + UTF-8包装 + AES1$版本前缀)。注:ahserver 的 password_encode 实测是 RC4 薄封装(globalEnv.py:61)，非 AES，故直接用 aes 模块。 aes.py 第42/43行密文侧 iso-8859-1 必须保留(实测200组密文utf-8解码100%失败)，只在调用方对明文侧做 UTF-8→latin-1 字节保真包装(中文/emoji/私钥 9/9 往返一致)。 - 占位符 @@sec:NAME@@（避开 sqlor ${X}$ 与 ahserver ArgsConvert 同语法冲突，也避开裸 $VAR 被 bash 就地展开）。 - 侦测三通道:已知前缀16种 / 关键词邻域+熵≥3.5 / 不做裸串侦测(防吞哈希数据)。中文冒号「apikey：」支持；_JUNK_VALUE_RE 拦占位示例值；低熵弱口令不误吞。 - 执行边界:占位符→$PIPELINE_SEC_NAME，真值走 subprocess env=（不用 bwrap --setenv——值进argv同机任意用户ps可读；env=落/proc/pid/environ仅属主可读）。 - 越权防护:get_secret_row(own_only=) 读写范围分离 + _assert_own 代码级二次校验（防任意机构成员覆盖/删除机构共享凭据）。写操作显式 COMMIT(多worker)。 - 审计只记 name/type，禁记值。三路接入: - gateway._secret_inbound_gate: run_message Step 0.5(所有上下文解析之前)， progress 事件回显动作(体感不变但告知已自动保存)。 - agent_loop_v2: _t_secret_tool 六工具 + _t_run_command 执行边界(前台/后台分支之前) + _t_process 出站擦洗 + prompt 铁律(仅有 user_id 时注入)。 - agent_loop(v1角色agent): 只读三件(list/use/detect，无人值守禁自主增删凭据)；身份=项目真人owner(resolve_project_owner，已处理 agent.pm 自动立项反查)； run_shell 执行边界 + 出站擦洗。 - _run_shell/bg_jobs.start_bg_job 加 secret_env 参数(无secret时env=None零改动)。本地测试 124 断言全绿(含三个挂调实锤陷阱回归:子串碰撞/占位符别名劫持/ 未知占位符吞空 + 跨文件工具名同步 + 越权防护)。表定义 m0037(pipeline-app)。	2026-09-17 15:44:56 +08:00
ymq	1c04efe1be	feat(agent): 会话agent四项Hermes能力对齐(记忆写入/技能管理/后台进程/并行委派) 1. memory 工具(add/list/remove): 多租户写入门禁——org_id/user_id强制注入、 scope白名单user/project/pipeline(global/org种子域禁写)、无身份拒写、 remove仅本人条目; 记忆注入改可见性过滤版(修跨机构泄漏) 2. manage_skill(create/patch/write_file/remove_file/delete): skill_live扩展, 只落本租户orgs/users目录, global原版fork-on-write(校验通过才fork,失败零残留), org+user双副本同步改, 产线层拒改, delete只删本租户副本+审计留痕 3. run_command background=true + process工具(poll/log/wait/kill): bg_jobs.py 状态文件化(workspace/.bg/,跨worker可见), 沙箱档位与前台一致(generic强制 strict+无bwrap拒绝), 超时SIGTERM进程组+stale心跳判活 4. delegate_subtask background + subagent工具(list/steer/stop/result): subagents.py 并行上限3/workspace, 深度限制1(子agent禁再委派), 子会话session_isolation=none(不读父历史不写会话表), steer/stop文件传递每轮tool-loop边界消费, 结果流式落盘(stop即部分结果)	2026-09-10 17:09:45 +08:00

Author

SHA1

Message

Date

ymq

25c2452647

feat(secret_vault): 用户敏感信息管理模块(2026-09-17)

敏感信息入库 + 会话占位符引用 + 入站自动侦测 + 执行边界注入，真值全程不进
模型上下文/不落库/不进命令字符串（根治"用户贴apikey→每轮上行供应商"泄露面）。

核心 secret_vault.py:
- AES 密文入库(appPublic.aes + UTF-8包装 + AES1$版本前缀)。注:ahserver 的
  password_encode 实测是 RC4 薄封装(globalEnv.py:61)，非 AES，故直接用 aes 模块。
  aes.py 第42/43行密文侧 iso-8859-1 必须保留(实测200组密文utf-8解码100%失败)，
  只在调用方对明文侧做 UTF-8→latin-1 字节保真包装(中文/emoji/私钥 9/9 往返一致)。
- 占位符 @@sec:NAME@@（避开 sqlor ${X}$ 与 ahserver ArgsConvert 同语法冲突，
  也避开裸 $VAR 被 bash 就地展开）。
- 侦测三通道:已知前缀16种 / 关键词邻域+熵≥3.5 / 不做裸串侦测(防吞哈希数据)。
  中文冒号「apikey：」支持；_JUNK_VALUE_RE 拦占位示例值；低熵弱口令不误吞。
- 执行边界:占位符→$PIPELINE_SEC_NAME，真值走 subprocess env=（不用 bwrap
  --setenv——值进argv同机任意用户ps可读；env=落/proc/pid/environ仅属主可读）。
- 越权防护:get_secret_row(own_only=) 读写范围分离 + _assert_own 代码级二次校验
  （防任意机构成员覆盖/删除机构共享凭据）。写操作显式 COMMIT(多worker)。
- 审计只记 name/type，禁记值。

三路接入:
- gateway._secret_inbound_gate: run_message Step 0.5(所有上下文解析之前)，
  progress 事件回显动作(体感不变但告知已自动保存)。
- agent_loop_v2: _t_secret_tool 六工具 + _t_run_command 执行边界(前台/后台分支
  之前) + _t_process 出站擦洗 + prompt 铁律(仅有 user_id 时注入)。
- agent_loop(v1角色agent): 只读三件(list/use/detect，无人值守禁自主增删凭据)；
  身份=项目真人owner(resolve_project_owner，已处理 agent.pm 自动立项反查)；
  run_shell 执行边界 + 出站擦洗。
- _run_shell/bg_jobs.start_bg_job 加 secret_env 参数(无secret时env=None零改动)。

本地测试 124 断言全绿(含三个挂调实锤陷阱回归:子串碰撞/占位符别名劫持/
未知占位符吞空 + 跨文件工具名同步 + 越权防护)。表定义 m0037(pipeline-app)。

2026-09-17 15:44:56 +08:00

ymq

1c04efe1be

feat(agent): 会话agent四项Hermes能力对齐(记忆写入/技能管理/后台进程/并行委派)

1. memory 工具(add/list/remove): 多租户写入门禁——org_id/user_id强制注入、
   scope白名单user/project/pipeline(global/org种子域禁写)、无身份拒写、
   remove仅本人条目; 记忆注入改可见性过滤版(修跨机构泄漏)
2. manage_skill(create/patch/write_file/remove_file/delete): skill_live扩展,
   只落本租户orgs/users目录, global原版fork-on-write(校验通过才fork,失败零残留),
   org+user双副本同步改, 产线层拒改, delete只删本租户副本+审计留痕
3. run_command background=true + process工具(poll/log/wait/kill): bg_jobs.py
   状态文件化(workspace/.bg/,跨worker可见), 沙箱档位与前台一致(generic强制
   strict+无bwrap拒绝), 超时SIGTERM进程组+stale心跳判活
4. delegate_subtask background + subagent工具(list/steer/stop/result):
   subagents.py 并行上限3/workspace, 深度限制1(子agent禁再委派),
   子会话session_isolation=none(不读父历史不写会话表), steer/stop文件传递
   每轮tool-loop边界消费, 结果流式落盘(stop即部分结果)

2026-09-10 17:09:45 +08:00

2 Commits