This website requires JavaScript.
Explore
Help
Register
Sign In
yumoqing
/
pipeline-llm
Watch
1
Star
0
Fork
0
You've already forked pipeline-llm
Code
Issues
Pull Requests
Actions
Packages
Projects
Releases
Wiki
Activity
pipeline-llm
/
pipeline_llm
History
yumoqing
680afb7f9d
feat(timeout): 统一超时预算单点治理(2026-09-16用户裁定:超时逻辑禁散落各产线各角色)——payload._timeout语义升级为一次调用总预算落ctx.budget,_post_upstream按deadline约束重试(总时长≈预算,客户端=预算+60恒覆盖上游,消灭3x预算放大→客户端先断连→模糊TimeoutError→分类器误判永久错误的事故链);attempt超时=剩余预算(合法长生成一次用满,373s实测样本),端点配置timeout(百炼120)不再掐断attempt——供应商参数不知道调用方需求,正是09-05提取/09-14develop/09-16QC三次事故共同根因,仅在直连未传_timeout时与_TOTAL_TIMEOUT取大兜底;预算耗尽(<15s)不再发起必然超时的attempt,抛结构化错误
2026-09-16 17:58:13 +08:00
..
__init__.py
refactor: load_llm 规范化为 load_pipeline_llm(load_<模块名>约定)+保留旧名别名(accounting_worker 零改动)
2026-09-07 13:57:42 +08:00
accounting.py
fix(accounting): note列CONCAT前LEFT(200)限长——失败重试轮note已写~185字符(出账异常长文案),出账成功再CONCAT'|accounted:'+orderid直接1406溢出→异常路径回写failed→'修好定价也永远出不了账'死循环(2026-09-16 qwen-image-3.0-pro 39笔实测:钱包已扣+客户账已记但流水状态置failed,重跑靠幂等守卫才安全)
2026-09-16 14:21:10 +08:00
gateway.py
fix(wallet): 充值登记显示层——msg带回余额/累计充值前后值(登记即见随之改变)+弹窗改VScrollPanel填充防按钮溢出不可点+弹窗放大
2026-09-15 17:23:12 +08:00
inference.py
feat(timeout): 统一超时预算单点治理(2026-09-16用户裁定:超时逻辑禁散落各产线各角色)——payload._timeout语义升级为一次调用总预算落ctx.budget,_post_upstream按deadline约束重试(总时长≈预算,客户端=预算+60恒覆盖上游,消灭3x预算放大→客户端先断连→模糊TimeoutError→分类器误判永久错误的事故链);attempt超时=剩余预算(合法长生成一次用满,373s实测样本),端点配置timeout(百炼120)不再掐断attempt——供应商参数不知道调用方需求,正是09-05提取/09-14develop/09-16QC三次事故共同根因,仅在直连未传_timeout时与_TOTAL_TIMEOUT取大兜底;预算耗尽(<15s)不再发起必然超时的attempt,抛结构化错误
2026-09-16 17:58:13 +08:00
init.py
refactor(gateway): 端点与模型解绑——删_pick_candidate协议过滤(端点=纯连接点对全模型可互换),endpoint_ids空=全部端点;inference删3处path全URL覆盖分支(模型profile禁把端点写进path);init.normalize_endpoints端点归一主机根+同主机去重+timeout取max。根治t2t间歇404(无profile被轮询到api/v1原生端点拼chat/completions)。2026-09-12用户定夺:模型和端点不能强绑定
2026-09-12 12:35:04 +08:00
product_interface.py
feat(usage): usages全量不截断为计费唯一事实源(m0021删token冗余列)+llm_call_trace上下行原文追踪+project_id按项目统计费用(2026-09-10)
2026-09-11 14:17:40 +08:00
selection.py
feat(govern): 能力降级规则i2i→t2i/r2v→t2v(2026-09-08用户定夺,与r2v→t2v同例)——selection加CAP_DEGRADE事实源+degrade_expand,models_catalog候选池含降级源模型,网关备链/owner容错链同能力铁律放行合法降级源,auto_select提示词补降级规则;单向降级反向永远非法
2026-09-08 17:20:39 +08:00
todos.py
feat(wallet): 账号钱包门禁+会话粘性轮询+出账后扣减+余额不足待办(2026-09-11用户定夺)——①门禁:balance<阈值(params缺省5元)从轮询集剔除,全剔除报可行动错误;②粘性:同会话同模型固定账号(Redis llm_sticky TTL1h滑动续期)省上游缓存钱,粘性失效自动重选,session_id经payload._session_id透传;③轮询:跨会话INCR取模替代余额加权;④扣减:产品记账成功后按流水account_id扣调用账号钱包(supplier_cost),与cost回填同事务原子,cost≠0幂等跳过防重置重跑重复扣,允许透支为负;⑤待办:状态派生provider(充值到账自动消失天然单发)给属主机构operator角色(params可配,按.后缀动态匹配)+详情弹窗内直接充值
2026-09-11 15:29:40 +08:00
trace.py
feat(trace): 调用原文追踪「查看IO」前端闭环+按项目费用页(2026-09-10定夺落地)
2026-09-11 14:58:21 +08:00