yumoqing
769fc4968e
- Wan2.2-TI2V-5B GPU 视频推理 - ahserver + longtasks 异步任务队列 - OpenAI 兼容 API: POST /api/submit, GET /api/task, GET /api/status - 模型常驻内存，惰性加载 - 全局串行推理锁（GPU 安全） - 支持 t2v/i2v/ti2v/s2v 四种任务类型
32 lines
744 B
Plaintext
32 lines
744 B
Plaintext
# -*- coding:utf-8 -*-
|
|
# GET /api/status - 服务状态
|
|
|
|
import subprocess
|
|
import json
|
|
|
|
result = {
|
|
'service': 'wan22-video-generation',
|
|
'model': 'Wan2.2-TI2V-5B',
|
|
'gpu_id': 2,
|
|
'gpus': []
|
|
}
|
|
|
|
try:
|
|
out = subprocess.check_output(
|
|
['nvidia-smi', '--query-gpu=index,utilization.gpu,memory.used,memory.total',
|
|
'--format=csv,noheader,nounits'],
|
|
timeout=5
|
|
).decode().strip()
|
|
for line in out.split('\n'):
|
|
parts = [p.strip() for p in line.split(',')]
|
|
result['gpus'].append({
|
|
'id': int(parts[0]),
|
|
'util': int(parts[1]),
|
|
'mem_used': int(parts[2]),
|
|
'mem_total': int(parts[3])
|
|
})
|
|
except Exception:
|
|
pass
|
|
|
|
return json.dumps(result)
|