jingrow
319e6aad34
- 架构重构：为每个GPU启动独立的队列处理worker，避免worker间竞争 - 单卡batch收集：每个worker只收集batch_size个请求，不再乘以GPU数量 - 设备绑定：每个worker固定绑定自己的model和device，不再轮询调度 - 处理逻辑：直接使用worker的model/device进行批处理，移除多GPU拆分逻辑 - 降级处理：OOM时使用当前worker的model/device进行单张处理 - 资源管理：更新cleanup方法，正确停止所有worker任务 - API更新：修复已弃用的PYTORCH_CUDA_ALLOC_CONF和torch_dtype参数 优势： - 避免worker之间竞争和批次冲突 - 资源隔离，每个worker只使用自己的GPU - 负载均衡，多worker并行处理提高吞吐量 - 易于扩展，GPU数量变化时自动调整worker数量