jingrow 375d937e7b feat(rmbg): 统一全局 batcher,支持 batch 接口跨用户合批
- 扩展 QueueItem,增加 url_str、batch_index 元信息,便于批量请求结果映射
- 重写 _process_batch_queue_items,直接对统一队列做 GPU 批推理,并行保存图片,减少 IO 阻塞
- 重写 process_batch:下载后将每张图片作为 QueueItem 推入全局队列,从全局 batcher 获取结果并按完成顺序流式返回
- 调整 _collect_batch_items,在高并发场景下允许收集最多 2x batch_size 的任务,提升 GPU 利用率
- 修正批处理流式返回中的 Future 管理逻辑,避免 asyncio.wait 与 dict/set 混用导致的异常
2025-12-16 13:49:49 +00:00
Description
No description provided
401 MiB
Languages
Python 100%