jingrow
375d937e7b
feat(rmbg): 统一全局 batcher，支持 batch 接口跨用户合批
- 扩展 QueueItem，增加 url_str、batch_index 元信息，便于批量请求结果映射
- 重写 _process_batch_queue_items，直接对统一队列做 GPU 批推理，并行保存图片，减少 IO 阻塞
- 重写 process_batch：下载后将每张图片作为 QueueItem 推入全局队列，从全局 batcher 获取结果并按完成顺序流式返回
- 调整 _collect_batch_items，在高并发场景下允许收集最多 2x batch_size 的任务，提升 GPU 利用率
- 修正批处理流式返回中的 Future 管理逻辑，避免 asyncio.wait 与 dict/set 混用导致的异常
2025-12-16 13:49:49 +00:00
..
2025-06-27 20:16:13 +08:00
2025-06-27 20:16:13 +08:00
2025-06-27 20:16:13 +08:00
2025-06-27 20:16:13 +08:00
2025-06-27 20:16:13 +08:00
2025-10-08 15:32:12 +08:00
2025-11-23 03:23:44 +08:00
2025-06-27 20:16:13 +08:00
2025-08-14 20:12:21 +08:00
2025-08-14 20:12:21 +08:00
2025-08-31 21:25:34 +08:00
2025-06-27 20:16:13 +08:00
2025-12-16 13:49:49 +00:00
2025-06-27 20:16:13 +08:00