聚合日本生活、日本出行等实用信息与资讯；欢迎在论坛分享经验，也欢迎对日本公司、公司与跨国公司进行评价与避坑交流。
按标签浏览
vLLM 的整个架构，就是专门为了彻底解决高并发问题而设计的。它将 KV Cache 切分成固定大小的"页面"， 显存不需要连续分配，请求需要多少显存就按页动态申请，请求结束立即释放页面。 通信端直接使用了 NCCL 这个显卡专用的 CUDA 通信库，虽然我的环境下没有 NVLink， 但 NCCL 先天支持降级，并且支持多链路。
这里汇总了一些日语的测试网站
