Bảo mật LLM
Khi Bộ Đệm KV Biến Lệch Cấu Hình Thành Rò Rỉ Dữ Liệu Chéo
Sự cố GLM-5.3 của Cloudflare cho thấy trang KV cache không xóa trắng và lỗi hàng đợi SGLang có thể biến lệch cấu hình thành rò rỉ dữ liệu chéo.
Chủ đề
Bộ nhớ GPU
Một tuyển tập để khám phá, từng ý tưởng một.