🏷️ 量化

共 4 个相关内容

📝 文章

2026年大模型压缩技术全景：剪枝、量化、蒸馏与MoE谁主沉浮？

深入解析2026年四大主流大模型压缩技术的原理、优缺点和最新进展，涵盖剪枝、量化、知识蒸馏和混合专家（MoE）四种路线。

Ollama + 消费级显卡本地部署实测：2026年真能跑起来的模型有哪些

用16GB显卡本地跑大模型到底体验如何？本文实测主流开源模型在Ollama上的显存占用、生成速度与量化选择，给出按硬件配置的选型建议和踩坑记录。

端侧小模型实战：把AI塞进手机和IoT的2026年指南

从模型选型、量化、推理引擎到功耗控制，讲清端侧部署小模型的完整链路和真实取舍。

在32GB内存的笔记本上跑30B模型：量化、KV Cache与选型实战

端侧小模型已经能干活了，但选错量化格式会让质量崩掉。本文实测INT4/INT8/GGUF的组合效果，讲清显存与内存的分配策略，附一份可直接照做的选型表。