共 2 个相关内容
LM Studio 是一款本地运行和发现大模型的桌面应用，直观地搜索、下载和使用开源 LLM。
端侧小模型已经能干活了，但选错量化格式会让质量崩掉。本文实测INT4/INT8/GGUF的组合效果，讲清显存与内存的分配策略，附一份可直接照做的选型表。