随着 NUC 和迷你主机性能的提升，越来越多的用户开始探索在本地运行大语言模型。本文将详细介绍 Ollama 模型量化的技术方案，帮助你在有限硬件资源下获得最佳体验。 为什么需要模型量化模型量化通过降低模型权重精度来减少内存占用和计算需求。 …