全部文章

硬件测评、NAS 教程与本地 AI 指南

Ollama 模型量化指南：7B 模型 4GB 显存跑满血，性能损失仅 5%

本地跑大模型显存不够？量化是最佳解决方案。今天实测 Ollama 量化技术，教你用 4GB 显存跑 7B 模型，性能损失仅 5%，速度提升 3 倍。 什么是量化？量化是将模型权重从高精度（FP16/BF16）转换为低精度（INT8/INT4）的技术。 对比数据： 精度 显存占用 …

Ollama 模型量化实战指南：在迷你主机上运行大模型

随着 NUC 和迷你主机性能的提升，越来越多的用户开始探索在本地运行大语言模型。本文将详细介绍 Ollama 模型量化的技术方案，帮助你在有限硬件资源下获得最佳体验。 为什么需要模型量化模型量化通过降低模型权重精度来减少内存占用和计算需求。 …

Docker Compose 高级进阶：多容器编排完全指南

对于追求高效管理 NAS 资源的用户来说，Docker Compose 是实现多容器协同工作的最佳方案。 为什么选择 Docker Compose在 NAS 环境中，我们通常需要同时运行多个服务：媒体服务器、下载工具、文件同步等。Docker Compose 可以：