田野指南
关于 Cairn — 本地 AI 田野指南
这份本地 AI 田野指南是什么?
Cairn 告诉你你这台机器能本地跑哪些开源大模型。它通过浏览器 API 读取你的 GPU,对 50+ 模型估算显存占用和每秒生成速度。
GPU 显存估算是怎么算的?
每个模型都显示它在 Q4_K_M 量化下的显存占用,以 GB 和占比两种方式标出。超过 100% 就装不下了。速度估算用显存带宽除以模型大小——粗略但通常误差在 20% 以内。
隐私——一切都在浏览器里跑
数据不会离开你的浏览器。检测、打分、排序全在客户端完成。
本地大模型参数的数据来源
模型参数来自 llama.cpp、Ollama、LM Studio 的兼容列表。
—— 此间一份田野指南