# 随身带个知识库？让本地机器也可以运行 GPT 大语言模型：Jan

> 本文开放前 70% 正文，剩余内容会员可见。

原文：https://utgd.net/article/20556

Jan 是一个开源的 ChatGPT 替代品，它是一个可以加载大语言模型的本地客户端。Jan 实现了 100% 本地运行，可以离线。截止发稿已经在 Github 斩获了 7\.5k 的 Star。

Jan 的特点是能够在任何硬件上运行，它支持多种架构，包括 Nvidia GPU、Apple M 系列 CPU、Apple Intel 系列 CPU、Windows x64、Linux Debian。

Jan 的安装过程很简单，相比我之前尝试的 Text Generation WebUI（另一个 GPT 模型网页版客户端，类似 Stable Diffusion WebUI）需要从 Python 环境开始安装，安装过程中需要从网络下载大量内容，非常容易失败。而 Jan 的安装流程与普通软件没有太大区别。在 macOS 下无需更多设置，进入主界面后下载模型就可以使用了。

注：在 Windows \+ GPU 模式下，还需要额外安装 Nvidia 的 CUDA，并在设置中启用 GPU（参考此文）。

你可以在这里下载到 Jan 的客户端——

🔗 Jan 官网

🔗 Jan Github

Jan 的界面也足够简洁，默认提供了一些推荐的开源 GPT 模型方便用户下载体验。下载第一个 Mistral Instruct 7B Q4 模型就可以开始使用了。

关于输出效果，则完全依赖于大语言模型本身。无论是 ChatGPT 还是 MidJourney，这些在线 AI 服务的背后是数以万计的 GPU 跑出来的商用模型，因此在本地运行的语言模型，在体量和效果上必然比不上这些商用模型。

但仍然有团队致力于提供一些普通用户也能够使用的开源 GPT 模型，目前主流的方向是基于 LLaMA 和 Alpaca，这些开源模型在完成常规的问答任务时的效果也很好，足以在本机获得类似 GPT\-3\.5 的效果从而完成很多任务了。

如果你需要更好的中文输出，建议在这个项目 🔗 Chinese\-LLaMA\-Alpaca\-2 中下载 Alpaca 系列的 gguf 格式模型（目前 Jan 还不完善，你需要参考 Jan 的手动导入模型文档 进行模型导入）。

我分别在

---

[前往标准阅读页](https://utgd.net/article/20556?audience=web)