Jan 是一个开源的 ChatGPT 替代品，它是一个可以加载大语言模型的本地客户端。Jan 实现了 100% 本地运行，可以离线。截止发稿已经在 Github 斩获了 7.5k 的 Star。
Jan 的特点是能够在任何硬件上运行，它支持多种架构，包括 Nvidia GPU、Apple M 系列 CPU、Apple Intel 系列 CPU、Windows x64、Linux Debian。
Jan 的安装过程很简单，相比我之前尝试的 Text Generation WebUI（另一个 GPT 模型网页版客户端，类似 Stable Diffusion WebUI）需要从 Python 环境开始安装，安装过程中需要从网络下载大量内容，非常容易失败。而 Jan 的安装流程与普通软件没有太大区别。在 macOS 下无需更多设置，进入主界面后下载模型就可以使用了。
注：在 Windows + GPU 模式下，还需要额外安装 Nvidia 的 CUDA，并在设置中启用 GPU（参考此文）。
你可以在这里下载到 Jan 的客户端——
Jan 的界面也足够简洁，默认提供了一些推荐的开源 GPT 模型方便用户下载体验。下载第一个 Mistral Instruct 7B Q4 模型就可以开始使用了。
关于输出效果，则完全依赖于大语言模型本身。无论是 ChatGPT 还是 MidJourney，这些在线 AI 服务的背后是数以万计的 GPU 跑出来的商用模型，因此在本地运行的语言模型，在体量和效果上必然比不上这些商用模型。
但仍然有团队致力于提供一些普通用户也能够使用的开源 GPT 模型，目前主流的方向是基于 LLaMA 和 Alpaca，这些开源模型在完成常规的问答任务时的效果也很好，足以在本机获得类似 GPT-3.5 的效果从而完成很多任务了。
如果你需要更好的中文输出，建议在这个项目 🔗 Chinese-LLaMA-Alpaca-2 中下载 Alpaca 系列的 gguf 格式模型（目前 Jan 还不完善，你需要参考 Jan 的手动导入模型文档 进行模型导入）。
我分别在 RTX 3070Ti 和 M2 设备上测试了，都能获得很不错的效果和输出速度。
就我个人感受而言，7B 的模型比较适合个人电脑使用，13B 明显能感觉到输出缓慢。更大的模型还会由于内存不足在加载阶段失败。所以需要在下载模型时仔细甄别，不要下载过大规模的模型。如果你是在 Jan 中直接下载，Jan 还会标出这个模型是否有足够的内存运行。
Jan 目前仍在开发中，很多文档还不完善，但基础功能已经可以使用。
关于本地模型的使用场景，我会在网络不畅的情况下，直接把 Jan 当成本地的知识库，提问一些不容易出错也不需要网络的问题，比如查一下 Linux 的某个命令、Python 的标准库使用方法。
还有一个场景是，如果你的公司禁止使用在线的 GPT 服务，那么用 Jan 作为本地替代品，既不违反公司数据安全的规定，也能提高工作效率，也是一个很好的方法。