type
status
title
summary
slug
Created
Apr 9, 2024 03:00 PM
category
tags
Date
icon
password
一、前言
今天给大家分享的是一款OpenAI的开源平替工具：
Jan AI这个工具跟我们之前介绍过的Ollama有点类似，都可以在本地运行大模型，但它们有两个明显不同：
- Jan AI 除了支持开源模型，同时也支持OpenAI和Google模型
- Jan AI 界面非常好看，操作也方便，代码大部分是用Typescript编写的
Jan AI 由三部分组成，第一是桌面客户端；第二是 Nitro Server，这是一个封装了 llama.cpp 的推理服务，当你使用本地大模型的使用会用到；第三就是 API Server，API Server相当于在本地再启动一个服务，通过这个服务可以像调用OpenAI接口一样访问大模型。
废话不多说，接下来进入实战环节！
二、安装
Jan 跟 Ollama 一样是跨平台的，也支持多种硬件设备，如：
- Nvidia GPUs (fast)
- Apple M-series (fast)
- Apple Intel
- Linux Debian
- Windows x64
下载链接的话可以在其官方页面也有明确说明：
我这里以
Mac 和 Linux 为例进行一个简单说明2.1 Apple Intel
Mac的下载比较简单，只需下载一个 dmg 的安装包，然后一路下载即可
2.2 Ubuntu 20.04
Ubuntu的安装需要注意一下，gcc和g++的版本需要11以上，不然本地模型会起不来
命令行终端会提示：由于缺少libstdc++.so.6的特定版本GLIBCXX_3.4.29而导致的 （类似的错误）
如果遇到这类问题，需要升级 gcc 版本到11及以上
2.3 安装注意事项
虽然Jan支持多种设备，但是对设备的系统也有一定要求，这里再强调下：
三、模型下载
前面说过，Jan 支持本地模型和远程模型两种方式，如果你有
OpenAI或者Groq的API Key，就可以直接使用了
如果没有OpenAI的API Key，可以通过下载开源模型的方式解决，点击这里就能跳到模型仓库
不过你大概率会遇到网络魔法问题
如果你有HTTPS的代理，则可以使用其进行代理
如果没有的话，可以浏览器下载模型后再导入，以 TheBloke/Llama-2-7B-Chat-GGUF 模型为例
有两种导入模式，一种就是维持模型的位置不变，然后Jan用软链；另一种就是将模型移动到Jan的数据目录，这个看个人喜好
导入之后，需要激活我们的模型
启动模型其实就是启动一个
nitro server，这是Jan 依据 llama.cpp 封装的一个服务器，端口号是：3928，如果启动模型失败，可以检查下这个端口是否被占用
四、开始对话
由于我的Mac设备性能不行，已经差不多报废了，所以Token速率比较慢，如果你想用中文对话，需要选择其他模型，理论上
Ollama的那些模型应该都可以，只要符合 gguf 格式
以上就是Jan的一个简单介绍，从使用体验上看，Jan的还是优于Ollama的，毕竟多了一个桌面客户端，如果后续想继续了解的朋友，还请多多点赞，点赞越多，更新越快！
我是AI技术巫，欢迎关注我，掌握第一手AI资讯与技巧！
- 作者:AI技术巫
- 链接:https://ilovetech.cn/article/ai_jan
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
