1、安装ollama
下载:
#x86_64 CPU选择下载ollama-linux-amd64
#aarch64|arm64 CPU选择下载ollama-linux-arm64
https://github.com/ollama/ollama/releases/
安装依赖:
apt install lshw
mkdir /kp-data/ollama
cd /kp-data/ollama
wget https://github.com/ollama/ollama/releases/download/v0.6.1-rc0/ollama-linux-amd64.tgz
tar -xvf ollama-linux-amd64.tgz
创建模型存在目录
mkdir models
启动脚本:
vim run.sh
#通过ollama serve --help 获取更多参数,默认是11434端口改为8080端口
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama serve > /kp-data/ollama/ollama.log 2>&1 &
2、查看安装情况
apt install lsof
lsof -i:8080 或者 ps -ef | grep ollama
3、下载模型
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama pull deepseek-r1
查看下载的模型:
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama list
删除模型:
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama rm deepseek-r1
停止ollama服务:
ps -ef | grep ollama #ollama的pid
kill -9 pid
4、运行模型
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama run deepseek-r1
退出deepseek:
ctrl + d