模型部署
Ollama自定义安装

1、安装ollama

下载:

#x86_64 CPU选择下载ollama-linux-amd64

#aarch64|arm64 CPU选择下载ollama-linux-arm64

https://github.com/ollama/ollama/releases/

安装依赖:

apt install lshw

mkdir /kp-data/ollama

cd /kp-data/ollama

wget https://github.com/ollama/ollama/releases/download/v0.6.1-rc0/ollama-linux-amd64.tgz

tar -xvf ollama-linux-amd64.tgz

创建模型存在目录

mkdir models

启动脚本:

vim run.sh

#通过ollama serve --help 获取更多参数,默认是11434端口改为8080端口
OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama serve > /kp-data/ollama/ollama.log 2>&1 &

2、查看安装情况

apt install lsof

lsof -i:8080 或者 ps -ef | grep ollama

3、下载模型

OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama pull deepseek-r1

查看下载的模型:

OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama list

删除模型:

OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama rm deepseek-r1

停止ollama服务:

ps -ef | grep ollama	#ollama的pid

kill -9 pid

4、运行模型

OLLAMA_HOST=0.0.0.0:8080 OLLAMA_MODELS=/kp-data/ollama/models /kp-data/ollama/bin/ollama run deepseek-r1

退出deepseek:

ctrl + d