找回密码
 立即注册
搜索
查看: 2|回复: 0

手机termux安装llama.cpp和MiniCPM5-2B

[复制链接]

15

主题

0

回帖

61

积分

管理员

积分
61
发表于 1 小时前 来自手机 | 显示全部楼层 |阅读模式
pkg install llama-cpp
wget https://data-transfer-huawei.obs.cn-north-4.myhuaweicloud.com/MiniCPM5-2B-Q4_K_M.gguf
命令行交互聊天(CLI)
llama-cli -m ~/models/MiniCPM5-2B-Q4_K_M.gguf \
  -c 1024 \
  -t 4 \
  --chat-template chatml \
  --system-prompt "你是MiniCPM5,乐于助人的AI助手"
启动 OpenAI兼容API服务
llama-server -m ~/models/MiniCPM5-2B-Q4_K_M.gguf \
  -c 1024 \
  -t 4 \
  --chat-template chatml \
  --host 127.0.0.1 \
  --port 8080
服务地址:
- 浏览器测试: http://127.0.0.1:8080 
- Chat接口: http://127.0.0.1:8080/v1/chat/completions
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|skypiea

GMT+8, 2026-9-8 17:11 , Processed in 0.043131 second(s), 22 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表