File tree Expand file tree Collapse file tree 3 files changed +54
-1
lines changed
Expand file tree Collapse file tree 3 files changed +54
-1
lines changed Original file line number Diff line number Diff line change 1+ ## vLLM
2+
3+ !!! note ""
4+ vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎。1Panel 在 ** AI -> 模型 -> vLLM** 页面提供可视化管理能力,可用于统一创建、编辑、启停和维护本地 vLLM 服务。
5+
6+ 该功能属于 **1Panel 专业版**。
7+
8+ ### 1 前置条件
9+
10+ !!! note ""
11+ 在创建 vLLM 服务前,请先确认以下条件已满足:
12+
13+ - 服务器已安装 NVIDIA 显卡驱动,且执行 `nvidia-smi` 可以正常查看显卡信息
14+ - 已按照 NVIDIA 官方文档安装并配置 `NVIDIA Container Toolkit`
15+ - Docker 已具备 GPU 运行能力
16+ - 已提前将需要加载的模型文件放置到服务器本地目录中
17+
18+ 如需先检查 GPU 是否可用,可参考 [GPU 监控](./gpu.md) 文档。
19+
20+ ### 2 创建 vLLM 服务
21+
22+ !!! note ""
23+ 打开 1Panel 面板后,进入 ** AI** 菜单,在 ** 模型** 页面切换到 ** vLLM** 标签页,点击 ** 创建** 。
24+
25+ 按页面要求填写 vLLM 的部署参数后,点击 **确认** 即可开始创建。创建过程会以任务的方式在后台执行,完成后可在列表中查看服务状态。
26+
27+ ![ img.png] ( ../../img/ai/vllm_create.png )
28+ {: .original}
29+
30+ !!! info "参数说明"
31+ - ** 名称** :vLLM 服务名称,用于列表展示与后续管理
32+ - ** 版本** :选择需要部署的 vLLM 应用版本。` FusionXpark GB 10 ` 服务器请优先选择 ` -cu130 ` 版本
33+ - ** 端口** :vLLM 服务对外提供 API 的端口,默认可使用 ` 8000 `
34+ - ** 模型目录** :服务器上的本地模型目录。选择后,1Panel 会将该目录挂载到容器中
35+ - ** 启动命令** :用于启动 vLLM 服务的命令参数。选择模型目录后,系统会根据目录名称自动生成默认命令;如有特殊推理参数需求,也可自行调整
36+
37+ > vLLM 服务创建完成后,会以 OpenAI 兼容接口的形式对外提供推理能力,便于后续接入智能体或其他 AI 应用。
38+
39+ ### 3 高级设置
40+
41+ !!! note ""
42+ 如需对容器运行方式做进一步控制,可展开 ** 高级设置** 。
43+
44+ !!! info "高级设置说明"
45+ - ** 容器名称** :自定义 vLLM 容器名称,默认会跟随服务名称自动填写
46+ - ** 端口外部访问** :开启后会放开防火墙端口,允许通过外部网络访问该服务
47+ - ** 绑定主机 IP** :用于限制端口只绑定到指定主机地址或网卡;如果不清楚用途,建议保持默认
48+ - ** 重启策略** :配置容器异常退出后的重启方式
49+ - ** CPU / 内存限制** :限制 vLLM 容器可使用的主机资源
50+ - ** 拉取镜像** :在启动前主动执行镜像拉取,确保使用目标版本镜像
51+ - ** 编辑 compose 文件** :允许手动调整部署使用的 Compose 配置;该选项适合有经验的用户,修改不当可能导致创建失败
Original file line number Diff line number Diff line change 5858 - 应用商店设置 : user_manual/appstore/setting.md
5959 - AI :
6060 - 智能体 : https://openclaw.club/guides/quick-start
61- - 模型 : user_manual/ai/model.md
61+ - 模型 :
62+ - Ollama : user_manual/ai/model.md
63+ - vLLM : user_manual/ai/vllm.md
6264 - MCP : user_manual/ai/mcp.md
6365 - GPU 监控 : user_manual/ai/gpu.md
6466 - 网站 :
You can’t perform that action at this time.
0 commit comments