HP DL380 Gen11 上部署 Proxmox VE 与 Ceph — 操作 MOP

Tech

在 HP ProLiant DL380 Gen11 上划分 RAID、安装 Proxmox VE 9.x，并配置单节点 Ceph 作为 RBD 存储。本文保留完整操作步骤与验证命令，供后续 OpenShift 通过 Ceph CSI 消费外部存储。

环境假设

项目 示例值
服务器 HP DL380 Gen11 + MR 阵列卡
PVE 主机名 pve-host-1
管理 IP <PVE_IP>/26（如 10.0.0.41）
管理网段 <PVE_CIDR>（如 10.0.0.0/26）
外网网桥 vmbr0
PVE 版本 9.2.x
Ceph Pool ocp-pool（供 OCP CSI 使用）

磁盘规划

16 × 1.6 TB SSD（外置盘箱）：

1
2
3
Box2 Bay1-2     Box2 Bay3-8 + Box3 Bay1-2    Box3 Bay3-8
[ RAID1 ]       [ RAID10 ]                    [ 6×单盘 RAID0 ]
  LD1 OS          LD2 VM                        LD3 Ceph
逻辑卷 RAID 容量 用途
PVE-OS RAID1 ~1.6 TB PVE 系统
PVE-VM RAID10 ~5.8 TiB VM 磁盘（vm-storage）
CEPH-01~06 RAID0×6 各 ~1.5 TiB Ceph OSD

Phase 1 — iLO 划分 RAID

  1. iLO → Remote Console → HTML5 KVM
  2. 重启按 F10 → MR Storage Administrator（选 MR，非 SR）
  3. 创建逻辑盘：

LD1（PVE-OS）：Box2 Bay1+2 → RAID1 → 名称 PVE-OS

LD2（PVE-VM）：Box2 Bay38 + Box3 Bay12 → RAID10 → 名称 PVE-VM

LD3（Ceph）：Box3 Bay3~8 各单独 RAID0 → CEPH-01 … CEPH-06

验证

  • Logical Drive 页共 8 块逻辑盘，状态均为 OK
  • 无 Unassigned Drive
  • Reboot 后进入 BIOS 确认三块逻辑盘均可见

Phase 2 — BIOS 与安装 PVE

BIOS（F9）

项 值
Boot Mode UEFI Only
Secure Boot Disabled
VT-x / VT-d Enabled
安装时启动顺序 虚拟光驱优先

安装 PVE

  1. iLO 挂载 Proxmox ISO → 从光驱引导
  2. Target Harddisk：只选 PVE-OS，勿格式化 PVE-VM / CEPH 盘
  3. 网络：主机名 pve-host-1、<PVE_IP>、网关、DNS
  4. 装完弹出 ISO，硬盘第一启动

验证

1
2
3
4
5
6
7
8
9
10
11
pveversion
# 预期：pve-manager/9.2.x

lsblk
# 预期：
#   系统盘（~1.5T）有 pve-root、pve-data 等分区
#   ~5.8T 盘无分区
#   6 块 ~1.5T 盘无分区

ip addr show vmbr0
# 预期：<PVE_IP>/26

Phase 3 — 初始化 VM 存储（LD2）

  1. Node → Disks → 选中 ~5.8T 盘 → Wipe disk → GPT → LVM → LVM-Thin
  2. 等待任务完成（右下角 Tasks）
  3. Datacenter → Storage → Add → LVM-Thin
    • ID：vm-storage
    • Nodes：pve-host-1
    • Thin Pool：刚创建的 pool
    • 勾选 Enable、Nodes

验证

1
2
3
4
5
pvesm status
# vm-storage 应为 active，avail 约 5.8T

lvs
# 应看到 vm-storage 对应的 thin pool

Phase 4 — 安装与配置 Ceph

4.1 前置：确认 OSD 候选盘

1
2
3
lsblk
pvesm status
ls -l /dev/disk/by-id/ | grep -v part
设备 容量 用途 能否做 Ceph
系统盘 ~1.5T，有分区 LD1 PVE 系统 ❌
~5.8T VM 存储 LD2 ❌
6×~1.5T 无分区 CEPH-01~06 LD3 ✅

建 OSD 会 清空整块盘。不确定时对照 by-id 与 MR 控制器盘位，切勿误选系统盘或 VM 盘。

4.2 步骤 1：安装 Ceph 软件包（Web UI）

  1. 浏览器打开 https://<PVE_IP>:8006
  2. 左侧点节点 pve-host-1
  3. 左侧子菜单点 Ceph
  4. 首次进入显示 Ceph is not installed → 点 Install Ceph / Start installation
  5. Ceph version：选默认推荐版本（PVE 9.2 一般为 Squid 或当前仓库默认）
  6. Repository：无订阅选 No Subscription
  7. 点 Start → 等待任务完成（约 5~15 分钟，右下角 Tasks 可查看）

验证

1
2
pveceph status 2>/dev/null || ceph -v
# 应显示 Ceph 版本，无 "not installed" 报错

4.3 步骤 2：创建 Ceph 集群配置

  1. 安装完成后向导进入 Configuration，或点 Next
  2. 填写网络：
    • Public Network：<PVE_CIDR>（如 10.0.0.0/26）
    • Cluster Network：单节点 lab 可与 Public 相同
  3. 点 Create / Finish
  4. 左侧 Ceph 各子页应变为可配置（不再报错）

验证

1
2
cat /etc/pve/ceph.conf
# 应含 public_network / cluster_network

4.4 步骤 3：创建 Monitor

  1. Ceph → 标签 Monitor → Create: Monitor
  2. Host：pve-host-1
  3. 点 Create
  4. 等待状态 active（Manager 通常自动创建）

验证

1
2
3
4
5
ceph mon stat
# 应显示 1 mon，quorum 正常

ss -tlnp | grep 6789
# Monitor 监听 6789

4.5 步骤 4：创建 6 个 OSD（重复 6 次）

  1. Ceph → 标签 OSD → Create: OSD
  2. 配置：
    • Disk：选一块 ~1.5T、无分区 的盘（每次不同）
    • DB / WAL：保持 use OSD disk
    • Advanced：勾选 Enable discard（SSD 建议）
  3. 点 Create → 等待该 OSD 状态 up / in（每块约 3~10 分钟）
  4. 重复直到 6 块 CEPH 盘全部加入

验证

1
2
3
4
5
ceph osd stat
# 预期：6 osds: 6 up, 6 in

ceph osd tree
# 6 个 osd 均在 host pve-host-1 下

4.6 步骤 5：创建 Pool 并添加为 PVE 存储

  1. Ceph → Pools → Create
    • Name：ocp-pool
    • Size：3（3 副本）
    • Min.Size：2
    • 勾选 Add as Storage
  2. 点 Create

若未自动添加：

  1. Datacenter → Storage → Add → RBD
  2. ID：ocp-pool（或 ceph-rbd）
  3. Pool：ocp-pool
  4. Nodes：pve-host-1
  5. 点 Add

验证

1
2
3
4
5
ceph osd pool ls
# 应含 ocp-pool

pvesm status
# ocp-pool（或 ceph-rbd）为 active

4.7 步骤 6：单节点 CRUSH 规则（必做）

单节点 Ceph 默认规则要求副本在不同主机，会导致 PG undersized+peered：

1
2
3
4
5
6
7
8
9
10
11
12
ceph osd crush rule create-replicated single-host default osd

for p in $(ceph osd pool ls); do
  ceph osd pool set $p crush_rule single-host
done

# 若仍有 1 个 PG 卡住，系统池可降为 1 副本：
ceph osd pool set device_health_metrics size 1
ceph osd pool set device_health_metrics min_size 1

ceph -s
# 预期：HEALTH_OK

4.8 步骤 7：为 OpenShift 预创建 Ceph 用户（可选，OCP 装完后亦可）

在 PVE 上创建专用客户端，供后续 Ceph CSI 使用：

1
2
3
4
5
6
7
ceph auth get-or-create client.openshift \
  mon 'profile rbd' \
  osd 'profile rbd pool=ocp-pool' \
  -o /etc/pve/ceph/openshift.client.openshift.keyring

ceph auth get client.openshift
ceph fsid

记录输出的 key 和 fsid，OCP 侧配置 StorageClass 时需要。

4.9 整体验证清单

1
2
3
4
ceph -s
ceph osd tree
ceph df
pvesm status
  • HEALTH_OK
  • 6 OSD up / in
  • ocp-pool active，可用容量约 2.9 TB（6×1.5T、3 副本）
  • Web UI Ceph → Status 全绿
  • Monitor :6789 可从 OCP 节点网段访问（nc -zv <PVE_IP> 6789）

4.10 CLI 备选（与 Web UI 等效）

1
2
3
4
5
pveceph install
pveceph init --network <PVE_CIDR>
pveceph mon create
pveceph osd create /dev/sdX    # 逐块替换 6 块 Ceph 盘
pveceph pool create ocp-pool --add_storages

存储与 lsblk 对应关系

Web UI Storage 类型 物理位置 用途
local dir 系统盘 / → /var/lib/vz ISO、模板
local-lvm lvmthin 系统盘剩余 thin pool 默认可用
vm-storage lvmthin LD2 整盘（~5.8T） VM 磁盘
ocp-pool rbd LD3 六块 OSD Ceph RBD，供 OCP PVC

常见问题

现象 处理
磁盘不在 OSD 下拉列表 确认盘无分区；Node → Disks → Wipe disk 后重试
误选系统/VM 盘 立即停止，勿继续建 OSD
OSD 创建失败 查看 Tasks 日志；journalctl -u ceph-* -n 50
PG undersized 执行单节点 CRUSH 规则（§4.7）
RAID10 显示 5.82TiB 而非 6.4TB 正常（TB vs TiB 换算）
OCP 节点连不上 Monitor 确认 PVE 防火墙放行 6789；OCP 经 NAT 能路由到 <PVE_IP>
Notice: 正常情况下，这里会有一个基于utteranc.es的留言系统，如果看不到，可能要想想办法才能看到。

Powered by Hexo and Hexo-theme-hiker

Copyright © 2012 - 2026 tiaobug.com All Rights Reserved.

鲁ICP备2024124237号-1