HP DL380 Gen11 上部署 Proxmox VE 与 Ceph — 操作指南

2026-07-27 Tech

在 HP ProLiant DL380 Gen11 上划分 RAID、安装 Proxmox VE 9.x，并配置单节点 Ceph 作为 RBD 存储。本文以 10.10.10.0/24 管理网为例，供后续 OpenShift UPI 部署使用。

文档范围： iLO 划盘 → BIOS → 安装 Proxmox VE → 配置 vm-storage + Ceph。

0. 环境信息

iLO

项目	值
型号	HP ProLiant DL380 Gen11
主机名	ilo-host
管理 IP	`https://10.10.10.200`

PVE 主机 pve-host-1

项目	值
主机名	`pve-host-1`
管理网卡	`nic0` → `vmbr0`
IP / 网关 / DNS	`10.10.10.41/24` / `10.10.10.1` / `10.10.10.3`
Web UI	`https://10.10.10.41:8006`
SSH	`ssh -i deploy-key.pem root@10.10.10.41`
PVE 版本	9.2.4（kernel 7.0.14-4-pve）
CPU	2× Intel Xeon Gold 5520+，112 逻辑核
内存	1.0 TiB

1. 阶段总览

阶段	内容	状态
Phase 1	iLO 划盘 + BIOS	—
Phase 2	安装 Proxmox VE	—
Phase 3	LD2 `vm-storage` + LD3 Ceph	—

2. Phase 1 — 磁盘规划与 iLO 配置

16 × 1.6 TB SSD（Slot 14 外置盘箱 MR416i-o Gen11）

Box 2 (Port 1)              Box 3 (Port 2)
Bay1 Bay2 │ Bay3────Bay8    Bay1-2  │ Bay3────Bay8
[RAID1 ]  │ [──RAID10──]             │ [6×直通]
 LD1 OS   │    LD2 VM                 │  LD3 Ceph

逻辑卷	RAID	盘位	可用容量	MR 命名	用途
LD1	RAID1	Box2 Bay1+2	~1.5 TiB	PVE-OS	PVE 系统盘
LD2	RAID10	Box2 Bay3~~8 + Box3 Bay1~~2	~5.82 TiB	PVE-VM	VM 磁盘（`vm-storage`）
LD3	RAID0 ×6	Box3 Bay3~8	6 × ~1.5 TiB	CEPH-01~06	Ceph OSD

容量说明： 厂商标称 1.6 TB（十进制），OS 显示 TiB（二进制）。8 盘 RAID10 可用 ≈ 5.82 TiB，属正常现象。
跨盘箱 RAID10： LD2 横跨 Box2 与 Box3，Lab 可接受；盘箱/线缆故障会影响整块 LD2。

2.1 进入 MR Storage Administrator

浏览器打开 iLO → Remote Console & Media → Integrated Remote Console（HTML5）
重启服务器，POST 画面按 F10 → 选 MR Storage Administrator（不要选 SR Storage Administrator）
选择 Slot 14 控制器 → Array Configuration

2.2 创建 LD1 — RAID1（PVE-OS）

Create Array，勾选 Box2 Bay1 + Bay2
RAID Level：RAID 1，Size：Max，Name：PVE-OS
确认状态 OK

2.3 创建 LD2 — RAID10（PVE-VM）

勾选 8 块盘：Box2 Bay3~~8 + Box3 Bay1~~2
RAID Level：RAID 1+0，Size：Max，Name：PVE-VM
完成后约 5.82 TiB

2.4 创建 LD3 — 6 块 Ceph 盘（单盘 RAID0）

HPE 控制器无原生 JBOD，每块盘单独建 RAID 0，重复 6 次：

盘位	命名
Box3 Bay3~8	CEPH-01 ~ CEPH-06

完成后共 8 个 Logical Drive（LD1 + LD2 + 6×CEPH），无 Unassigned Drive → Reboot。

2.5 BIOS 设置（F9 RBSU）

选项	值
Boot Mode	UEFI Only
Secure Boot	Disabled
VT-x / VT-d	Enabled
Hyperthreading / Turbo Boost	Enabled
Power Profile	Maximum Performance

安装 PVE 时 UEFI Boot Order 将虚拟光驱置于 PVE-OS 之前；装完后改回硬盘第一。

3. Phase 2 — 安装 Proxmox VE

iLO Virtual Media 挂载 Proxmox ISO → 重启从光驱引导
Target Harddisk：只选 PVE-OS（~1.5 TiB RAID1），不要格式化 PVE-VM 和 CEPH 盘
网络配置：

项目	值
网卡	`nic0`（安装向导中可能显示为 `ens1f0np0`）
主机名	`pve-host-1`
IP / 网关 / DNS	`10.10.10.41/24` / `10.10.10.1` / `10.10.10.3`

完成安装 → 断开虚拟光驱 → 重启

装完后验证

ssh -i deploy-key.pem root@10.10.10.41

pveversion
# 预期：pve-manager/9.2.x

lsblk
# 预期（以容量识别，设备名因枚举顺序而异）：
#   ~1.5T 有 pve-root/pve-swap 分区  → LD1 PVE-OS
#   ~5.8T 无分区                     → LD2 PVE-VM
#   6×~1.5T 无分区                   → LD3 CEPH

实测设备映射（2026-07-22）：

设备	容量	用途
`sdh`	1.5 TiB	LD1 PVE-OS（`pve-root` / `pve-swap` / `local-lvm`）
`sdg`	5.8 TiB	LD2 PVE-VM（`vm-storage`）
`sda` ~ `sdf`	各 1.5 TiB	LD3 Ceph OSD ×6

4. Phase 3 — 存储配置

4.1 LD2 → `vm-storage`（LVM-Thin）

Node → Disks → 选中 ~5.8 TiB 那块盘（LD2）→ Wipe disk → GPT → LVM → VG 名 vm-storage → LVM-Thin
Datacenter → Storage → Add → LVM-Thin

ID：vm-storage
VG：vm-storage，Thin Pool：data

1 2	pvesm status \| grep vm-storage # 预期：vm-storage lvmthin active ~5.8T

4.2 LD3 → Ceph 集群（Web UI）

前置确认

1	lsblk # 6 块 ~1.5T 无分区盘，勿碰系统盘和 vm-storage 盘

安装步骤

Node → Ceph → Install Ceph（Repository 选 No Subscription）
Configuration：Public / Cluster Network 均填 10.10.10.0/24（单节点 Lab）
Monitor → Create: Monitor（Host: pve-host-1）
OSD → 对 6 块 Ceph 盘各 Create: OSD（勾选 Enable discard）
Pools → Create：

Name：ocp-pool
Size：3，Min.Size：2
勾选 Add as Storage

单节点 CRUSH 规则（必做）

ceph osd crush rule create-replicated single-host default osd

for p in $(ceph osd pool ls); do
  ceph osd pool set $p crush_rule single-host
done

# 若 device_health_metrics PG 仍 undersized：
ceph osd pool set device_health_metrics size 1
ceph osd pool set device_health_metrics min_size 1

ceph -s    # 预期 HEALTH_OK

CLI 备选

pveceph install
pveceph init --network 10.10.10.0/24
pveceph mon create
pveceph osd create /dev/sdX    # 逐块替换为 6 块 Ceph 盘
pveceph pool create ocp-pool --add_storages

4.3 常见问题

现象	处理
磁盘不在 OSD 下拉列表	确认无分区；Wipe disk 后重试
误选系统盘 / vm-storage 盘	立即停止
PG `undersized+peered`	执行 §4.2 单节点 CRUSH 规则
OSD 创建失败	查看 Web UI Tasks 日志

5. 最终验证

在本地执行：

1	ssh -i deploy-key.pem root@10.10.10.41 "pveversion; pvesm status; ceph -s"

PVE 版本

1	pve-manager/9.2.4/5e5ae681198514d4 (running kernel: 7.0.14-4-pve)

存储状态

PVE Storage	类型	总量	已用	状态
`vm-storage`	lvmthin	5.82 TiB	5.04%	active
`ocp-pool`	rbd	2.83 TiB	0.00%	active
`local-lvm`	lvmthin	1.31 TiB	0.00%	active
`local`	dir	94 GiB	12.75%	active

Ceph 集群

health: HEALTH_OK
mon: 1 daemons, quorum pve-host-1
mgr: pve-host-1 (active)
osd: 6 osds: 6 up, 6 in
pools: ocp-pool (size 3, min_size 2, crush_rule single-host)
raw: 8.7 TiB avail
version: ceph version 20.2.2 (tentacle)

OSD 分布

1	osd.0 ~ osd.5 各 1.45 TiB SSD，均在 host pve-host-1，状态 up

网络

1
2
3

vmbr0: 10.10.10.41/24 (nic0)
gateway: 10.10.10.1
DNS: 10.10.10.3

Notice: 正常情况下，这里会有一个基于utteranc.es的留言系统，如果看不到，可能要想想办法才能看到。