多台 GPU 接到同一台交换机，不会自动得到线性的多机推理加速。要先回答：瓶颈在单卡算力、并行切分方式，还是 节点间通信？在没测过 RDMA 与 NCCL 之前就买更贵的交换机，往往花冤枉钱。 下文针对一个常见规划场景：约 6 台 DGX Spark、现有 100G fabric、多机效率不理想、评估 200G RoCE（交换机端口 6～8 个即可）。性能数字以现场为准，这里给的是 测量顺序与选型检查项。 拓扑与前提123456+------------------+| 100G/200...
44GB 显存部署 Qwen：vLLM 下 AWQ、FP8 与 KV Cache 怎么选
单卡大约 44GB 可用显存 时，能不能跑起来某个 Qwen 模型，不能只看参数量。还要同时算清：权重占用、KV Cache、上下文长度、并发，以及 vLLM 自身的预留与碎片。 下文以 NVIDIA L40S（约 44.4 GiB）、模型 cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit、镜像 vllm/vllm-openai 为例说明调参思路。MoE 模型还要注意：总参数量 ≠ 每 token 激活参数量 ≠ 实际加载显存。 配置速查 项目 示例值 GPU ...
Hexo Hiker 主题：用 TagCloud.js 做 3D 标签云
标签页原来会把每个标签下面的文章全部展开。标签涨到两百多个之后，页面先是一长串标签，再接上一长串文章列表，翻下去很累。点某个标签本来就有独立页（/tags/Python/ 这种），总览页没必要再把文章重复列一遍。 这次把 themes/hiker/layout/tags.ejs 收成一个球面标签云：全部标签都在球面上，字号按文章数加权，点击跳到该标签的文章页。用的是 TagCloud.js（CodeBlanks 的 3D Tag Cloud 也是这套库），大约 7KB，不依赖 jQuery...
OpenShift 4.18 UPI on Proxmox — 单桥部署指南
在 Proxmox VE 上以 UPI + platform: none 安装 OpenShift 4.18：单网桥、单网段方案，所有 VM 仅连接 vmbr0（10.10.10.0/24），无需 NAT 或第二块网桥。 前置条件： PVE 与 Ceph 已按 上一篇 PVE 部署指南 完成。 本文采用单桥单网段方案；所有 VM 单网卡连接 vmbr0。 1. 概述与规划UPI + platform: none 项目 值 集群名 lab-ocp baseDomain e...
HP DL380 Gen11 上部署 Proxmox VE 与 Ceph — 操作指南
在 HP ProLiant DL380 Gen11 上划分 RAID、安装 Proxmox VE 9.x，并配置单节点 Ceph 作为 RBD 存储。本文以 10.10.10.0/24 管理网为例，供后续 OpenShift UPI 部署 使用。 文档范围： iLO 划盘 → BIOS → 安装 Proxmox VE → 配置 vm-storage + Ceph。 0. 环境信息iLO 项目 值 型号 HP ProLiant DL380 Gen11 主机名 i...
Hexo博客Hiker主题菜单栏布局与抖动问题修复
博客菜单栏的问题其实困扰我很久了。随着菜单项越来越多，又加入了开往（Travelling）友链按钮和搜索框，首页和内页的导航栏开始出现各种不协调：有的页面菜单被挤到第二行，有的页面加载时会从左往右晃一下。趁着今天把这些问题一次性梳理并修掉，记录一下原因和改法，方便以后回看。 问题一：内页菜单把搜索挤到第二行内页（存档、目录、标签等）使用的是 header-post.ejs，原先所有菜单项、开往按钮、搜索框都挤在同一个 <ul> 里，用 Bootstrap 默认的 float 布...
时隔半年终于进球，而且是帽子戏法
感觉有半年多没有进球了。在万达球场踢了好几个月，似乎一次也没有进过。重新搬回海诺后，发现这里像块福地——上一场已露出机会，这次终于开胡了。 比赛过程120 分钟的比赛里，上半场踢得还不错，但韩大腿状态太虚，所以没吃到饼。下半场后我被调整到后卫位置，比赛只剩十来分钟时，有队友提前离场。调整队形后，我感觉机会来了，便主动向何队申请再打十分钟的饼锋。 果然，机会出现就要抓住，勇敢的人先享受世界。 十分钟帽子戏法沉寂半年多的进球账户终于被打开。虽然进球过程不算特别精彩，甚至有些拙劣，但请欣赏这十分...
OpenShift Pod 重建后权限异常：一次 SCC 变更引发的问题
某个运行了两年多的 OpenShift 应用一直非常稳定。某次由于 Node OOM，Pod 被驱逐并重新调度到其他节点。原本以为只是一次普通的重启，结果 Pod 无法启动，日志中出现大量文件和目录权限错误。 由于应用镜像、PVC 和 OpenShift 版本均未发生变化，问题一开始比较难定位。 故障现象应用启动时出现类似错误： 123Permission deniedCannot create fileCannot write to directory 查看 Pod 信息发现： 老 P...
AI 各层级的易混淆概念
AI 领域概念越来越多，Assistant、Agent、Skill、Tool、Chain、RAG……名字相近、职责重叠，初学者很容易搞混。整理一份层级图，方便自己对号入座。 精简层级图1234567891011121314151617181920产品层└── Assistant（ChatGPT / Copilot）智能体层└── Agent ├── Planner ├── Memory ├── Tools └── Skills能力编排层├── Skill（流程封装）...
RAG 的技术路线研究
最近在研究 RAG，计划生成一个独立的文档支持系统。但总感觉 RAG 是个中间技术方案，不会太长久——模型上下文窗口在扩大，长文本理解能力在提升，检索增强的必要性可能会被重新定义。 Karpathy 的启发今天读到了 karpathy/llm-wiki.md，很受启发。里面梳理了 LLM 生态里各组件的定位和演进方向，对判断 RAG 在中长期技术栈中的位置很有帮助。 一点想法RAG 解决的是「模型不知道你的私有数据」这个问题。但在 Agent + Tool Calling 成...