vSAN推荐的IO控制器的配置方式 2021-03-18 虚拟化 1 条评论 3665 次阅读 本文有几个关键词:不支持、推荐、不推荐,注意之间的细微区别。 1)不支持,指别这么做,否则出问题,没人支持你。因为你没有按照兼容列表的推荐去规划; 2)推荐,指最好这么做,这是最佳实践; 3)不推荐,可以这么做,也在兼容列表内,出问题也能得到支持。只是可能有点风险,例如ESXi Host的存放可能是单点,好在这个单点其实问题并不大。 ---Begin--- vSAN 作为 VMware 公司超融合架构软件(HCIS),部署在标准的 X86 服务器上,为用户提供了服务器品牌、型号选择上的灵活性,不受硬件厂商绑定。出于对 vSAN 的稳定性、性能、数据安全性的考虑,vSAN 对服务器的 I/O Controller(或称 RAID 控制器)、SSD、HDD、固件和微码都有严格的兼容性要求。 目前在 vSAN 的环境中采用 DELL PowerEdge R730/R730xd的服务器越来越多,同时,这些可能也是大家诟病最多的机型。不过辩证的看,其实也说明 vSAN 也即这些服务器的装机量比较大。其实用户数大导致问题出现相对较多也是一种正常的现象,装机量小的 HCI 或者服务器,并不意味着就没有问题,对于用户而言,潜在的问题如果没有机会充分暴露,导致的潜在风险可能更大。 当然,有些客户也可能会说之前部署的时候就没有遵守兼容列表,用着也没有问题啊,怎么用一段时间就出问题了呢?这可能是因为,之前的数据量小,或者运行时间不够长,并没有导致软件驱动和固件不稳定。还有一种可能,可能刚开始运行的应用不重要,没注意到问题的存在。 从用户反馈的问题上来开,一般分为 2 种情况: 1、有些组件不在兼容列表内 虽然采用的硬件在 vSAN 的兼容列表内,但是其使用的 ESXi 版本以及驱动、固件版本未在兼容列表内。vSAN 的兼容列表网址是: http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan 例如,下图所示:ESXi 版本对应不同 I/O Controller 模式,其 Device Driver 和 Firmware Version 也可能各不相同。 ![vsan-io-1.png](https://blog.moper.net/usr/uploads/2021/03/1439751822.png) 2、I/O Controller 使用模式不正确 这里举出常见部署 vSAN Ready Node 的型号: DELL PowerEdge R730/R730xd中 I/O Controller 的配置模式,其他 Ready Node 配置方式请准守 vSAN 兼容列表要求进行配置。 DELL PowerEdge R730/R730xd 这款服务器通常出厂配置的 I/O Controller 为 DELL H730 Mini ,最大硬盘插槽 24 个 2.5" LFF 槽位,或者 12 个 3.5" LFF 槽位 ,当前 R730 仅支持插入 1 块 I/O Controller,R730xd 支持插入 2 块 I/O Controller。 当前用户实际部署通常有如下几种设计方式(注意,以下 6 个 Solution 有些是不正确的,不正确的,不正确的姿势): ![vsan-io-2.png](https://blog.moper.net/usr/uploads/2021/03/328356148.png) 我们先来访问 http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio 来查看一下,这款 I/O Controller 支持的模式: ![vsan-io-3.png](https://blog.moper.net/usr/uploads/2021/03/2564527489.png) Solution 1 ![vsan-io-4.png](https://blog.moper.net/usr/uploads/2021/03/864652312.png) 这种方式看上去是很完美的,ESXi 做了 RAID 1 实现冗余,vSAN 磁盘采用 vSAN 推荐的 Pass-Through 的模式,但很抱歉的是 Solution 1 这种方式是不受官方支持的模式配置。 在 vSAN 兼容列表内查询到该 I/O Controller 在全闪存(All Flash)和 Hybrid(混合模式)下仅支持 Pass-Through 模式。大家知道,《vSAN_6.0 设计和优化指南》明确指出过:不要为 vSAN 和非 vSAN 磁盘混合使用不同的控制器模式。 相关 KB 说明:《拥有同一存储控制器的 VSAN 和非 VSAN 磁盘的最佳使用实践》 https://kb.vmware.com/kb/2135390 Solution 2 ![vsan-io-5.png](https://blog.moper.net/usr/uploads/2021/03/2901071737.png) 用户或集成商配置的时候自己看到过或者听其他人说过,不要为 vSAN 和非 vSAN 磁盘混合使用不同的控制器模式,并且还打算为 ESXi 做了 RAID1 实现冗余,采用了 I/O Controller 配置 RAID 的模式。这种模式是不受到支持的,首先,在兼容列表内并没有支持 RAID 的相关信息(看兼容列表的 Feature,列出的只有 Pass-Through)。其次,vSAN 的最佳实践也是强烈建议采用 Pass-Through(也即直通)的方式。直通模式对于 vSAN 后期的监控和运维都比 RAID 模式要好。 Solution 3 ![vsan-io-6.png](https://blog.moper.net/usr/uploads/2021/03/808504126.png) ESXi 采用通过增加一个 I/O Controller 进行安装,vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接,这种方式是受到 VMware 官方支持的,但是需要注意的是,R730 是不能插入 2 块 I/O Controller ,该解决方案仅能在 R730xd 这种支持两块 I/O Controller 的型号上使用。 注意:R730xd 配置 2 块 I/O Controller 具体连接、配置、限制等信息,请联系 DELL 进行咨询确认。 Solution 4 ![vsan-io-7.png](https://blog.moper.net/usr/uploads/2021/03/2035521259.png) ESXi 采用双 SD 卡方式进行安装,vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接,这种方式是 DELL 推荐的一种方式,同时,我们也可以到 DELL vSAN Ready Node 中也是这样推荐的配置。当然采用 SD 卡安装 ESXi 的话,需要手动指定 LOG 存储的永久位置,不要把主机的日志输出指向 vSAN Datastore,当主机内存大于 512G 时,可采用 SATADOM 的解决方案。 关于日志的 3 个解决方案: 存储在永久存储中(KB1033696) 存储在 Syslog 服务器中(KB2003322) 存储 vRealize Log Insight 服务器中(KB2144909) 关于 DELL 双 SD 卡的解决方案说明: http://www.dell.com/downloads/global/products/pedge/en/poweredge-idsdm-whitepaper-en.pdf [poweredge-idsdm-whitepaper-en.pdf](https://blog.moper.net/usr/uploads/2021/03/507555392.pdf) DELL R730xd vSANReady Node 配置: ![vsan-io-8.png](https://blog.moper.net/usr/uploads/2021/03/2799303466.png) Solution 5 ![vsan-io-9.png](https://blog.moper.net/usr/uploads/2021/03/2653534982.png) 整张 I/O Controller 采用 Pass-Through 模式,并在其中选择一块 HDD 用于 ESXi 的安装,VMware 不支持在该型号的 I/OController 上同时配置 vSAN 磁盘和 VMFS 卷,安装完 ESXi 后创建的 Datastorage 需要禁用。该方式是受到支持的,但是 ESXi 属于单点存储。不过,大家都知道,ESXi 运行后都加在到内存里了,而且得益于 vSphere 的集群高可用,这种单点的风险并不大。 相关 KB :《在采用 lsi_mr3 驱动程序的 Dell H730 控制器上运行 VMware vSAN 和VMware vSphere VMFS 数据存储的部署准则》 https://kb.vmware.com/kb/2141107 Solution 6 ![vsan-io-10.png](https://blog.moper.net/usr/uploads/2021/03/3821406090.png) ESXi 采用单 SD、U 盘、SATADOM 等其他方式进行安装,vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接,当然采用 SD 卡安装 ESXi 的话,需要手动指定 LOG 存储的永久位置,请不要把主机的日志输出指向 vSAN Datastore。该方式是受到支持的,但是由于 ESXi 属于单点存储。 关于日志的 3 个解决方案: 存储在永久存储中(KB1033696) 存储在 Syslog 服务器中(KB2003322) 存储 vRealize Log Insight 服务器中(KB2144909) 该方式是受到支持的,但是由于 ESXi 属于单点存储。 6 种配置方式的总结 VMware 极力推荐并支持 Solution 4,如果服务器是 R730XD,支持 Solution 3;不支持Solution 1 和 Solution 2; VMware 不推荐 Solution 5 和 Solution 6。注意不推荐的原因是 ESXi 属于单点,但仍可使用,出问题 VMware 也是支持的。 作为业界首个原生 vSphere 存储,vSAN 能够将虚拟化技术无缝扩展到存储领域,从而创建一个与现有工具、技能组合、软件解决方案和硬件平台轻松兼容的超融合解决方案。各行各业中有超过 7,000 家各种规模的客户依靠 vSAN 来简化 IT 基础架构,并运行从关键业务应用到虚拟桌面的各种企业级工作负载。 转自https://blog.51cto.com/liuhongliang/1924339 标签: vsan, io 本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。
哈哈,都是技术文。