冷板式液冷标准化：PowerEdge 15G服务器散热杂谈 2022-08-17 服务器 暂无评论 2757 次阅读 这两天开始看到Dell EMCPowerEdge 15G服务器的技术规格、安装和服务手册，可以跟大家谈一些细节了。  上图就是液冷配置的PowerEdge R750 2U双路3rd Xeon Scalable服务器，本文就以该机型为例进行讨论。  安装冷板式液冷模块示意图 注意：上图中的导管都是带漏液检测的，其实早在至少5年前Dell就开始重视液冷导管的漏液检测了。 风冷散热支持270W CPU的限制 我们先来看一下风冷散热器（CPU散热片）的情况： 图片点开后可缩放，以下同 如文档所示，1U高度的标准散热片支持不高于165W CPU的散热；2U高度的高性能散热片支持165W以上CPU。由于有些情况下GPU全长卡与高尺寸散热片干涉的问题，同时为了更好地保证各自风道，对于具有GPU的所有TDP（CPU），这里均使用T型散热片（图片可参考我在前文中列出的AMD服务器机型PowerEdge R6525）。  风冷散热的PowerEdge R750，可以支持在35℃进风温度下配置270W CPU，当然不可能完全没有限制。比如在12个3.5英寸驱动器，特别是再加上背面的2.5寸盘，环境温度就可能要降低到30℃。 上面图表只是第一部分——“带有≤64 GBRDIMM（非GPU）的散热限制值”，接下来还有如下几个表格，具体的大家可以看文档，就不在此逐一列出了： -带有128 GB LRDIMM（非GPU）的散热限制值表 -带有256 GB LRDIMM（非GPU）的散热限制值表 -带有BPS +≤128 GBDIMM（非GPU）的散热限制值表 -带有BPS + 256 GB LRDIMM（非GPU）的散热限制值表 -带有≤128 GBDIMM (GPU)的散热限制 -通过BPS +≤128 GBDIMM (GPU)进行散热限制 注：BPS就是指IntelOptane Persistent Memory（傲腾持久内存）  在配置270W CPU的同时，风冷的PowerEdge R750可以支持2个NVIDIA A100或者6个T4 GPU卡，此时前面板也不能是12个3.5英寸驱动器（进风量不满足）。另外，单条DRAM内存容量不能超过128GB。如果再加上BPS（Optane DIMM），限制则会更多一点。 由于服务器背面的驱动器进风温度较高，因此部分功耗较高的NVMe SSD在CPU风冷散热情况下不能放在这个位置（液冷则无此限制，见下图）。Dell应该是把已经测试过的情况都注明了。 还记得我之前写过“OCP QSFP（网卡部分）的spec温度上限105℃”，有位同行朋友指出有些SFP模块支持的温度没有这么高。如上图，受影响的还有网卡的活动光纤线缆（AOC）。 液冷（CPU冷板散热）优势：还是密度和PUE？  如上表，当把PowerEdge R750服务器的CPU改成冷板式液冷之后，系统的散热限制表都简略了许多。 首先，270W或者较低功耗的CPU已经没有影响了，这里可以顺便展望下一代服务器的350W CPU。 此外，由于CPU的热量通过金属管内的液体（水）带走，余下GPU等配件的散热压力和限制也放松了——比如GPU + BPS +大容量LRDIMM这样在全风冷下不支持的配置。  如上图，ASHRAE A3和A4分别对应40℃和45℃的环境（进风）温度。我们看到当风冷散热情况下，PowerEdge R750在40℃时支持的CPU TDP降到165W；45℃时进一步降低到120W。 而在（冷板式）液冷配置时完全没有这点限制了，就是说即使在45℃高温环境下，2颗270W CPU也能照样用。 就先分享到这里吧，我引用的参考文档可以从Dell官网查看/下载，希望对大家有帮助：） 转自https://xw.qq.com/cmsid/20210514A015JW00 标签: r750 本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。