液体冷却技術: AIGC 時代のデータセンターの冷却課題への取り組み
Aug 28, 2024
ご伝言
人工知能生成コンテンツ (AIGC) の急速な発展により、コンピューティング能力の需要が爆発的に増加し、データセンターの電力消費と熱管理のニーズが急増しています。AI モデルのトレーニングと推論中に高いコンピューティング リソース要件が求められるため、サーバーの発熱が大幅に増加し、冷却技術の基準が引き上げられています。Colocation America のレポートによると、世界のデータセンターのキャビネットあたりの平均電力は 2020 年までに 16.5 kW に増加しており、2008 年と比較して 175% 増加しています。その結果、液体冷却技術がデータセンター冷却ソリューションの新たな焦点となっています。
今年のGTCカンファレンスで、NVIDIAはB200とGB200チップを展示しただけでなく、付随する液体冷却技術も強調しました。さらに、2024 SIEPR経済サミットで、NVIDIA CEOのジェンスン・フアンは、次世代DGX GPUサーバーが液体冷却を全面的に採用することを明らかにしました。NVIDIAの決定は業界のトレンドを設定し、液体冷却技術の開発に新たな勢いを注入しました。AI技術が進歩し続けるにつれて、液体冷却の重要性はますます明らかになっています。液体冷却技術は、データセンターのエネルギー消費を大幅に削減するだけでなく、サーバーの運用効率を高め、機器の寿命を延ばします。そのため、液体冷却は徐々にデータセンターの冷却ソリューションの優先課題になりつつあります。
I データセンターの冷却方法の比較
現在、データセンターの冷却システムは、主に空冷と液冷の2種類に分けられます。液冷技術は、空気を液体媒体に置き換えてサーバーの発熱部品と熱を交換し、熱を持ち去り、サーバーが最適な温度範囲内で安定して動作することを保証します。対照的に、空冷はファンと空調システムに依存して空気の動きによって熱を放散します。液冷は発熱部品を直接冷却し、空気よりも25倍の熱伝導効率、1,000〜3,500倍の比熱容量、空気よりも10〜40倍の対流熱伝達効率を実現します。したがって、同じ条件下では、液冷技術は冷却効率において空冷をはるかに上回ります。

▲ データセンター冷却システム

▲ 液体冷却技術と空冷
空冷と比較すると、液冷は冷却効率が高く、エネルギー消費量が少なくなります。高密度コンピューティング環境では、空冷システムでは冷却需要を満たすのに苦労することがよくありますが、液冷はこの課題に効果的に対処できます。さらに、液冷は低騒音や設置面積が小さいなどの利点があり、現代のデータセンターの高密度構成やグリーンエネルギー節約の要件に適しています。
II AI 時代の液体冷却開発を推進するものは何ですか?
1. コンピューティング チップの発熱量増加: 空冷は限界に達する
AI 技術の急速な発展に伴い、コンピューティング能力に対する需要は高まり続けており、チップの発熱と熱流密度が増加しています。チップが長時間高温で動作すると、そのパフォーマンスと寿命に悪影響が及び、故障率が上昇します。研究によると、チップの動作温度が 70-80 度に近づくと、10 度上昇するごとにパフォーマンスが約 50% 低下する可能性があります。
現在、Intel の CPU の熱設計電力 (TDP) は最大 350W、NVIDIA の H100 は 700W、将来の B100 は 1,5W に達する可能性があり、空冷の 800W 単一ポイント冷却限界に近づいています。コンピューティング チップの電力消費は増加し続け、CPU と GPU の電力消費は AI サーバーの総電力の約 80% を占めているため、空冷を引き続き使用すると、インロー空調のニーズが大幅に増加します。高密度冷却シナリオでは、液体冷却はコストとパフォーマンスの面で大きな利点があります。
チップ側とは別に、データセンターのキャビネットあたりの電力密度も上昇しています。従来の空冷は通常、12KWから15KWの範囲でキャビネットの冷却ニーズを満たします。2022年グローバルデータセンター調査レポートUptime Institute によると、1 台の NVIDIA DGX A100 サーバーの最大電力は 6.5KW で、標準的な 42U の高さのキャビネットには 5U の高さの AI サーバーを約 5 台収容でき、キャビネットあたりの総電力は 20KW を超えます。従来の空冷では、AI サーバー キャビネットの冷却ニーズを満たすことができません。
2. データセンターの省エネニーズの高まり:PUE要件の強化
PUE (電力使用効率) は、データ センターのエネルギー効率を評価するための重要な指標であり、次のように計算されます: PUE=データ センターの総エネルギー消費量 / IT 機器のエネルギー消費量。PUE 値が 1 に近いほど、データ センターのエネルギー効率は高くなります。逆に、PUE 値が高いほど、全体的な効率は低くなります。
統計によると、データセンターの電力消費は、IT 機器が 45%、冷却システムが 43%、電源および配電システムが 10%、照明およびその他の用途が 2% と、いくつかの部分に分かれています。このうち、空調システムのエネルギー消費は IT 機器に次いで 2 番目に大きいため、IT システムをアップグレードできない場合は、空調システムのエネルギー消費を削減することが特に重要になります。
「カーボンピーク」と「カーボンニュートラル」の達成という国家目標と「東のデータ、西の計算」戦略の文脈で、新たに発表されたグリーンデータセンター政府調達要求基準(試行)より厳しい PUE 要件を課します。この規格では、2023年6月以降、データセンターのPUEは1.4を超えてはならず、2025年までにPUEは1.3以下に抑えることが求められます。CDCCとInspur Informationのデータによると、空冷式データセンターのPUEは通常1.4~1.5ですが、液冷技術ではPUEを1.2以下に抑えることができます。そのため、よりエネルギー効率が高く効果的な液冷技術の採用がトレンドになっています。
データセンターのエネルギー消費は、特に世界的なエネルギー資源の制約と環境意識の高まりを背景に、長い間業界の注目を集めてきました。データセンターのエネルギー効率の向上は特に重要です。液体冷却技術は、より効率的な冷却ソリューションを提供することで、空調システムのエネルギー消費を削減し、それによってデータセンターの PUE 値を大幅に下げます。この技術は、運用コストの削減に役立つだけでなく、持続可能な開発目標に沿って炭素排出量も削減します。

▲ データセンターのエネルギー消費量
III 液体冷却技術の分類
液体冷却システムは、液体がハードウェアとどのように相互作用するかに基づいて、直接液体冷却と間接液体冷却に分類できます。直接液体冷却では、液体がハードウェア コンポーネントに直接接触して熱を伝達します。この方法は、さらに浸漬冷却とスプレー冷却に分けられます。浸漬冷却では、ハードウェア コンポーネント全体が液体に浸かりますが、スプレー冷却では液体がハードウェアに直接吹き付けられます。
一方、間接液体冷却では、中間コンポーネント (熱交換器や冷却プレートなど) を使用して熱を伝導し、液体がハードウェアに直接接触するのを防ぎます。一般的な間接液体冷却システムはコールド プレート液体冷却システムで、冷却媒体が相変化するかどうかに基づいて、単相コールド プレート冷却と 2 相コールド プレート冷却にさらに分けられます。

▲ 液体冷却方式の紹介
1. コールドプレートから浸漬コールドプレートへ
液体冷却技術は、発熱部品から冷却プレートを介して冷却液に熱を伝達し、冷却液がその冷却特性によって熱を放散します。このシステムでは、作動液が電子部品に直接接触しないため、コンピュータ システムの変更は最小限で済みます。元の空冷ヒートシンクは液体冷却キットに簡単に交換でき、冷却パイプはシャーシの外側に配線できます。この技術は、中程度から高い熱流束密度の冷却要件に特に適しています。
コールドプレート液体冷却システムは、主に冷却塔、冷却剤分配ユニット (CDU)、一次および二次液体冷却回路、冷却媒体、および液体冷却キャビネットで構成されています。一次回路は、二次回路から屋外環境または他の熱回収ユニットに熱を放出するループを指し、二次回路は、サーバーから熱を取り除き、一次回路を通じて放散するループを指します。2 つの回路は、CDU (冷却剤分配ユニット) を通じて熱を交換します。
コールドプレート液体冷却システムの動作原理は比較的単純ですが、実際のアプリケーションでは、コールドプレートの設計、冷却液の選択、およびシステムのメンテナンスについて考慮する必要があります。さらに、コールドプレート液体冷却システムは、高熱流束密度環境で非常に優れた性能を発揮するため、現代のデータセンターの高密度レイアウト要件に非常に適しています。

▲ コールドプレート液体冷却システムの概略図
浸漬液冷却システムは、発熱部品を非伝導性の冷却液に直接浸漬することで、効率的な放熱を実現します。冷却液が循環中に相変化するかどうかによって、浸漬液冷却は単相浸漬冷却と二相浸漬冷却に分けられます。
単相浸漬冷却では、冷却液は熱交換プロセス中に温度変化のみを受け、相変化は起こりません。熱伝達は、加熱されると液体が膨張し密度が減少するという特性を利用して、液体の顕熱変化のみに依存します。温度の高い冷却液は自然に上昇し、外部冷却ループの熱交換器によって冷却されます。冷却された液体はその後、重力で沈み、冷却サイクルが完了します。この方法では、冷却液はプロセス全体を通じて液体状態のままです。対照的に、2 相浸漬冷却では、冷却液は熱放散中に液体から気体への相変化を受け、その後気体から液体に戻ります。
浸漬液冷却システムには、屋内と屋外の両方のコンポーネントが含まれます。屋外側には、冷却塔、一次パイプライン ネットワーク、一次冷却液が含まれ、屋内側には、冷却剤分配ユニット (CDU)、浸漬タンク (キャビネット)、IT 機器、二次パイプライン ネットワーク、二次冷却液が含まれます。使用中、IT 機器は冷却液に完全に浸漬されるため、冷却液の選択では、シリコン オイルやフッ素化液体などの非導電性流体を考慮する必要があります。

▲ 単相浸漬液冷却の模式図
スプレー冷却は存在しますが、その用途は比較的限られており、高密度サーバーや大規模データセンターには適していません。短期的には、コールドプレート液冷は、その成熟度、既存システムとの互換性、メンテナンスの容易さ、および改造コストの低さから、AI時代の冷却ニーズや、データセンターの空冷から液冷への移行に非常に適しています。長期的には、優れた熱伝導性、効率的な廃熱回収機能、およびより高いキャビネット電力のサポートを備えた浸漬液冷が、将来のデータセンターの進化する冷却ニーズにより適したものになります。特に、キャビネットユニットの電力が増加し続けると、浸漬液冷はより効率的な冷却ソリューションを提供でき、データセンターの全体的な電力使用効率(PUE)の削減に役立ちます。
2. インテリジェントコンピューティングセンターに最適な選択肢 – 液体冷却
電力密度が増加するにつれて、新たに建設される GPU コンピューティング センターでは、液体冷却ソリューションが選択肢になりつつあります。IDC の「中国半期液体冷却サーバー市場 (H1 2023) トラッカー」レポートによると、中国の液体冷却サーバー市場は 2023 年に 15 億 1,000 万ドルに達しました。IDC は、2022 年から 2027 年にかけて、中国の液体冷却サーバー市場の複合年間成長率は 54.7% に達し、市場規模は 2027 年までに 89 億ドルに達すると予測しています。
インテリジェント コンピューティング センターに液体冷却技術を適用すると、コンピューティング パフォーマンスが向上するだけでなく、エネルギー消費と運用コストも大幅に削減されます。液体冷却技術の推進により、データ センターはより効率的で環境に優しく、インテリジェントな開発へと進み、AI 時代のデータ処理ニーズを満たす強固な基盤が提供されます。

▲ 液冷サーバー市場規模
点滴液冷却産業チェーン
液体冷却産業チェーンは、上流の製品部品サプライヤー、中流の液体冷却サーバーメーカー、下流のコンピューティングパワーユーザーという3つの主要なセグメントで構成されています。現在の下流ユーザーの中で、アリババなどの国内企業は単相浸漬液体冷却の開発に注力していますが、百度、テンセント、JD.comなどの企業は主にコールドプレート液体冷却を使用しています。海外では、浸漬冷却はコールドプレート冷却よりも進んでおり、Intel、Google、Metaなどの米国の大手企業が、特にAIサポートにより浸漬液体冷却の急速な発展を牽引しています。

▲ 液体冷却産業チェーン
V 液浸液冷却技術の潜在的な問題
1. 冷却剤の選択
冷却剤は液体冷却技術における重要な原材料の 1 つであり、高い技術的障壁があります。浸漬液体冷却技術では、冷却剤が電子製品に直接接触する必要があるため、優れた熱伝導性、良好な絶縁性、材料適合性など、冷却剤の性能に高い要件が課せられます。さらに、臭気、毒性、劣化のしやすさなどの環境特性も重要であり、冷却剤は可能な限りユーザーフレンドリーで環境に優しいものでなければなりません。
現在最も一般的に使用されている浸漬冷却剤には、炭化水素と有機ケイ素(鉱油など、一般に「オイル」と呼ばれる)およびフッ素化合物(フッ素化液体など)があります。フッ素化液体は全体的な性能が優れており、理想的な液体冷却材料と考えられています。ただし、フッ素化液体の主な課題は、コストが高いことです。環境保護要件がますます厳しくなる中、熱伝導率が高く密度が低いシリコンオイルも環境に優しいです。冷却媒体の選択は、主に冷却プロセスによって異なります。
2. 光路シーリングの問題
フッ素液体やシリコンオイルなどの冷却剤は優れた絶縁特性を持ち、回路の短絡を効果的に防止します。低周波信号条件下では、これらの冷却剤による信号伝送への影響は最小限です。ただし、高周波信号条件下では、冷却剤が信号伝送に与える影響を慎重に評価し、制御する必要があります。全体として、回路への影響は管理可能です。
光路に関しては、データセンターのほとんどの光モジュールは非密閉パッケージで設計されているため、適切な変更を行わないと、冷却剤が光キャビティに入り込み、光学性能に影響を与える可能性があります。密閉パッケージの場合でも、レンズなどの一部のパッシブ光路は密閉チャンバーの外側に残ります。
光路の設計は、通常、空気の屈折率(約 1.0)に基づいて行われます。光学部品を冷却剤に浸すと、冷却剤の屈折率が空気と異なるため、焦点と結合効率が変化する可能性があります。たとえば、フッ素油の屈折率は通常約 1.3 であり、この屈折率の変化により、光路設計パラメータの調整が必要になる場合があります。
浸漬液冷却が光路や電気路に及ぼす潜在的な影響に対処するため、業界では、冷却環境に適合した新しい光モジュールパッケージング技術の開発、高周波信号用の回路設計の最適化、浸漬冷却に適した光学材料や構造の研究など、さまざまな対策を講じています。
3. 統合配信と分離配信
現在、コールドプレート液冷サーバーには 3 つの配信モデルがあります。
① IT機器側は液冷サーバーのみ納品。
②IT側は「液冷サーバー+液冷キャビネット」を納品します。
③IT側は「液冷サーバー+液冷キャビネット+CDU+二次回路」を納品します。
3 番目の配信モデルである統合配信は、キャビネット全体を同じメーカーが統合設計と開発の独自定義標準で配信するもので、最も広く使用されています。分離配信では、キャビネットとサーバーが異なるメーカーから配信され、液冷キャビネットと液冷サーバー間のユーザー定義のインターフェイス設計仕様に従います。インフラストラクチャとサーバーのメーカーは調整と協力が必要です。分離配信は、拡張と柔軟な展開が容易です。

▲ コールドプレート液冷式サーバーデリバリーモードの差別化
現在、中国国内の液冷技術の標準化レベルは比較的低く、サーバー設備、冷却剤、冷凍パイプライン、電源製品はそれぞれ形状が異なり、統一されたインターフェース標準がないため、標準化と大規模適用には課題があります。国内3大通信事業者が発表したホワイトペーパーでは、液冷技術の3年間のビジョンを概説し、技術を徐々に検証・テストし、2025年までに液冷の大規模適用を開始する計画です。データプロジェクトの50%以上がこの技術を採用すると予想されており、液冷の標準化と大規模実装が促進され、分離配信がサポートされます。
