東工大スパコンTSUBAME-KFC/DLがスパコンの省エネ性能ランキングで世界2位を獲得

次世代TSUBAME3.0に向けたプロトタイプシステム、オイルによる冷却システムを備えた「TSUBAME-KFC/DL」^[用語1]がスパコンの省エネランキングGreen500 Listの2015年11月版において世界2位を獲得しました。

東京工業大学学術国際情報センター（GSIC）が、日本電気株式会社（NEC）、米国NVIDIA社など内外各社の協力で開発したスーパーコンピュータ「TSUBAME-KFC/DL」がスパコンの省エネランキングであるThe Green 500 List^[用語2]の2015年11月版において1ワットあたり5,331.79メガフロップス^[用語3]という値を記録し、世界2位になったことが11月18日に発表されました。低炭素社会の実現に向けた日米合同の技術リーダーシップを示したといえます。

液浸冷却を使用するTSUBAME-KFC/DLの計算ノード群

近年重要性が増している深層学習（Deep Learning）などを加速させるために2015年10月にTSUBAME-KFCに搭載されるGPU^[用語4]をTesla K20XからK80へアップグレードし大幅な処理速度向上を実現しています。このDeep Learningという言葉を加え、システム名をTSUBAME-KFC/DLと変更しています。主目的ではありませんが、新システムでGreen 500 Listの指標で再計測を行った結果、1ワットあたりの性能が約1000メガフロップスも向上していることが確認されました。TSUBAME-KFCは今回を含めて5期連続でGreen 500 Listの上位5位以内にランクされています（1位、1位、3位、5位、2位）。

TSUBAME-KFCはTSUBAME2.0の後継となるTSUBAME3.0及びそれ以降のためのテストベッドシステムとして、同センターが推進する文部科学省概算要求「スパコン・クラウド情報基盤におけるウルトラグリーン化技術」プロジェクトによって設計・開発されたものです。同プロジェクトではスーパーコンピュータの消費電力とそれに係る冷却電力の双方の削減を目標としており、TSUBAME-KFCでは計算ノードを循環する油性冷却溶媒液の中に計算機システムを浸して冷却する油浸冷却技術及び冷却塔による大気冷却の組み合わせによって非常に少ない消費電力で冷却できるように設計しています。

TSUBAME-KFC/DLシステムは42台の計算ノードとそれらを接続するFDR InfiniBandネットワークで構成されています。各計算ノードは1UサイズのサーバにIntel Xeon E5-2620 v2プロセッサ（Ivy Bridge EP）を2基、GPUとしてNVIDIA Tesla K80 ボード（1ボードあたり2GPUを搭載）を4ボード搭載しており非常に高密度になっています。また、42ノードを1つの油浸ラックに収容するコンパクトな設計になっています。システム全体の理論ピーク演算性能は倍精度で318テラフロップス、auto-boost機能を加味すると493テラフロップスになります。さらに単精度では951テラフロップス、auto-boost機能を加味すると1476テラフロップスと、1ラックあたりの性能が1ペタフロップスを超えています。

今回の結果は、東工大学術国際情報センターにおいて省電力化を目指して行われてきた種々の研究成果が結実したものと言えます。ウルトラグリーン化プロジェクトだけでなく、同センターにおける科学技術振興機構の戦略的創造研究推進事業（JST-CREST）における「ULPHPC（超低消費電力高性能計算）」「EBD：次世代の年ヨッタバイト処理に向けたエクストリームビッグデータの基盤技術」などの基礎研究プロジェクト、また米国NVIDIA社との数年来の共同研究プロジェクトにおいて、最新技術であるGPUのスパコンにおける大幅活用やHPCシステムの省電力化の研究などが続けられてきました。それらの成果をもとに、NECと米国NVIDIA社を中心に、米国Green Revolution Cooling社、米国Super Micro Computer社、米国インテル社、Mellanox社などが加わった企業と共同開発が行なわれました。