HPCにおけるパラダイムシフト

バイスプレジデント
ティラク・アガワラ氏 スーパーコンピューターのトップ10に入るシステムは、3年半ごとに性能が約10倍向上してきました。コンピューターの世界では1965年以来、約2年ごとに性能が2倍になるというムーアの法則が知られています。ムーアの法則はCMOSプロセッサーの処理能力の向上が、バイポーラ・プロセッサーの3倍のペースで進むことを示し、CMOSが価格性能比で優位に立つことを予言しました。その予言どおり、現在ではほとんどのコンピューターがCMOSプロセッサーを採用しています。しかし、最近のプロセッサーの性能を観察すると、この法則どおりに性能が向上していないことが分かります。インテルが2002年に示したロードマップでは、平均年率35％で性能が向上すると予測していましたが、実際には15％しか性能は上がりませんでした。2005年だけを見ると、7％程度しか性能が向上していません。
IBMリサーチのシステム担当のバイスプレジデント、ティラク・アガワラは、CMOSプロセッサーがクロック周波数を上げて処理速度の向上を追求した結果、バイポーラ・プロセッサーのように原子炉と同等の発熱に達するという問題に直面していることを指摘しています。「バイポーラ時代には1平方センチあたりの消費電力が1990年まで指数級数的に増大して13ワットに達しましたが、CMOSプロセッサーは1990年代半ばからバイポーラと同じペースで電力消費量が上昇するようになり、2005年にバイポーラの限界と同等のレベルに達しています。私たちは現在、バイポーラと全く同じことが、CMOSでも起こることを経験したのです」と語っています。電気アイロンの1平方センチあたりの消費電力が5ワットですから、13ワットはかなりの発熱量になります。
近年ではクロック周波数を2002年以前の半分以下のペ ースでしか上げられなくなっていますが、それでも演算処理とデータ処理の能力に対する要求は今後も高まるばかりです。プロセッサーのクロック周波数を2年で倍にしても、メモリのDRAMのアクセス速度を倍にするには5年以上かかり、クロックとメモリ・アクセスの速度差がますます広がっています。また、プロセッサーが空回りする時間 が増加し消費電力は増大しますが、命令を実行する処理性能はそれほど向上しません。このため、複数のプロセッサーをワンチップ化したマルチコア・プロセッサーに、メモリ遅延の間に処理する仕事を増やすマルチスレッドを組み合わせて、処理能力を数倍に引き上げる技術が採用されるようになりました。それでも、能力向上に対する要求には追いつけませんので、従来より格段に多くのプロセッサーを束ねて、並列処理により総合能力を引き上げるしかありません。
アガワラは「消費電力と性能は比例するわけではありません。統計的に見て、低消費電力の小さなプロセッサーを使うことで、高いスケーラビリティを引き出すことはできるのです。私たちはチップ・レベル、サブシステム・レベル、システム・レベルだけでなく、アプリケーションやビジネスプロセスのレベルまで、どこまでモジュール化できるか調べ、標準の技術やプロトコルで利用できるシステムを追求しました。そして、電力効率を念頭において、アクセルレータで処理能力を向上する可能性をあらゆるレベルで検討しました」と語っています。
アガワラは1980年代にIBMリサーチの超並列コンピュータ(MPP)開発プロジェクトに関わり、1992年のIBM RS/6000 SP1以来の製品開発および米エネルギー省のASCI（Accelerated Strategic Computing Initiative）プロジェクトにおける大規模システムの実装を一環して率いてきた人物です。

ディープ・コンピューティング
開発研究所部長
西野清志 氏 ローレンス・リバモア国立研究所はSC┃05で、Blue Gene/Lで3次元分子動力学プログラム（ddcMD）を使い、超高温下のウランとタンタルの凝固現象を調べるため、5億2,400万個の原子のシミュレーションを行い、2005年のゴードン・ベル賞を受賞しました。トップ10リストで91テラFLOPSのLinpack性能をだして2位につけたIBMワトソン研究所のBlue Gene/Wは、網膜に含まれる受光色素ロドプシン（Rhodopsin）の43,000の原子の結合状態を画面上に3次元グラフィクスで再現し、動力学的に機能と周辺の物質との相互作用を調べることができるようにしました。
日本では東京・お台場近くにある江東区青海の産業総合研究所
生命情報科学研究センター（CBRC）が、2005年1月にAIST Blue Proteinシステムと呼ぶ4ラック構成のBlue Geneを導入し、タンパク質の立体構造予測やタンパク質と化合物のドッキング計算を行っています。このシステムは8,192個のプロセッサーコアを搭載して、22.8テラFLOPSのピーク性能をもち、18.2テラFLOPSのLinpack性能で2005年11月のトップ500リストの12位に入りました。タンパク質と化合物のドッキング計算は、新薬の開発に役立つ情報をもたらしますが、Blue Proteinは1日あたり3万ペアのドッキング計算を行うことができます。
スイス連邦工科大学（Ecole Polytechnique Federale de Lausanne）も、2005年6月に大脳新皮質の10,000のニューロン柱を形態学的および電気化学的にリアルタイムに表現するために、Blue Gene4ラック構成のEPFL Blue Brainを導入しました。EPFLでは過去10年以上かけて収集した脳の化学的データを使い、大脳新皮質のシミュレーションに取り組んでいます。脳全体をシミュレートするためには、10ペタFLOPSから1,000ペタFLOPSの処理能力が必要になると見られていますが、この研究は10年から15年かけてその目標に向けて踏み出すことになります。

Cell Broadband Engineを搭載した
ブレードサーバー 日本の高エネルギー加速器研究機構（KEK）は、素粒子のクォークの動力学的シミュレーションのために、2005年9月にBlue Geneの導入を決めました。KEKでは量子色力学（QCD: Quantum Chromo-dynamics）の計算を、飛躍的に高速化するためにBlue Geneを選択しました。このシステムは10ラック構成で2006年3月に稼働を開始しましたが、57.3テラFLOPSのピーク性能があり稼動時点では国内最高速のシステムです。
Blue Geneの最小構成は1,024ノード（2,048コア）ですが、日本IBMのディープ・コンピューティング開発研究所は132ノード（264プロセッサー）でノードあたりのメモリを1GBにした0.72テラFLOPSのBlue Gene/Sを設計しました。ビジネス向けのBlue Gene/Sは通常のオフィス環境で使える空冷設計になっており、9U（369ミリ）の高さで45センチ×65センチの床面積に設置できる小型のマシンです。IBM System p5™ などのSMPサーバーにBlue Gene/Sを接続して金融機関が行うシミュレーションを高速処理して、SMPサーバーに結果を返すことができます。

Cellプロセッサのブロック図
とチップ写真 トップ10リストで地球シミュレーターに次いで7位に入ったバルセロナ・スーパーコンピューター・センターのIBM MareNostrumは、2.2GHzのPowerPC970を搭載したIBMのブレードサーバーJS20をMyrinetで4,800台クラスタリングしたものです。PowerPC 970は、POWER4のアーキテクチャーをベースにして2003年に登場したシングルコアの64ビット・プロセッサーです。2005年7月に発表されたPowerPC 970MPはデュアルコア・プロセッサーで、グラフィック処理やHPCで活用されるSIMD（Single Instruction Multiple Data）向けの浮動小数点演算ユニットと命令セットを備えています。IBMは2006年3月に、PowerPC 970MPを搭載したブレードサーバーJS21を出荷しました。
JS21には2.7GHzの2-wayのモデル31Jと2.5GHzの4-wayのモデル51Jがあり、2-wayで17.65GFLOPS、4-wayで32.22GFLOPSのLinpack性能を発揮します。ブレードサーバーを格納する高さ9UのIBM BladeCenter® Hは、今年後半に従来の4倍の10Gbit Ethernetおよび10GbitのInfinibandスイッチを最大4台搭載できるようになります。PowerPC 970MPは、コアあたり1MBの2次キャッシュを備え最大16MBのメモリを搭載でき、プロセッサーとメモリ間の帯域幅が8.8GB/秒から9.6GB/秒と大きなデータ転送能力を備えています。
BladeCenter HにはJS21を14台格納することができ、1つのBladeCenter Hで最大56プロセッ サーによる450GFLOPSのLinpack性能を発揮することができます。42Uサイズのラックを使用すると、同じ床面積にJS21を84台（336プロセッサー）を積載できますので、ラックあたり2.7テラFLOPSのシステムを構成できることになり、10ラックほどでMareNostrum、13ラックで地球シミュレーターに匹敵するLinpack性能を実現できることになります。JS21モデル51Jの価格は639,000円ですので、約7億円で地球シミュレーター並のLinpack性能を実現するシステムができる計算になります。また床面積も少なくてすみます。

Cellの浮動小数点コア(上)と
パイプラインの構成図（下） IBMは2006年2月にさらに野心的なブレードサーバーを出荷する計画を明らかにしました。IBM、ソニー・コンピュータ・エンターテインメント（SCEI）、東芝が2001年3月から開発に取り組んできたマルチコア・プロセッサーのCellを搭載したHPC向けのブレードサーバーを2006年後半に出荷するという内容です。CellはソニーのPlayStation 3に搭載されることになっているプロセッサーです。
Cellは、90nm、SOI、low-k dielectric、銅配線というIBMの半導体製造技術を用い、PlayStation 2の100倍のパフォーマンスを実現するために、4億ドルの設計費を共同出資してテキサス州オースティンに開設されたSTI（SCEI-Toshiba-IBM）デザイン・センターで開発が進められてきました。CellのアーキテクチャーはPowerPCのコア（PPE）に8つの浮動小数点演算コア（SPE）を組み合わせたもので、PPEが同時2スレッド、各SPEが1スレッドを処理することにより、合計10スレッドの演算を同時に実行することができます。PPEは全てのロード／ストア命令を実行する固定小数点演算ユニット、浮動小数点演算を実行するベクトル・スカラー・ユニットを備え、128ビットのSIMD命令とデータフローを扱うことができます。SPEは256KBのローカルメモリ（SRAM）とDMA（ダイレクト・メモリ・アクセス）コマンドを発行するメモリフロー・コントロール・ユニットを備え、メインメモリのアクセス遅延の間でも、PPEとの間で非同期でデータを転送することができます。

マルチチップ構成にした
Cell Broadband Engine サーバー向けのCell Broadband Engineは、クロック周波数3.2GHzを目標にしており、16バンクに分割できるメインメモリと計算エレメントの総帯域幅は25.6GB/秒、そしてI/Oでもインバウンド35GB/秒、アウトバウンド40GB/秒の帯域幅になる予定です。Cell Broadband Engineはこのようなアーキテクチャーで、221平方ミリのワンチップで単精度浮動小数点演算で256GFLOPSのピーク性能を発揮し、4チップを密結合させて1テラFLOPSのブレードサーバーを設計できるようになっています。Cell Broadband EngineにはPOWER5やPowerPC 970MPと同じようにHipervisorが導入され、マイクロパーティションを設定して複数の異なるOSを同時に実行することができます。
Cell Broadband EngineのPPEはPowerPC互換のプロセッサーコアですが、SIMDマシンとして利用した場合に最も威力を発揮します。SIMDは1つの仕事の流れを処理するために必要な命令で構成されたプログラムを並列処理するアーキテクチャーで、1つの命令コントローラが複数の演算ユニットに同じプログラムで異なるデータを同時に計算させます。IBMでは、下記のようなCellのアプリケーション領域を想定しています。

IBM BladeCenter H 計算結果を求めることが最優先事項のHPCですが、近年では計算結果の可視化、さらにはアニメーションによる仮想世界をシミュレーションに活かして、条件を様々に変化させて分析しようとする傾向が顕著になっています。天体の動き、地球の気象、航空機などの設計、タンパク質の構造と機能分析、ナノマテリアルの開発などでは、仮想世界を活用した研究が盛んに行われています。ビジネスの世界でも物流と在庫の情報を世界地図の上でリアルタイムで把握したり、業績指標を定めて日々の活動を測定して、業績を視覚的に把握して業務を改善したり顧客満足度を向上するために、情報処理を活用しようとしています。
仮想世界で様々な動きを可視化して把握することは、新たな知見の発見と理解を迅速化する上で役立ち、問題の予防や対応力の強化につながります。ただ、動きがスムーズでリアルタイムに近い応答能力をもつ仮想世界を築くためには、可視化するために膨大な数値データを生成することになり、従来とは桁違いの高速計算とデータ転送能力が必要になります。Cell Broadband Engineを搭載したブレードサーバーは、ビジュアライゼーションなど単精度並列計算が得意とするアプリケーション領域で、処理時間とコストを最適化するうえで他では得られない有効なソリューションになるものと期待されています。