掲載日 2011年7月25日
東北大学ニュートリ
ノ科学研究センター国立大学法人東北大学（以下、東北大学）のニュートリノ科学研究センターでは、新たな研究プロジェクトを開始するに当たり、より効率的に研究を推進するため、ITシステムの見直しを図りました。そして、IBMの分散共有ファイル・システムGeneral Parallel File System（以下、GPFS）、高密度設計により高い処理能力を発揮するIBM System x iDataPlex、およびIBM System Storage DCS9900（以下、DCS9900）などを導入し、システムを刷新。従来ボトルネックになっていたアクセス集中時のパフォーマンス劣化が劇的に改善され、旧システムに比べ17倍以上の処理速度を実現しています。
目次
お客様ニーズ
ニュートリノ科学研
究センター
センター長
教授
博士（理学）
井上 邦雄氏
物質の根源を構成するニュートリノを研究するため、新プロジェクトを発足
東北大学は、東京帝国大学、京都帝国大学に続く3番目の帝国大学として1907年に創立（当時は東北帝国大学）されました。以来「門戸開放」と「研究第一主義」という建学の理念を掲げながら世界最高水準の研究・教育を創造し、研究の成果を社会が直面する諸問題の解決に役立て、指導的人材を育成することによって、平和で公正な人類社会の実現に貢献することを使命としています。
東北大学が積極的に取り組んでいる研究分野の1つとしてニュートリノ研究が挙げられます。ニュートリノとは物質を構成する最小単位の素粒子の1つで、太陽や地球、原子力発電所などから大量に発生しているものです。ニュートリノは地球や宇宙を構成する究極の物質なので、ニュートリノの性質を明らかにすることができれば、自然の究極の姿に迫ることが可能になると期待されています。
このニュートリノ研究の意義について、東北大学 ニュートリノ科学研究センターセンター長 教授 博士（理学） 井上 邦雄 氏は次のように語ります。
「物質を構成する素粒子の中ではニュートリノが宇宙で一番数多く存在しています。従って、宇宙が誕生して、今のような世界ができるまでのいきさつには、ニュートリノが大きくかかわっているのだろうといわれています。一方で地球の内部に関する数多くの謎を解明するためにもニュートリノ研究が鍵を握っているといえます。地球内部のコアやマントルがなぜ今のように構成されたのか、地磁気はどのようなメカニズムで発生するのかなどといった謎を解くためには、地球内部の熱源について調べなければなりません。理論的予測ではこの熱源の半分程度は放射性物質によるものだといわれていますので、そこから発生しているニュートリノを観測することが有効になるのです。このようにニュートリノを研究するということは、宇宙を知ること、地球の内部を知ることにつながると期待されています」。
東北大学では、ニュートリノの研究を行うため、独自の研究施設KamLANDを運営しています。
「ニュートリノ研究の施設としては、スーパーカミオカンデが有名ですが、東北大学では独自の研究を推進するためにKamLANDという新しい実験施設を造りました。KamLANDは規模こそスーパーカミオカンデよりも小さいのですが、液体には純粋水ではなく液体シンチレーターという精製されたオイルの混合物を使っているので、より低いエネルギーのニュートリノの観測が可能になります」（井上氏）。
東北大学では、このKamLANDにおいて新たな研究課題に取り組むため「ニュートリノを伴わない二重ベータ崩壊の探索」というプロジェクトを2011年より立ち上げることが決まりました。
このプロジェクトは、なぜ宇宙には物質しかないのかということと、なぜニュートリノはごく軽い質量を持つのかという2つの謎を解き明かすことを目的としています。この2つの謎を解明する手掛かりとして、1つの仮説が提唱されていて、長年にわたって議論されています。それは、電荷を持たないニュートリノは、反ニュートリノとニュートリノが同一であり、進行方向に対する回転の向きだけで区別されるというものです。この仮説を裏付けるためには、ニュートリノを伴わない二重ベータ崩壊を発見することが必要であり、本プロジェクトはその現象を見つけるために、KamLANDで質量数136のキセノン*1同位体の二重ベータ崩壊を観察するものです。
*1キセノン：原子番号54の元素で、希ガス元素の1つ。9種の同位体を持つ。
ソリューション
膨大なデータを素早く処理するためITインフラの刷新を検討
新しいプロジェクトでは、1日当たり約800GBもの観測データが蓄積されます。二重ベータ崩壊を見つけるためには、このデータをすべて詳細に分析する必要があります。そのためには、従来のシステムでは、パフォーマンス的な課題があったと井上氏は言います。
「わたしは1998年からニュートリノ科学研究センターのITシステムを担当していました。当初はワークステーションを活用するという方向性でITシステムを整備していましたが、大量のデータを蓄積し続けるシステムにはワークステーションではパフォーマンスに限界がありました。そのため高い性能を保持するサーバーと階層型のストレージで大量のデータを管理し、計算用のマシンとしてワークステーションを活用するスタイルを基本としていました。この構成をベースに、随時新しいものを取り入れることにより、常に高いパフォーマンスのシステムを求めてきました」。
このような変遷を経て、同研究センターでは2006年にはIBM pSeriesをメインのサーバーとしたシステムを導入しました。このシステムは順調に稼働していましたが、幾つかの課題が見いだされてきました。
「pSeriesサーバーそのもののパフォーマンスには大変満足していたのですが、システム全体としては幾つかの課題を抱えていました。その最大のものは計算用のサーバーからデータ・サーバーへのアクセスが集中した際のパフォーマンスの劣化です。これはネットワークの負荷や分散システムへのファイル・システムの組み込み方などのさまざまな問題によるものだと思います。2つ目として、増え続けるデータに対して記憶容量をいかに大きくできるかということも常に課題になっていました。さらに3つ目の課題として、解析プログラムの更新に伴う処理作業量の増大にも対応しなければなりませんでした。最後に、解析プログラムは自前で作成しているものですが、常に改良を加えています。そして改良した際には、その都度過去のデータにさかのぼって処理し直さなければなりません。そうした場合、1日分のデータを何分で処理できるかということが重要になります。つまり研究内容の進化に伴い、年々システムの性能に対する要求は高まっているということも課題となっていたのです。こうした課題については、新しい研究プロジェクトが開始されることが決まり、その解決の必要性はより高まってきました。そこで、ITインフラの刷新の検討を開始しました」（井上氏）。
分散ファイル・システムGPFSなどを採用し、集中アクセスに対する高速処理を実現
新しいシステムの導入に当たっては、複数のベンダーから提案がありました。そうした中、株式会社アイティークルー（以下、アイティークルー）（IBM外のWebサイトへ）による強力な支援の下、日本 IBMから、分散共有ファイル・システムGPFSの活用による集中アクセスに対する高速処理の実現を軸とした画期的なソリューションが提案されました。
GPFSは、複数GPFSサーバーからなるクラスター構成を取り、1つのファイルを複数のサーバーディスクに分散配置しますので、並列読み書きにより高速IOが実現でき、同時読み書きが可能になります。また処理能力はサーバーの台数およびストレージの数を増やすだけで増強可能です。
観測データを蓄積するストレージとしては、ストリーミング入出力に最適なハイパフォーマンス・コンピューティング向けのDCS9900を組み込み、大量のデータ蓄積に対応できるように配慮しました。
さらに新システムの計算用サーバーとしては、IBM System x iDataPlexを提案しました。System x iDataPlexは、高密度設計により高い処理能力を省スペースに収め、低消費電力*2を実現します。
この提案に対する評価ポイントについて、井上氏は以下のように説明します。
「パフォーマンス面では、GPFSを導入することにより期待されるパフォーマンスに対して、高い評価をしました。サーバーの計算速度や記憶容量に関するわたしたちのニーズを満たすためにはスペックの高いマシンを用意すればいいのですが、集中アクセスへの対策はそれほど簡単ではなく、特別な仕組みが必要だと思っていました。そこで提案されたGPFSは、まさにそのニーズを満たすものだと思いました。さらにそうした最先端の技術を導入することは、学生に対する教育環境が整備されるということも評価点としては大きかったですね。また今回のシステム更改に当たっては、これまで蓄積してきた膨大なデータを新しいシステムに移す作業が必要だったのですが、日本IBMから提案された移行計画は一番現実味があったのではないでしょうか。もちろん最終的な判断は正式な手続きを経て日本IBMを選択したため、これらの評価が判断結果に影響を及ぼしたわけではないのですが、以前よりIBMのマシンを活用している経験から、IBMの運用に対する信頼感は抱いていましたので、この結果は運用面からも安心できる材料となりました」。
*2最新のインテルXeonプロセッサー搭載の1Uサーバーと比べた場合、同等の構成で同じ台数のiDataPlexに置き換えるだけで、消費電力を約2,500ワット削減。
導入効果
従来のシステムに比べて17倍以上の処理速度を実現
新しく採用されたシステムは、計算用サーバーである52台のSystem x iDataPlexとデータ保存のためのストレージであるDCS9900、およびその両者間を仲介し、高速アクセスを実現するGPFSサーバーとしての役割を果たす4台のデータ・サーバー(IBM Power 520)を中心とした構成となっています。
新システムは2010年9月より構築作業が始まり、翌年2月から運用が開始されました。
「実際に新しいシステムを稼働させるに当たって、600コアほどのプロセスによるアクセスをテストしてみましたが、ほとんど性能が劣化しなかったことには驚きました」（井上氏）。
新システムでは、高並列処理を行うことにより、200GBの大量データをわずか1.4分で1度に処理することが可能です。従来のシステムでは約24.6分を要していたので、実に17倍以上のデータ処理速度を実現していることになります。この性能は、1事象当たり約100KBのニュートリノ観測データを平均42マイクロ秒で処理できることを意味しますので、1日に蓄積される約800GBのデータは、6分程度で処理できるようになります。
将来の展望
ニュートリノ科
学研究センタ
ーの学生たち
に囲まれて
大震災を乗り越え、100%の体制で研究を再開
こうして、新システムは稼働を開始し、「ニュートリノを伴わない二重ベータ崩壊の探索」プロジェクトは、KamLANDの実験設備の設置完了を待つのみとなりました。しかし、そうした中、東北大学は東日本大震災に被災。その被害は甚大な範囲に及びました。新しいITシステムも激しい揺れに見舞われ、システム障害が懸念されました。
「3月14日には電力が復旧し、ITシステムにも電源を入れましたが、正直動かないのではないかという気持ちの方が強かったのです。そこで問題なく稼働を再開したときは、その堅牢性に感動しました。システムが稼働した時点で研究機能のほぼ100%を回復した状態となったのです。その後日本IBMやアイティークルーの方が点検に来られたのですが、まだ交通も復旧せず大変な状況のときにわざわざ足を運んでいただけたということは非常にありがたかったと感謝しています」（井上氏）。
KamLANDの新しい観測設備も整い、新プロジェクトは5月24日から予定通りに開始されました。井上氏は今後の研究の展望について語ります。「新システムは、期待通りのパフォーマンスを発揮していますので、今後の研究の進展に大きく役立つのではないかと期待しています。そして、学生たちに最新の研究環境を提供できたことにより、大学としての責務を果たすことができたと思っています。もしニュートリノを伴わない二重ベータ崩壊を観測することをできたら、これは世界的にも驚くべき成果といえます。少なくとも2015年までは観測を続ける予定になっていますので、それまでに何かしらの発見が実現することを期待して研究を継続していきたいと思っています」。
日本IBMは、東北大学のチャレンジを今後もより強力にサポートしていきたいと考えています。
お客様の声
国立大学法人東北大学 ニュートリノ科学研究センター センター長 教授 博士（理学） 井上 邦雄 氏
「実際に新しいシステムを稼働させるに当たって、600コアほどのプロセスによるアクセスをテストしてみましたが、ほとんど性能が劣化しなかったことには驚きました。」
お客様情報
お客様名：
国立大学法人東北大学
所在地：
〒980-8577 宮城県仙台市青葉区片平二丁目1-1
URL：
東京帝国大学、京都帝国大学に続く3番目の帝国大学として1907年に創立。以来「門戸開放」と「研究第一主義」という建学の理念を掲げながら世界最高水準の研究・教育を創造し、研究の成果を社会が直面する諸問題の解決に役立て、指導的人材を育成することによって、平和で公正な人類社会の実現に貢献しています。
製品・技術情報
ハードウェア
ソフトウェア
参考資料
- お客様導入事例 国立大学法人東北大学(766KB)この事例のPDFがダウンロードできます。
本事例中に記載の肩書や数値、固有名詞等は初掲載当時のものであり、閲覧される時点では、変更されている可能性があることをご了承ください。
事例は特定のお客様での事例であり、すべてのお客様について同様の効果を実現することが可能なわけではありません。
IBM、IBMロゴ、ibm.com、GPFS,iDataPlex,Power,pSeries,System Storage,およびSystem xは、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点でのIBMの商標リストについては、www.ibm.com/legal/copytrade.shtml（US）をご覧ください。
