
[特集の視点]
ITの能力に関する技術競争は、常に、容量・速度といった能力とデータ量のいたちごっこです。いつの時代も、入手可能なITの能力をはるかに超えた処理をすることが技術者の挑戦であり、それを実現することが新しい革新を呼びます。
特にこの数年は、一般社会のデータ量が爆発的に増えた時代でもあります。街角にあるカメラや、道路、家庭などに備え付けられたセンサーが一般消費者の知らないところでも激増しています。ソーシャル・ネットワークやスマートフォンの急激な普及によって一般消費者がITシステムに気軽にアクセスし、生活の一部としてデータを生成するようになりました。企業の一部のスタッフにのみ活用されていたITシステムは、今や一般市民の生活に欠かせない仕組みとして定着しました。クレジットカードやネット販売などがグローバル市場化されたことによって、会員数が数十億人にも上る企業が登場しています。旧来のオンライン取引システムとはけたが違います。
こうしてデータが爆発的に増加した現在、そのデータのほとんどは、旧来型のストレージに、旧来の目的で蓄積されたままになり、特に活用もされていない「死蔵」状態になっています。そして、このデータを活用することがビジネスの勝敗を決めるケースも増えています。
こうしたデータは、毎日膨れ上がるため、蓄積するにも、処理のために一時的に保存するにも、単一のストレージやプロセッサーでは間に合いません。加えて、こうしたデータには人の言葉で書かれた「テキスト」のほか、写真、映像、音声といった、これまで集計の対象にしなかったものが大量に含まれており、データの処理は非常に複雑になります。また、データ量が膨大だからといって処理に時間がかかっていると、活用するタイミングを逃してしまうなど、処理速度も重要なファクターとなります。
今号では、処理に困るほどの複雑かつ大量のこれらのデータを、現在のIT技術を組み合わせた工夫によって、妥当なコストと時間で処理できるようにするために実用化されているさまざまなビッグデータ・ソリューションとそのアプローチを総括します。
2012年2月 PROVISION 72号「特集テーマ:ビッグデータ活用時代 ― 革新的な洞察に導かれる次世代のビジネス戦略」
コンテンツ・リーダー 米持 幸寿
マネジメント最前線
特別インタビュー
- 第4のメディアが作り出すビッグデータの時代 (853KB) 東京大学 教授 喜連川 優 氏
インタビュー
海外事例
- Vestas Wind Systems A/S 社 膨大なデータを解析し、風力発電所設置を最適化
- オンタリオ工科大学 新生児の測定データをリアルタイムに分析・活用
- Gerber Scientific 社 新しいストレージにより、処理時間を大幅に短縮
解説
IBMプロフェッショナル論文
- X10言語を用いた超並列大規模交通流シミュレーション (700KB) 鈴村 豊太郎 小野寺 民也 今道 貴司 加藤 整 井手 剛
- Hadoopを利用した超並列計算処理のチューニング指針 (724KB) 清水 宣行 山口 崇 土田 誠 山口 亜希子
- 空間効率の高いインメモリー辞書のオンライン構築 (889KB) 小柳 光生 吉田 一星
- テープ用ファイルシステムでのファイル・リストアの高速化 (936KB) 長谷川 徹 大石 豊 今井 直樹 神谷 昌範 平田 崇将