非構造化のビッグデータもオールフラッシュアレイを活用する時代がやってきた | 東京エレクトロンデバイス

著者プロフィール／近況
実践Webメディア「EnterpriseZine」DB Online チーフキュレーター ブレインハーツ取締役。AI、エキスパートシステムが流行っていたころに開発エンジニアに。その後、雑誌の編集者を経て外資系ソフトウェアベンダーの製品マーケティング、広告、広報などを経験。現在はオープンシステム開発を主なターゲットにしたソフトハウスの経営とライターの二足の草鞋を履いている。

「2016年はオールフラッシュの年」という話があちこちから聞こえてくる。実際、今年中にはフラッシュディスクの価格が物理ディスクの価格と同等か、またはそれを下回りそうな勢いで、低価格化が進んでいる。前回紹介したように、独立系フラッシュアレイ専業ベンダーのピュア・ストレージが最小構成で500万円程度となるミッド／ローレンジ市場向けのオールフラッシュアレイ製品「FlashArray //m10」を提供し、ミッド／ローエンド市場の価格競争をリードしようとしている。

オールフラッシュアレイの市場活性化は、まずはその高速性能を活かしやすいハイエンドの領域から始まった。この時はとにかく速さと高性能が売りだったので、各社はスペック比較や性能の高さを競い、価格性能比であれば物理ディスク型のストレージよりもメリットが出ることをアピールした。

つまりは、高性能だが絶対的な価格はまだかなり高額。なかなか手が出ない企業も多かったのだ。そのためフラッシュストレージを導入したとしても、既存のストレージをすべて置き換えるのではなく、高速化したい一部の特別なシステム用のストレージという位置付けがほとんどだった。ストレージを交換するだけでチューニングせずにデータベースを大幅に高速化する、そういった用途での導入がほとんどだった。これがおそらく2～3年前くらいの状況だ。

そこから徐々にフラッシュストレージの価格が下がり、ベンダー側もハイエンドの機種だけでなく、手ごろな価格の製品もラインナップに加えるようになる。すると価格が下がったことにより、市場に出回る数も増え始め、さらに値段は下降傾向に。結果、予想よりも速いペースで低価格化が進んだ。その状況がここ数カ月のことだろう。

今後は、FlashArray //m10の最小構成よりも少しスペックが上回る、価格的には1000万円を切るくらいの構成がオールフラッシュアレイ市場の主流になるとみている。ハイエンドストレージを導入できる企業は限られるが、このくらいの価格帯の製品であれば手が出る企業も一気に増えそうだ。そうしてオールフラッシュアレイのミッドレンジ市場が活性化すれば、一気に“オールフラッシュ・ファースト”が現実のものとなるだろう。

このようなオールフラッシュアレイ市場の急激な拡大があるものの、前述の通り、用途はまだまだ限られている。現状でフラッシュストレージが活躍するのは、高速性が要求されるデータベースのシステム、さらには大規模な仮想デスクトップ環境などのボトルネック解消のためがメインになるだろう。

逆に、オールフラッシュアレイの高性能の恩恵になかなか与れない領域がある。それがビッグデータの活用だ。フラッシュストレージは本来、大量なデータでも高速に処理できるので、ビッグデータの活用には向いているはずだ。しかしながらフラッシュストレージで大容量を確保するとなると、一気に導入コストが上がってしまう。ビジネス的に不確定な要素が多いビッグデータ活用、つまり大量データを分析したからと言ってすぐにビジネス価値をもたらすかどうかがわからない状況では、そこに大きな投資はそうそうできない。結局、ビッグデータの蓄積のためにはなるべく安価なストレージの仕組みを求めるのが現実だ。

そのため、ビッグデータの中でも大量の非構造化データなどを扱う際にはNASファイラーかスケールアウトNASを使うのがこれまで通常だった。しかし、これらを使うことで大容量なストレージは確保できても、低速な処理に甘んじるしかなかった。NASのファイルシステムに置くデータのメタデータ処理がどうしても必要となり、さらにはマルチプロトコルに対応するプロトコル処理などがオーバーヘッドとなってしまうからだ。これらのボトルネックは、コントローラを新しくしてもなかなか解消できない。

そのため大量の非構造化データを扱うには、別途、Hadoopなどの分散ファイルシステムの仕組みなどを用い、安価かつ高速にデータを蓄積し分析する工夫も必要だった。とはいえHadoopを数100、数1000もの多ノード構成で運用するのは簡単ではない。結果的に非構造化のビッグデータ活用は、優秀な技術者がいる一部の先進的な企業しか実現できなかったのだ。

大量の非構造化データを安価に、そして容易に蓄積でき、蓄積したデータを高速に分析処理したい。そういったニーズが増えているのは事実だろう。そんな要求に対する新たな回答として、ピュア・ストレージが発表したのが「Pure Storage FlashBlade」だ。これはスケールアウト型のストレージブレードを活用することで、「将来性のあるクラウドスケールのデータプラットフォーム」とピュア・ストレージが主張する新しいオールフラッシュアレイだ。

FlashBladeは4Uサイズの小さな筐体に、15台のストレージブレードを搭載できる。ブレードは容量8テラバイトと52テラバイトの2種類が用意されており、1つのシャーシに7台以上のブレードを搭載し運用するようになっている。52テラバイトのブレードを最大数の15台搭載すれば非圧縮容量で792テラバイト、圧縮、重複排除を施した有効容量では約1.6ペタバイトのデータを格納可能だ。複数のシャーシを相互接続すれば、さらに大規模なシステムも構築できる。

FlashBladeのフラッシュストレージは、SSDを採用していない。搭載しているのは100％非圧縮のMLC NANDメモリであり、これによりSSDよりもかなり高い性能を発揮している。またブレード上にはインテルXeonプロセッサが搭載されており、プログラマブルプロセッサとして1つのFPGA、2つのARMコアも搭載している。これらもまた、高速処理に寄与している。フラッシュメモリとCPUの接続にはPCIeバスを用いており、独自プロトコルで高速通信できるような工夫もなされている。

FlashBladeはシャーシあたり15ギガバイト／秒のネットワーク帯域幅を持っている。シャーシ内部は40ギガバイト／秒の低レイテンシーの内蔵型イーサネットを搭載しており、これらで1秒あたり100万回のNFSオペレーションが可能となる。FlashBladeが対応するプロトコルは、NFSとAmazon S3互換のオブジェクトだ。その他にも、CIFSやHDFSに対応する予定である。これらのプロトコルに対応することで、HadoopやSpark、さらにはコンテナ型仮想化のDockerなどにも最適なオールフラッシュアレイとなる。

このようにMLC NANDメモリを採用し、さらにその性能を最大限に引き出せるようにコントローラが最適化されていることもあり、従来のNASファイラーなどの性能ボトルネックを大きく解消できる。NANDメモリは今後、最新の３D NANDを採用することでもさらなる高速化の可能性があり、性能的にはまだまだ余裕がありそうだ。

またFlashBladeでは、ソフトウェア面からも高性能を発揮する工夫がなされている。10ペタバイト以上、数百個のファイルオブジェクトの処理を想定して、ファイルシステムのメタデータ処理やプロトコル処理の仕組みをスケールアウト型のブレードストレージシステムに最適化するよう一から実装し直しているのだ。これらの技術をラックマウント型サーバではなくブレード型のシャーシに詰め込んだことで、4Uという小さなサイズでも1.6ペタバイトものデータ容量を扱える構成のオールフラッシュアレイが完成したわけだ。

FlashBladeは、既存のブロックストレージのオールフラッシュを改造し、NFSやオブジェクトにも対応できるようにしたものではない。ペタバイト規模のデータセットに対しオールフラッシュの性能を提供するために、拡張性のある仕組みをピュア・ストレージがゼロから作り上げたものになっている。これで、ギガバイト単価を1ドル未満にすることができるともいう。

 

図1●ピュア・ストレージが今回発表した新しいオールフラッシュアレイ「Pure Storage FlashBlade」

 

 

資料：ピュア・ストレージ社の公式資料より引用
https://www.purestorage.com/products/flashblade.html

先日国内で行われたFlashBladeの発表会で、ピュア・ストレージの製品事業部門バイスプレジデントであるマット・キックスモーラー氏は次のように語った。

「ピュア・ストレージはユニークな企業です。オールフラッシュの技術でデータセンターを加速します。今回のFlashBladeの発表で、構造化データ、非構造化データの両方をサポートできるようになりました。ピュア・ストレージはすべてをオールフラッシュのモデルでやっています。そして、どのレンジの製品についても自分たちでゼロから開発しています。そうすることで、よりシンプルにしているのです。製品だけでなくビジネスモデルもシンプルで、管理もシンプルです。コンバージドインフラも、顧客の環境をシンプルにするためにやっています」

“システムをシンプルにする”、そのためにオールフラッシュということにピュア・ストレージはこだわっている。オールフラッシュの速さこそが、システムをシンプルにすることにつながるというわけだ。このことがミッドレンジ以下の市場でもっと理解されるようになれば、もはや新規に購入するストレージでオールフラッシュ以外を選択する理由はなくなるだろう。

今回発表されたFlashBladeの提供開始は「2016年後半」に予定されている。現時点ではベータ版の位置づけとなっており、アーリーアクセスプログラムで一部企業での利用がすでに始まっている。気になる価格は、正式な販売開始時までには明らかになる予定だ。「ギガバイト単価では1ドル未満」という発表を受け、実際にどこまで戦略的な価格を設定できるのか。ピュア・ストレージの今後の動きに期待して待ちたいところだ。