【第1回 PowerScale Isilonコラム】OneFS 8.2新機能で小さいファイルをまとめて容量効率改善～Small File Storage Efficiency～

【第1回 PowerScale Isilonコラム】OneFS 8.2新機能で小さいファイルをまとめて容量効率改善
～Small File Storage Efficiency～

東京エレクトロンデバイス（以下、TED)の PowerScale Isilonチームです。
今回はDell Technologies社 PowerScale Isilon製品(以下、 PowerScale Isilon)のPacking機能について、簡単な実機検証を交えてご紹介したいと思います。

PowerScale Isilon製品のPacking機能と実機検証
まとめ

PowerScale Isilon製品のPacking機能と実機検証

ピンチアウトで拡大

PowerScale Isilon(弊社取り扱い開始：2004年)はノード単位での拡張が可能で、ノード数が増加するにしたがって、容量も性能も拡張するというスケールアウト型NAS製品の独自の特徴を備えております。

F600/F200および第5世代までの製品は最低3ノードからのスモールスタートが可能です(その他第6世代の製品は最低4ノード)。

ピンチアウトで拡大

PowerScale Isilonにデータが書き込まれる際、書き込まれるデータから保護レベルにしたがってパリティが生成され、各ノードのディスクにデータ＋パリティが分散(ストライピング)されます。しかし、1ノードあたりに書き込まれるストライピングの分割単位は128KBであり、それ以下のサイズのファイルは実質的にミラーリングされています。

ピンチアウトで拡大

上記の通り、128KB以下のファイルが多い環境ではミラーリングによるオーバーヘッドの影響を受けやすく、容量効率が低下することがあります。そのような環境では、Packing機能を用いて、容量効率を向上させることができます。

Packing機能とは、これら小さなファイルを内部的に"コンテナ"という単位にまとめ、上図①と同様、大きなファイルを扱うかのような保存が可能となる仕組みです。OneFSv8.2.Xよりアーカイブ用途のワークロードにも適用することが可能となりました。

ピンチアウトで拡大

Packing機能の使用条件

・OneFSv8.2.X以降で使用可能

※OneFSv8.2.X以前をお使いの場合、バージョンアップが必要

・オプションライセンス：SmartPoolsを適用する必要あり

・アーカイブ用途のクラスタで使用可能

検証環境

・OSバージョン：OneFSv8.2.2

・モデル：S210 (3ノード)

・保護レベル：+2d:1n

・SmartPoolsライセンスは適用済み

対象データ

Packingは128KB未満のファイルが対象で、正しくPackingされるかを確認するため2つのディレクトリを準備します。

(A) /ifs/data/Pack-1_100KB_1TB

-論理容量：配下にすべて100KBのファイル(約1000万個)で1TB分

-物理容量：すべてミラー(×3)され合計で約3TB　　　　　　　　　　　　　　　　

(B) /ifs/data/Pack-2_1MB_1TB

-論理容量：配下にすべて1MBのファイル(約100万個)で1TB分

-物理容量：保護レベル(+2d:1n)にしたがい、約1.5TB

Packing機能のAssessment(容量削減予測機能)

実際にPacking機能を動作させる前に上記(A)、(B)のディレクトリに対して、OneFSv8.2.Xから追加されたAssessmentで削減予測を実施しました。下記はディレクトリ(A)の実行結果です。

ピンチアウトで拡大

上記Assessment結果より、100KBファイル約1000万個で1TBを使用しているディレクトリに対してデータ削減見込み約50%を確認しました。また、実行結果の出力は省略しますが、1MBファイル約100万個で1TBを使用しているディレクトリではデータ削減見込み0%と想定通りの結果でした。

なお、Assessmentの場合オプションライセンスなしで実行できます。

Packing前後の容量比較

次に実際にPackingを実行した前後の容量を比較します。また、Assessmentの結果も併せて載せてみました。

ピンチアウトで拡大

実際にPackingを実行した場合、Assessmentの結果と同様に、1MBファイル約100万個で1TBを使用しているディレクトリではデータは削減されず、逆に100KBファイル約1000万個で1TBを使用しているディレクトリでは、3.14TB ⇒ 1.58TB と約50%のデータ削減を確認しました。環境によって変動する可能性はありますが、Assessmentによるデータ削減予測と実際のPackingによるデータ削減率にほぼ差がないことが確認できました。

まとめ

検証により、Packing機能を使用することで小さなファイルの容量効率が向上したことが確認できました。

OneFS 8.2.X以降をお使いの環境では、SmartPoolsのライセンスがなくてもAssessmentが実施できます。また、クラスタ内のファイル分布状況の把握から始めたい場合はInsightIQ(Isilon専用の環境モニタリングツール)で確認可能ですので、ご興味がございましたら、下記の「お問い合わせフォーム」よりお気軽にお問い合わせください。

お問い合わせ