皆さん、こんにちは。
インフラ３部SIグループのアカチです。（入社一年目）

今回は大容量のデータ移行を手助けするデバイス「AWS Snowball Edge Storage Optimized」について
調査しました。AWSに関わる方のお役に立つと幸いです。

背景

100TBを超えるデータをクラウドに移行したいといった要望がありました。
容量が大きいため、インターネットを経由してデータ移行しようとすると、時間が掛かり過ぎて
しまうという問題があります。

例えば100TBのデータを1Gbpsのネットワークを使って転送を試みると、12日という時間が
掛かってしまいます。

そこで頼りになるのが今回紹介する「AWS Snowball Edge Storage Optimized
（以下、AWSを省略します。）」です。

（2022年11月現在、第1世代のAWS Snowballデバイスは利用できず、Snowball Edge Storage Optimized
デバイスを使用するように案内されています。最新の情報はAWS公式ウェブサイト(https://aws.amazon.com/)にてご確認ください）

Snowball Edge Storage Optimized

Snowball Edge Storage Optimizedとは、オンプレミス環境からAWSへ最大80TBのデータ移行を1台で
行えるデバイスです。EC2 コンピューティング機能を搭載しているデバイスも用意されています。

移行の流れ（スケジュールは一例のため、状況により変化する可能性があります。）

Snowball Edge Storage Optimizedは、以下の流れでデータを移行します。
①AWSの管理コンソール上でジョブを作成する
②Snowball Edge Storage Optimizedを受領する
③受領したSnowball Edge Storage Optimizedをオンプレミス環境に接続しデータをコピーする
④Snowball Edge Storage Optimizedを返送する
⑤AWS側でのデータ転送が完了するのを待機する
⑥AWSにインポートされたデータを検証する
※インポート作業終了後に、Snowball Edge Storage Optimizedは初期化されます。
②、④～⑤まで、それぞれ一週間程度の時間が掛かります。

ストレスなしでデータ移行を行うために

大容量のデータを取り扱うので、制限やトラブルシューティング、ベストプラクティスに注意をして、
準備する必要があります。

制限：以下のような制限があり、注意が必要です。
・個々のAmazon S3 オブジェクトのサイズは、最小 0 バイトから最大 5 テラバイト (TB) の範囲であること。
・利用可能なリージョンには制限があり、日本では東京リージョンと大阪リージョンで使用可能であること。
・デバイスを使用する作業は、デバイス準備完了から360日以内に行う必要があること。
（360日を過ぎるとデバイスがロックされる）
・デバイスに転送されるフォルダやファイルのメタデータは、ファイルインターフェースで転送されない限り
　保持されないこと。（それ以外で転送する場合はファイル名とファイルサイズのみ保持される）
・1500バイトを超える転送（ジャンボフレーム）はサポートしていないこと。
・データ名の末尾にスラッシュやバックスラッシュが利用されていると転送されないこと。等

上記は一例であり、他にも多くの制限があるので、URLから確認してください。
https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/limits.html

トラブルシューティング

以下のようなトラブルが想定され、注意が必要です。
・100Mbpsのルータやスイッチは利用できないこと。
・ウイルス対策ソフトやファイアウォールがSnowball Edgeデバイスのネットワーク接続を
　ブロックしていないこと。
・ファイル名はUTF-8で最大1,024バイトの長さであること。

上記は一例であり、他にも多くのトラブルシューティングがあるのでURLから確認してください。
https://docs.aws.amazon.com/ja_jp/snowball/latest/ug/troubleshooting.html
https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/manage-nfs.html

ベストプラクティス

以下は、Snowball Edge Storage Optimizedを使用したデータ移行に関するベストプラクティスです。
・データ転送中にデバイス接続解除やネットワーク変更を行わないこと。
・最終段階のAmazon S3へデータのインポートが成功するまで、転送元のデータをローカルから
　削除しないこと。
・各ディレクトリ内のファイルとディレクトリの数は500,000を超えないようにすること。
・各ファイルは1MB以上にし、1MB未満のファイルが多い場合は、1つの大きなアーカイブ（例えばZIP）に
　してから転送すること
・複数の転送を同時に実行すること。

他にも多くのベストプラクティスがあるので、こちらのURLを確認してください。
https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/BestPractices.html

まとめ・感想

簡単にですが、AWS Snowball Edge Storage Optimizedについてまとめました。

感想として、クラウドへのデータ移行はインターネットを通じた移行のみのイメージでしたが、
オフラインで移行するための準備があることに驚きました。また、データ移行時には様々な制約や
注意点があるため、綿密な計画が重要であると感じました。

AWSのサービスは100を超えており中々覚えるのが大変ですが、今後も活用可能なサービスを
増やしていきたいと思います。

本記事は以上となります。閲覧ありがとうございました。