Name:小原 誠(Makoto Kobara)
July, 2021
はじめに
ファイルサーバーからのデータ移行を取り上げる「瞬間移動」ブログシリーズ、今回は、データ移行の場面における、データのアクセス権限やタイムスタンプといったいわゆる「メタデータ」の移行について、前回の「XCP」Linux版に続いて、「Cloud Sync」を利用したLinux環境(NFS)での移行を取り上げます。
- ネットアップ純正のデータ同期サービス「Cloud Sync」とは
- 「Cloud Sync」を利用したLinux環境(NFS)でのファイル移行
(移行元/先ファイルサーバーにNetApp ONTAP 9を利用している場合)
「そもそもメタデータってどんなものがあるの?」「Windows環境の場合は?」といった内容については、これまでの記事を御覧ください。記事の末尾にリンクを掲載しています。
データ同期サービス「Cloud Sync」とは
「Cloud Sync」とは、ネットアップがSaaS (Software as a Service)型で提供しているデータ同期ツールで、次のような特徴があります。
- データの同期元・同期先に、NFS / CIFS / Amazon S3 などのプロトコルを選択可能
・例えば 「同期元はNFSプロトコル、同期先はCIFSプロトコル」など、異なる組み合わせも選択可能で、通信さえできれば、オンプレ-クラウド間や、異なるクラウド間での同期も可能です。 - 同期の設定や実行は、GUI上の簡単操作で、アプリ開発者や業務担当者自らが操作でき、ワンショットのデータ同期や、スケジュールに従った定期実行が可能
- 同期設定が登録されている期間に応じた従量課金で提供(1時間単位)、同期設定数に応じた割引あり
図1 Cloud Syncの画面
Cloud Sync は、インフラの有識者でなくとも、アプリ開発者や業務担当者自らが、プロトコル変換を伴うデータ同期を手軽に実行できることを最大の特徴とするサービスです。
実行にあたっては最初に データ同期の橋渡し役となるデータブローカー(data broker)と呼ぶ役割をLinuxサーバー上にセットアップし、その後、Cloud Syncの管理画面(※)からデータブローカーを制御してデータを同期します。
データブローカーは、オンプレミスにもクラウドにもセットアップできます。既存のLinuxサーバー上に必要なソフトウェアをインストールする方法の他に、クラウド上にセットアップする場合には、OS含めて設定済みのVMイメージを利用して簡単にデプロイすることもできます。インストール要件等はこちらをご確認ください。
※:Cloud Sync の管理画面は従来は Cloud Sync 用に個別に用意していましたが、今は、NetApp のクラウドソリューションの統合管理コンソール “Cloud Manager” に統合されました。
「Cloud Sync」でのメタデータ移行(Linuxファイル環境編)
今回は、このCloud Syncを利用して、移行元/先ファイルサーバーにネットアップの ONTAP 9 を利用したファイルサーバーを用意、この環境でのLinux環境(NFS)でのメタデータ移行を検証しました。検証項目は前回のXCPと同様です。
今回は検証のため、NFSv4.1プロトコルを利用し、NFSv4.1 ACLの移行も確認します。なお、以前ご紹介したWindows環境でのCloud Sync検証では、仮想化製品の ONTAP Select を利用していましたが、今回はGoogle Cloud 上で動作する Cloud Volumes ONTAP for Google Cloud を利用し、データブローカーも、Google Cloud 上にVMイメージからデプロイしています。
- 移行元ファイルサーバー:Cloud Volumes ONTAP 9.8P1 for Google Cloud
- 移行先ファイルサーバー:同上
- 移行ツール:NetApp Cloud Sync
- データブローカーは、Google Cloud Engine用のVMイメージからデプロイ
- マシンタイプ及びディスク:n1-standard-4、標準永続ディスク20GB
- OS:Red Hat Enterprise Linux 7.9
- データブローカーバージョン:1.3.0.19953-b3089e7-production
- データブローカーは、Google Cloud Engine用のVMイメージからデプロイ
- 移行元/先ファイルサーバー(Cloud Volumes ONTAP)の設定
- SVM(Storage Virtual Machine) NFS設定:
- v4.1 = enabled(NFS v4.1 アクセスを有効化)
- v4.1-acl = enabled(NFS v4.1 ACL を有効化)
- ボリューム設定:
- security = unix(アクセス権管理をUnixスタイルに)
- language = utf8mb4(サロゲートペア有効化)
- SVM(Storage Virtual Machine) NFS設定:
- データブローカー含めて、全て同じNFSv4.xドメインに所属し、ユーザー/グループIDをマッピング
図2 移行評価環境(概要)〜 CloudSyncでのLinux環境のメタデータ移行
Cloud Syncは、『ACL同期あり』のオプションで実行しています。
この環境での評価結果について表 1に記します。
この通り、ほぼ全てのメタデータを移行できることを確認できました。
表1 CloudSync でのLinux環境 のメタデータ移行評価結果
# |
メタデータの種類 |
一般的な確認ポイント |
可否 |
---|---|---|---|
1 |
ファイル名 /ディレクトリ名 |
|
可 |
|
一部可(※1) |
||
|
可 |
||
2 |
アクセス権 |
|
可 |
3 |
所有者 |
|
可(※2) |
4 |
タイムスタンプ |
|
一部可(※3) |
5 |
リンク |
|
一部可(※4) |
6 |
スパース属性 |
|
不可(※5) |
※1:954文字未満まで対応できます。
(『ACL同期なし』とした場合には、4,003文字未満まで対応できます)
※2:Cloud Sync のデータブローカーが、NFSサーバー(ONTAP)と同じNFSv4ドメインに所属し、ユーザー名・グループ名のIDマッピングができている必要があります。(これらができていない場合には、nobody に置き換わってしまいます)
※3:ファイルの最終更新日時(mtime)と最終アクセス日時(atime)の年月日・時分秒を移行できます(ミリ秒以下は切り捨てられます。またシンボリックリンクファイルについては移行実行時間に置き換わります)。
※4:シンボリックリンク、ハードリンクともに移行できますが、リンク切れのシンボリックリンクは移行されません。またハードリンクはファイルを複製した状態で(リンク先とは別のファイルとして)移行されます。
※5:ファイルの移行はできますが、スパース領域にブロックが割り当たります。
まとめと次回予告
今回のブログでは、Cloud Syncを利用したLinux環境(NFS)でのデータ移行について、特にメタデータ移行の観点で評価した結果をご紹介しました。
Cloud Syncはユーザー自身が手軽に、データファイルの同期を行うことを目的としたツールのため、ファイルサーバー移行ツールに求められるメタデータ移行の機能は、現時点では限定的です。
しかし、その設定や実行操作の手軽さから、前回ご紹介したXCPとの間で適材適所で使い分けるものと思います。
次回は、Linuxでよく使われている同期ツール「rsync」について簡単に取り上げ、Linux環境でのメタデータ移行のまとめを行います。
Name:小原 誠(Makoto Kobara)
Title:ネットアップ合同会社 システム技術本部 ソリューション アーキテクト部 シニアソリューションアーキテクト
Bio:ストレージプロダクトの要素技術研究開発に始まり、ITインフラ分野におけるコンサルティング(IT戦略立案)からトランスフォーメーション(要件定義、設計構築、運用改善、PMO)まで官公庁・自治体、製造業、サービス業、通信・ハイテク業など業種を問わず、計20年以上従事。ネットアップにおいてはソリューションアーキテクトとして、クラウドソリューション領域を中心に、マーケティング活動や、パートナー企業との共同ソリューション開発、ユーザー企業での導入支援等を実施。
次回の投稿もお楽しみに!
ネットアップSEブログ連載記事一覧
瞬間移動!!ハイブリッドクラウド時代のデータモビリティに関して
a. データの同期速度
b. メタデータの同期可否
- 瞬間移動!!メタデータの移行〜NetApp純正ツール「XCP」Windows編
- 瞬間移動!! メタデータの移行〜NetApp純正サービス「Cloud Sync」Windows編
- 瞬間移動!!メタデータの移行 〜Windowsでお馴染み「robocopy」編
- 瞬間移動!!メタデータの移行〜NetApp純正ツール「XCP」Linux編
- 瞬間移動!!メタデータの移行〜NetApp純正サービス「Cloud Sync」Linux編
- 瞬間移動!!メタデータの移行〜 Linuxでお馴染み「rsync」編
- カテゴリ:
- クラウド
- キーワード:
- クラウド