石原です。
1月は引き続き、Amazon MWAA回りの修正等行いつつデータ転送の方を進めてました。
前回の通りRCloneで転送してきます。
特徴としてはこんな感じです。
・RCloneの特徴
多機能: ファイルのコピー、同期、マウント(仮想ドライブ化)、暗号化、復元に対応してます。
マルチストレージ対応:Google Drive, Dropbox, OneDrive, Amazon S3等々、ローカルにも対応してます。
高速処理・自動リトライ:並列処理数を設定できて、デフォルト3回リトライできます。
無料:オープンソースなので無料です。
–dry-run オプションでシミュレーションモードもあるのでテスト実行も安心です。
スクリプト化して、実行対象のS3毎に並列処理数を調整して、ログ書き出しを行い完成です。
便利ですね。
ではでは