Migration and Transfer

AWS DataSync

オンプレミス・他クラウドとAWSストレージ間の高速データ転送サービス。AIP-C01ではRAGコーパスの元データを一括でS3に移す取り込み前段として脇役で出ます。

  • C|周辺
  • D1 FM統合・データ・コンプラ

ひとことで言うと

オンプレミスのNFS・SMB・HDFSや他クラウドのオブジェクトストレージから、S3・EFS・FSxへファイル・オブジェクトデータを転送する専用サービスです。暗号化とデータ整合性検証を自動で行います。

要するに、引っ越し専門の運送業者です。自分でトラックを手配して荷物を積む(スクリプトでコピーする)のではなく、業者に住所(転送元・転送先のロケーション)を伝えるだけで、梱包から検品まで代行してくれます。

何に使うか

用途使い方
RAGコーパスの一括移送社内ファイルサーバーやオンプレミスのHDFSに溜まった大量の文書を、Knowledge BasesのデータソースにするS3バケットへ一括移送する
高速化・セキュリティ多重並列転送で高速化。VPCエンドポイント経由なら公衆インターネットを経由せずに転送できる
継続 or 単発継続的な同期にも、一度きりの移行にも使える

試験でどう問われるか

主役では出ません。 D1.3(データ検証と処理パイプライン)で「オンプレミスの大量文書をRAG用にAWSへ持ってきたい」という前段の条件として出ます。

問われ方正解に寄る条件引っかけ
オンプレミスの大量文書をS3へ継続的に一括移送対象がシステム全体・自動バッチ → AWS DataSyncAWS Transfer Family(対象が個々のユーザー・パートナーの都度アップロードなら正解)

取り違えやすいもの

迷う相手切り分けの一言
AWS Transfer FamilyDataSyncは「大量データを一括・自動で移す」バッチ転送向け。Transfer FamilyはSFTP等のプロトコルで個々のユーザー・パートナーが都度アップロードする窓口向け

想起チェック

Q1. オンプレミスのファイルサーバーにある数十万件の文書を、継続的にS3へ同期してKnowledge Baseに反映したい。選ぶサービスは?

AWS DataSyncです。一括・継続的なバッチ転送が目的で、個別ユーザーが都度アップロードする窓口が要るわけではないためTransfer Familyより適切です。

出典(AWS公式)