ひとことで言うと
オンプレミスのNFS・SMB・HDFSや他クラウドのオブジェクトストレージから、S3・EFS・FSxへファイル・オブジェクトデータを転送する専用サービスです。暗号化とデータ整合性検証を自動で行います。
要するに、引っ越し専門の運送業者です。自分でトラックを手配して荷物を積む(スクリプトでコピーする)のではなく、業者に住所(転送元・転送先のロケーション)を伝えるだけで、梱包から検品まで代行してくれます。
何に使うか
| 用途 | 使い方 |
|---|---|
| RAGコーパスの一括移送 | 社内ファイルサーバーやオンプレミスのHDFSに溜まった大量の文書を、Knowledge BasesのデータソースにするS3バケットへ一括移送する |
| 高速化・セキュリティ | 多重並列転送で高速化。VPCエンドポイント経由なら公衆インターネットを経由せずに転送できる |
| 継続 or 単発 | 継続的な同期にも、一度きりの移行にも使える |
試験でどう問われるか
主役では出ません。 D1.3(データ検証と処理パイプライン)で「オンプレミスの大量文書をRAG用にAWSへ持ってきたい」という前段の条件として出ます。
| 問われ方 | 正解に寄る条件 | 引っかけ |
|---|---|---|
| オンプレミスの大量文書をS3へ継続的に一括移送 | 対象がシステム全体・自動バッチ → AWS DataSync | AWS Transfer Family(対象が個々のユーザー・パートナーの都度アップロードなら正解) |
取り違えやすいもの
| 迷う相手 | 切り分けの一言 |
|---|---|
| AWS Transfer Family | DataSyncは「大量データを一括・自動で移す」バッチ転送向け。Transfer FamilyはSFTP等のプロトコルで個々のユーザー・パートナーが都度アップロードする窓口向け |
想起チェック
Q1. オンプレミスのファイルサーバーにある数十万件の文書を、継続的にS3へ同期してKnowledge Baseに反映したい。選ぶサービスは?
AWS DataSyncです。一括・継続的なバッチ転送が目的で、個別ユーザーが都度アップロードする窓口が要るわけではないためTransfer Familyより適切です。