DynamoDB - 数据管道

Data Pipeline允许向/从表,文件或S3存储桶导出和导入数据.这当然证明在备份,测试以及类似的需求或场景中非常有用.

在导出中,您使用Data Pipeline控制台,它创建一个新管道并启动Amazon EMR(弹性MapReduce)集群执行导出. EMR从DynamoDB读取数据并写入目标.我们将在本教程后面详细讨论EMR.

在导入操作中,您使用Data Pipeline控制台,该控制台生成管道并启动EMR以执行导入.它从源读取数据并写入目的地.

注意 : 鉴于所使用的服务,特别是EMR和S3,导出/导入操作会产生成本.

使用数据管道

您必须指定使用数据管道时的操作和资源权限.您可以使用IAM角色或策略来定义它们.执行导入/导出的用户应记下他们需要活动访问密钥ID和密钥.

IAM数据管道角色

您需要两个IAM角色才能使用Data Pipeline :

  • DataPipelineDefaultRole : 这包含您允许管道为您执行的所有操作.

  • DataPipelineDefaultResourceRole : 这有资源允许管道为您提供.

如果您不熟悉Data Pipeline,则必须生成每个角色.由于现有角色,所有以前的用户都拥有这些角色.

使用IAM控制台为Data Pipeline创建IAM角色,并执行以下四个步骤 :

第1步 : 登录位于 https://console.aws.amazon.com/iam/

第2步 : 从信息中心选择角色.

第3步 : 选择创建新角色.然后在角色名称字段中输入DataPipelineDefaultRole,并选择下一步.在角色类型面板的 AWS服务角色列表中,导航至数据管道,然后选择选择.在审核面板中选择创建角色.

步骤4 : 选择创建新角色.