aws-java-sdk相关内容

使用 DynamoDBMapper Java AWS 开发工具包进行分页

来自 API docs dynamo db 确实支持用于扫描和查询操作的分页.这里的问题是将当前请求的 ExclusiveStartIndex 设置为上一个请求的 LastEvaluatedIndex 的值,以获得下一组(逻辑页面)结果. 我正在尝试实现相同的功能,但我使用的是 DynamoDBMapper,它似乎具有更多优势,例如与数据模型的紧密耦合.因此,如果我想执行上述操作,我假设我会 ..

S3 下载 pdf - REST API

我正在尝试使用 Spring Boot Rest API 提供存储在 S3 上的 PDF 之一. 以下是我的代码: byte[] targetArray = null;输入流是 = null;S3Object 对象 = s3Client.getObject(new GetObjectRequest("S3_BUCKET_NAME", "prefixUrl"));InputStream o ..
发布时间:2021-12-15 20:25:47 其他开发

使用 AWS S3 Java 将 ZipOutputStream 上传到 S3,而无需将 zip 文件(大)临时保存到磁盘

我需要从 S3 下载照片(不在同一目录中),压缩它们,然后使用 AWS S3 Java SDK 再次上传到 S3.此 zip 文件大小可以以 GB 为单位.目前我正在使用 AWS Lambda,它的临时存储限制为 500 MB.所以我不想将 ZIP 文件保存在磁盘上,而是想将 ZIP 文件(使用从 S3 下载的照片动态创建)直接流式传输到 S3.我需要这个使用 AWS S3 Java SDK. ..
发布时间:2021-12-15 19:52:42 Java开发

由于授权无法访问 S3 预签名 URL

使用 Java8 和 aws-java-sdk 1.10.43 我正在尝试获取 S3 文件的预签名 URL.我确实得到了一个链接,但浏览它会导致此错误: 不支持您提供的授权机制.请用AWS4-HMAC-SHA256 强调一下,我希望生成一个可以通过电子邮件发送并在浏览器中打开的 URL,而不是使用 Java 代码从该 URL 中读取. 我正在使用波纹管代码,并且我相信我需要以某种 ..
发布时间:2021-11-30 18:00:20 Java开发

在 sagemaker 中进行预测之前,如何预处理输入数据?

我正在使用 java Sagemaker SDK 调用 Sagemaker 端点.我发送的数据在模型可以用于预测之前几乎不需要清理.我怎么能在 Sagemaker 中做到这一点. 我在 Jupyter 笔记本实例中有一个预处理功能,它在传递训练数据以训练模型之前清理训练数据.现在我想知道我是否可以在调用端点时使用该函数,或者该函数是否已被使用?如果有人愿意,我可以展示我的代码吗? 编辑 ..
发布时间:2021-11-27 10:51:54 其他开发

使用 DynamoDBMapper Java AWS SDK 进行分页

来自 API docs dynamo db 确实支持扫描和查询操作的分页.这里的问题是将当前请求的 ExclusiveStartIndex 设置为前一个请求的 LastEvaluatedIndex 的值,以获得下一组(逻辑页)结果. 我正在尝试实现相同的功能,但我使用的是 DynamoDBMapper,它似乎具有更多优势,例如与数据模型的紧密耦合.因此,如果我想执行上述操作,我假设我会执行以 ..

使用 Java SDK 将多个文件批处理到 Amazon S3

我正在尝试通过附加文件将多个文件上传到 Amazon S3,所有文件都使用相同的密钥.我有一个文件名列表,并希望按该顺序上传/附加文件.我几乎完全按照 本教程 但我正在循环首先每个文件,然后部分上传.因为文件在 hdfs 上(路径实际上是 org.apache.hadoop.fs.Path),所以我使用输入流来发送文件数据.下面是一些伪代码(我正在评论教程中逐字逐句的块): //创建 Uploa ..
发布时间:2021-10-27 19:12:48 Java开发

Spring Boot - Spring Cloud AWS:找不到区域

我有一个 Spring Boot、Spring Cloud AWS 服务,用于从 AWS SQS 队列接收消息.在我自己的个人 AWS 账户服务中一切正常,区域设置为“us-east-1",但是当切换到 AWS GovCloud 区域“us-gov-east-1"时,收到错误消息“The区域“us-gov-east-1"不是有效区域".追踪与提取真正旧版本的 aws-java-sdk-core-1 ..
发布时间:2021-08-20 19:49:26 其他开发

如何将STSAssumeRoleSessionCredentialsProvider与roleSessionName和roleArn结合使用,用于适用于Java 2.x的AWS开发工具包?

当前使用以下代码针对适用于Java 1.x的AWS开发工具包. @Configuration@ImportResource("classpath:aws-context.xml")公共类AmazonS3Config {@Bean(destroyMethod ="shutdown")公共AmazonS3Client amazonS3Client(@Value("$ {aws.s3.roleSes ..

AWS S3获取包含文本的密钥

我正在尝试从S3中获取文件. 和往常一样,我的文件在存储桶中的组织方式如下: bucket//文件 我要检索具有特定文件名的文件 例如: 以给定文本(myfile- *)开头的文件 具有特定扩展名(* .csv)的文件 具有特定文本( text )的文件名 对于第一种情况,我可以使用如下前缀: ObjectListing objectL ..
发布时间:2021-04-03 19:28:53 Java开发

使用Scala提取嵌入式AWS Glue连接凭证

我有一个胶粘作业,可以直接从redshift读取数据,为此,必须提供连接凭据.我创建了一个嵌入式胶粘连接,可以使用以下 pyspark 代码提取凭据.有没有办法在 Scala 中做到这一点? glue = boto3.client('glue',region_name ='us-east-1')响应= gum.get_connection(名称=“嵌入式连接名称",HidePassword = ..
发布时间:2021-04-03 19:19:27 其他开发

Lambda:是否有任何批处理调度程序?

问题:从Dynamo DB中获取2000个项目,并逐批处理(从100个项目创建POST请求)(批量大小= 100). 问题:无论如何,我可以通过AWS中的任何配置来实现它. PS:我已经配置了cron计划来运行我的Lambda函数.我正在使用Java.我已经制作了同步执行的多线程应用程序,但这最终极大地增加了我的计算时间. 解决方案 我有相同的问题,并考虑通过以下方式解决.如果 ..
发布时间:2020-08-23 23:28:04 其他开发

用于创建Lambda的AWS Java SDK版本

我正在尝试按照我不清楚我需要什么Java库的名称和版本.是否有关于所有不同版本的AWS Java库的指南以及任何更新的示例.我必须承认,我对AWS Java库的版本和命名感到完全困惑,并且不完全知道要在Java中创建一个简单的AWS Lambda函数,我需要添加哪些/什么作为依赖项. 解决方案 但是我尝试按照推荐的此处使用最新的SDK.完全不同,并且RequestHandler界面似乎 ..
发布时间:2020-08-23 20:17:10 Java开发

在Sagemaker中进行预测之前,如何预处理输入数据?

我正在使用Java Sagemaker SDK调用Sagemaker端点.我要发送的数据几乎不需要清理,模型就可以将其用于预测.我该如何在Sagemaker中做到这一点. 我在Jupyter笔记本实例中具有预处理功能,该功能正在清理训练数据,然后再传递该数据以训练模型.现在,我想知道是否可以在调用端点时使用该功能,或者该功能已被使用? 如果有人愿意,我可以显示我的代码吗? 编辑1 基本 ..
发布时间:2020-08-23 08:42:19 其他开发

返回ResponseEntity< InputStreamResource>是否安全?在REST控制器中包装S3Object.getObjectContent()的方法?

我正在开发一个Spring Boot应用程序,该应用程序应该允许用户通过指定的应用程序REST接口从Amazon S3间接下载文件.为此,我有一个REST-Controller,它向用户返回InputStreamResource,如下所示: @GetMapping(path = "/download/{fileId}") public ResponseEntity ..
发布时间:2020-08-23 06:45:32 Java开发