S3上的Spark Text文件流 [英] Spark textFileStream on S3

问题描述

文件名是否应该包含一个编号，以供teFileStream拾取？只有当文件名包含数字时，我的程序才会拾取新文件。忽略所有其他文件，即使它们是新文件。需要更改什么设置才能拾取所有文件吗？请帮帮忙

推荐答案

花了几个小时分析堆栈跟踪后，我发现问题出在S3地址。我提供的是"s3：//myBucket"，它适用于Spark 1.6和Scala 2.10.5。在Spark 2.0(和Scala 2.11)上，它必须作为"s3：//myBucket/"提供。可能是一些与Regex有关的东西。现在工作得很好。谢谢你的帮助。

这篇关于S3上的Spark Text文件流的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！