scala相关内容

Scala对现有变量的多重赋值

我可以做类似的事情 def f(): Tuple2[String, Long] = ...val (a, b) = f() 如果变量已经存在呢?我在过滤器上运行相同的数据集,我不想链接它们(长名称等).这是我尝试过的,但它抱怨期待 ;而不是最后一行的 =: var a = ...初始化此数据var b = ...其他一些初始化(a, b) = g(a, b)//错误:预期 ';'但发现 '= ..
发布时间:2021-11-30 12:35:33 其他开发

Scala 赋值计算 Unit 而不是赋值的动机是什么?

Scala 赋值而不是赋值给 Unit 的动机是什么? I/O 编程中的一个常见模式是做这样的事情: while ((bytesRead = in.read(buffer)) != -1) { ... 但这在 Scala 中是不可能的,因为... bytesRead = in.read(buffer) .. 返回 Unit,而不是 bytesRead 的新值. 将函数式语言排除 ..
发布时间:2021-11-30 12:26:31 其他开发

如何检查构造函数参数并抛出异常或在 Scala 的默认构造函数中进行断言?

我想检查构造函数参数并拒绝构造抛出 IllegalArgumentException 以防参数集无效(值不符合预期的约束).如何在 Scala 中编写代码? 解决方案 在 Scala 中,类的整个主体是您的主要构造函数,因此您可以在那里添加验证逻辑. scala>类 Foo(val i: Int) {|如果(我<0)|throw new IllegalArgumentException( ..
发布时间:2021-11-30 11:22:03 其他开发

让 Maven 和 SBT 都使用本地 Artifactory-server

我需要同时使用 Maven 和 SBT 才能使用本地 Artifactory-server,它是唯一具有 Internet 连接的机器.服务器、CI 机器等无法访问外部世界. 尤其是 SBT,我的头发都变白了. 连接到 Artifactory 的 SBT 问题 使用 0.11.[0..3] 我可以通过以下方式 SBT 访问 Artifactory: 解压 sbt-launc ..
发布时间:2021-11-28 22:24:18 其他开发

SBT 可以发布到 JFrog artifactory

我的组织使用 JFROG artifactory 分发所有 jar. 到目前为止,我一直使用 SBT 进行 Scala 开发.但是现在当我正在寻找将 SBT 构建的 jar 发布到 JFROG artifactory 的方法时,我只在 github 上找到了这个处于“alpha"状态的插件 https://github.com/JFrogDev/artifactory-sbt-plug ..
发布时间:2021-11-28 22:23:44 其他开发

尝试从 Artifactory 虚拟存储库下载时,SBT 无法找到凭据

我正在尝试在公司防火墙后面运行 SBT.另一个团队配置了一个 Artifactory 代理.这个代理在匿名访问开启的情况下工作正常,但是当我们让它需要密码时,我们认为开始出错了. 当我在工作站上运行 SBT 时,出现以下错误: [error] 无法找到 [Artifactory Realm @ coderepo.xxx.amrs.bigco.com] 的凭据 这样做的结果是我无法引导 s ..
发布时间:2021-11-28 22:21:56 其他开发

Spark 从一行中提取值

我有以下数据框 val transactions_with_counts = sqlContext.sql("""SELECT user_id AS user_id, category_id AS category_id,COUNT(category_id) FROM 交易 GROUP BY user_id, category_id""") 我正在尝试将行转换为 Rating 对象,但由于 x ..
发布时间:2021-11-28 21:44:21 其他开发

从 Cassandra 读取数据以在 Flink 中处理

我必须使用 Flink 作为流引擎来处理来自 Kafka 的数据流.为了对数据进行分析,我需要在 Cassandra 中查询一些表.做这个的最好方式是什么?我一直在 Scala 中寻找此类案例的示例.但是我找不到任何.如何使用Scala作为编程语言在Flink中读取来自Cassandra的数据?阅读&使用 apache flink Java API 将数据写入 cassandra 在同一行还有另一 ..
发布时间:2021-11-28 21:35:58 其他开发

如何使用 Play Framework 通过 SSL 连接到远程 MySQL 数据库?

我在分布式环境中部署 Play 应用程序,由远程 MySQL 数据库提供支持.具体来说,应用程序托管在 heroku 上,数据库在 Amazon RDS 上(尽管这确实适用于任何远程数据库连接).由于数据库不仅仅在本地主机上,为了安全起见,我更喜欢通过 SSL 建立远程 MySQL 连接. 给定要信任的 CA 证书,我如何配置 Play 应用程序以通过 SSL 连接到 MySQL 服务器,前 ..
发布时间:2021-11-27 10:25:30 Java开发

Spark Streaming 1.6.0 中检查点/WAL 的可靠性问题

说明 我们在 Scala 中有一个 Spark Streaming 1.5.2 应用程序,它从 Kinesis Stream 读取 JSON 事件,执行一些转换/聚合并将结果写入不同的 S3 前缀.当前批处理间隔为 60 秒.我们有 3000-7000 个事件/秒.我们正在使用检查点来保护我们免于丢失聚合. 它运行良好有一段时间了,从异常中恢复,甚至集群重新启动.我们最近重新编译了 S ..
发布时间:2021-11-27 10:20:02 其他开发

任何适用于 AWS 的 Scala SDK 或接口?

有谁知道适用于 Amazon Web Services 的 Scala SDK?我对 EMR 工作特别感兴趣. 解决方案 看看 AWScala(它是 AWS SDK for Java 之上的一个简单包装器): https://github.com/seratch/AWScala [来自 04/07/2015 的更新]:来自@dwhjames 的另一个非常有前途的库: 用于 ..
发布时间:2021-11-27 10:10:54 其他开发

发送 FakeRequest 时如何为 akka.stream.Materializer 提供隐式值?

我正在尝试理解我在下面看到的错误,并学习如何修复它. 找不到参数物化器的隐式值:akka.Stream.Materializerval fut: Future[Result] = action.apply(fakeRequest).run^方法运行的参数不足(隐式实现器:akka.stream.Materializer)scala.concurrent.Future[play.api.mvc. ..
发布时间:2021-11-26 22:51:46 其他开发

Akka Stream Source.queue 的背压策略不起作用

我试图理解为什么下面的代码片段正在做它正在做的事情.我会认为,因为接收器不能比源生成内容更快地产生需求,那么我会收到丢弃的消息以响应某些报价(溢出策略设置为丢弃缓冲区)以及错误和队列关闭消息在自毁片之后. 片段: 打包游乐场导入 java.time.LocalDateTime导入 java.util.concurrent.atomic.AtomicInteger导入 akka.actor. ..
发布时间:2021-11-26 22:51:37 其他开发

如何在 Akka Stream 中记录流速?

我有一个带有单个流/图的 Akka Stream 应用程序.我想测量源头的流速并每 5 秒记录一次,例如“在过去 5 秒内收到 3 条消息".我试过了, someOtherFlow.groupedWithin(Integer.MAX_VALUE, 5 秒).runForeach(seq =>log.debug(s"在过去 5 秒内收到 ${seq.length} 条消息")) 但只在有消息时输 ..
发布时间:2021-11-26 22:51:29 其他开发

使用 TCP 流并将其重定向到另一个 Sink(使用 Akka Streams)

我尝试使用 Akka 2.4.3 将 TCP 流重定向/转发到另一个接收器.该程序应该打开一个服务器套接字,侦听传入的连接,然后使用 tcp 流.我们的发件人不期望/接受我们的回复,所以我们从不发回任何东西——我们只是消费流.在对 tcp 流进行成帧后,我们需要将字节转换为更有用的内容并将其发送到 Sink. 到目前为止,我尝试了以下操作,但我尤其在如何不将 tcp 数据包发送回发件人并正确 ..
发布时间:2021-11-26 22:51:18 其他开发

使用 Akka-Streams HTTP 将整个 HttpResponse 主体作为字符串获取

我正在尝试了解如何使用新的 akka.http 库.我想向服务器发送一个 http 请求并将整个响应正文作为单个字符串读取,以生成一个 Source[String,?]. 这是迄今为止我能够产生的最佳解决方案: def get(型号ID:字符串,池:流[(HttpRequest,Int),(Try[HttpResponse],Int),Http.HostConnectionPool]): ..
发布时间:2021-11-26 22:51:07 其他开发

将 Akka Stream Source 一分为二

我有一个 Akka Streams Source,我想根据谓词将其拆分为两个源. 例如有一个来源(类型被有意简化): val source: Source[Either[Throwable, String], NotUsed] = ??? 还有两种方法: def handleSuccess(source: Source[String, NotUsed]): Future[Unit] = ..
发布时间:2021-11-26 22:50:55 其他开发

使用 Akka Streams 读取 CSV 文件

我正在读取一个 csv 文件.我正在使用 Akka Streams 来执行此操作,以便我可以创建要在每一行上执行的操作图.我已经启动并运行了以下玩具示例. def main(args: Array[String]): Unit = {隐式 val 系统 = ActorSystem("MyAkkaSystem")隐式 val materializer = ActorMaterializer()v ..
发布时间:2021-11-26 22:50:48 其他开发

如何从递归生成值的流创建 akka-stream 源?

我需要遍历一个形状像树的 API.例如,目录结构或讨论线程.它可以通过以下流程建模: type ItemId = Int类型数据 = 字符串案例类项目(数据:数据,孩子:列表[ItemId])def randomData(): Data = scala.util.Random.alphanumeric.take(2).mkString//0 =>[1, 9]//1 =>[10, 19]//2 = ..
发布时间:2021-11-26 22:50:39 其他开发

端到端反应式流 RESTful 服务(又名 Back-Pressure over HTTP)

我在网上尝试澄清这个问题有一段时间没有成功,所以我会尝试在这里提问. 我想找到一些资源或示例,其中展示了如何构建端到端的完全背压式 REST 服务 + 客户端.我的意思是,我希望看到,给定一个实现 Reactive Streams 的 REST 客户端(无论是在 Akka、JS 还是其他中),我将拥有(并且能够“可视化")整个过程中处理的背压构建的 REST 服务器,例如使用 Akka-Ht ..
发布时间:2021-11-26 22:50:28 其他开发