datastax-enterprise相关内容

如何改进我的 Spark 应用程序的 reducebykey 部分?

我有 64 个火花芯.我的 cassandra 集群中有超过 8000 万行数据,总计 4.2 GB.我现在需要 82 秒来处理这些数据.我希望这减少到 8 秒.对此有何想法?这甚至可能吗?谢谢. 这是我想要改进的 Spark 应用程序的一部分: axes = sqlContext.read.format("org.apache.spark.sql.cassandra")\.options ..
发布时间:2021-12-31 18:04:50 Python

无法使用 OpsCenter 5.2.1 备份到 S3

我将 OpsCenter 从 5.1.3 升级到 5.2.0(然后升级到 5.2.1).在升级之前,我有一个到本地服务器的计划备份和一个 S3 位置配置,它在 OpsCenter 5.1.3 上运行良好.在升级期间或升级之后,我没有对计划的备份进行任何更改. 升级后的第二天,S3 备份失败.在 opscenterd.log 中,我看到以下错误: 2015-09-28 17:00:00+ ..
发布时间:2021-12-31 17:52:49 其他开发

集群中的 Cassandra 主机,ID 为空

注意:我们在 Cassandra 2.1.12.1047 (DSE 4.8.4) 集群中看到了这个问题,集群有 6 个节点,跨越 3 个区域(每个区域 2 个). 最近尝试更新我们集群上的架构,我们发现更新失败.我们怀疑集群中的一个节点不接受更改. 当检查我们在 us-east-1 中的一台服务器的 system.peers 表时,它有一个异常,它似乎是一个完整的主机条目,没有存在. ..
发布时间:2021-12-31 17:50:37 其他开发

我可以强制清理旧墓碑吗?

我最近降低了 CQL 表的 gc_grace_seconds.我正在运行 LeveledCompactionStrategy.我是否可以强制清除 SSTable 中的旧墓碑? 解决方案 TL;DR 您的墓碑会通过压实位自行消失,请确保您正在维修,否则它们可能会死而复生. http://www.datastax.com/documentation/cassandra/2.0/ca ..
发布时间:2021-12-31 17:45:39 其他开发

如何在 CQL3 中设置单个 CQL 查询的一致性级别?

在 早期的 CQ 测试版L 中,有一个命令我可以用来设置单个 CQL 操作的读/写一致性.它看起来像这样: SELECT * FROM users WHERE state='TX' USING CONSISTENCY QUORUM; 我经常使用 CQL3 并且有一个用例,我需要能够以比我们应用程序的其余部分更高的一致性级别执行读取. 我浏览了 CQL3 参考,但没有发现任何提及C ..
发布时间:2021-12-31 17:36:01 其他开发

Cassandra (CQL) 中的结果分页

我想知道如何使用 Cassandra 实现分页. 假设我有一个博客.该博客每页最多列出 10 个帖子.要访问下一个帖子,用户必须点击分页菜单才能访问第 2 页(帖子 11-20)、第 3 页(帖子 21-30)等. 在 MySQL 下使用 SQL,我可以做到以下几点: SELECT * FROM 帖子 LIMIT 20,10; LIMIT 的第一个参数是从结果集开始的偏移量,第二个 ..
发布时间:2021-12-31 17:17:49 其他开发

什么时候在 DSE 中使用 Cassandra 和 Solr?

我将 DSE 用于 Cassandra/Solr 集成,以便数据存储在 Cassandra 中并在 Solr 中建立索引.分别使用Cassandra处理CRUD操作和使用Solr进行全文搜索是很自然的,而DSE确实可以简化Cassandra和Solr之间的数据同步. 然而,当谈到查询时,实际上有两种方法可以走:Cassandra 二级/手动配置索引与 Solr.我想知道何时使用哪种方法以及一 ..
发布时间:2021-12-30 09:00:12 其他开发

如何使用 Cassandra 在 CQL 中查看 SOLR 动态字段?

Solr 动态字段在 Solr 中显示为可搜索并在 Thrift 界面中可用,但在使用 CQL 时,这些字段不会出现.是否有特定的搜索样式或查询样式可用于公开动态字段及其值? 解决方案 通过 CQL3 动态字段应该也能正常工作,但有一些注意事项. 您需要将类型声明为映射(例如:dyn_map)并创建 CQL 架构. 使用声明的动态类型发布您的架构. 动态部分不是通过容器(地图)的 ..
发布时间:2021-12-30 08:48:42 其他开发

DSE Solr 节点和 vnode

以下文档页面说不建议将 vnodes 用于 Solr/Hadoop 节点: http://www.datastax.com/documentation/datastax_enterprise/4.0/datastax_enterprise/srch/srchIntro.htmlhttp://www.datastax.com/documentation/datastax_enterprise/ ..
发布时间:2021-12-30 08:47:19 其他开发

在 Datastax Spark 提交中使用 Scala 从 S3 存储桶读取文件到 Spark 数据帧,给出 AWS 错误消息:错误请求

我正在尝试读取位于孟买地区的 s3 存储桶上的 CSV 文件.我正在尝试使用 datastax dse spark-submit 读取文件. 我尝试将 hadoop-aws 版本更改为各种其他版本.目前,hadoop-aws 版本为 2.7.3 spark.sparkContext.hadoopConfiguration.set("com.amazonaws.services.s3.ena ..