datastax相关内容

Cassandra:NoHostAvailableException:尝试查询的所有主机均失败

我将数据从SimpleStrategy Cassandra的数据库复制到另一个数据库。它们具有相同的密匙空间结构。但是,当我运行命令sstableloader--nodes时,出现以下错误。有人知道如何解决此错误吗? 卡桑德拉版本:3.11.10 命令行:# sstableloader --nodes 127.0.0.0 /var/lib/cassandra/loadme/keyspa ..

用于分区大小的 Cassandra 存储桶拆分

我对 Cassandra 还很陌生,我只是通过 Datastax 课程学习的,但是我在此处或 Internet 上找不到有关存储桶的足够信息,并且在我的应用程序中,我需要使用存储桶来拆分我的数据. 我有一些可以测量的工具,很多,并且每天分割测量(时间戳作为分区键)可能有点冒险,因为我们很容易达到一个分区的 100MB 的限制.每个度量都涉及一个用 ID 标识的特定对象.所以想用桶,但是不知道 ..
发布时间:2022-01-11 09:53:48 其他开发

最大限度.宽行的大小?

理论上,Cassandra 允许在宽行中最多包含 20 亿列. 我听说实际上高达 50.000 cols/50 MB 就可以了;50.000-100.000 cols/100 MB 可以,但需要一些调整;并且每行的列数不应超过 100.000/100 MB.原因是这会给堆带来压力. 这有什么道理吗? 解决方案 在 Cassandra 中,最大单元格数单个分区中(行 x 列)为 ..
发布时间:2021-12-31 18:10:31 其他开发

cassandra nosql 数据库中的节点、集群和数据中心有什么区别?

我正在尝试使用 datastax ops 中心为学校项目复制 cassandra nosql 数据库中的数据.从我读到的,有三个关键字:集群、节点和数据中心,据我所知,一个节点中的数据可以复制到另一个节点中,该节点存在于另一个集群中.并且所有包含相同(重复)数据的节点组成一个数据中心.是吗? 如果不是,有什么区别? 解决方案 Cassandra 中元素的层次结构是: 集群 数 ..
发布时间:2021-12-31 18:05:46 其他开发

如何改进我的 Spark 应用程序的 reducebykey 部分?

我有 64 个火花芯.我的 cassandra 集群中有超过 8000 万行数据,总计 4.2 GB.我现在需要 82 秒来处理这些数据.我希望这减少到 8 秒.对此有何想法?这甚至可能吗?谢谢. 这是我想要改进的 Spark 应用程序的一部分: axes = sqlContext.read.format("org.apache.spark.sql.cassandra")\.options ..
发布时间:2021-12-31 18:04:50 Python

Cassandra Datastax 驱动程序在访问器上设置分页状态

我正在为 cassandra 使用 Datastax 可爱的 Java 驱动程序.我试图将所有查询字符串封装到用于映射的内置访问器中,但我需要能够为查询设置分页状态. 我看到使用普通语句 (SimpleStatement) 可以做到这一点,但我还没有找到访问器的相应功能.它是否存在,或者我是否跳过使用访问器来实现此功能? 解决方案 我同意这真的很好. 目前处理此问题的一种方法是 ..
发布时间:2021-12-31 17:57:42 其他开发

什么是 Cassandra 中的本地传输请求?

在 Datastax OpsCenter 中查看节点详细信息时: 我们可以看到有 34903422 个“本地传输请求",但有 1072 个被阻止. 有人能解释一下什么是本地传输请求吗?这与突变有什么关系? 他们被屏蔽是否正常?这意味着什么? 顺便说一句.我们还可以看到删除了 93 个突变,我们知道这意味着什么:什么是 cassandra 中的突变?. 解决方案 本机传输 ..
发布时间:2021-12-31 17:55:44 其他开发

使用Java将数据从一个表复制到Cassandra中的另一个表

我正在尝试将所有数据从一个列族(表)移动到另一个列族(表).由于两个表都有不同的描述,我必须从表 1 中提取所有数据并为表 2 创建一个新对象,然后进行批量 aync 插入.我的表 1 有数百万条记录,所以我无法直接在我的数据结构中获取所有数据并解决它.我正在寻找将 Spring Data Cassandra 与 Java 结合使用的解决方案. 我最初计划首先将所有数据移动到临时表,然后创建 ..
发布时间:2021-12-31 17:52:58 Java开发

用于分区大小的 Cassandra 桶拆分

我对 Cassandra 很陌生,我刚刚通过 Datastax 课程学习了它,但是我在这里或互联网上找不到足够的关于存储桶的信息,在我的应用程序中,我需要使用存储桶来拆分我的数据. 我有一些工具可以进行很多度量,每天拆分度量(时间戳作为分区键)可能有点冒险,因为我们很容易达到分区 100MB 的限制.每个度量都涉及一个用 ID 标识的特定对象.所以我想用一个bucket,但是不知道怎么做. ..
发布时间:2021-12-31 17:50:22 其他开发

为 Cassandra DDL 设置一致性级别

在我的应用程序日志中,我看到,默认情况下,在运行 create/alter table 语句后,cassandra 驱动程序似乎会进行处理以使模式达成一致长达 10 秒. 在执行诸如“创建表..如果不存在"之类的 DDL 语句时,我是否可以(并且应该)设置一致性级别,例如“仲裁",以确保我的表被创建并传播到所有节点? 解决方案 Cassandra 中的架构更改(数据定义)自 1.1+ ..
发布时间:2021-12-31 17:49:13 其他开发

Cassandra 如何处理 datastax java 驱动程序中的阻塞执行语句

阻止从 com.datastax.driver.core.Session 执行方法 public ResultSet execute(Statement statement); 对此方法的评论: 此方法阻塞,直到至少收到一些结果数据库.但是,对于 SELECT 查询,它并不能保证结果已全部收到.但它确实保证了一些已收到来自数据库的响应,特别是保证如果请求无效,就会抛出异常用这种方法. ..
发布时间:2021-12-31 17:48:23 其他开发

如何防止 Cassandra 提交日志填满磁盘空间

我正在 AWS 上运行一个两节点 Datastax AMI 集群.昨天,Cassandra 开始拒绝与所有事物建立联系.系统日志什么也没显示.经过很多的修补,我发现提交日志已经填满了分配安装上的所有磁盘空间,这似乎导致了连接拒绝(删除了一些提交日志,重新启动并可以连接). 我使用的是 DataStax AMI 2.5.1 和 Cassandra 2.1.7 如果我决定从头开始擦除并重新 ..

我可以强制清理旧墓碑吗?

我最近降低了 CQL 表的 gc_grace_seconds.我正在运行 LeveledCompactionStrategy.我是否可以强制清除 SSTable 中的旧墓碑? 解决方案 TL;DR 您的墓碑会通过压实位自行消失,请确保您正在维修,否则它们可能会死而复生. http://www.datastax.com/documentation/cassandra/2.0/ca ..
发布时间:2021-12-31 17:45:39 其他开发