database-partitioning相关内容

DB2 分区

我知道 DB2 中的分区是如何工作的,但我不知道该分区值的确切存储位置.编写创建分区查询后,例如: CREATE TABLE 订单(id INT,shipdate DATE,...)按范围划分(发货日期)(开始 '1/1/2006' 结束 '12/31/2006'每 3 个月) 运行上述查询后,我们知道每 3 个月按订单创建分区,但是当我们运行选择查询时,查询引擎会引用此分区.我很想知道这实际 ..
发布时间:2022-01-14 22:12:43 其他开发

如何提高分区+集群表查询的数据量?

我有一个 BigQuery 表 - 日分区和集群.但是,当我对其运行查询时,它仍然会使用大量数据.这怎么可能? 解决方案 有时没有分区,或者每周/每月/每年分区会比每天分区表 + 集群更有效. 这是因为 BigQuery 中的每个数据集群都有一个最小大小.如果每日分区表中每天的数据量少于该数据量,您将根本看不到对表进行聚类的任何好处. 例如,让我们创建一个包含 30 多年天气的 ..

决定何时在 Bi​​gQuery 中对表进行分区的最佳平衡是什么?

我们正在使用公共数据集来对 BigQuery 进行基准测试.我们拿了同一张桌子并按天对它进行了分区,但不清楚我们是否得到了很多好处.什么是好的平衡? SELECT sum(score)从`fh-bigquery.stackoverflow_archive.201906_posts_questions`WHERE 创建日期 >“2019-01-01" 耗时 1 秒,处理 270.7MB. ..

按周/月/季度/年分区以超过分区限制?

我有 32 年的数据要放入分区表中.但是 BigQuery 说我超过了限制(4000 个分区). 对于像这样的查询: 创建表`deleting.day_partition`按航班日期分区作为选择 *从`flights.original` 我收到如下错误: 查询产生的分区太多,允许2000,查询至少产生11384个分区 我怎样才能突破这个限制? 解决方案 你可以按周/月 ..
发布时间:2021-12-30 22:37:21 其他开发

在另一个字段更改后重置的自动增量字段

您能否提供一个非常简单的 SQL 示例,说明如何创建一个“计数"或“订单"字段,该字段会自动递增,但在不同字段的每次更改后重新启动?在下表中,每次“膳食"字段发生更改时,“订单"字段都会从“1"重新开始.谢谢. 用餐 时间 订单 午餐 10:30 1 午餐 11:00 2 午餐 11:15 3 晚餐 4:30 1 晚餐 4:45 ..
发布时间:2021-12-30 16:28:47 其他开发

ORA_HASH函数使用的算法是什么?

我在我正在处理的应用程序中遇到了一些代码,这些代码调用数据库只是为了调用 ORA_HASH 函数 (文档) 上的 UUID 字符串.它这样做的原因是它需要该值来向另一个似乎使用 ORA_HASH 进行分区的系统发出服务调用. 我想知道 ORA_HASH 使用的算法,以便我可以重新实现它,为无法访问真实数据库的应用程序进行类似的服务调用,更不用说 Oracle.到目前为止,我只能找到相当于 O ..
发布时间:2021-12-24 15:58:55 数据库

如何使用 pyspark 管理跨集群的数据帧的物理数据放置?

假设我有一个 pyspark 数据框“数据",如下所示.我想按“期间"对数据进行分区.相反,我希望每个时期的数据都存储在它自己的分区上(请参阅下面“数据"数据框下方的示例). data = sc.parallelize([[1,1,0,14277.4,0], \[1,2,0,14277.4,0], \[2,1,0,4741.91,0], \[2,2,0,4693.03,0], \[3,1,2,9 ..
发布时间:2021-12-22 21:31:51 其他开发

截断超过 2 个月的分区

如何截断数据超过 2 个月的分区? 例如,我有以下表/分区名称: select table_name, partition_name from all_tab_partitions where table_name='TABLENAME';TABLENAME 分区名 1_P30 30表名分区名2_P60 60表名分区名3_P90 90表名分区名4_P120 120表名分区名5_P150 1 ..
发布时间:2021-09-10 18:32:51 数据库

选择每年的 TOP 记录

我正在尝试回顾一下我的 sql 技能,现在我正在尝试在 Northwinddb 上运行一个简单的查询来向我显示每年的顶级客户,但是一旦我使用 TOP 功能,无论如何只会显示 1 条记录关于我的分区,这是我的 T-SQL 代码 SELECT DISTINCT TOP 1 C.CompanyName, YEAR(O.OrderDate) AS 年, SUM(Quantity) OVER(PARTIT ..
发布时间:2021-08-25 20:45:46 数据库

PSQL - 选择分区表和普通表的大小

预先感谢您对此提供的任何帮助,非常感谢. 所以,基本上,我有一个 Greenplum 数据库,我想为前 10 个最大的表选择表大小.使用以下内容没有问题: 选择sotaidschemaname schema_name,sotaidtablename table_name,pg_size_pretty(sotaidtablesize) table_size来自 gp_toolkit.gp_s ..
发布时间:2021-06-22 20:43:36 其他开发

使用SQL代码向athena中的现有表添加新的分区方案

是否有可能在Athena中将分区添加到当前没有分区的现有表中?如果是这样,还请在答案中写出这样做的语法. 例如: ALTER TABLE table1 ADD PARTITION(ourDateStringCol ='2021-01-01') 上面的命令将给出以下错误: 失败:未对SemanticException表进行分区,但存在分区规范 注意:我已经进行了一次网络搜索 ..
发布时间:2021-04-03 18:39:56 其他开发