query-optimization 第2页 - IT屋-程序员软件开发技术分享社区

Mariadb - 每批扩展插入执行时间都在逐渐增加

我需要将六亿五千万(650000000) 条记录插入到一个表中.我尝试过 extend insert 和 LOAD DATA LOCAL INFILE 方法. 扩展插入结果: 我已经拆分了数据，每个扩展插入都包含 1250000.我面临的问题是每个批次的执行时间都会逐渐增加. 第 1 批在 40 秒内完成第 2 批在 50 年代完成第 3 批在 60 年代完成80年代完成的第4 ..

发布时间：2022-01-15 20:50:10 mysql mariadb query-optimization bulkinsert mariadb-10.3 数据库

创建表`文件`(`did` int(10) unsigned NOT NULL DEFAULT '0',`filename` varbinary(200) NOT NULL,`ext` varbinary(5) 默认为空，`fsize` 双 DEFAULT NULL，`filetime` 日期时间 DEFAULT NULL,主键(`did`，`filename`)，KEY `fe` (`filet ..

发布时间：2022-01-15 20:01:24 mysql performance indexing query-optimization mariadb 数据库

如何使用 DB2 Explain?

如何使用 DB2 的解释功能?-- 既要运行它，又要使用它来优化查询.是否有更好的工具可用于 DB2? 我以前构建过查询，但我必须知道它们需要多长时间的唯一方法是运行它们并为它们计时——这并不理想. 编辑:对我来说，答案是“你不能.你没有也无法获得访问权."你不喜欢官僚主义吗? 解决方案您正在寻找的是两个 DB2 实用程序: 解释实用程序，显示优化器的访问计划和特定查询 ..

发布时间：2022-01-14 21:41:18 sql db2 query-optimization explain 其他开发

需要帮助优化 mysql 的 lat/Lon 地理搜索

我有一个 mysql (5.0.22) myisam 表，其中大约有 300k 条记录，我想在 5 英里半径范围内进行纬度/经度距离搜索. 我有一个涵盖纬度/经度字段的索引，当我只选择纬度/经度时，它的速度很快(毫秒响应).但是当我选择表格中的其他字段时，速度会慢到 5-8 秒. 我正在使用 myisam 来利用全文搜索.其他索引表现良好(例如 select * from Listin ..

发布时间：2022-01-14 21:19:13 mysql performance optimization geolocation query-optimization 数据库

计算 SQL 中的并发事件数

我有一个保存电话的表格，其中包含以下字段: 身份证开始时间结束时间状态 CALL_FROM CALL_TO 有 290 万条记录加载到本地 PostgreSQL 数据库中.我在 ID(唯一索引)、开始时间和结束时间上添加了索引. 在 stackoverflow 上搜索，我发现了一些有用的 SQL，并将其修改为我认为在逻辑上应该可以工作的内容.问题是查询运行了好几个 ..

发布时间：2022-01-13 08:54:54 sql postgresql performance timestamp query-optimization 其他开发

Linq2SQL“或/和"运算符(ANDed/ORed 条件)

假设我们需要应用几个条件来从名为“事物"(未知数量和性质)的表中进行选择如果条件已知，我们可以写 db.Things.Where(t=>foo1 && foo2 || foo3); 但是如果我们必须以编程方式构建 Where 条件，我可以想象我们如何应用 AND 条件 IQuerable DesiredThings = db.Things.AsQuerable();foreach(A ..

发布时间：2022-01-07 15:44:11 c# .net linq-to-sql query-optimization expression-trees C#/.NET

SQLite 3 下用事务优化选择

我读到将大量 SELECT 包装到 BEGIN TRANSACTION/COMMIT 中是一个有趣的优化. 但是如果我之前使用“PRAGMA journal_mode = OFF"，这些命令真的有必要吗?(如果我记得的话，这会禁用日志，显然也禁用事务系统.) 解决方案 “使用事务——即使你只是在读取数据.这可能会产生几毫秒." 我不确定 Katashrophos.net 博客从 ..

发布时间：2022-01-06 20:58:35 sqlite transactions query-optimization 数据库

条件计数:使用 SUM() 与 COUNT() 的性能差异?

举一个非常简单的例子，假设我有一个表 test 和这样的示例数据: a |乙-------------1 |181 |241 |641 |821 |101 |72 |52 |182 |662 |723 |813 |97 对于每个 a，我要计算有多少 b 是 ..

发布时间：2021-12-30 16:31:09 sql count query-optimization 其他开发

从表中计数，但在某个数字处停止计数

在 MySQL 中有没有办法从表中 COUNT(*) 如果数字大于 x，它会在那里停止计数?基本上，我只想知道从查询返回的记录数是多于还是少于特定数字.如果多于那个数字，我真的不在乎有多少行，如果少了，告诉我计数. 我已经能够像这样捏造它: -- 让 x 为 100选择计数(*)从(从`myTable`中选择`id`哪里 myCriteria = 1限制 100) 作为温度 ...但我想 ..

发布时间：2021-12-30 16:30:33 mysql sql database count query-optimization 数据库

如何返回按 COUNT(*) 降序列出的行?

我有一个名为 foo 的表，其中包含以下字段: - id- 类型- 父母身份我想选择父 IDS 的列表，按照它们在表中出现的次数的 COUNT(*) 降序排列.像这样: SELECT DISTINCT parentId FROM `foo`ORDER BY (COUNT(parentId) DESC where parentId = parentId) 如何以最有效的方式完成这项工作，同 ..

发布时间：2021-12-30 16:22:59 mysql sql count query-optimization 数据库

Mysql 在非常大的表上计算性能

我在 Innodb 中有一个超过 1 亿行的表. 我必须知道是否有超过 5000 行的外键 = 1.我不需要确切的数字. 我做了一些测试: SELECT COUNT(*) FROM table WHERE fk = 1 => 16 秒 SELECT COUNT(*) FROM table WHERE fk = 1 LIMIT 5000 => 16 秒 SELECT prima ..

发布时间：2021-12-30 15:52:57 mysql sql count query-optimization database-performance 数据库

java.sql.SQLException: ORA-01652: 无法在表空间 TEMP 中将临时段扩展 128(即使在扩展之后)

我们的数据加载在运行数小时后失败.DBA 将临时 tablespace 增加了三次.它仍然失败.什么可能是错误的原因.块大小或其他任何事情重要吗? 尝试时出错为这个加载规则摄取数据CRM_ECC_UTIL_PVT.GET_ECC_DATA_LOAD_INFO使用数据集 crm-expenditus for job 125,840 **java.sql.SQLException: ORA-0 ..

发布时间：2021-12-30 14:11:16 database oracle oracle11g query-optimization database-administration 数据库

蜂巢左外连接长期运行

Hortonworks HDP 2.3.0 - Hive 0.14 Table T1(在 col1 上分区，无桶，ORC) app 1.2 亿行 &6GB 数据大小Table T2(col2 上的分区，无桶，ORC) app 200 M 行 &6MB 数据大小 T1 左外连接 t2 ( t1.col3 = t2.col3 ) 上述查询在 tez 和 tez 的最后一个减速器阶段长时间运行 ..

发布时间：2021-12-29 00:00:26 hive mapreduce query-optimization hiveql reduce 其他开发

Hive - 有没有办法进一步优化 HiveQL 查询?

我写了一个查询来查找 3 月到 4 月美国最繁忙的 10 个机场.它产生所需的输出，但我想尝试进一步优化它. 是否有任何 HiveQL 特定优化可以应用于查询?GROUPING SETS 是否适用于此处?我是 Hive 的新手，目前这是我提出的最短查询. SELECT airports.airport, COUNT(Flights.FlightsNum) AS Total_Flights从 ..

发布时间：2021-12-28 23:29:18 sql hadoop hive query-optimization hiveql 其他开发

使用 Hive 分区表优化连接性能

我有一个带有一些示例数据的 Hive orc test_dev_db.TransactionUpdateTable 表，它将保存需要更新到主表 (test_dev_db.TransactionMainHistoryTable) 的增量数据，该表在列 Country,Tran_date 上进行分区. Hive Incremental load table schema:包含19行需要合并. ..

发布时间：2021-12-28 23:22:46 performance hive query-optimization partitioning 其他开发

Hive Map-Join 配置之谜

谁能解释清楚 hive.auto.convert.join 和 hive.auto.convert.join.noconditionaltask 配置参数? 还有这些对应的尺寸参数: hive.mapjoin.smalltable.filesize 和 hive.auto.convert.join.noconditionaltask.size 我的观察是在 Tez 上运行时， ..

发布时间：2021-12-28 23:20:29 hive query-optimization hiveql mapjoin hive-configuration 其他开发

MySQL 是否消除了 SELECT 和 HAVING/GROUP BY 子句之间的常见子表达式

我经常看到人们用这样的查询来回答 MySQL 问题: SELECT DAY(date)，其他列发件人表按天分组(日期)；SELECT somecolumn, COUNT(*)发件人表有计数(*) >1; 我总是喜欢给列一个别名，并在 GROUP BY 或 HAVING 子句中引用它，例如 SELECT DAY(date) AS 天，其他列发件人表按天分组；SELECT somecolumn, ..

发布时间：2021-12-26 23:59:24 mysql group-by query-optimization having 数据库

创建分层定义的数据集的扁平表/视图

我有一个包含分层数据的表格.此层次结构中目前有大约 8 个级别. 我真的很喜欢数据的结构方式，但是当我需要知道级别 8 的记录是否是级别 1 的记录的子级时，性能很差. 我有 PL/SQL 存储函数，它们为我执行这些查找，每个函数都有一个 select * from tbl start with ... connect by... 语句.当我查询少量记录时，这很好用，但我现在需要一次查 ..

发布时间：2021-12-26 21:17:35 sql oracle database-design query-optimization hierarchical-data 数据库

每行查询最后 N 个相关行

我有以下查询，它获取每个 station 的最新 N observations 的 id: SELECT id从 (SELECT station_id, id, created_at,row_number() OVER(PARTITION BY station_idORDER BY created_at DESC) AS rn从 (SELECT station_id, id, created_a ..

发布时间：2021-12-21 23:48:33 sql performance postgresql indexing query-optimization 其他开发

mysql fix 使用 where;

我的 SQL 查询: SELECT *FROM updates_cats在哪里 uid =118697835834ORDER BY created_date ASC 当前索引: index1(uid, created_date) 解释扩展结果: 1 SIMPLE updates_cats ref index1 index1 8 const 2 100.00 使用 where 如何修复 ..

发布时间：2021-12-21 23:46:13 mysql sql indexing query-optimization where 数据库

query-optimization相关内容