从数百万条记录中删除重复行的有效方法
我正在寻找一种从数据库中删除重复记录的有效方法.首先，我使用了一个使用联接等的存储过程，这导致查询执行非常慢.现在，我正在尝试另一种方法.请考虑以下查询: /* QUERY A */ SELECT * FROM my_table WHERE col1 = value AND col2 = value AND col3 = value 此查询仅在12秒内执行，结果为182.400
..
database-performance相关内容
WHERE-CASE子句子查询性能
该问题可能特定于SQL Server. 当我编写查询时: SELECT * FROM IndustryData WHERE Date='20131231' AND ReportTypeID = CASE WHEN (fnQuarterDate('20131231')='20131231') THEN 1 WHEN (fnQuarterDat
..
SQL几何VS十进制(8,6)纬度，长期性能
我一直在研究在给定坐标的特定邻近范围内选择最接近点的性能. 选项是使用两个decimal(8,6)-lat，长列或单个geography列并进行处理. 我只对哪个更快感兴趣? 解决方案 TL; DR 地理要快10倍. 好，所以我已经设置了测试: 表中的一个与id,lat,long (int, decimal(8,6),decimal(8,6))耦合，另一个与id,c
..
了解“键数"；在nodetool cfstats中
我是Cassandra的新手，在此示例中，我正在使用具有1个DC和5个节点的集群以及一个复制因子为3的NetworkTopologyStrategy. Keyspace: activityfeed Read Count: 0 Read Latency: NaN ms. Write Count: 0
..
优化InnoDB插入查询
根据慢查询日志，以下查询（和类似查询）大约需要2秒钟才能执行： INSERT INTO传入的gprs_data（数据，类型）值（'3782379837891273 | 890128398120983891891881881abcabc'，'GT100'）; 表结构： CREATE TABLE`incoming_gprs_data`（ `id` int（200）N
..
有什么办法可以替换PostgreSQL中的类似条件？
我的代码中有以下查询。由于 like 条件，需要花费一分钟来获取数据。如果您有任何替换它或加快检索时间的方法，请告诉我。 选择id，URL $ b来自活动日志 的$ b，其中资源='工作' 和（方法='saveTechStatus'） 和（URL如'％/ jobs / saveTechStatus / 81924 /％'） 按时间戳记顺序排序； 解决方案 您可以使用三字母组合
..
未使用Postgres的gin_trgm_ops索引
我正在尝试加速 Postgres中的某些文本匹配，使用 pg_trgm 扩展名： 创建表test3（id bigint，键文本，值文本）； 插入到test3值中（1，“第一个1”，“第二个3”）； 插入test3值（2，“第一个1”，“第二个2”）； 插入test3值（2，“前2”，“后3”）； 插入test3值（3，“第一个1”，“第二个2”）； 插入test3值（3，“第一
..
用于数据分析的特定Postgresql服务器配置
如果您将Postgresql数据库专门用于数据科学部门和数据分析，是否有使用postgresql.conf文件调整服务器性能的技巧？还是性能调整本身是与目的无关的，并且您将对它进行任何操作都没有真正的区别，因为“一切都与提取数据有关”？ 这是一个相当晦涩的问题我没有找到答案（在关于数据科学的大量文章中）。 解决方案 尽管这是一个非常笼统的问题问题，我会尽力给您一个或两个提示：
..
提高首次查询的性能
如果执行以下数据库（postgres）查询，则第二次调用会更快。 我猜由于操作系统（linux），第一个查询的速度很慢需要从磁盘获取数据。第二个查询得益于文件系统级和postgres中的缓存。 是否有一种方法可以优化数据库，从而在第一个上快速获得结果。 >通话？ 首次通话（慢） foo3_bar_p @ BAR-FOO3-Test：〜$ psql foo3_bar
..
慢速运行的Postgres查询
此查询对我的数据库需要很长时间。该SQL是从应用程序内部的ORM（休眠）生成的。我没有源代码。 我想知道是否有人可以看看下面的 ANALYZE EXPLAIN 输出并建议我可以做的任何Postgres调整。 我不知道从哪里开始或如何调整数据库以服务于该查询。 查询看起来像这样 选择 resourceta0_.RES_ID作为col_0_0_来自 的 HFJ_RESOUR
..
postgres外键是否暗示索引？
我有一个postgres表（让我们将此表称为 Events ）和一个到另一个表的复合外键（让我们将此表称为 Logs ）。事件表如下所示： 创建表事件（ ColPrimary UUID， ColA VARCHAR（50 ）， ColB VARCHAR（50）， ColC VARCHAR（50）， 主键（ColPrimary）， 外键（ColA，CollB，ColC）参考日志（ColA
..
在大型数据集上的Postgres中删除列
所以我有一个带有大数据集的表，该表有三列要删除。 问题是：Postgres将如何处理它？ 它将遍历每个条目，还是只是更新映射信息而没有太多开销？ 我可以只制作一个 ALTER TABLE 还是在这种特殊情况下使用交换表吗？ 并且，如果有什么区别，那么三列的长度都是固定的（两个整数和一个数字）。 很抱歉，是否已经有人问过，但是Google找不到任何相关问题/文章...
..
ActiveRecord查询比直接SQL慢得多？
我一直在优化项目的数据库调用，我注意到下面两个相同的调用之间在性能上存在“显着”差异： connection = ActiveRecord :: Base.connection（） pgresult = connection.execute（ “ SELECT SUM（my_column） FROM table WHERE id =＃{ id} 和created_at在'＃{lo
..
PostgreSQL上的表索引以提高性能
我正在解决PostgreSQL上的性能问题，并且有下表： 创建表main_transaction（ id整数NOT NULL默认值nextval（'main_transaction_id_seq':: regclass）， 描述字符变化（255）NOT NULL， request_no字符变化（18）， 账户字符变化（50）， .... ） 上表具有34列，包括3个
..
PostgreSQL CROSS JOIN索引以提高性能
这是我的问题的第二部分。 所以我有下表， 创建表public.main_transaction （ id整数NOT NULL默认值nextval（'main_transaction_id_seq':: regclass）， profile_id整数NOT NULL， request_no字符不可变（18）， user_id bigint， ..... CONSTRAINT
..
性能调优：为布尔列创建索引
我已经编写了一个守护程序处理器，它将从一个数据库中获取行并将其插入到另一个数据库中进行同步。它将根据 boolean 指示标志 sync_done 获取行。 我的表有成千上万的行。当我选择所有 sync_done为false 的行时，是否会引起数据库性能问题？我应该为该 sync_done 列应用索引以提高性能，因为只有 sync_done 值小于 false 是否被提取？ 说，我有1
..
LOWER LIKE vs iLIKE
以下两个查询组件的性能如何比较？ 低价 ... LOWER（description）像'％abcde％'... iLIKE ...描述iLIKE'％abcde％' ... 解决方案 答案取决于许多因素，例如Postgres版本，编码和语言环境- LC_COLLATE 。 简单表达式 lower（description）
..
PostgreSQL截断速度
我们正在使用Postgresql 9.1.4作为我们的数据库服务器.我一直在尝试加快测试套件的速度，因此我一直在盯着数据库进行性能分析，以了解到底发生了什么.我们正在使用 database_cleaner 在测试结束时截断表.是的，我知道交易速度更快，在某些情况下我无法使用它们，所以我对此并不担心. 我关心的是，为什么TRUNCATION花费这么长的时间(比使用DELETE更长)，为什么它在
..
一起执行多项功能而不会损失性能
我有这个过程，必须使用pl/pgsql进行一系列查询: --process: SELECT function1(); SELECT function2(); SELECT function3(); SELECT function4(); 为了能够在一个调用中执行所有操作，我创建了一个流程函数，如下所示: CREATE OR REPLACE FUNCTION process()
..
如何将低/高基数列配对为复合索引?
此问题与Oracle DB有关，因此，如果我想知道一些一般性的答案.由于我正在从Derby/MySQL和其他数据库中删除有关此主题的信息. 假设我在WHERE子句的以下列中使用了几个查询: Column | Cardinality | Selectivity _______|__________________________ A | low | low B
..