postgresql相关内容

为什么要在docker(ubuntu:18.04)中运行长时间运行的postgres查询,必须使用`ological copg2.Connect(...)`中的`Keepalives`参数?

我们刚刚过渡到使用Docker进行开发,正在使用ubuntu:18.04镜像。我们注意到,使用psycopg2的查询在几分钟后失败。This answer使用以下keepalives参数解决了问题: self.db = pg.connect( dbname=config.db_name, user=config.db_user, password=config.db_ ..
发布时间:2022-07-16 12:02:31 其他开发

检查哪些ID已过账

检查PostgreSQL表中存在哪些ID的速度如何 我写了以下函数,但当len(x)大于500 000时,它会非常慢 import psycopg2 conn = psycopg2.connect(...) cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor) def check_exist(lst): ..
发布时间:2022-07-16 11:51:53 Python

在将列表的字典插入到Postgres的表中时,如何包含&;#39;Null&;;值?

我正在解析我的XML文件,并将它们存储到一个列表字典中,在那里我将使用心理拷贝g2将它们插入到posgres的表中。然而,并不是所有的行都被插入到表中(它只插入到列表中数量最少的值中)。以下是列表词典的摘录: dict_songs = {'title' : ['Need You Now', 'GTFO'...], 'format': ['MP4', 'MP3'...], 'type' : [ ..
发布时间:2022-07-16 11:46:11 Python

从Python创建动态SQL查询

我使用下面的一组参数来创建动态SQL查询,并从python运行它。 target_column = 'connect_status' table_name = 'public.main_table' query_params = {'month_date' : '201801', 'churn_date' : ['201802','201803','2018 ..
发布时间:2022-07-16 11:32:38 Python

操作错误:致命:数据库不存在

我是一个db哑巴,我正在尝试为我的Django项目设置PostgreSQL。为此,我还使用了心理拷贝2。不过,数据库很复杂。就我个人而言,我希望有一种方法可以在一个地方获得我所有的数据库和用户设置/信息。因此,我知道连接到什么以及如何连接(我仍在本地运行,所以没有安全问题?)。 但是,即使我连接到标准的“admin”用户“postgres”,我似乎也没有创建此数据库的“权限”。使用我在安装时输入 ..
发布时间:2022-07-16 11:27:19 其他开发

使用Python获取为PostgreSQL序列密钥插入的最后一条记录的ID

我使用的是不带ORM的SQLAlChemy,即使用手工创建的SQL语句直接与后端数据库交互。在本例中,我使用pg作为后端数据库(作为DB驱动程序)-我不知道这是否会影响答案。 我有这样的语句,为简洁起见,假设conn是到数据库的有效连接: conn.execute("INSERT INTO user (name, country_id) VALUES ('Homer', 123)") ..
发布时间:2022-07-16 11:24:18 Python

Plpgsql一次输入将所有相关字段/列获取到json失败

尝试回答this问题,然后发现我无法解决它。 基本思想:传播两次,从Country_id传播到State_id,State_id传播到City_id两次,然后需要连接Country_id两次。当我们在州级别执行array_agg时,我们需要显式Join Country_id,在城市级别我们也需要使用Join Country_id。 参考链接:https://github.com/hettie- ..
发布时间:2022-07-16 10:08:26 其他开发

创建函数时出错

我尝试创建函数 CREATE OR REPLACE FUNCTION public.my_sql_function3(IN inputval integer) RETURNS TABLE("ID" integer, name character varying, cnt integer) AS $BODY$ select t.id, t.name, CAST(count(*) AS ..
发布时间:2022-07-16 10:03:23 其他开发

不识别WHERE子句中的别名

我正在尝试查询以下信息。没有WHERE子句,查询就可以完美地执行;但是,当我添加WHERE子句时,我得到一个错误,别名“ERROR_PERCENTIAL”无法识别。我还尝试了使用HAVING而不是WHERE和LIMIT。 如何使用我在SELECT子句中创建的此别名缩小查询范围? SELECT date, ((CAST(error AS float) / CAST(success AS ..
发布时间:2022-07-15 10:00:28 其他开发

使用EPSG5186将米转换为度

我有几个关于PostGIS中的几何和地理的问题。 我当前使用的是PostGIS和PostgreSQL。 我的大部分空间数据来自韩国,基本上是纬度和经度。 为了测试,我创建了两个具有相同纬度和经度数据但数据类型不同的表,一个用于地理的SRID 4326,另一个用于几何的SRID 5186。 create table geometry_stores ( id ..
发布时间:2022-07-14 18:02:28 其他开发

如何在批处理过程中使用AWS/RDS切换数据库并避免停机?

对于我们的内部使用,我们在EC2实例上有一个Web应用程序,它从RDS/Postgres数据库读取(不写入)数据。在一天的部分时间内,生成此数据库的新数据(运行约2小时的批处理过程),并将数据直接写入同一数据库,这当然会导致应用程序停机(~2小时),直到数据完全写入。 在AWS/EC2/RDS上,管理这样的情况会是什么好做法,既不允许应用程序停机,又能够回滚到以前的版本,当然,如果批处理过程 ..
发布时间:2022-07-02 23:57:32 其他开发

TerraForm尝试加载已停用的旧提供程序

尝试使用cyrilgdn/PostgreSQL提供程序,但Terraform继续尝试加载hashicorp/PostgreSQL,这会导致初始化失败。当前使用的是Terraform 1.0.0,尽管问题也发生在14.1上-尚未从12.x升级,请始终在此工作中运行14.1或更高版本。 我已将代码减少到下面,此文件夹中没有其他代码,但仍然出现问题 terraform { require ..
发布时间:2022-07-02 23:38:36 其他开发

Azure Data Factory AWS PostgreSQL RDS作为源连接

我正在尝试使用AWS PostgreSQL RDS实例作为数据工厂管道的源。我无法在ADF v1或v2中使用此连接。我尝试了所有方法,从使用PostgreSQL连接到用于PostgreSQL的Azure数据库。从本质上讲,我将实现云到云,但这种连接似乎还不受支持。还有谁幸运地做到了这一点? 推荐答案 是的,正如您所发现的,这是严重损坏的。两个主要问题: 1)您必须安装NpgSQL 2 ..

Postgres在大型字符串行上选择iLike%TEXT%速度较慢

我有一个只有7列的表,其中一列存储了每行的长文本数据。该文本列数据的平均字符长度约为1500个字符。此表有500.000行。 当我使用SELECT查询并且没有使用Text列时,没有问题,查询需要10秒。 但是,如果我像Select * from table_1那样将此长文本列添加到我的查询中,则需要3到4分钟来完成此查询并使用DataAdapter填充DataTable。 为什么 ..

在PostgreSQL中使用Copy From命令在多个表中插入

我正在尝试使用PostgreSQL中COPY FROM命令的性能来获取CSV文件(CSV->Table1)的1个表的所有数据,我需要插入其他数据,但是,在一个新表中。我需要第一个表的主键放在第二个表中作为外键。 示例: 我需要在表1中插入1,000,000个名称,在表2中插入500,000个名称,但是,表2中的所有名称都引用了表1中的1个元组。 CREATE TABLE table1 ( ..