bulkinsert相关内容

对具有许多索引的表进行慢速批量插入

我尝试将数百万条记录插入具有 20 多个索引的表中. 在上次运行中，每 100.000 行花费了超过 4 小时，查询在 3½ 天后被取消... 您对如何加快速度有什么建议吗. (我怀疑是因为索引太多.如果你也这么认为，我如何在操作前自动删除索引，然后再次创建相同的索引?) 额外信息: 索引使用的空间大约是数据单独使用空间的 4 倍 插入被包装在每 100.000 行 ..

发布时间：2021-12-21 23:30:16 sql sql-server indexing bulkinsert 数据库

使用 Django 的 ORM 加速批量插入?

我计划使用 django 的 ORM 将从约 750 个文件(每个约 250MB)中提取的 10 亿条记录上传到数据库.目前每个文件需要大约 20 分钟来处理，我想知道是否有任何方法可以加速这个过程. 我采取了以下措施: 使用@transaction.commit_manually 并每 5000 条记录提交一次 设置 DEBUG=False 以便 django 不会累积内存中的所有 ..

发布时间：2021-12-20 16:01:14 django optimization orm bulkinsert 其他开发

使用 mongoose 在 MongoDB 中批量插入

我目前在 Mongodb 中有一个集合，比如“Collection1".我有以下需要插入到 MongoDB 中的对象数组.我正在使用猫鼬 API.现在，我正在遍历数组并将它们中的每一个插入到 mongo 中.这暂时没问题，但是当数据太大时会出现问题.我需要一种将数据批量插入 MongoDB 而不重复的方法.我不知道该怎么做.我在 Mongoose 中找不到批量选项. 我的代码如下 myDa ..

发布时间：2021-12-17 11:53:44 javascript node.js mongodb mongoose bulkinsert 前端开发

带有 NEST 的 Elasticsearch 批量插入返回 es_rejected_execution_exception

我正在尝试在 Elasticsearch 中使用 .Net API 进行批量插入，这是我在执行操作时遇到的错误； 错误{类型:es_rejected_execution_exception 原因:“拒绝执行 org.elasticsearch.transport.TransportService$6@604b47a4 在 EsThreadPoolExecutor[bulk，队列容量 = 50，o ..

发布时间：2021-12-13 12:24:59 elasticsearch bulkinsert nest 其他开发

带文件名参数的批量插入

我需要将数千个数据文件加载到 SQL Server 表中.所以我写了一个只接收一个参数——文件名的存储过程.但是..以下不起作用..“编译器"抱怨@FileName参数..它只想要纯字符串..像'file.txt'.提前致谢. 伊兰. 批量插入 TblValues从@文件名和(字段终止符 =',',ROWTERMINATOR ='\n') 解决方案 BULK INSERT 语句的语法是 ..

发布时间：2021-12-13 08:57:40 sql-server sql-server-2005 tsql sql-server-2008 bulkinsert 数据库

bcp/BULK INSERT 与表值参数的性能

我将不得不使用 SQL Server 的 BULK INSERT 命令重写一些相当旧的代码，因为架构已更改，我突然想到也许我应该考虑切换到存储过程改用 TVP，但我想知道它可能对性能产生什么影响. 一些可能有助于解释为什么我问这个问题的背景信息: 数据实际上是通过网络服务传入的.Web 服务将一个文本文件写入数据库服务器上的共享文件夹，然后执行BULK INSERT.这个过程最初是在S ..

发布时间：2021-12-13 08:40:54 performance sql-server-2008 bulkinsert table-valued-parameters 其他开发

将大量记录(批量插入)写入 .NET/C# 中的 Access

从 .NET 向 MS Access 数据库执行批量插入的最佳方法是什么?使用 ADO.NET，写出一个大型数据集需要一个多小时. 请注意，在我“重构"它之前，我的原始帖子在问题部分既有问题又有答案.我接受了 Igor Turman 的建议，并将其分为两部分重新编写 - 上面的问题和我的回答. 解决方案 我发现以特定方式使用 DAO 大约比使用 ADO.NET 快 30 倍.我正在分 ..

发布时间：2021-12-12 21:54:08 c# ms-access dao bulkinsert C#/.NET

在 INSERT INTO Table (etc) SELECT * FROM Table2 期间，如何让触发器在每个插入的行上触发?

我一直试图避免在这种特殊情况下使用游标，只是因为我不喜欢这种权衡，而且碰巧我正在使用的过程使触发器无论如何都看起来像是正确的操作过程. 一个存储过程根据复杂的子句组合插入一条记录，使用插入触发器我向目标用户发送一封电子邮件，告诉他们访问一个站点.这很简单，而且效果很好. 然而，另一个过程是每晚运行并重新分发所有未查看的记录.我这样做的方法是根据分配日期字段上的选择进行另一个插入.即: ..

发布时间：2021-12-12 09:18:55 sql-server-2008 email triggers bulkinsert 其他开发

SQL Server 批量插入带有不一致引号的 CSV 文件

是否可以批量插入(SQL Server)一个 CSV 文件，其中的字段只是偶尔被引号包围?具体而言，引号仅将包含“,"的字段括起来. 换句话说，我的数据看起来像这样(第一行包含标题): id、公司、代表、员工729216,INGRAM MICRO INC.,"Stuart, Becky",523729235,"GREAT PLAINS ENERGY, INC.","纳尔逊比纳",11472 ..

发布时间：2021-12-09 14:24:07 sql-server csv bulkinsert 数据库

在 Android 设备上批量插入

我想在下次升级时将大约 700 条记录批量插入到 Android 数据库中.执行此操作的最有效方法是什么?从各种帖子中，我知道如果我使用 Insert 语句，我应该将它们包装在一个事务中.还有一个关于使用您自己的数据库的帖子，但我需要这些数据进入我的应用程序的标准 Android 数据库.请注意，每台设备只能执行一次. 一些想法: 将一堆SQL语句放在一个文件中，一行一行读取，然后执行 ..

发布时间：2021-12-08 18:10:32 android sqlite bulkinsert 移动开发

使用 .NET 批量插入 Oracle

使用 .NET 对 Oracle 进行批量插入的最快方法是什么?我需要使用 .NET 将大约 160K 记录传输到 Oracle.目前，我正在使用插入语句并执行 160K 次.大约需要 25 分钟才能完成.源数据存储在一个DataTable中，作为从另一个数据库(MySQL)查询的结果， 有没有更好的方法来做到这一点? 编辑:我目前正在使用 System.Data.OracleClie ..

发布时间：2021-12-05 23:44:07 .net sql oracle bulkinsert C#/.NET

批量插入 Postgres 的最快方法是什么?

我需要以编程方式将数百万条记录中的 10 条插入 postgres 数据库.目前，我正在单个“查询"中执行 1000 条插入语句. 有没有更好的方法来做到这一点，一些我不知道的批量插入语句? 解决方案 PostgreSQL 有 关于如何最好地最初填充数据库的指南，他们建议使用 COPY 命令用于批量加载行.该指南还有其他一些关于如何加快进程的好技巧，例如在加载数据之前删除索引和外键( ..

发布时间：2021-12-05 21:07:16 postgresql bulkinsert 其他开发

如何在最短的时间内插入 1000 万条记录?

我有一个文件(有 1000 万条记录)，如下所示: line1线2线34号线............1000万行 所以基本上我想在数据库中插入 1000 万条记录.所以我读取了文件并将其上传到 SQL Server. C# 代码 System.IO.StreamReader 文件 =new System.IO.StreamReader(@"c:\test.txt");while((l ..

发布时间：2021-12-02 15:00:49 c# sql-server import bulkinsert table-valued-parameters C#/.NET

如何使用 pyodbc 加速批量插入 MS SQL Server

以下是我需要帮助的代码.我必须运行超过 1,300,000 行，这意味着插入 ~300,000 行需要 40 分钟. 我认为批量插入是加速它的途径?还是因为我通过 for data in reader: 部分遍历行? #打开准备好的csv文件with open (os.path.join(newpath,outfile), 'r') as f:#hooks csv reader到文件读者 ..

发布时间：2021-12-02 14:40:21 python sql-server csv pyodbc bulkinsert 数据库

批量插入记录到 Active Record 表

我发现当我一次添加大量记录时，我的 Model.create! 语句需要很长时间才能运行.查看 ActiveRecord-Import 但它不适用于哈希数组(这是我所拥有的我认为很常见).如何提高性能? 解决方案 我开始遇到大量记录 (> 10000) 的问题，因此我修改了代码以一次处理 1000 条记录.这是新代码的链接: https://gist.github.com/jackr ..

发布时间：2021-12-02 13:05:22 ruby-on-rails activerecord bulkinsert 其他开发

将 CSV 文件导入 SQL Server

我正在寻找使用 BULK INSERT 将 .csv 文件导入 SQL Server 的帮助，但我有几个基本问​​题. 问题: CSV 文件数据之间可能有 ,(逗号)(例如:描述)，那么我该如何导入处理这些数据? 如果客户端从 Excel 创建 CSV 则带有逗号的数据包含在 "" (双引号) [如下例] 那么导入如何处理这个? 我们如何跟踪某些行是否有错误数据，哪些导入会 ..

发布时间：2021-12-01 19:58:37 sql sql-server csv bulkinsert bulk 数据库

如何加快 PostgreSQL 中的插入性能

我正在测试 Postgres 插入性能.我有一个表，其中一列以数字作为其数据类型.上面也有一个索引.我用这个查询填满了数据库: insert into aNumber (id) values (564),(43536),(34560) ... 我用上面的查询非常快地一次插入了 400 万行 10,000 行.数据库达到 600 万行后，性能急剧下降到每 15 分钟 100 万行.有什么技巧可以 ..

发布时间：2021-12-01 19:43:10 sql postgresql bulkinsert sql-insert 其他开发

Android:批量插入，当 InsertHelper 被弃用时

有很多答案和教程使用 InsertHelper 来做SQLiteDatabase 中的快速批量插入. 但是 InsertHelper 自 API 17 起已弃用. 现在在 Android SQLite 中批量插入大量数据的最快方法是什么? 到目前为止，我最担心的是 SQLiteStatement 不是使用起来非常舒服，其中 InsertHelper 具有绑定列和绑定值，这有点微不足道 ..

发布时间：2021-11-27 16:12:08 android sqlite android-contentprovider bulkinsert android-sqlite 移动开发

如何在 MySQL 表中插入多行并返回新 ID?

通常我可以在 MySQL 表中插入一行并取回 last_insert_id.不过，现在我想向表中批量插入多行并取回一组 ID.有谁知道我该怎么做? 有一些类似的问题，但它们并不完全相同.我不想将新 ID 插入任何临时表；我只想取回 ID 数组. 我可以从批量插入中检索 lastInsertId 吗? Mysql 多行插入选择语句，带有 last_insert_id() 解决 ..

发布时间：2021-11-20 21:44:04 mysql bulkinsert 数据库

如何使用 CodeIgniter 框架从数组中插入多行?

我正在使用插入命令通过 PHP 将一个大型数据集传递到 MySQL 表中，我想知道是否可以通过查询一次插入大约 1000 行，而不是将每个值附加到一英里的末尾-长字符串，然后执行它.我正在使用 CodeIgniter 框架，因此我也可以使用它的功能. 解决方案 在 MySQL 中用多行组装一个 INSERT 语句比每行一个 INSERT 语句要快得多. 也就是说，听起来您可能会遇到 ..

发布时间：2021-11-20 21:07:12 php mysql codeigniter insert bulkinsert PHP