bulkinsert相关内容

SQL Server 大容量插入是事务性的吗?

如果我在 SQL Server 2000 查询分析器中运行以下查询: 批量插入 OurTableFROM 'c:\OurTable.txt'WITH (CODEPAGE = 'RAW', DATAFILETYPE = 'char', FIELDTERMINATOR = '\t', ROWS_PER_BATCH = 10000, TABLOCK) 在一个文本文件中，它有 40 行符合 OurTa ..

发布时间：2022-01-06 20:30:38 sql-server transactions bulkinsert 数据库

如何使用 Sql Profiler 捕获在 SqlBulkCopy 中传递的数据?

我一直在使用 Sql Profiler 来捕获 SQL 语句并重新运行有问题的语句.非常有用. 但是，有些代码使用了 SqlBulkCopy API，我不知道如何捕获它们.我看到临时表的创建，但没有填充它们.似乎 SqlBulkCopy 绕过了 Sql Profiler 或者我没有捕获正确的事件. 解决方案 Capturing event info for bulk insert o ..

发布时间：2022-01-03 23:00:26 sql-server sql-server-2012 bulkinsert sqlbulkcopy sql-server-profiler 数据库

BULK INSERT 后特殊字符显示不正确

我正在使用 BULK INSERT 导入 CSV 文件.CSV 文件中的一列包含一些包含分数的值(例如 1m½f). 我不需要对分数进行任何数学运算，因为这些值仅用于显示目的，所以我将列设置为 nvarchar.BULK INSERT 有效，但是当我查看 SQL 中的记录时，分数已被替换为分符号 (¢)，因此显示的文本为 1m¢f. 我很想了解为什么会发生这种情况以及有关如何解决该问题 ..

发布时间：2022-01-03 22:42:14 sql sql-server-2012 bulkinsert nvarchar 其他开发

原则 2:在批处理插入引用其他实体的实体时出现奇怪的行为

我正在尝试此处描述的批处理方法:http://docs.doctrine-project.org/projects/doctrine-orm/en/latest/reference/batch-processing.html 我的代码是这样的 $limit = 10000;$batchSize = 20;$role = $this->em->getRepository('userRole ..

发布时间：2022-01-03 09:53:29 php doctrine-orm bulkinsert PHP

JPA/Hibernate 提高批量插入性能

我有一个数据模型，它在一个实体和其他 11 个实体之间存在一对多的关系.这12个实体共同代表一个数据包.我遇到的问题与这些关系的“多"侧发生的插入次数有关.其中一些可以有多达 100 个单独的值，因此要在数据库中保存一个完整的数据包，它需要多达 500 次插入. 我将 MySQL 5.5 与 InnoDB 表一起使用.现在，通过对数据库的测试，我发现在处理批量插入时，它可以轻松地每秒执行 1 ..

发布时间：2022-01-02 22:01:05 hibernate jpa playframework bulkinsert playframework-1.x 其他开发

NHibernate 批量插入或更新

您好，我正在处理一个项目，我们需要每天处理多个 xml 文件，并使用这些文件中包含的信息填充数据库. 每个文件大约1Mb，包含大约1000条记录；我们通常需要处理 12 到 25 个这些文件.我已经看到了一些关于使用 NHibernate 进行批量插入的信息，但我们的问题在某种程度上更棘手，因为 xml 文件包含与更新记录混合的新记录. 在 xml 中有一个标志告诉我们特定记录是新记录 ..

发布时间：2022-01-02 16:15:05 c# .net nhibernate bulkinsert C#/.NET

NHibernate 无状态会话的插入很慢

这几天我一直在努力改进 NHibernate Insert 的性能. 我在很多帖子(例如这个)中读到过无状态会话每秒可以插入 1000~2000 条记录......但是它可以插入 1243 条记录的最佳时间对我来说超过 9 秒: var sessionFactory = new NHibernateConfiguration().CreateSessionFactory();使用 (ISt ..

发布时间：2022-01-02 15:59:25 c# nhibernate fluent-nhibernate bulkinsert stateless-session C#/.NET

如何暂时禁用 PostgreSQL 中的触发器?

我正在批量加载数据，并且可以在事后重新计算所有触发器修改比​​逐行更便宜. 如何暂时禁用 PostgreSQL 中的所有触发器? 解决方案 PostgreSQL 知道 ALTER TABLE tblname DISABLE TRIGGER USER 命令，它似乎可以满足我的需求.请参阅ALTER TABLE. ..

发布时间：2022-01-01 20:42:19 postgresql triggers bulkinsert 其他开发

大幅提高插入性能

在我的应用程序中，我需要大幅提高插入性能.示例:一个包含大约 21K 条记录的文件需要 100 多分钟才能插入.有一些原因可能需要一些时间，比如 20 分钟左右，但超过 100 分钟就太长了. 数据插入到 3 个表中(多对多).Id 是从一个序列生成的，但我已经用谷歌搜索并设置了 hibernate.id.new_generator_mappings = true 和 allocationS ..

发布时间：2022-01-01 08:37:33 spring-data-jpa bulkinsert 其他开发

SSIS-OleDb 快速加载与批量插入任务

我已经做了研究，包括在这个论坛上的主题，但似乎找不到答案. 我正在加载 40 列的文本文件.暂时没有变身.有 8 个文件 ~25MB，总共 1,400,000 行.使用批量插入任务，加载在 3 分钟内完成.使用 OleDb 目标和平面文件输入连接管理器，加载在 30 分钟内完成. 据我所知，SSIS 应该在 OleDb 连接后面使用批量插入.如果是这样，为什么会有如此巨大的差异?我一定 ..

发布时间：2021-12-30 09:35:03 ssis oledb bulkinsert 其他开发

为什么在 SSIS 插入期间我的触发器没有触发?

我有一个带有 OLE DB 目标组件的 SSIS 数据流任务，该组件使用触发器将记录插入到表中.当我对该表执行正常的 INSERT 语句时，触发器会触发.当我通过 SSIS 任务插入记录时，触发器不会触发. 如何在 SSIS 中触发触发器? 解决方案 因为 OLE DB 目标任务使用批量插入，所以默认情况下不会触发触发器.来自 批量插入 (MSDN): 如果未指定 FIRE_T ..

发布时间：2021-12-30 09:20:48 sql triggers ssis bulkinsert 其他开发

SQL Server 目标与 OLE DB 目标

我使用 OLE Db 目标批量导入多个平面文件.经过一些调整后，我最终将 SQL Server Destination 速度提高了 25 - 50%. 虽然我对这个目的地感到困惑，因为网络上有相互矛盾的信息，但有些人反对，有些人建议使用它.我想知道，在将其部署到生产环境之前是否存在任何严重的陷阱?谢谢 解决方案 在这个回答中，我将尝试从 SSIS 的官方文档中提供信息，并提及我在 S ..

发布时间：2021-12-30 09:15:05 sql-server ssis oledb etl bulkinsert 数据库

SOLR - 从 csv 文件导入 2000 万个文档的最佳方法

我目前手头的任务是找出在 solr 中加载数百万文档的最佳方法.数据文件是从 DB 导出的 csv 格式. 目前，我正在考虑将文件拆分为较小的文件并编写一个脚本，同时使用 curl 发布这些较小的文件. 我注意到如果您发布大量数据，大多数情况下请求会超时. 我正在研究数据导入器，这似乎是一个不错的选择 高度赞赏任何其他想法 谢谢 解决方案 除非数据库已经是您解 ..

发布时间：2021-12-30 08:25:30 csv import solr bulkinsert dataimporthandler 其他开发

批量 C# 数据表到 postgresql 表

我有一个包含数千条记录的数据表.我有一个具有相同数据表字段的 postgres 表.我想每天截断这个表并再次填充数据表的数据.我见过 sql 批量复制，但它在 postgres 上不可用.那么，哪种方式最有效? 每条记录插入一个 多次插入:插入表值(1,1),(1,2),(1,3),(2,1); 从数据表中选择并使用 linq 插入 postgres?不知道... 谢谢. 解 ..

发布时间：2021-12-28 21:08:09 c# postgresql datatable bulkinsert sqlbulkcopy C#/.NET

如何在 SQL Server 中使用批量插入编写 UTF-8 字符?

我正在对 sqlserver 执行 BULK INSERT，但它没有正确地将 UTF-8 字符插入到数据库中.数据文件中包含这些字符，但批量插入执行后数据库行包含垃圾字符. 我的第一个怀疑是格式文件的最后一行: 10.031 SQLCHAR 0 0 "{|}" 1 INSTANCEID ""2 SQLCHAR 0 0 "{|}" 2 PROPERTYID ""3 SQLCHAR 0 0 " ..

发布时间：2021-12-28 16:34:55 sql-server utf-8 sql-server-2008-r2 bulkinsert 数据库

php PDO使用占位符批量插入多行

我希望使用 PHP PDO 进行多次插入. 我找到的最接近的答案是这个 how-to-insert-an-array-into-a-single-mysql-prepared-statement 但是给出的示例使用 ??而不是真正的占位符. 我查看了 PHP 文档站点上的占位符示例 php.net pdo.prepared-statements $stmt = $d ..

发布时间：2021-12-26 20:10:30 php insert pdo bulkinsert PHP

PHP在后台向DB中插入批量数据

我有一个向客户发送批量消息的表单，点击提交按钮，它在发送前将消息保存在数据库中，但插入过程需要大约 2 分钟才能插入 3000 条记录，如何我可以减少插入时间或者我如何在后台处理数据以避免用户等待进程完成.我已经尝试了几种堆栈溢出的选项，但都没有成功.我在共享主机上.这是我的代码 ..

发布时间：2021-12-25 10:17:13 php mysqli bulkinsert PHP

C# 批量插入 SQLBulkCopy - 如果存在则更新

可能的重复: SQLBulkCopy的任何方法“如果存在则插入或更新"? 我正在使用 SQLBulkCopy 插入批量记录 如何对已存在的记录执行更新(而不是插入)?SQLBulkCopy 是否可以做到这一点? 这是我的 SQLBulkCopy 代码 using (var bulkCopy = new SqlBulkCopy(ConfigurationManager.Conn ..

发布时间：2021-12-25 08:14:21 c#-4.0 bulkinsert sqlbulkcopy 其他开发

高效的批量更新 rails 数据库

我正在尝试构建一个 rake 实用程序，它会经常更新我的数据库. 这是我目前的代码: namespace :utils do# utils:update_ip# 下载文件 frim 到临时文件夹，然后将其解压缩到 # 然后更新数据库.desc "更新 ip-to-country 数据库"任务:update_ip =>:环境做需要'open-uri'需要'zi ..

发布时间：2021-12-23 15:15:40 ruby-on-rails activerecord bulkinsert 其他开发

Swift 中大量核心数据批量插入的内存泄漏

我将数万个对象插入到我的 Core Data 实体中.我有一个 NSManagedObjectContext 并且每次添加对象时我都会在托管对象上下文中调用 save() .它可以工作，但是在运行时，内存从大约 27M 增加到 400M.并且在导入完成后还停留在400M. 关于批量插入有很多SO问题，每个人都说要阅读有效导入数据，但它是在 Objective-C 中的，我很难在 Swift ..

发布时间：2021-12-23 14:00:32 ios swift core-data memory-leaks bulkinsert 移动开发