sqlbulkcopy相关内容

如何将“真实”类型添加到数据表?

我正在将记录从csv文件批量复制到sql表。 sql表中的列为varchar,列为实际数据类型(基于给定的csv属性) 让我们假设前7列是外部列varchar(100)的键以及其余80+列的键均为Real数据类型。 在批量复制期间,我使用了Out-DataTable函数,因为这显然是批量复制的最有效方法(尤其是对于包含1000条记录的文件)。 但是,出现以下错误: 异常调用 ..
发布时间:2020-10-12 20:45:27 其他开发

MySqlBulkLoader与列映射?

我使用 SqlBulkCopy 对SQL Server数据库进行批量插入。我现在为程序提供 MySql 支持,与 SqlBulkCopy 最接近的是 MySqlBulkLoader 。但是在 MySqlBulkLoader 中,我必须先将 DataTable 转换为文件,因为 MySqlBulkLoader 仅适用于文件,不适用于 DataTable 。然后我必须在插入之前禁用外键检查。我都完成了 ..
发布时间:2020-09-24 05:34:30 C#/.NET

需要有关在SQL Server上使用SqlBulkCopy推送信封的建议

我正在设计一个应用程序,其中一个方面是应该能够将大量数据接收到SQL数据库中。我将数据库结构设计为具有bigint身份的单个表,如下所示: CREATE TABLE MainTable ( _id bigint IDENTITY(1,1)不是空主键簇, field1,field2,... ) 由于与我的问题无关,我将省略打算如何执行查询。 我已经编写了一 ..

从C#到SQL Server的批量插入策略

在我们当前的项目中,客户会将复杂/嵌套消息的集合发送到我们的系统。这些消息的频率约为。 1000-2000 msg /每秒。 这些复杂对象包含交易数据(要添加)以及主数据(如果找不到则将添加)。但是,客户没有传递主数据的ID,而是传递了“名称”列。 系统会检查这些名称是否存在主数据。如果找到,它将使用数据库中的ID,否则先创建此主数据,然后再使用这些ID。 主数据ID解析后,系统 ..
发布时间:2020-09-24 05:28:05 C#/.NET

如何捕获使用Sql Profiler在SqlBulkCopy中传递的数据?

我一直在使用Sql Profiler捕获SQL语句并重新运行有问题的语句。非常有用。 但是,某些代码使用SqlBulkCopy API,我不知道如何捕获它们。我看到了临时表的创建,但是没有填充临时表。好像SqlBulkCopy绕过Sql Profiler,或者我没有捕获正确的事件。 解决方案 捕获批量插入操作的事件信息( BCP.EXE , SqlBulkCopy ,并且我假设批量插 ..

批量插入在Azure SQL Server中无法正常工作

我无法使用C#webapi将大量数据插入Azure SQL服务器数据库中 考虑 我想在SQL中插入60K>数据. 在我的本地sql服务器上没有问题,但是在Azure SQL中,它的连接超时超时了 我的方法:(所有方法都在本地sql服务器中工作,但在Azure sql服务器中不工作) 1)使用EF对其插入记录进行一次尝试(大约10000,大约10分钟,主要是超时) 2) ..
发布时间:2020-09-16 00:22:23 C#/.NET

错误:将数据导入Redshift时

我想从Redshift中使用完全相同的架构从一个数据库(生产)中卸载,然后重新加载到另一个数据库(QA)中. 我发出了以下S3加载命令. copy table(col1,col2,col3,col4) from 's3:///.gzip' CREDENTIALS 'aws_access_key_id=;aws_secr ..
发布时间:2020-08-23 03:48:30 其他开发

如何将CsvHelper记录添加到DataTable以用于SqlBulkCopy到数据库

我正在尝试使用CsvHelper读取CSV文件,将每条记录加载到DataTable中,然后使用SqlBulkCopy将数据插入数据库表中.使用当前代码,将一行添加到DataTable时出现异常.例外是:“无法将类型为'MvcStockAnalysis.Models.StockPrice'的对象强制转换为类型为'System.IConvertible'.无法存储在Date列中.预期的类型为DateT ..
发布时间:2020-07-11 22:50:48 C#/.NET

C#-有没有一种方法可以将csv文件流式传输到数据库中?

我看到很多文章都在谈论使用SqlBulkCopy将内容从csv复制到数据库中, ,但是它们都需要将数据加载到数据表或数据集中。 这对我没有好处,因为我处理大量数据,并且我没有强大的机器。 是否有一种流数据的方法从CSV导入数据库? 谢谢 解决方案 显示如何不使用临时数据表/数据集直接将数据加载到数据库。 C#-CSV导入导出 只需查找方法直接保存到数据库 ..
发布时间:2020-06-07 18:52:17 C#/.NET

批量C#数据表到Postgresql表

我有一个包含数千条记录的数据表。 我有一个与数据表相同字段的postgres表。 我想每天截断该表并再次填充数据表的数据。我已经看过sql批量复制,但是在postgres上不可用。 那么,哪一种是最有效的方法? 每条记录一个插入 多次插入:插入表值(1,1),(1,2),(1,3),(2,1); 从数据表中选择并插入postgres与linq?不知道... 谢谢。 解决 ..
发布时间:2020-05-30 01:00:03 C#/.NET

postgresql:如何获取用批量copy_from插入的行的主键?

目标是这样的:我有一组要放入表 A 的值,还有一组要放入表 B 。进入 A 中的 B 参考值的值(通过外键),因此在插入 A 值我需要知道在插入 B 值时如何引用它们。我需要尽快。 我插入了 B 值,并从以下位置进行了批量复制: def bulk_insert_copyfrom(光标,表名,字段名,值): 如果没有值:返回 打印“ prepare的批量复制...” str_v ..
发布时间:2020-05-30 00:03:19 其他开发

从标准输入的php postgresql pdo复制

COPY table_name ( field1, field2, field3) FROM STDIN CSV; 1,2,"q w" 3,4,"a s" 5,6,d \. 如何通过PDO执行此查询? 更新: 问题是PDO驱动程序以语句的形式执行此查询. 例如,如果将其粘贴到pgAdmin中,则会引发错误. 我需要在psql中执行它: C:\Users\User>psql ..
发布时间:2020-05-25 05:57:20 PHP

使用带有F#的SqlBulkCopy在SQL中导出矩阵

我想将大量数据从F#传输到SQL表.基本上,我的F#代码创建一个由三列(UserID, ProductID and price)和N行组成的矩阵.我想将其“复制/粘贴"到数据库中 我尝试了几种选择,但最后,从F#传输数据确实很慢(10000行大约需要1个小时). 感谢上一个问题的答案如何在F#中包含存储过程,解决此问题的一种有趣方法是使用SqlBulkCopy. SqlBulkCopy ..
发布时间:2020-05-07 18:52:20 其他开发