sqlbulkcopy相关内容

从sql-server到另一个数据仓库的实时单向同步

在我在此门户上的上一个问题中,我询问了一些有关在 SQL Server 和基于键值的数据存储库之间同步数据的见解. 代替同样的问题(从 SQL 到 HBase 或任何其他数据库的一种实时同步),我需要考虑一些性能和延迟方面的考虑,但没有找到一种非常万无一失的方法. 我们有多个 SQL 2008 数据分片,其中数据从各种来源更新,并由多个进程同时处理(UI 从相同分片读取). 目标 ..
发布时间:2021-08-27 20:12:11 其他开发

使用 SQLBulkCopy - SQL Server 2016 中的表明显大于 SQL Server 2014

我有一个应用程序,它使用 SqlBulkCopy 将数据移动到一组表中.最近发生的事情是,使用 SQL2016 的用户报告他们的硬盘驱动器充满了非常大的数据库(不应该那么大)的问题.SQL2014不会出现这个问题.经过检查,似乎运行 TableDataSizes.sql(附加脚本)显示 UnusedSpaceKB 中有大量空间. 我想知道 a) SQLServer 2016 中是否存在一些错 ..
发布时间:2021-08-27 19:15:15 其他开发

Sqlbulkcopy 似乎对我不起作用

我创建了一个数据表并尝试通过 SqlBulkCopy 插入该数据表,但不知何故它似乎对我不起作用...... 我得到了错误, 无法转换来自数据源的 DateTime 类型的给定值键入指定目标列的十进制. 我的数据源是, DataTable dt = new DataTable();dt.Columns.Add(new DataColumn("EmpId", typeof(Int64)) ..
发布时间:2021-08-26 19:03:11 其他开发

Select into 语句,其中源是其他数据库

如何将一个数据库中的数据复制到另一个表结构相同的数据库中,并保留关键身份? 我使用 Sql Server 2012“Denali",我想从 Sql Server 2008 DB 复制一些数据.我拥有的表完全相同,但我希望将旧数据库中的数据放入新的“Denali"数据库中.数据库位于不同的服务器上. 所以我想要类似的东西 使用 newDB;走选择 *INTO新表从 OldDb.oldT ..
发布时间:2021-08-25 20:53:50 其他开发

完成时的 SQLBulkCopy 行计数

我正在使用 SQLBulkCopy 移动大量数据.我实现了通知事件以在每次处理一定数量的行时通知我,但在作业完成时 OnSqlRowsCopied 事件不会触发.SQLBulkCopy writetoserver 完成后如何获取复制的总行数? 解决方案 我认为您必须在完成后对表运行 COUNT() 查询,如 MSDN 示例 此处. 除此之外,你不能提前告诉吗?例如如果您将 DataT ..
发布时间:2021-08-25 19:44:49 其他开发

我需要带有 SQLBulkcopy 的进度条

我的应用程序需要进度条.我正在通过文本文件将数据上传到 SQL Server 中,但它需要很多时间,而且我使用了后台工作人员,但无法正常工作,所以我只需要知道有什么方法可以将进度条与 SQL 批量复制一起使用它告诉我插入了 2000 条记录?这是我的代码: public void bulkinsert(string tablename, DataTable dt){if (con.State ..
发布时间:2021-06-21 20:31:42 其他开发

将数据从文本文件导入 MS SQL Server 的最佳方法

需要您的意见.目前正在 VB.NET 中开发应用程序. 我有一个包含一千多行的文本文件.每行包含需要插入到数据库中的数据.一行的样本如下: 0001--------SCOMNET--------0.100---0.105 乍一看,人们可能会认为每列都用制表符分隔,但实际上每列都用空格分隔(我使用“-"表示空格,因为不知何故无法让 SO 文本编辑器显示空白空格). 第一列由 定义 ..
发布时间:2021-06-15 19:45:02 其他开发

用于批量传输的 MySqlDataAdapter 或 MySqlDataReader?

我正在使用适用于 .NET 的 MySql 连接器将数据从 MySql 服务器复制到 SQL Server 2008. 有没有人使用以下一种方法获得更好的性能? DataAdapter 并以 500 个块为单位调用 Fill 到 DataTable DataReader.以 500 次循环读取到数据表 然后我使用 SqlBulkCopy 加载 500 个 DataTable 行 ..
发布时间:2021-06-06 19:13:55 其他开发

SqlBulkCopy ColumnMapping多列

我正在使用 SqlBulkCopy 将CSV数据导入数据库,但是我希望能够合并列.例如,假设我在CSV文件中有一个“姓氏"和“姓氏"列.通过我的用户界面,我希望用户能够选择名字+姓氏来填充Displayname字段.然后,这将指示SqlBulkCopy使用字段的组合来填充此字段. 在伪代码中,我想做这样的事情. foreach(在选择中选择p){if(p.csv_col_indexes. ..
发布时间:2021-04-27 19:50:48 其他开发

SQLBulkCopy为所有列插入一个具有NULL值的新行

我有这段代码可以正常工作,并将excel数据加载到SQL表中.唯一的问题是,它还会为所有列插入一个带有NULL值的新行. 使用(OleDbConnection excel_con = new OleDbConnection(conString)){excel_con.Open();字符串sheet1 = excel_con.GetOleDbSchemaTable(OleDbSchemaGuid. ..
发布时间:2021-04-18 19:17:41 其他开发

在SQL BulkCopy之后可以找回PrimaryKey ID吗?

我正在使用C#和SqlBulkCopy.我有一个问题.我需要在一个表中进行批量插入,然后在另一张表中进行批量插入. 这2个具有PK/FK关系. 表AField1 -PK自动递增(直接执行SqlBulkCopy很容易)表BField1 -PK/FK-此字段建立关系,并且也是此表的PK.它不是自动递增的,并且需要具有与表A中的行相同的ID. 所以这些表具有一对一的关系,但是我不确定如何取回 ..
发布时间:2021-04-18 18:40:40 其他开发

我可以将sqlbulkcopy与Azure SQL Paas一起使用吗?

我可以在Azure SQL Paas中使用sqlbulkcopy吗? 我有一个可以批量复制到数据库的应用程序,我们正在使用SQL PaaS对其进行测试.在SQLBulkCopy上似乎失败了. 我以为我在某些地方不支持阅读此文件,但在Azure SQL文档中看不到它.这仍然是一个限制吗?在哪里记录? 我正在使用.net代码进行批量复制(不是SSIS或任何其他工具),如果需要的话,它 ..
发布时间:2021-04-14 18:44:23 其他开发

使用SqlBulkCopy和Azure并行批量插入

我在云上有一个带有SQL azure数据库的azure应用程序.我有一个工作角色,需要对文件(最多约3000万行)进行解析和处理,因此我不能直接使用BCP或SSIS. 我目前正在使用SqlBulkCopy,但是这似乎太慢了,因为我看到40万行的加载时间长达4-5分钟. 我想并行运行批量插入;但是,通读关于并行/控制锁行为导入数据的文章时,它说SqlBulkCopy要求该表没有聚簇索引, ..
发布时间:2021-04-13 19:06:54 其他开发

异步进行批量复制

我有很多数据表可批量插入数据库表中由于尺寸较大,一张桌子需要5分钟才能完成插入.2张桌子花了我10分钟 静态void Main(string [] args){DataTableBulkInsert(DataTable1);DataTableBulkInsert(DataTable2);}公共静态无效DataTableBulkInsert(DataTable Table){SqlBulkCopy ..
发布时间:2021-04-12 19:06:05 其他开发

使用SqlBulkCopy在asp.net中上传Excel文件

我正在使用以下代码在asp.net c#中上传excel文件,它可以正常工作,但问题是在excel文件中,某些列值始终是数字,并且如果其中一些数字值是文本格式,那么它将上传null价值.这是我的代码-请提出任何建议. if(!Convert.IsDBNull(FileUpload.PostedFile)&FileUpload.PostedFile.ContentLength>0){//首先,将 ..
发布时间:2021-04-10 19:10:42 其他开发

SQL Server的批量上传策略

我正在使用以下功能将数据从CSV上传到SQL表. 有更好的方法吗? 我担心,现在,连接保持了很长时间.因此需要减少. 公共布尔SaveProxyBulkUploadData(List saveBulkUploadData){尝试{foreach(saveBulkUploadData中的AddServerPError addServetData){D ..
发布时间:2021-04-01 20:14:09 其他开发

使用SqlBulkCopy时如何检索服务器生成的身份值

我知道我可以通过不指定SqlBulkCopyOptions.KeepIdentity到我的表中使用标识列进行批量插入,如我想做的就是获取服务器生成的标识值,并将其放入我的数据表甚至列表中.我看到了这篇帖子,但是我希望我的代码具有通用性,并且我的所有表中都没有版本列.任何建议,不胜感激.这是我的代码: public void BulkInsert(DataTable dataTable, st ..
发布时间:2020-11-26 03:26:44 其他开发