bulk-load相关内容

共享文件夹的 OPENROWSET BULK 权限

目标 使用 OPENROWSET 功能在针对文本文件的查询中加入数据. 错误 利用@gbn 对这个问题的回答 我正在尝试像 OP 一样打开一个行集;虽然文件的格式有点不同.但是,我在尝试访问共享文件夹时遇到以下错误: 消息 4861,第 16 级,状态 1,第 1 行 无法批量加载,因为文件“\MACHINENAME\Share\EC04.txt"不能打开.操作系统错 ..

'压缩器检测只能在某些 xcontent 字节或压缩的 xcontent 字节上调用"索引字典列表时出错

这个问题与另一个问题有关:如何使用 python 从列表中读取数据并将特定值索引到 Elasticsearch 中? 我编写了一个脚本来读取列表(“虚拟")并将其索引到 Elasticsearch 中.我将列表转换为字典列表并使用“批量"列表.将其索引到 Elasticsearch 中的 API.脚本曾经工作(检查相关问题的附加链接).但是添加“时间戳"后它不再起作用和函数“initiali ..
发布时间:2021-12-13 12:27:14 Python

将数据批量加载到sqlite?

是否有人对实用程序有任何提示,可用于将存储在分隔文本文件中的数据批量加载到 SQLite 数据库中? 理想情况下,可以从脚本等中作为独立程序调用的东西. 与我合作的一个团队有一个 Oracle 数据库,该数据库将把一堆数据转储到文件中,然后将该数据加载到 SQLite 数据库中以在移动设备上使用,并且正在寻找实现这种类型的最简单方法场景. 解决方案 查看 sqite .impo ..
发布时间:2021-12-08 18:39:41 数据库

Flowfile 绝对路径 Nifi

我正在尝试使用批量加载选项将流文件加载到 MySQL 数据库中.下面是我在 UpdateAttribute 处理器中使用的查询,并在更新参数以执行批量加载后将该查询传递给 PutSQL. LOAD DATA INFILE '${absolute.path}${filename}' INTO TABLE ${dest.database}.${db.table.name} FIELDS TERMIN ..
发布时间:2021-11-12 04:01:07 数据库

Elasticsearch:批量请求在Elasticsearch 6.1.1中引发错误

我最近升级到Elasticsearch版本6.1.1,现在我无法从JSON文件批量索引文档。当我内联完成时,它可以正常工作。以下是文档的内容: {“ index”:{}} {“ name”:“卡尔森·巴恩斯(Carlson Barnes)“,”年龄“:34} {” index“:{}} {” name“:” Sheppard Stein“,”年龄“:39} {” index ..
发布时间:2020-10-28 01:26:05 其他开发

流文件绝对路径Nifi

我正在尝试使用批量加载选项将流文件加载到MySQL数据库中。下面是我在 UpdateAttribute 处理器中使用的查询,并在更新参数以进行批量加载后将该查询传递给 PutSQL 。 LOAD DATA INFILE'$ {absolute.path} $ {filename}'到表$ {dest.database}。$ {db.table.name}字段','终止行,'\n'终止行 ..
发布时间:2020-06-07 18:52:44 数据库

无法创建Active X对象

我遇到了一个错误,我无法弄清楚代码出了什么问题。当我尝试创建对象(objbl = CreateObject(“ SQLXMLBulkLoad.SQLXMLBulkload.4.0”))时,就会发生这种情况。 我错过了什么吗? 尝试 objbl = CreateObject(“ SQLXMLBulkLoad.SQLXMLBulkload.4.0”)//此行发生错误。 objbl.C ..
发布时间:2020-06-07 18:52:42 其他开发

Titan BatchLoading berkeleydb不持久

我真的不知道我的问题在哪里。 Im使用Titan 0.5.0(与较新的Titan版本相同)... 我想从中加载一堆顶点和边一个包含100k条目的csv文件(每行导致至少3个节点和一些边)进入我的图形。 大约需要5分钟才能完成导入。 所以我尝试使用配置 storage.batch-loading =是的。 嗯,仅需2分钟即可完成导入,这显着提高了速度。 但是问题是,如果即时通 ..
发布时间:2020-06-07 18:52:38 其他开发

大量写入会导致Cassandra环不稳定

我正在尝试将大量数据加载到10节点的Cassandra环中。 执行插入操作的脚本获得了大约4000次插入/秒,被阻止大概在 网络I / O上。我在一台机器上启动了其中的8个,吞吐量几乎线性地扩展了 。 (单个吞吐量略有下降,但 的数量比其他流程所补偿的更多。) 这很不错,但是,我仍然没有获得足够的吞吐量,因此我 在另外3个VM上启动了相同的设置。 (因此,有8个进程* 4个虚拟 ..
发布时间:2020-06-07 18:52:34 Java开发

零碎的XML大容量加载到C#中的SQL Server

我有一个XML,其中包含来自不同域的扫描系统的信息。 XML对应于嵌套在数据库中的表,如下所示: 域 计算机 卷 文件夹 文件 我的目标是将XML加载到相应的表中。 由于单个XML文件太大而无法加载到数据库中,因此我必须将其分块为较小的文件。 如何格式化XML,以便上传者知道一个文件是最后一个文件的继续,并且它不会为已添加的父节点生成其他密钥。 有人有这样做的经验吗?这 ..
发布时间:2020-06-07 18:52:30 C#/.NET

MySQL批量加载

我正在尝试将csv文件加载到mysql表中。 分隔符:,(逗号) 作为源数据的一部分,很少有字段值用双引号引起来,而在双引号中则包含了 几乎没有/包含在字段数据中的记录,因此我们需要对其进行转义。 默认情况下,/会转义,当我指定“因为逃脱字符“正在逃脱。由于我们在同一个文件中有多个特殊字符,因此我们需要对多个特殊字符进行转义。 任何建议 例如: id名称位置 ..
发布时间:2020-06-07 18:52:26 数据库

使用BULK从网络文件导入Proc定义

我正在尝试使用提供的物理文件在MS SQL中创建1000多种Procs,作为Network上旧版迁移的一部分。现在,我计划将sp与动态SQL一起使用,以便像下面的代码段那样遍历所有代码,我对BULK ROWTERMINATOR有问题,所以我只是用ZZZZ对其进行了屏蔽,是否还有其他正确的方法将其设置为NONE,因此所有字符串将被加载到单行中以进行运行。在字段中也使用Nvarchar(Max)。 ..
发布时间:2020-06-07 18:52:20 其他开发

C#-有没有一种方法可以将csv文件流式传输到数据库中?

我看到很多文章都在谈论使用SqlBulkCopy将内容从csv复制到数据库中, ,但是它们都需要将数据加载到数据表或数据集中。 这对我没有好处,因为我处理大量数据,并且我没有强大的机器。 是否有一种流数据的方法从CSV导入数据库? 谢谢 解决方案 显示如何不使用临时数据表/数据集直接将数据加载到数据库。 C#-CSV导入导出 只需查找方法直接保存到数据库 ..
发布时间:2020-06-07 18:52:17 C#/.NET

如何将批量记录作为事务更有效地保存到SQL Server?

我正在研究C#MVC应用程序。在此应用程序中,用户正在从EXCEL电子表格上传数据,并且数据显示在网格中。 向网格显示后,用户点击“验证数据”按钮。应用程序需要执行UI(数据长度,空字段,数据格式等)验证,此外,例如,还需要SQL验证。记录应该已经不存在,没有任何约束等。 在向用户显示验证数据后,发现与每一行相关的任何错误,以便他可以更正粘贴的数据,然后将数据作为事务保存到SQL Se ..
发布时间:2020-06-07 18:52:15 C#/.NET

批量加载XML,引用自动递增的parent-id

简而言之:我想对SQL Server(2008)数据库进行XML批量加载,并为父级生成自动增量ID,该ID可在子级中使用。这似乎受到范围的限制:父节点尚未完成,因此尚未插入。有人知道解决这个问题的方法吗? 较长的描述(对不起,它确实很长,但我会尽力而为): 从一个客户那里,我得到了许多具有类似结构的XML文档,可以从中生成测试数据库。它们被导出以供其他工具使用,我的客户没有权限也没有联 ..
发布时间:2020-06-07 18:52:09 数据库