SSIS平面文件连接-它如何确定字符串列数据类型？
我正在创建一个基于CSV文件的新平面文件连接管理器SSIS组件。我希望这些列(总共547个)是Unicode字符串[DT_WSTR]类型，而不是字符串[DT_STR]类型。 我不确定如何触发此组件自动完成此操作。 我想我可以完成并手动将547列中的每一列更改为此Unicode字符串的数据类型[DT_WSTR] 如有任何意见或答复，我们将不胜感激！ 我已尝试使用Unicode复选框，但向导找不
..
flat-file相关内容
派生列转换编辑器-我需要按递增顺序在序号末尾添加数字
我有一个CSV文件，其中有许多行具有不同的订单号 我需要通过SSIS派生的列转换编辑器更改它们，以便可以转换输出。 我需要编写在顺序末尾添加数字的表达式，但我需要不同的数字或另一个顺序，因此它应该是递增的 Derived column Name Derived Column Expression Data Type OrderNu
..
使用 where 子句将 txt 文件导入 SQL Server
我有一个 6.00 GB 的 .txt 文件.它是一个制表符分隔的文件，所以当我尝试将它加载到 SQL Server 时，列分隔符是制表符. 我需要将该 .txt 文件加载到数据库中，但我不需要 6.00 Gb 文件中的所有行.我需要能够使用像 这样的条件 选择 *进入where column5 in ('ab, 'cd') 但这是一个文本文件，无法在该条件下将其加载到数据
..
NHibernate 可以持久保存到平面文件而不是数据库吗?
这是一个好奇的问题.我有一个应用程序必须同时支持平面文件和数据库作为保存数据的地方.我在想也许使用 .csv 或制表符分隔的文件集作为输入... 是否可以使用 NHibernate 编写来完成两个持久化任务? 解决方案 尝试使用 Jet 引擎(参见 这个) 方言和其他 nhibernate 设置应该是 Microsoft Access 的设置..>
..
SSIS 包在调试时立即取消
我有一个相当简单的 SSIS 包，我多次使用它来将制表符分隔的文件导入到数据库中的单个表中. 我将一个新的源文件附加到包中并尝试运行该包. 包启动 一个 cmd 提示短暂出现，然后消失 [?!] 然后在平面文件源组件上退出该过程.[??!] 输出显示如下: SSIS 包“C:\Users...\Conversion\LoadHistory.dtsx"开始. 信息:0x
..
如何将带有两个标题的混合记录类型固定宽度文件加载到两个单独的文件中
我有一个任务来加载一个格式奇怪的文本文件.该文件也包含不需要的数据.它包含两个背靠背的标题，每个标题的数据在交替行上指定.标题行在 ------ 之后开始.我需要读取标题及其相应的数据并将其转储到某些 Excel/表格目标中.让我知道如何使用 SSIS 中的任何转换或脚本来解决这个问题.不知道如何为此使用脚本任务. 现在我正在读取一列中的文件，并使用派生列手动尝试使用 substring 函
..
如何跳过ssis平面文件源中的坏行
我正在将一个 17 列的 CSV 文件读入数据库.偶尔，该文件有一个“少于 17 列"的行.我试图忽略该行，但即使所有列都设置为忽略，我也无法忽略该行并且程序包失败. 如何忽略这些行? 解决方案 解决方案概览 您可以通过添加一个平面文件连接管理器来实现这一点，只添加一个数据类型为DT_WSTR且长度为4000的列(假设它的名字是 Column0) - 所以所有的列都被认为是一个
..
为什么 SSIS 在导入 UTF-8 平面文件时不能识别换行符 {LF} 行分隔符?
我正在尝试使用 SSIS 将数据从 utf-8 编码的平面文件导入 SQL Server 2008.这是行数据的末尾在 Notepad++ 中的样子: 我还有几张图片展示了文件连接管理器的样子: 您可以看到数据在文件连接管理器预览中正确显示.当我尝试导入此数据时，没有导入任何行.我收到一条错误消息，指出未找到行分隔符.您可以在文件连接管理器图像中看到标题行分隔符和行分隔符都设置为 {L
..
SSIS 参差不齐的文件无法识别 CRLF
在 SSIS 中，我尝试从平面文件加载数据.平面文件有固定宽度的列，但有些列不存在于一行中(一列可以有一个 CRLF，它必须是一个新行)像这样 a b c第一行iu jjrjdd这是一个换行符 如何在我的输出中拥有完全相同的行数和准确的数据? 我设置了一个不规则类型的平面文件连接. 在此示例中，第 1 行被正确检索，但对于第 2 行，它无法识别
..
SSIS 在设置为 CRLF 时将 LF 读取为终止符
使用 SSIS 2012.我的平面文件连接管理器我有一个分隔文件，其中行分隔符设置为 CRLF，但是当它处理文件时，我有一个带有 LF 在里面.这导致它将其读取为导致它失败的行终止符.有什么想法吗? 解决方案 感谢您的所有建议.原来供应商已将文件的编码从 Ascii 更改为 unicode.更改包以读取正确的编码就行了.
..
SSIS - 平面文件总是 ANSI 从不使用 UTF-8 编码
有一个非常简单的 SSIS 包: OLE DB Source 通过视图获取数据，(db 表 nvarchar 或 nchar 中的所有字符串列). 用于格式化现有日期并将其添加到数据集的派生列(数据类型 DT_WSTR). 多播任务将数据集拆分为: OLE DB 命令将行更新为“已处理". 平面文件目标 - 其连接管理器设置为代码页 65001 UTF-8，未选中 Unicode.所
..
Spark从hive中选择还是从文件中选择更好
我只是想知道人们对从 Hive 读取与从 .csv 文件或 .txt 文件或 .ORC 文件或 .parquet 文件读取有何看法.假设底层 Hive 表是一个具有相同文件格式的外部表，您更愿意从 Hive 表中读取还是从底层文件本身读取，为什么? 迈克 解决方案 tl;dr : 我会直接从镶木地板文件中读取它 我使用的是 Spark 1.5.2 和 Hive 1.2.1对于
..
文本被截断或一个或多个字符在目标代码页 ole db 源到平面文件目标中没有匹配项
我正在将表输出导出到 CSV 文件.我正在使用具有 OLE DB 源和平面文件目标的 SSIS 包来做这件事.我收到以下错误: [平面文件目标 [2]] 错误:数据转换失败.“地址"列的数据转换返回状态值 4 和状态文本“文本被截断或一个或多个字符在目标代码页中不匹配.". [平面文件目标 [2]] 错误:无法复制或转换列“地址"的平面文件数据. [SSIS.Pipeline]
..
在 SSIS 中仅记录文本文件的某些行
我在尝试将数据从平面文件简单加载到数据库时遇到了困难.问题在于该文本文件中存在错误行或至少未格式化为数据的行. 示例.txt: 菲律宾 Stackoverflow 学校记录:100101日期:6/20/2014姓名: 年龄: 关于:-------------------- --- --------------------------Coolai 19 Bad Row 问题Qwerty 1
..
SSIS - 执行分组并依靠平面文件
我对平面 .CSV 文件进行了一些转换和验证以导入数据.我想添加一个列，其中包含员工在平面文件中出现的次数，例如: 输入数据流: 输出数据流: 我不知道如何转换我的数据流...有想法吗? 解决方案 我会这样做: 如果您的数据尚未排序，请根据 Employee_Id 对其进行排序. 使用多播将您的数据流分成两个流. 在其中一个流中，添加一个按 Employee_I
..
如何仅从 SSIS 中的平面文件中检索前 x 行
我有一个平面文件连接，我只对前 10 行数据感兴趣.如何只导入前 10 行?行采样是随机的，所以我不能使用它.有什么方法可以让我拥有某种派生列，它是自动行号或其他东西，然后数据拆分以仅保留具有该 ID 非常感谢任何帮助！ 解决方案 我用过这个组件 --> http://www.sqlis.com/post/Row-Number-Transformation.aspx 该组件创建一个
..
SSIS - 平面文件连接管理器损坏
我有一个平面文件连接管理器，它有超过 800 列以固定宽度格式定义，直到昨天都运行良好.当我现在用这个连接管理器打开一个平面文件时，我看到那些我认为在数据中引入空格导致问题的黑色方块.什么可能导致这种情况?除了它指向新文件之外，我上次访问它时没有更改任何内容.我确实使用新的连接管理器检查了新文件，看起来没问题.没有 Square 框，所以它是连接管理器.我不想重做连接管理器，因为它有 800 列并
..
SSIS 读取平面文件跳过第一行
首先，我确实花了很多时间在研究上，我知道有很多相关的问题，但我找不到这个问题的正确答案. 我正在创建一个 SSIS 包，它执行以下操作:1. 使用 HTTP 连接在本地下载并存储 CSV 文件.和 2. 读入 CSV 文件并存储在 SQL Server 上. 由于我的平面文件的结构，平面文件连接不断给我错误，无论是在 SSIS 中还是在 SQL 导入向导中. 文件结构为: “文
..
如何在SSIS中管理巨大的固定宽度文件?
我有一个固定宽度的文件，大约 1200 个字符宽，大约有 300 多列.我正在寻找一种在 SSIS 中创建固定宽度数据源的方法，而不使用平面文件连接管理器的 UI.有没有办法修改列定义而不必使用 SSIS 中的 UI?我在项目的任何地方都找不到数据连接的文件. 我是否注定要手动将 300 多列一一添加到平面文件连接管理器中? 解决方案 想到了两个选项.首先是安装 BIDSHelper
..
通过 Jet 的 SSIS 平面文件访问
有没有办法在 SSIS 中使用 Microsoft.Jet.OLEDB.4.0 驱动程序访问 FlatFiles? 通过 FlatFile Source 的访问要好得多，这只是关于是否有办法使用 Jet 驱动程序来做到这一点. 解决方案 这似乎是一个有趣的问题，所以我在它周围闲逛了一下.是的，您绝对可以使用 JET 驱动程序读取平面文件.如何:使用 Jet OLE DB Provid
..