pipeline相关内容

尝试编写接受流水线输入的 powershell cmdlet

我正在尝试了解 powershell 并将函数编写为 cmdlet,在其中一篇文章中找到了以下代码示例,但它似乎不想作为 cmdlet 工作,即使它具有 [cmdletbinding()] 文件顶部的声明. 当我尝试做类似的事情时 1,2,3,4,5 |.\测量数据 它返回空响应(如果我在文件底部调用它并运行文件本身,该函数本身就可以正常工作). 这是我正在使用的代码,任何帮助将不 ..
发布时间:2021-06-18 18:34:30 其他开发

sklearn“管道实例尚未安装."错误,即使它是

已经有人问过类似的问题,但答案并没有帮助我解决我的问题:管道中的Sklearn组件即使整个管道都没有安装? 我正在尝试使用多个管道来预处理我的数据,其中一个热编码器用于分类和数字数据(如 这个博客). 这是我的代码,尽管我的分类器产生了 78% 的准确率,但我无法弄清楚为什么我无法绘制我正在训练的决策树以及什么可以帮助我解决问题.这是代码片段: 将pandas导入为pd导入 skle ..
发布时间:2021-06-18 18:34:27 Python

如何在 Airflow 中实现 Canary DAG 以进行其他作业的健康检查?

我的团队有多个气流作业.经常运行的作业得到调度并正常运行,但很少运行的作业经常未被调度并被跳过. 我主要想创建一个运行状况检查 DAG,以便在我的作业未安排和未运行时收到警报. 解决方案 顾名思义,Canary Dag 不应该做任何真正的工作 这只是一个虚拟的运行来证明 Airflow 调度程序的正常运行时间 以上几点 我认为DummyOperator(什么都不做 ..
发布时间:2021-06-18 18:34:22 Python

如何获取异常的上下文

我正在使用 TaskParallelLibrary DataFlow 结合由 Stephen Cleary 设计的 Try 库 (https://github.com/StephenCleary/Try) 来实现所谓的“铁路编程",这样我就可以通过管道传递 Exception 数据.我想知道是否有可能在 ActionBlock 中获取一些上下文,或者(在我的情况下)究竟是哪个项目导致了 Excep ..
发布时间:2021-06-18 18:34:13 C#/.NET

Luigi:如何使用 luigi.build 接口将参数传递给依赖项?

考虑一个任务通过动态依赖依赖另一个任务的情况: 导入路易吉from luigi import Task, TaskParameter, IntParameter类任务A(任务):父 = 任务参数()arg = 内部参数(默认值 = 0)def需要(自我):返回 self.parent()定义运行(自我):打印(f“任务 A arg = {self.arg}")类任务B(任务):arg = 内部参 ..
发布时间:2021-06-18 18:34:11 Python

Select-Object -First 影响管道中的先前 cmdlet

PowerShell 强烈鼓励开发指南 cmdlet 应该管道中间的实现 但我怀疑这对于作为 -最后 选择对象.仅仅是因为您无法预先确定最后一个条目.换句话说:您需要等待输入流完成,直到您定义最后一个条目. 为了证明这一点,我写了一个小脚本: $Data = 1..5 |ForEach-Object {[pscustomobject]@{Index = "$_"}}$数据 |ForEach-O ..
发布时间:2021-06-18 18:34:08 其他开发

工作管道上的 GridSearchCV 返回 ValueError

我正在使用 GridSearchCV 来为我的管道找到最佳参数. 我的管道似乎运行良好,我可以申请: pipeline.fit(X_train, y_train)preds = pipeline.predict(X_test) 而且我得到了不错的结果. 但 GridSearchCV 显然不喜欢某些东西,我无法弄清楚. 我的管道: feats = FeatureUnion([ ..
发布时间:2021-06-18 18:34:04 Python

在 sklearn 管道中对分类变量实施 KNN 插补

我正在使用 sklearn 的管道转换器实现预处理管道.我的管道包括 sklearn 的 KNNImputer 估计器,我想用它来估算数据集中的分类特征.(我的问题类似于这个线程,但它不包含我的问题的答案:如何实现 KNN 以估算 sklearn 管道中的分类特征) 我知道在插补之前必须对分类特征进行编码,这就是我遇到麻烦的地方.使用标准标签/序数/onehot 编码器,当尝试使用缺失值 ( ..
发布时间:2021-06-18 18:34:01 Python

SKLERN//结合 GridsearchCV 与列变换和管道

我正在为一个机器学习项目而苦苦挣扎,我正在尝试将其结合起来: 一个 sklearn 列变换,用于将不同的变换器应用于我的数值和分类特征 应用我的不同转换器和估算器的管道 一个用于搜索最佳参数的 GridSearchCV. 只要我在我的管道中手动填写不同转换器的参数,代码就可以完美运行.但是,一旦我尝试传递不同值的列表以在我的 gridsearch 参数中进行比较,我就会收到各种无效 ..
发布时间:2021-06-18 18:33:59 其他开发

哪些指令会在 x86 CPU 上产生分支预测错误?

我有一个测试问题. 哪些指令可能会减慢处理器的工作,然后管道不预测(分支预测)进一步的执行方式? 可能的答案:JGE |添加 |订阅 |推 |JMP |JNZ |多|JG |打电话 如果我们谈论分支预测,是 JGE、JMP、JNZ &JG要走的路? 解决方案 mul 之类的指令 不要对 EIP 做任何特别的事情 当然不能误报,但是每一种 跳转/调用/分支都可能对某些流水线 ..
发布时间:2021-06-18 18:33:56 其他开发

如何使用 Azure DevOps 管道仅获取更改的文件

我在源代码中有这样的文件夹结构.f1f2f3f4 我在我的管道中添加了 gitcopy diff 任务,它列出并复制修改到目标文件夹的文件.现在,我想有一个条件循环作为 powershell 脚本,只压缩那些修改过具有特定名称的文件的文件夹,例如,如果 f1 中的文件被修改......我想要执行特定的步骤等等......我怎么能做一个循环?编辑:我以这种方式编写了我的管道.但它在发布步骤中失 ..
发布时间:2021-06-18 18:33:48 其他开发

根据气流中的 sql 查询结果创建动态任务

我正在尝试使用 TaskGroup 创建动态任务,并将结果保存在变量中.根据数据库查询,该变量每 N 分钟修改一次,但是当第二次修改该变量时,调度程序会崩溃 基本上我需要根据查询中收到的唯一行数创建任务. 以 TaskGroup(f"task") 作为任务: data_variable = Variable.get(“df")数据 = 数据变量尝试 :如果数据 != False 和 ..
发布时间:2021-06-18 18:33:45 其他开发

我可以为特定的管道请求设置超时和重试次数吗?

当使用spray的管道来发出这样的HTTP请求时: val urlpipeline = sendReceive ~>解组[字符串]urlpipeline { 获取(网址)} 有没有办法指定请求的超时时间以及该特定请求应重试的次数? 我发现的所有文档都只引用了配置中的内容(即使这样我似乎也无法让它工作). 谢谢 解决方案 随配置文件 我在 Akka 系统中使用 Spra ..
发布时间:2021-06-18 18:33:37 其他开发

如何将 Tensorflow 数据集管道用于可变长度输入?

我正在 Tensorflow 中对不同长度的数字序列数据集训练循环神经网络,并且一直在尝试使用 tf.data API 来创建高效的管道.但是我似乎无法让这件事发挥作用 我的方法 我的数据集是一个形状为 [10000, ?, 32, 2] 的 NumPy 数组,它作为 .npy 格式的文件保存在我的磁盘上.这里的 ? 表示元素在第二维中具有可变长度.10000 表示数据集中的 mini ..
发布时间:2021-06-18 18:33:34 Python