machine-learning相关内容

AWS Sagemaker SKlearn 入口点允许多个脚本

我正在尝试按照教程 此处 实现用于特征预处理的自定义推理管道.它使用 python sklearn sdk 从脚本中引入自定义预处理管道.例如: from sagemaker.sklearn.estimator import SKLearnscript_path = '预处理.py'sklearn_preprocessor = SKLearn(入口点=脚本路径,角色=角色,train_insta ..
发布时间:2021-11-27 10:56:50 Python

XGBoost 预测总是返回相同的值 - 为什么?

我将 SageMaker 的内置 XGBoost 算法与以下训练和验证集一起使用: https://files.fm/u/pm7n8zcm 在使用上述数据集运行训练得出的预测模型时,总是产生完全相同的结果. 在训练或验证数据集中是否有明显的东西可以解释这种行为? 这是我设置超参数的示例代码片段: {{"max_depth", "1000"},{"eta", "0.001" ..
发布时间:2021-11-27 10:56:40 AI人工智能

如何在 AWS sagemaker 中运行预先训练的模型?

我有一个经过预训练的 model.pkl 文件以及与 ml 模型相关的所有其他文件.我希望它在 aws sagemaker 上部署它.但是没有训练,如何将它部署到 aws sagmekaer,作为 aws sagemaker 中的 fit() 方法运行 train 命令并将 model.tar.gz 推送到 s3 位置,当使用 deploy 方法时,它使用相同的 s3 位置部署模型,我们不会在 s ..
发布时间:2021-11-27 10:52:45 AI人工智能

将 S3 数据加载到 AWS SageMaker Notebook 中

我刚刚开始试验 AWS SageMaker,想将 S3 存储桶中的数据加载到我的 SageMaker python jupyter 笔记本中的 Pandas 数据帧中以进行分析. 我可以使用 boto 从 S3 获取数据,但我想知道是否有更优雅的方法作为 SageMaker 框架的一部分在我的 Python 代码中执行此操作? 提前感谢您的建议. 解决方案 如果你看看 此处 似 ..
发布时间:2021-11-27 10:51:11 AI人工智能

将点云转换为深度/多通道图像

我有一个通过使用立体相机扫描平面生成的点云.我生成了法线、fpfh 等特征,并使用这些信息对点云中的区域进行分类.为了能够使用更传统的 CNN 方法,我想将此点云转换为 opencv 中的多通道图像.我将点云折叠到 XY 平面,并与 X 轴和 Y 轴对齐,以便我可以为图像创建一个边界框. 我正在寻找有关如何进一步进行从点到像素的映射的想法.具体来说,我对图像大小以及如何用适当的数据填充每个像 ..
发布时间:2021-11-25 01:44:03 C#

System.InvalidOperationException : 异步操作尚未完成

安装导致 Ml.net 异常的管道.Fit 不是可等待的,我很困惑为什么会发生这种情况.任何帮助都是可观的 var model = pipeline.Fit(dataView); 堆栈跟踪 在System.Threading.Channels.AsyncOperation.ThrowIncompleteOperationException()在 System.Threading. ..
发布时间:2021-11-24 18:49:09 C#

System.InvalidOperationException : 异步操作尚未完成

安装导致 Ml.net 异常的管道.Fit 不是可等待的,我很困惑为什么会发生这种情况.任何帮助都是可观的 var model = pipeline.Fit(dataView); 堆栈跟踪 在System.Threading.Channels.AsyncOperation.ThrowIncompleteOperationException()在 System.Threading. ..
发布时间:2021-11-24 18:32:58 C#

将 arm_compute::Image 转换为 cv::Mat

我有很多基于open cv的代码,但是Arm Compute库提高性能的方式有很多,所以我喜欢将一些arm计算库代码集成到我的项目中.有没有人试过在两个对应的 Image 结构之间进行转换?如果是这样,你做了什么?或者有没有办法共享指向底层数据缓冲区的指针,而无需复制图像数据,只需适当设置步幅和标志? 解决方案 我能够配置一个 arm_compute::Image 对应于我的 cv::Ma ..
发布时间:2021-11-17 22:22:17 其他开发

对象检测 ARKit 与 CoreML

我正在为 iPhone 构建 ARKit 应用程序.我需要检测特定的香水瓶并根据检测到的内容显示内容.我使用 developer.apple.com 上的演示应用程序来扫描现实世界的对象并导出我可以在资产中使用的 .arobject 文件.它工作正常,但由于瓶子来自玻璃检测非常差.它仅在 2-30 秒范围内进行扫描的位置进行检测,或者根本没有检测到.合并扫描并不能改善情况,甚至会使情况变得更糟.合 ..
发布时间:2021-11-17 21:30:07 其他开发

使用 Azure AI 训练自定义语音

我需要帮助来完成我的一项项目工作,其中说“以编程方式使用 Azure AI 训练自定义语音(首选 Python)",而不是使用自定义语音门户.由于我对 ML 非常陌生,因此我需要有关如何执行此任务的端到端详细信息.任何帮助/指导将不胜感激. 解决方案 据我所知,Azure 还没有发布这些 API,但我尝试通过浏览器获取 HTTP 请求,下面是我的发现. 1.上传数据集: 网址: ..
发布时间:2021-11-15 04:12:13 其他开发

使用 Azure AI 训练自定义语音

我需要帮助来完成我的一项项目工作,其中说“以编程方式使用 Azure AI 训练自定义语音(首选 Python)",而不是使用自定义语音门户.由于我对 ML 非常陌生,因此我需要有关如何执行此任务的端到端详细信息.任何帮助/指导将不胜感激. 解决方案 据我所知,Azure 还没有发布这些 API,但我尝试通过浏览器获取 HTTP 请求,下面是我的发现. 1.上传数据集: 网址: ..
发布时间:2021-11-15 04:06:44 其他开发

从邀请文本中检测时间、日期和地点的算法

我正在研究一些自然语言处理算法来阅读一段文本,如果文本似乎试图提出会议请求,它会自动为您设置该会议. 例如,如果电子邮件文本如下: 让我们明天见面晚上 7 点在市中心的某个地方“. 算法应该能够检测事件的时间、日期和地点. 有人知道我可以用于此目的的一些现有 NLP 算法吗?我一直在研究一些 NLP 资源(例如 NLTK 和 R 中的一些工具),但没有取得多大成功. ..
发布时间:2021-11-15 00:50:31 其他开发

在 Weka Java API 中创建字符串属性

我正在尝试使用 Weka 的 Java API 创建一个新的字符串属性... 通读API javadocs,看来这样做的方法是使用这个构造函数: 属性公共属性(java.lang.String 属性名,FastVector 属性值)名义属性和字符串属性的构造函数.如果将属性值的空向量传递给该方法,则假定该属性是字符串.参数:attributeName - 属性的名称attributeVal ..
发布时间:2021-11-15 00:40:18 其他开发

将文档拆分为段落

我有大量的 PDF 文档.我使用 Apache Tika 将它们转换为文本,现在我想将它们拆分为段落.我无法使用正则表达式,因为文本转换使段落之间的区别变得不可能:有些文档在段落之间具有 \n 的标准方式,但有些文档具有 \n> 在同一段落中的行之间,然后在段落之间使用双 \n(使用 Tika 转换为 HTML 而不是文本无济于事). Python 的 NLTK 书籍有一种使用机器学习拆分句 ..
发布时间:2021-11-14 23:48:49 其他开发

'RDD' 对象没有属性 '_jdf' pyspark RDD

我是 pyspark 的新手.我想对文本文件执行一些机器学习. from pyspark import Row从 pyspark.context 导入 SparkContext从 pyspark.sql.session 导入 SparkSession从 pyspark 导入 SparkConfsc = SparkContextspark = SparkSession.builder.appNam ..
发布时间:2021-11-14 22:46:52 其他开发

如何解释火花逻辑回归预测中的概率列?

我通过 spark.ml.classification.LogisticRegressionModel.predict 获得预测.许多行将 prediction 列设为 1.0,将 probability 列设为 .04.model.getThreshold 是 0.5 所以我假设模型将超过 0.5 概率阈值的所有内容分类为 1.0. 我应该如何解释具有 1.0 prediction 和 p ..
发布时间:2021-11-14 22:41:07 其他开发

如何在DataFrame中合并多个特征向量?

使用 Spark ML 转换器,我得到了一个 DataFrame,其中每一行如下所示: Row(object_id, text_features_vector, color_features, type_features) 其中 text_features 是词权重的稀疏向量,color_features 是一个小的 20 元素(one-hot-encoder)密集颜色向量,以及 type_f ..
发布时间:2021-11-14 21:29:54 其他开发

Spark R公式解读

我正在阅读“Spark The Definitive Guide",我在 MLlib 章节中遇到了一个代码部分,其中包含以下代码: var df = spark.read.json("/data/simple-ml")df.orderBy("value2").show()导入 org.apache.spark.ml.feature.RFormula//无法理解这个公式的解释val 监督 = ne ..
发布时间:2021-11-14 21:11:51 其他开发

文本分类 - 如何处理

我会尽量描述我的想法. MS SQL 数据库中存储了文本内容.内容每天都以流的形式出现.有些人每天都会浏览内容,如果内容符合某些标准,则将其标记为已验证.只有一个类别.它要么“有效",要么无效. 我想要的是基于已经验证的内容创建一个模型,保存它并使用这个模型来“预验证"或标记新的传入内容.也偶尔根据新验证的内容更新模型.希望我解释清楚了. 我正在考虑根据创建的模型使用 Spark ..
发布时间:2021-11-14 21:11:19 其他开发