mlflow相关内容

将Pickle文件记录为Mlflow运行的一部分

我正在运行一个MLflow实验,作为其中的一部分,我想将几个项目记录为Python Pickle。 示例:尝试不同的分类编码器,因此希望将编码器对象记录为Pickle文件。 有没有办法做到这一点? 推荐答案 有两个函数: log_artifact-将本地文件或目录记录为项目 log_artifacts-记录本地目录的内容 这样简单: with mlflo ..
发布时间:2022-08-11 19:32:45 Python

mlflow 如何使用自定义转换器保存 sklearn 管道?

我正在尝试使用 mlflow 保存 sklearn 机器学习模型,这是一个包含我定义的自定义转换器的管道,并将其加载到另一个项目中.我的自定义转换器继承自 BaseEstimator 和 TransformerMixin. 假设我有 2 个项目: train_project:它在 src.ml.transformers.py 中有自定义转换器 use_project:它在 src 中 ..
发布时间:2021-06-17 18:44:38 AI人工智能

如何在MLflow项目中引发异常?

我有一个引发异常的Mlflow项目.我使用 mlflow.run 执行该功能,但是却得到 mlflow.exceptions.ExecutionException(“运行失败(ID'')失败"). 在执行 mlflow.run 时,有什么办法可以获取正在引发的异常吗? 或者是否可以从项目内部发送带有自定义消息集的 mlflow.exceptions.Execution ..
发布时间:2021-05-06 18:45:27 Python

MLflow工件存储工件(Google云存储),但不显示在MLFlow UI中

我正在一个docker环境(docker-compose)上使用jupyter笔记本docker映像和postgres docker映像来运行ML模型并使用Google云存储来存储模型工件.将模型存储在云存储上可以正常工作,但是我无法在MLFlow UI中显示它们.我见过类似的问题,但没有解决方案使用google cloud storage作为工件的存储位置.错误消息显示以下无法列出存储在 ..
发布时间:2021-05-02 19:53:09 其他开发

如何将以前的运行更新为MLFlow?

我想更新以前用MLFlow完成的运行.更改/更新参数值以适应实现中的更改.典型的使用案例: 使用参数A运行日志,然后使用参数A和B进行日志记录.使用其默认值更新先前运行的参数B的值将很有用. “专业化"参数.使用布尔标志作为参数实现模型.更新实现以采用字符串代替.现在,我们需要更新先前运行的参数值,以使其与新行为保持一致. 更正先前运行中记录的错误参数值. 丢弃整个实验并不总是那么 ..
发布时间:2021-04-29 18:44:43 其他开发

在没有Conda的情况下从(Conda)environment.yml安装依赖项?

我目前使用Conda在 environment.yml 中捕获我对python项目的依赖. 当我从项目构建docker服务时,我需要重新安装这些依赖项.我想四处走走,必须将(mini-)conda添加到我的docker映像中. 是否可以使用pip/pipenv解析 environment.yml 或将其转换为相应的 requirements.txt ? (我现在还不想离开cond ..
发布时间:2021-04-23 20:42:58 Python

运行初始创建后是否可以设置/更改mlflow运行名称?

我还找不到在该运行的第一个start_run之后设置运行名称的方法(我们可以在此处传递名称). 我知道我们可以使用标签,但这不是一回事.我想添加一个与运行相关的名称,但是通常我们只有在运行评估后或例如在笔记本中以交互方式运行该运行时才知道该名称. 解决方案 可以从MLflow UI中编辑运行名称.首先,点击要编辑其名称的运行. 然后,通过单击运行名称旁边的下拉列表(即此图像中的 ..
发布时间:2020-06-30 22:55:20 其他开发

远程服务器上的工件存储和MLFLow

我正在尝试使MLFlow在本地网络上的另一台计算机上运行,​​我想寻求帮助,因为我现在不知道该怎么办. 我有一个在服务器上运行的mlflow服务器. mlflow服务器正在我的用户下在 server 上运行,并已按以下方式启动: mlflow server --host 0.0.0.0 --port 9999 --default-artifact-root sftp:// ..
发布时间:2020-06-30 22:55:14 Python