使用DILL的模块中的Pickle类定义 [英] Pickle class definition in module with dill

问题描述

我的模块包含一个应该是可拾取的类，包括实例和定义 我的结构如下：

MyModule
|-Submodule
  |-MyClass

在关于的其他问题中，我已经发现Dill能够筛选类定义，并且它的工作原理是将MyClass的定义复制到一个单独的脚本中并在那里进行筛选，如下所示：

import dill as pickle

class MyClass(object):
    ...

instance = MyClass(...)
with open(..., 'wb') as file:
   pickle.dump(instance, file)

但是，它在导入类时不起作用：

腌制：

from MyModule.Submodule import MyClass
import dill as pickle

instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

正在加载：

import dill as pickle

with open(..., 'rb') as file:
    instance = pickle.load(file)

>>> ModuleNotFoundError: No module named 'MyModule'

我认为类定义是通过引用保存的，尽管它在DILL中不应该具有默认设置。当MyClass称为__main__.MyClass时，这是正确的，当在主脚本中定义类时就会发生这种情况。

我想知道，有什么方法可以将MyClass与MyModule分开吗？有没有办法让它像顶级导入一样(__main__.MyClass)，这样Dill就知道如何在我的另一台计算机上加载它？

相关问题： Why dill dumps external classes by reference no matter what

推荐答案

Dill实际上只存储__main__中的对象定义，而不存储模块中的对象定义，因此解决此问题的一种方法是在Main中重新定义这些对象：

def mainify(obj):
    import __main__
    import inspect
    import ast

    s = inspect.getsource(obj)
    m = ast.parse(s)
    co = compile(m, '<string>', 'exec')
    exec(co, __main__.__dict__)

然后：

from MyModule.Submodule import MyClass
import dill as pickle

mainify(MyClass)
instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

现在您应该能够从任何位置加载泡菜，即使在MyModule.Submodule不可用的情况下也是如此。

这篇关于使用DILL的模块中的Pickle类定义的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！