dill - IT屋-程序员软件开发技术分享社区

类型错误：无法选择dict_Items对象

为什么 pickle.dumps({}.items()) 在Python3.5.2中失败，但在Python2.7.12中不会失败？用 “酸洗”词典 pickle.dumps({}) 在这两个版本中都适用(在Python2.7.12中给出的输出与上面的命令相同)。推荐答案因为在python2.7中.items()仅返回list的list，是可拾取的。 ..

发布时间：2022-06-11 12:54:38 python-3.x serialization python-2.x dill 其他开发

使用DILL的模块中的Pickle类定义

我的模块包含一个应该是可拾取的类，包括实例和定义我的结构如下： MyModule |-Submodule |-MyClass 在关于的其他问题中，我已经发现Dill能够筛选类定义，并且它的工作原理是将MyClass的定义复制到一个单独的脚本中并在那里进行筛选，如下所示： import dill as pickle class MyClass(object): ... ..

发布时间：2022-04-07 12:47:43 python python-3.x serialization pickle dill Python

多处理和莳萝可以一起做什么?

我想在 Python 中使用 multiprocessing 库.遗憾的是，multiprocessing 使用了 pickle，它不支持带有闭包的函数、lambdas 或 __main__ 中的函数.这三个对我来说都很重要在[1]中:进口泡菜在 [2] 中:pickle.dumps(lambda x: x)PicklingError: 无法腌制在 0x2 ..

发布时间：2022-01-12 12:09:42 python multiprocessing pickle dill Python

列表的Python多进程字典

我需要使用 Python 3.6 在多进程中做一些事情.也就是说，我必须更新一个添加对象列表的字典.由于这些对象是不可选择的，我需要使用 dill 而不是 pickle 和 multiprocess 来自 pathos 而不是多处理，但这应该不是问题. 将列表添加到字典需要在添加到字典之前重新序列化列表.这会减慢一切，并且花费的时间与没有多处理的时间相同.你能给我建议一个解决方法吗? ..

发布时间：2021-07-23 20:23:59 python python-3.x shared-memory python-multiprocessing dill Python

为什么 dill 比 numpy 数组的 pickle 更快，磁盘效率更高

我在 Ubuntu 16.04 上使用 Python 2.7 和 NumPy 1.11.2，以及最新版本的 dill(我刚刚做了 pip install dill). 当使用 pickle 存储 NumPy 数组时，我发现 pickle 非常慢，并且存储的数组几乎是“必要"大小的三倍. 例如，在下面的代码中，pickle 大约慢了 50 倍(1 秒对 50 秒)，并创建了一个 2.2G ..

发布时间：2021-06-17 18:44:14 python numpy serialization pickle dill Python

不同服务器上的 Python 3.5 莳萝酸洗/解压:“KeyError: 'ClassType'"

在底部查看更新 -- 这里有人问过类似的问题，但从未解决:pickling 和 unpickling 用户定义的类我正在开发一个项目，该项目需要对用户定义的类进行酸洗，并将它们发送到远程服务器，在那里对它们进行解压和调用.我们使用 Dill 库来实现这一点，并取得了很多成功. 不幸的是，我遇到了一个问题，我很难调试.我创建并pickle一个类如下: 导入莳萝，base6 ..

发布时间：2021-06-17 18:44:11 python python-3.x serialization pickle dill Python

类型错误:不能腌制 PyCapsule 对象

我使用 dill 将 ML 模型保存到文件中. 当我使用 python -m unittest 运行我的测试时，它可以工作.但是，如果我尝试使用 python setup.py test 运行测试，则会出现错误 TypeError: can't pickle PyCapsule objects in raw 我尝试保存模型的地方. 我在 setup.py 中的测试设置: test ..

发布时间：2021-06-17 18:42:46 python unit-testing pickle setup.py dill Python

如何使用莳萝库与货架库进行对象序列化

我正在使用 PyMemoize 库来缓存协程.我装饰了协程，但是当Python调用它时，我得到了: TypeError:无法腌制协程对象之所以会这样，是因为 PyMemoize 在内部尝试腌制协程并将其存储在Redis中.为此，它使用了 shelve.Shelf ，而后者又使用了 pickle .问题在于，出于未知原因， pickle 不支持酸洗协程. 我试着用 dill 腌制协程 ..

发布时间：2021-04-24 20:34:04 python pickle coroutine shelve dill Python

获取可用于在差分演化工作者中使用的函数可腌制的函数= -1

#I编辑了我的原始帖子，以举一个简单的例子. 我使用Scipy的差分进化(DE)来优化某些参数. 我想在此任务中使用所有PC处理器，然后尝试使用选项"workers = -1" 要求的条件是DE调用的函数必须是可腌制的. 如果我在from scipy.optimize import rosen, differential_evolution import pickle import d ..

发布时间：2020-11-11 02:27:16 python-3.x function pickle dill differential-evolution 其他开发

Dill模块中BadItem的好例子

我正在研究Dill的detect方法，并在寻找一个很好的简单示例，说明一个不良物品-Dill无法拾取的物品. 我首先想到一个过程并尝试: >>> proc = os.popen('ls -l') >>> proc >>> dill.detect.baditems(proc) [] >>> dill ..

发布时间：2020-06-11 19:32:17 python dill Python

用莳萝序列化SWIG扩展

最近，有人要求我使“我们的C ++库在云中工作". 基本上，lib是计算机密集型的(计算价格)，因此这是有道理的. 我已经构建了一个SWIG接口，以制作一个python版本，并考虑将MapReduce与MRJob结合使用. 我想序列化文件中的对象，然后使用映射器反序列化并计算价格. 例如: class MRTest(MRJob): def mapper(self,key,val ..

发布时间：2020-06-11 19:32:14 python c++ hadoop serialization dill C/C++开发

封装中的Conda版本信息与version不对应

我正在使用水蟒 (myenv3) foo@foo:~$ which conda /home/foo/anaconda3/bin/conda 在"myenv3"中，我安装了dill=2.8.2: (myenv3) foo@foo:~$ conda list -n myenv3 dill # packages in environment at /home/foo/anaconda3/ ..

发布时间：2020-06-11 19:32:06 python conda dill Python

如何将自定义类型添加到莳萝的可腌制类型中

我正在尝试序列化一些我未编写的代码，并且无法修改需要腌制/莳萝的代码.该脚本包含一个mongodb集合对象-稍后不再实际使用，但对其进行处理会引发错误.当我尝试将其莳萝时，会收到错误消息: Collection object is not callable. If you meant to call __getnewargs__ method on a 'Database' object ..

发布时间：2020-06-11 19:32:02 python pymongo dill Python

带有lambdas的python泡菜对象

如何腌制包含lambda的python对象? Can't pickle local object 'BaseDiscretizer.__init__..' 是我尝试腌制 https://github上的错误.com/marcotcr/lime/blob/97a1e2d7c1adf7b0c4f0d3b3e9b15f6197b75c5d/lime/discre ..

发布时间：2020-06-11 19:31:59 python-3.x pickle dill 其他开发

如何莳萝(腌)到文件?

这个问题似乎有点基本，但无法在互联网上找到我所了解的任何内容.如何存储用莳萝腌制的东西? 到目前为止，我已经保存了我的构造(pandas DataFrame，它也包含自定义类): import dill dill_file = open("data/2017-02-10_21:43_resultstatsDF", "wb") dill_file.write(dill.dumps(res ..

发布时间：2020-06-11 19:31:56 python dill Python

泡菜错误声明id(obj)不在self.memo中

我现在正在使用莳萝(泡菜的高级版本).我想序列化对象，但是出现此错误: /usr/lib/python2.7/pickle.pyc in memoize(self, obj) 242 if self.fast: 243 return --> 244 assert id(obj) not in self.memo ..

发布时间：2020-05-27 20:28:35 python serialization pickle dill Python

莳萝与Python的pickle模块有何不同?

我的Python3代码中有一个大对象，当尝试用pickle模块腌制时，会引发以下错误: TypeError: cannot serialize '_io.BufferedReader' object 但是，dill.dump()和dill.load()能够无缝保存和恢复对象. 是什么原因导致pickle模块出现问题? 现在dill保存并重建对象没有任何错误，是否有任何方法可以验证 ..

发布时间：2020-05-27 20:28:13 python python-3.x pickle dill Python

Dill.detect.children对象类型

Dill.detect.children需要两个参数； obj和objtype. 检查我可以调用的 audiofile 对象: dill.detect.children(audiofile, object) dill.detect.children(audiofile, dict) dill.detect.children(audiofile, list) 返回没有错误. 但 ..

发布时间：2020-05-27 20:27:58 python pickle dill Python

为什么不能莳萝/腌制类定义?

dill是用于腌制大多数Python对象的好工具，我在IPython中并行使用它来序列化计算.我一直讨论的一个问题是关于莳萝类定义.以下是我得到的错误之一. 在尝试序列化类定义时，我一直从dill获取AssertionError.我不知道为什么其中一个有效而另一个无效: class MyClassEmpty(object): pass class MyClassInit(ob ..

发布时间：2020-05-27 20:27:36 python pickle dill Python

dill相关内容