mongodb - python pymongo 大量插入时候 如何保证插入可靠?
本文介绍了mongodb - python pymongo 大量插入时候 如何保证插入可靠?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
在做少量测试的时候没有发现,当插入的数据量变大时候,
例如插入100W的数据 检查mongo中 实际只存了97W+点
try:
self.task_list.insert_many([{"Url": task, "Mark": 0} for task in tasks], ordered=False)
except pymongo.errors.BulkWriteError:
pass
except Exception as e:
pass
通过监控发现,会触发BulkWriteError,导致部分插入失效。
但是每个要插入的任务逐个插入时都是正确的才对。
请问下 在插入比较多数据的时候,如何才能保证数据被有效 可能的加到mongo中?
解决方案
import pymongo
bulk = pymongo.bulk.BulkOperationBuilder(collection, ordered=False)
for task in tasks:
bulk.insert({"Url": task, "Mark": 0})
bulk.execute()
啥?报MemoryError
?请给mongodb
应用端加内存
这篇关于mongodb - python pymongo 大量插入时候 如何保证插入可靠?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文