如何提高python查询速度?
本文介绍了如何提高python查询速度?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
最近在爬股票的相关新闻,一开始设想的是,当有新的新闻动态发布,程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题,内容存到数据库里,当内容更新时,把新的内容和数据库的标题列表对比,看是不是已存在的,如果已存在,那就不发送,如果没有,那发送到邮箱。
但数量大了以后,列表查询速度就会变慢,请问各位还有什么方法可以传授下吗?
解决方案
爬虫任务去重
抓过的链接存到一个set中,检查新链接是否在集合中即可。
这篇关于如何提高python查询速度?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文