pyspider - 请问如何实现返回单个url的所有结果？

问题描述

问 题

需求：爬取单页内容，并隔一段时间重爬。
现在问题是result里面url相同时，只会返回一行数据，每次爬取都是对这行数据的更新。
有没有办法返回单个url的动态？

解决方案

1. 重载 on-result 写你自己的数据库
2. 通过 send-message 方法修改 taskid 签名，让它认为是不同的任务

这篇关于pyspider - 请问如何实现返回单个url的所有结果？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！