python爬虫 - 爬虫r如何重复提交表单数据

问题描述

问 题

比如说一个用户名和密码再加上验证码是没有问题的。
逻辑是这样的：

def start_requests(self):
    yield request(indexUrl, headers, callback=self.downloadPic)
def downloadPic(self, response):
    获取cookies,带上cookies来下载图片
    yield request(picUrl, headers, callback=self.handlePic)
def handlePic(self, response):
    # 识别验证码
    # 用户名和密码和验证码放到formdata里
    yield FormRequest(postUrl, formdata, headers, callback=self.parse)

但是我现在有很多个用户名和密码（假设存在本地），我想重复N次这样的过程，就改变提交的用户名和密码，请问怎么做？
我尝试过直接用for循环来取，作为self.name和self.password, 然后直接yield首页，像上面走得流程一样，但不行，不知道是不是异步搞得验证码的URL老是在变化。

解决方案

我是这样解决的，既然这个爬虫爬单个没有问题，那么干嘛还要在这个爬虫文件里面获取输入的数据呢？我直接用个脚本来获取输入数据，然后再调用这个爬虫不就行了吗？刚好数据和工具又分开，不用全部堆在一起弄得太复杂。
It works!
顺便一提，给scrapy传入额外的参数是这样的

这篇关于python爬虫 - 爬虫r如何重复提交表单数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！