如何通过php站点控制python爬虫的开启/关闭/更改起点地址?

问题描述

问 题

1 已有一个php做好的web站点 和 一个python写的爬虫程序
2 爬虫的功能类似于爬百度的搜索结果页
3 爬取的目标页面是会更改的,需要满足让用户输入关键字,爬虫就去爬结果页
4 开启一个爬虫后可能会爬较长时间(翻页)
5 我不懂的是:我怎么通过建好的php站点控制python爬虫的开启与关闭,更改目标地址?
还是应该采用其他什么方案?
希望大家给点思路,意见,我菜希望说相对详细点!谢谢!

解决方案

写个配置文件, 每次 python 程序去读配置文件
php 控制配置文件的内容

这篇关于如何通过php站点控制python爬虫的开启/关闭/更改起点地址?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！