curl - 使用php抓取网页数据时,速度太慢
本文介绍了curl - 使用php抓取网页数据时,速度太慢的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
抓取天猫的商品列表数据,但是一页的数据量是60条商品,一页的数据量大小为530k,有效的列表数据是200k左右。
现在抓取的时间太慢了,我使用的是 curl 进行抓取,在执行curl_exec的时候,执行时间达到了7-9s
通过正则去分解列表页我觉得是做不到,好像是可以规定从多少k的数据量大小的位置进行抓取,到哪里结束??
解决方案
普通的网页服务器一般不设分段下载的机制,所以也没法拆分数据。如果仅500K的内容就抓这么久,看来你需要检查CURL的配置或者网络问题了。
这篇关于curl - 使用php抓取网页数据时,速度太慢的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文