php - 请问如何更快速有效的爬网站？

问题描述

问 题

大家好，其实我是门外汉，我上学的时候，玩过大话西游，QQ幻想，后来洛奇，学了一点按键精灵（一种和vb差不多的编程语言），辅助我玩游戏来着。这是我的编程基础。

要是我爬别人的网站，就会先把需要爬的url保存在TXT，或者Excel文件里。

用按键精灵打开浏览器，模拟手动（快捷键或者鼠标点击）输入TXT或者Excel的网址。

然后模拟手动全选，然后用 处理字符串函数，mid，right，left，len，instr 这些提取需要的字符串。

然后保存到Excel，或者是 txt 。

这样做其实很费机器，CPU使用很高，而且网速占用也很高。因为要加载很多不需要的图片，如图片，flash，mpg文件等。
而且经常出错，可能是excel出错，也可能是脚本出错，很多时候是浏览器出错。

请问大家，你们是怎么做的呢？

我目前会php，MySQL，JavaScript，jQuery，ajax 等编程语言。对json，xml，html 的数据，也都了解了。

希望大家结合我会的，当然以方便为主，有更方便的也可以告诉一下。

另外对于浏览器的调试信息，也就是f12的面板，我就会看js的输出。

只要有思路，欢迎大家回答，我起点低，基本是个回答都对我有帮助，谢谢了!

解决方案

你说的是爬取网站代码，还是让搜索引擎快速爬取你的网站，如果是前置一般都是用python写爬虫，这个我不是太了解，但是后者就是seo，这个我还是比较了解的 一般的方法，是登陆Google搜索引擎和百度，向搜索引擎提交自己的网站URL，这样做是不够。此外Google Sitemaps 有助于加速网页的查找，这也是抓取网页和编制索引重要的第一步，但有很多因素会影响抓取/编制索引过程。Google Sitemaps 可让您告诉Google关于您网页的信息（您认为哪些网页最重要、这些网页的更改频率）， 让Google更有效的抓取我们网站的网页。所以我们还要在为我们的网站制作一个Google Sitemaps，这样一般在2－4天之内Google 就会收录你的网站，首次收录只是收录你首页和首页上链接的网页。在Google Sitemaps中设置网页的更新频率为daily，你只要每天跟新你的网站，Google就会不断来更新你的站，用不了多久Google就会深度漫游你的网站，收录更多的页面。

这篇关于php - 请问如何更快速有效的爬网站？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！