搜索引擎中的蜘蛛是如何工作的? [英] how does spider in a search engine works?

问题描述

搜索引擎中的爬虫或蜘蛛是如何工作的

How does crawler or spider in a search engine works

推荐答案

万维网基本上是 Web 文档、图像、多媒体文件等的连接有向图.图的每个节点都是网页的一个组件-例如 - 网页由图像、文本、视频等组成，所有这些都是链接的.爬虫使用网页中的链接使用广度优先搜索遍历图形.

The world wide web is basically a connected directed graph of web documents,images,multimedia files etc. .Each node of the graph is a component of a web page-for example-a web page consists of image,text,video etc, all of them are linked.Crawler traverses the graph using Breadth First Search using links in web pages.

1. 爬虫最初从一个(或多个)种子点开始.
2. 它会扫描网页并浏览该页面中的链接.
3. 这个过程一直持续到所有的图都被探索过(一些预定义的约束可以用来限制搜索深度).

这篇关于搜索引擎中的蜘蛛是如何工作的?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！