什么是网络爬虫

网络爬虫(Web Crawler或Spider)也叫做网络蜘蛛，是搜索引擎用来抓取网页的工具。例如谷歌的网络爬虫：Googlebot，百度的网络爬虫：BaiduSpider。

每个搜索引擎都拥有大量网络蜘蛛，大量蜘蛛每天不停的爬取互联网中的网页文件(老网站和新网站)，并把爬行到的数据存入搜索引擎数据库。正是因为有了网络蜘蛛，您的网站才能被及时发现。

搜索引擎会根据网站类型和承载能力设定合理的抓取频次，以防止爬行频率过高对网站服务器造成影响。