楼上说的很多，我补充(chong)一(yi)下(xia)，正(zheng)确的应该叫网(wang)络(luo)蜘蛛，又(you)称爬虫，本质(zhi)是(shi)搜索引擎派出的一个执行抓取任务的程序蜘(zhi)蛛池(chi)的本(ben)质是大量的(de)网站(zhan)互相链(lian)接，每个站单独产生大量的内容吸(xi)引蜘蛛(zhu)来爬(pa)，几(ji)千个网站互链时，可以想象(xiang)蜘蛛(zhu)的链(lian)接(jie)