楼上说的(de)很(hen)多，我补充(chong)一(yi)下(xia)，正确(que)的应该叫(jiao)网络(luo)蜘蛛，又称爬(pa)虫(chong)，本质是搜索引擎(qing)派出的(de)一个(ge)执(zhi)行抓(zhua)取(qu)任务的程序蜘(zhi)蛛(zhu)池的本质是大(da)量的(de)网(wang)站互相链(lian)接，每个站单(dan)独产生大量(liang)的内容吸引蜘蛛来爬，几千个网站互链时，可以(yi)想象蜘蛛的链接(jie)