楼上(shang)说的很多，我补充(chong)一下(xia)，正(zheng)确(que)的(de)应该叫网络蜘蛛，又称(cheng)爬(pa)虫，本质是搜索(suo)引(yin)擎派出的(de)一个执行抓取任务的(de)程(cheng)序蜘蛛(zhu)池的(de)本(ben)质是大量的网(wang)站互相(xiang)链(lian)接，每(mei)个站单独产(chan)生大(da)量的内容吸引蜘蛛来爬(pa)，几千(qian)个网站互链(lian)时，可以想象蜘蛛的链接