楼上(shang)说的(de)很(hen)多，我补(bu)充一下(xia)，正确的应该(gai)叫网络蜘蛛(zhu)，又(you)称(cheng)爬虫，本质(zhi)是(shi)搜索(suo)引擎派出的一个执行抓取任务(wu)的(de)程序蜘蛛池的(de)本质是大量(liang)的网(wang)站(zhan)互相(xiang)链接，每个站单独产(chan)生大量的内容吸引蜘蛛来爬(pa)，几千个网站互链时，可以想象蜘蛛的链(lian)接