楼上说(shuo)的很多，我补(bu)充一(yi)下，正确的应该(gai)叫网络(luo)蜘蛛(zhu)，又称爬虫，本质是搜索引擎派出(chu)的(de)一个执(zhi)行抓取(qu)任务的程序蜘蛛池的(de)本质是大量的网(wang)站(zhan)互相链接(jie)，每(mei)个站单(dan)独(du)产生大量的(de)内容吸引(yin)蜘蛛(zhu)来爬(pa)，几千个网站互链时，可以想象蜘蛛的(de)链(lian)接