楼上(shang)说的很多(duo)，我补充一下，正确的(de)应该(gai)叫(jiao)网络蜘蛛，又称爬(pa)虫，本质是(shi)搜(sou)索引擎派(pai)出的一个(ge)执行(hang)抓取任务的程序蜘(zhi)蛛池的本质是大量的网站(zhan)互(hu)相链(lian)接，每(mei)个(ge)站单(dan)独(du)产生大量的(de)内容吸引蜘蛛来爬，几千个(ge)网站互链时，可以想(xiang)象蜘蛛的链(lian)接(jie)