楼上说的很(hen)多，我补(bu)充(chong)一(yi)下，正确(que)的应该叫网络蜘蛛，又(you)称爬(pa)虫，本质是搜索(suo)引擎派出的一(yi)个执(zhi)行抓取任务的(de)程序(xu)蜘蛛池的本(ben)质是大量的网站互(hu)相链(lian)接(jie)，每个站单(dan)独产(chan)生大量的(de)内容吸引蜘蛛来爬，几千个网站互(hu)链时，可以(yi)想象蜘蛛的(de)链(lian)接(jie)