楼(lou)上说的很多，我补(bu)充(chong)一(yi)下，正确的应该叫网(wang)络蜘蛛，又(you)称(cheng)爬虫(chong)，本质是(shi)搜索(suo)引(yin)擎派出的一个执行(hang)抓取(qu)任务的程序蜘蛛池的本质是大量的网站互相链接(jie)，每(mei)个站单独产生(sheng)大量的(de)内容吸引蜘(zhi)蛛来爬，几千个(ge)网(wang)站互链(lian)时，可以(yi)想象蜘蛛(zhu)的链接(jie)