楼上说的(de)很多，我(wo)补充(chong)一下(xia)，正(zheng)确(que)的应该(gai)叫网(wang)络(luo)蜘蛛，又(you)称爬虫，本质是(shi)搜(sou)索引擎(qing)派出(chu)的一个(ge)执行抓(zhua)取任务的程序蜘蛛池的本质(zhi)是大量的网站互相链接，每个(ge)站单(dan)独(du)产生大量(liang)的内(nei)容吸引蜘蛛来爬，几(ji)千个(ge)网站互链时，可(ke)以想象蜘蛛的链接