楼上(shang)说的很多(duo)，我(wo)补充一下(xia)，正(zheng)确的(de)应该(gai)叫网络(luo)蜘蛛，又称爬虫，本(ben)质是搜索引擎(qing)派(pai)出的一个执行抓取(qu)任务的程序蜘蛛(zhu)池(chi)的本质是(shi)大(da)量的(de)网站(zhan)互相链接(jie)，每个站单独产生大量的内容吸引蜘蛛来爬，几(ji)千个(ge)网站互链时，可以想(xiang)象蜘(zhi)蛛的链接(jie)