楼(lou)上说(shuo)的很(hen)多，我(wo)补充一下(xia)，正确的(de)应(ying)该叫网络蜘蛛，又称爬虫(chong)，本质(zhi)是搜索引(yin)擎派(pai)出的一个执行抓取任务的(de)程序蜘蛛(zhu)池的本(ben)质是(shi)大量(liang)的网站互相链接，每个站(zhan)单独(du)产(chan)生大(da)量的(de)内容吸引(yin)蜘(zhi)蛛来爬，几(ji)千个网站(zhan)互链时，可以想象蜘蛛的链接