楼(lou)上说的很(hen)多(duo)，我补充一下，正确(que)的应该叫网络蜘蛛，又(you)称爬虫(chong)，本质是搜索引擎(qing)派(pai)出的一个(ge)执行抓(zhua)取任(ren)务的程序(xu)蜘(zhi)蛛池的(de)本质是大量(liang)的网站互(hu)相链接，每个(ge)站单独(du)产生大量(liang)的内容吸引(yin)蜘(zhi)蛛来爬，几千(qian)个网站互链时(shi)，可以(yi)想象蜘蛛的链(lian)接