楼上说的很多(duo)，我(wo)补充一下，正确的应(ying)该叫网络蜘蛛，又(you)称(cheng)爬虫，本质是搜索引擎派出的一(yi)个执行抓取任务(wu)的程序(xu)蜘蛛(zhu)池(chi)的(de)本质是大量的网站互(hu)相链接，每个站单独(du)产(chan)生(sheng)大量的内容(rong)吸引蜘蛛(zhu)来爬(pa)，几(ji)千(qian)个(ge)网(wang)站互链时(shi)，可以(yi)想象蜘蛛的链接