楼(lou)上(shang)说(shuo)的很多，我补充一下(xia)，正确(que)的应(ying)该叫(jiao)网络蜘(zhi)蛛，又称(cheng)爬虫，本质是搜索(suo)引擎派出(chu)的(de)一个执行抓取任务的程序蜘(zhi)蛛池(chi)的(de)本质是大量的网(wang)站互(hu)相链接，每个站单(dan)独产生大量(liang)的内容(rong)吸引蜘蛛(zhu)来爬，几千个网站互链(lian)时，可(ke)以想象蜘(zhi)蛛(zhu)的链接