搜索引擎蜘蛛(Spider)和SEO

来源： | 作者：DK | 2007-05-25 | 收藏 SEO培训推荐白冰 SEO 投稿

搜索引擎蜘蛛-spider定义（搜索引擎机器人-robot）

一个web客户端程序。类似IE 和 Firefox这样的浏览器，它不断的收集链接，向web服务器发出请求获取网站内容。就好比人不断点击链接，浏览网页一样。也就是说

搜索引擎蜘蛛实际上就是一个程序，好像人一样“浏览网站”。所以搜索引擎蜘蛛也叫搜索引擎机器人-robot。了解它对了解seo关系密切。

一些关于搜索引擎蜘蛛的文章

·搜索引擎蜘蛛(spider)真伪识别

搜索引擎使用各自的搜索引擎机器人（蜘蛛）去访问、索引网站内容，网站管理员一般都欢迎它们的到访。同人类访问一样于搜索引擎蜘蛛的访问会增加网站负担，一般正规搜索引擎机器人采用一些措施让这些负担降到最低，但是并非所有的机器人都这样做，有一些非正规机器人伪装成正规搜索引擎蜘蛛对网站大量抓取内容，并且很可能不遵循robots.txt标准，将给网站增加很大负担。网站管理员严密监视这类恶意蜘蛛的活动。最简单的方法就是屏蔽非正规引擎的机器人。。。。

·搜索引擎机器人(robot)名称大全

搜索引擎主页	搜索引擎蜘蛛spider	IP地址
www.abacho.com	AbachoBOT	srv-ze-robot1.tricus.com
www.abcdatos.com	abcdatos_botlink http://www.abcdatos.com/botlink/	217.126.39.167
www.aesop.com	AESOP_com_SpiderMan	209.189.115.49
www.ah-ha.com	ah-ha.com crawler (crawler@ah-ha.com)	c7pub-216-250-141-186.center7.com
www.alexa.com	ia_archiver	green.alexa.com sarah.alexa.com
www.altavista.com	Scooter Mercator Scooter2_Mercator_3-1.0 roach.smo.av.com-1.0 Tv<nn>_Merc_resh_26_1_D-1.0	test-scooter.pa.alta-vista.net brillo.pa.alta-vista.net av-dev4.pa.alta-vista.net scooter.aveurope.co.uk bigip1-snat.sv.av.com mercator.pa-x.dec.com