网站生成robots

什么是站点地图文件？ 站点地图也就是大家说的网站地图，英文名称sitemap，他的作用是指导蜘蛛了解网站结构，sitemap里面是您的目录结构，导航菜单链接，站点内容的链接，帮助蜘蛛收录站点内容。 什么是robots？ Robots是一种协议，也称为爬虫协议、机器人协议等。网站通过Robots协议告诉搜索引擎的蜘蛛哪些页面可以抓取，哪些页面不能抓取。 怎么生…