(关键词排名优化)robots协议如何去写

原创 SEO培训  2018-08-09 19:33  阅读 215 views 次 评论 0 条

robots协议如何去写?其实很简单,但是在学习如何写robots协议前,重庆SEO将先为大家讲一下,robots协议的符号理解!这样才能有效的运用好robots协议!
<span style="color: #ff0000;">一、robots协议是什么</span>
robots协议就是指定搜索引擎蜘蛛根据所写的robots协议爬寻,并且关系到所写的命令去执行。
<span style="color: #ff0000;">二、robots协议里的符号介绍与写法</span>
1.User-agent: 给不同的蜘蛛定义相应的规则
2.Disallow: 不需要访问的某一条路径
3.Allow: 允许某一条路径抓取
举例说明;
User-agent: *  (以下内容适用所有搜索引擎)
Disallow: / (禁止搜索引擎抓取网站内任何内容)
Disallow: /*?* (禁止搜索引擎抓取动态页)
Disallow: /admin/(禁止搜索引擎抓取管理员的内容)
Allow: /page/ (允许搜索引擎抓取的某条连接)
链接:在网站中出现死链的时候,我们就可以用robots.txt来屏蔽一下,告知搜索引擎,这些链接不要被抓取。
地图:希望搜索引擎抓取网站地图时,我们就可以把网站地图放到robots.txt文件内。
<span style="color: #800000;">总结:robots协议写法有很多,如果不是很懂千万不要去整,不然你的网站会有不一样的效果出现的(哈哈),写的时候也要注意一定认真看清楚,不然被屏蔽了也找不到什么原因!所以在此提醒大家写robots协议一定要注意!</span>

本文地址:https://www.dgseo163.com/seos/1544.html
关注我们:请关注一下我们的微信公众号:扫描二维码黑帽seo | SEO技术核心算法培训_黑帽优化实战赚钱技术推广的公众号,QQ:97243828
版权声明:本文为原创文章,版权归 SEO培训 所有,欢迎分享本文,转载请保留出处!

发表评论

游客评论


表情

私密评论