联系方式
你的位置:首页 > 新闻动态 > 建站优化

365建站优化分享如何用Robots.txt做网站优化

2019-5-16 21:28:21      点击:
很多新手网站优化专员每天迷茫写文章、做外链这些繁琐工作,却对Robots.txt不了解它的重要性,本文就给大家普及robots.txt文件编写知识。
 
Robots协议的全称是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。搜索蜘蛛发现不存在robots.txt文件时,会产生一个404错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个robots.txt文件还是网站优化很重要的。
 
查询Robots协议,在浏览器输入:http://域名/robots.txt/ 默认情况下会直接显示
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
这是由系统自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。
 
 
下面说一下站点如何编写robots.txt文件,完整的站点robots.txt文件内容如下:
 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。
 
 
下面分别解释一下各项的作用:
 
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
 
用于告诉搜索引擎不要抓取后台程序文件页面。
 
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
 
禁止搜索引擎抓取评论分页等相关链接。
 
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
 
禁止搜索引擎抓取收录分类和标签的分页。
 
4、Disallow: /*/trackback
 
禁止搜索引擎抓取收录trackback等垃圾信息
 
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
 
禁止搜索引擎抓取收录feed链接。
 
6、Disallow: /?s=*和Disallow: /*/?s=*\
 
禁止搜索引擎抓取站内搜索结果
 
7、Disallow: /*?*
 
禁止搜索抓取动态页面
 
8、Disallow: /attachment/
 
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
 
 
以上就是用Robots.txt实现网站优化的具体操作流程,希望能够帮助到你的网站优化。 

Copyright 2014-2017 北京网站优化 版权所有 365seo建站优化 All Rights Reserved

燕郊seo 建站优化百度排名联系电话:13784127871(微信同步)

网站地图 | 百度索引地图 备案号:冀ICP备13023458号-2

关注:北京网站建站 北京网站优化 整站优化 整站排名 网站优化 网站排名 百度优化 百度排名 关键词优化 关键词排名 手机百度排名

热门:北京、广州、上海、深圳、成都、杭州、武汉、重庆、南京、天津、苏州、西安、长沙、沈阳、青岛、郑州、大连、东莞、宁波、石家庄、济南、厦门、哈尔滨、长春、福州、佛山、无锡、烟台、太原