企业与个人网络营销一站式服务商
网站建设 / SEO优化排名 / 小程序开发 / OA
0731-88571521
136-3748-2004
怎样写网站的robots文件 robots.txt这个文件是什么?有什么作用?
信息来源:长沙做百度SEO   发布时间:2018-11-13   浏览:

一个网站如果”/robots.txt”不存在或者为空文件,那么说明此网站对于所有的搜索引擎robot,该网站都是开放的。


从京东和淘宝的robots.txt文件协议来看,robots.txt文件要讲究语法的.
三个语法
1、User-agent ——用于描述搜索引擎robot的名字,定义搜索引擎类型。
2、Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址。
3、Allow——希望被访问的一组UR。
a、  *      匹配0或多个任意字符。
b、  $      结束符。 

首先写User-agent:
A、U必须大写,后面的小写,紧接着冒号 ——这里还要注意一点:输入法必须调成英文状态,都是英文状态下的)
B、空一格再定义搜索引擎类型。比如定义百度蜘蛛


再写
Disallow ——不希望被访问的一组URL,定义禁止抓取收录地址,或 Allow——希望被访问的一组UR。
Disallow: /(空一格,一撇)
Allow: /(空一格,一撇)


举例:

1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /


2. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider

Disallow: /


3.禁止Google索引你的网站。

User-agent: Googlebot

Disallow: /


4.除了百度以外,其他一切搜索引擎禁止索引你的网站。

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /


5. 禁止所有搜索引擎访问install这个目录以及install这个目录下的所有文件

User-agent: *

Disallow: /install


6.禁止百度搜索引擎访问admin目录;允许访问images目录。

User-agent: Baiduspider

Disallow: /admin

Allow: /images


7.禁止百度搜索引擎访问网站所有.jpg的图片

User-agent: Baiduspider

Disallow: /*.jpg$


8.禁止百度搜索引擎访问网站所有的图片

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.png$

Disallow: /*.gif$


9.禁止所有搜索引擎访问admin目录下所有php文件;允许访问asp文件。

User-agent: *

Disallow: /admin/*.php$

Allow: /admin/*.asp$


10.禁止所有搜索引擎索引网站中所有的动态路径。

User-agent: *

Disallow: /*?*


重点区分以下两种:

a、禁止搜索引擎访问faq目录下的所有文件

User-agent: *

Disallow: /faq/     

例1:http://www.binweb.cn/faq/1.html 不能访问

例2:http://www.binweb.cn/faq1.html 能访问


b、禁止搜索引擎访问以faq开头的所有文件

User-agent: *

Disallow: /faq

例1:http://www.binweb.cn/faq/1.html 不能访问

例2:http://www.binweb.cn/faq1.html 不能访问






上一条: 网站被镜像怎么办?网站内容被别人的网站克隆,网站怎么防被镜像
下一条: 五一放假期间 斌网网络对升级的通知
案例鉴赏
多年的网站建设经验,网至普不断提升技术设计服务水平,迎合搜索引擎优化规则
维护与安全
多年的网站建设经验,网至普不断提升技术设计服务水平,迎合搜索引擎优化规则
长沙私人做网站    长沙做网站    深圳网站建设    株洲做网站    东莞做网站    长沙茶艺师培训    南京防腐木    湖南大拇指养猪设备    株洲做网站    
版权所有 © 长沙市天心区斌网网络技术服务部    湘公网安备 43010302000270号  统一社会信用代码:92430103MA4LAMB24R  网站ICP备案号:湘ICP备13006070号-2