当前位置:成都SEO > robots

robots相关文章

标签:robots  发布时间: 2015-09-13 13:51:00

深入认识robots

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。 当Spider访问网页时,会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本。 此文件用于指定spider在您网站上的抓取范围。 您可以在网站上创建robots.txt,然后在文件中声明网站中哪些目录不让搜索引擎收录。 (robots.txt文件应放置在网站根目录更下。)

1、robots的用法

User-agent:定义进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎
Disallow:不允许收录

Allow:允许收录

案例:

User-agent: * (声明禁止所有的搜索引擎抓取以下内容)

Disallow:/blog/(禁止网站blog栏目下所有的页面。比如说:/blog/123.html)

Disallow:/api(比如说:/apifsdfds/123.html也会被屏蔽。)

Allow:/blog/12/(一般情况下不需要写Allow的,而我们在禁止的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,比如说我们前面禁止了blog栏目下所有的页面,同时我们想/12/栏目下被收录,这个时候我们就需要通过Allow来允许搜索引擎的收录。)

Disallow:*?*(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。比如说:http://www.teke.cn/?expert/default.html将会被屏蔽。)

Disallow:/*.php$(意思是以.php结尾的路径全部屏蔽掉。)

如何使用Robots提升排名

一、屏蔽死链接

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种:

1)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。

2)百度站长平台查询

我们首先需要验证百度站长平台(如何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清楚的看到,我们网站有哪些死链接。

二、屏蔽无价值的页面

许多网站都有一些没有价值的页面,比如说SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。

三、屏蔽重复路径

当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,比如说:一个网站做了伪静态,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。

总结:也许很多人不知道,许多细节很可能是您的网站排名不上的原因,而这些小细节经常被所有人忽略。 同时,我希望站长在进行网站优化时会更多地关注网站的一些细节。

摘要:特科网专注robots优化,提升排名技术,百度站长培训,成都SEO技术服务外包公司提供SEO优化培训、百度关键词排名优化服务。

SEO优化视频会告诉你的一些基础知识

SEO优化视频会告诉你的一些基础知识。网站结构规范统一url。向搜索引擎提交网站。网站链接结构与导航。robots.txt协议文件。设置404页面。关键词优化。SEO入门基础。

2020-08-06 17:02:00 SEO优化视频titlerobots蜘蛛URLkeywords
阅读: 6 2020-08-06 17:02:00

进行SEO会出现哪些错误?

进行SEO会出现哪些错误?阻止搜索引擎爬行你的网站、解决你的网站搜索问题、迁移站点而不是用重定句、创建循环重定向到导致不良的用户体验、规范化不相关的URL以避免内容重复

2020-07-30 21:00:49 SEOSEO优化网站搜索URLrobots锚文本链接
阅读: 5 2020-07-30 21:00:49

SEO网站系统是哪几个系统?

SEO网站系统是哪几个系统?SEO 数据系统。SEO 运营系统。三、SEO 词库系统。,SEO网站系统就是帮助我们解决问题,提高效率。SEO 的主要生产要素之一是关键词。

2020-06-24 18:26:58 SEO网站系统SEOrobotssitemap
阅读: 0 2020-06-24 18:26:58

百度收录查询应该怎么做?

百度收录查询应该怎么做?主动提交链接给百度,网站sitemap地图创建,添加百度自动推送代码,Robots文件创建,熊掌号资源提交

2019-10-22 18:26:00 收录百度收录主动提交自动推送sitemaprobots熊掌号
阅读: 5 2019-10-22 18:26:00

SEO站内优化的关键点是什么?

SEO站内优化的关键点是什么?网站的URL静态化,网站的根目录下要有robots.txt文件,nofollow标签的在首页的放置,301重定向的设置,网站的图片优化,404页面的制作,适当对页面添加blank标签

2018-08-28 17:09:00 站内优化URL静态化robotsnofollownofollow标签301301重定向图片优化
阅读: 4 2018-08-28 17:09:00

面对石榴算法我们该如何应对

百度为什么要上线石榴算法?页面内容优化,广告位的优化,高质量的内容,屏蔽低质量内容,优化链接页面

2016-05-10 14:35:00 石榴算法百度算法内容优化robots
阅读: 4 2016-05-10 14:35:00

robots是什么,robots应该怎么写?

深入认识robots,robots的用法,如何使用Robots提升排名,屏蔽死链接,通过网站日志查询。百度站长平台查询,屏蔽无价值的页面,屏蔽重复路径

2015-09-13 13:51:00 robots提升排名百度站长百度站长平台
阅读: 2 2015-09-13 13:51:00