东莞SEO原创robots.txt文章汇总,写这篇文章是为了测试有关链接的“领结理论”中的一段话：

权威网页通常是搜索引擎认为具有最高网页排名要素的网页，并与搜索者的关键词最相关的网页可能就是权威网页。

我们在“robots.txt”文章汇总中，把本站6篇原创robots.txt文章集中起来，并通过观察搜索引擎收录该网页后的排名权重，来验证领结理论中权威网页的概念。

阅读全文 »

robots sitemap这篇文章的主题是与robots有关的，这点知识我们在robots语法中没有提到。

robots sitemap: robots.txt提交sitemap方法如下：

您可以在 robots.txt 文件中添加以下蓝色代码行，告诉 Google 和其他搜索引擎有关您的 Sitemap 的信息：

Sitemap:   http://example.com/sitemap.xml 

 注：“example.com”代表你的域名，“sitemap.xml”代表你的站点地图文件。此指令不受 user-agent 行的影响，因此可放在文件中的任意位置。 如果您有 Sitemap 索引文件，可在其中加入该文件的位置。 您不需要在索引文件中列出每个单独的 Sitemap。

阅读全文 »

      SDCMS系统以DIV+CSS为框架，在主流的IE和FF浏览器上测试均能正常运行。系统全自动生成Html文件，无需独自生成任何文件。网站开发者是从事职业SEO转行，对SEO支持的比较好，是许多做企业站SEO的常用程序。程序默认是没有robots.txt文件的，为了更加完善此系统SEO特性，经我们分析，可以为SDCMS系统添加robots.txt文件，禁止收录一些对排名无用的文件，加快索引速度，从而利于提高排名。

SDCMS robots.txt文件内容：

阅读全文 »

      今天在跟一个做外贸的朋友做网站SEO诊断，网站架构是用zen cart商城系统搭建的，可一查根目录下竟然没有robots.txt文件。这显然是会影响到SEO排名的。因为合理设置zen cart robots.txt文件，可以避免因为重复页面等问题大大减慢排名生效时间。以下就是具体的 zen cart robots.txt 写法

     首先新建一个文本文件命名为robots.txt，然后复制粘贴以下代码到 robots.txt保存，上传到网站空间根目录；如果zen cart不在根目录，请修改 Disallow: /cache/ 这类目录路径。（注：不论zen cart 系统安装有哪里，robots.txt文件只能上传到空间根目录才对搜索引擎有效。）不清楚rotots.txt语法的朋友，点这里学习–> robots.txt语法
阅读全文 »

    大家在设置robots.txt时，通常会采用CMS默认的robots.txt设置，即使是修改也只是在robots.txt文件里多禁用某些文件或者目录。当遇到许多程序文件需要禁止蜘蛛访问时，你是否在一行一行的写Disallow呢？下面设置主要是为了测试各搜索引擎对robots.txt文件扩展协议的支持和兼容情况。你可以参考我们的方法合理的使用robots.txt。

以下示例拿Discuz论坛程序做演示：

User-agent: * 
 
#先禁直所有内容
Disallow: /
 
#开放主页。不支持Allow将不能收录主页；如果不支持$，大概会全部开放
Allow: /$
 
#开放所有.html页，对DZ来说有 列表面、帖子、archiver
#将来TAG内容丰富后，后台设置将TAG页面静态化自然也就允许收录TAG了
Allow: /*.html 
 
Allow: /viewthread.php #开放帖子的各种动态形式
Allow: /redirect.php #开放帖子的跳转形式
Allow: /forumdisplay.php #开放列表面的各种动态形式
Allow: /archiver/ #只有放开这个目录,robots开能进入抓取*.html的东西

阅读全文 »

Ecshop默认的robots.txt文件，只对搜索引擎屏蔽了后台管理目录、授权证书、数据库、程序模块、插件等目录；以及一些对SEO毫无作用的订阅、注册、验证码程序文件。但是Ecshop系统的许多功能文件对SEO是没有多大好处，相反会造成大量内容重复。这点我们在ECSHOP百度收录少或者不收录原因详细分享过。今天我们就从Ecshop robots.txt 开始，结合robots.txt语法 说说Ecshop robots.txt 高级应用。

首先看看 Ecshop 默认的 robots.txt （以Ecshop V2.71最新版为示例

阅读全文 »