小峰一直强调网站载入的速度，不光从搜索引擎的角度，因为这是排名因素之一，也从用户体验的角度来强调网站网页载入的速度对于流量的变化有很大的影响。
比如，Google.com: 页面载入的时间增加500 ms (速度降低) 就会带来20%的流量损失。
还有，Yahoo.com: 页面载入的时间增加400 ms (速度降低) 就会带来5-9% 页面损失（就是用户在页面完全载入完成前就关闭了页面。
大家在设置robots.txt时，通常会采用CMS默认的robots.txt设置，即使是修改也只是在robots.txt文件里多禁用某些文件或者目录。当遇到许多程序文件需要禁止蜘蛛访问时，你是否在一行一行的写Disallow呢？下面设置主要是为了测试各搜索引擎对robots.txt文件扩展协议的支持和兼容情况。你可以参考我们的方法合理的使用robots.txt。
User-agent: * #先禁直所有内容 Disallow: / #开放主页。不支持Allow将不能收录主页；如果不支持$，大概会全部开放 Allow: /$ #开放所有.html页，对DZ来说有 列表面、帖子、archiver #将来TAG内容丰富后，后台设置将TAG页面静态化自然也就允许收录TAG了 Allow: /*.html Allow: /viewthread.php #开放帖子的各种动态形式 Allow: /redirect.php #开放帖子的跳转形式 Allow: /forumdisplay.php #开放列表面的各种动态形式 Allow: /archiver/ #只有放开这个目录,robots开能进入抓取*.html的东西 |
