什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。
从SEO的角度，robots.txt文件是一定要设置的，原因：
网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
一些没有关键词的页面，比如本站的这个页面http://www.seowhy.com/search.html，屏蔽掉更好。
一般情况下，站内的搜索结果页面屏蔽掉更好。
2009年3月22日星期日
robots.txt
robots.txt是什么？
有没有想过，如果我们某个站点不让百度和google收录，那怎么办？
搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。
这个写约定的的文件命名为:robots.txt。
robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。
关于robots.txt一般站长需要注意以下几点：
如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
必须命名为：robots.txt，都是小写，robot后面加"s"。
robots.txt必须放置在一个站点的根目录下。如：通过http://www.seowhy.com/robots.txt 可以成功访问到，则说明本站的放置正确。
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。
观察这个页面并修改为自己的：http://www.seowhy.com/robots.txt
有几个禁止，就得有几个Disallow函数，并分行描述。
至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。
补充说明：
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /search.html 说明 http://www.seowhy.com/search.html 这个页面禁止搜索引擎抓取。
Disallow: /index.php? 说明类似这样的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。
有没有想过，如果我们某个站点不让百度和google收录，那怎么办？
搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。
这个写约定的的文件命名为:robots.txt。
robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。
关于robots.txt一般站长需要注意以下几点：
如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
必须命名为：robots.txt，都是小写，robot后面加"s"。
robots.txt必须放置在一个站点的根目录下。如：通过http://www.seowhy.com/robots.txt 可以成功访问到，则说明本站的放置正确。
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。
观察这个页面并修改为自己的：http://www.seowhy.com/robots.txt
有几个禁止，就得有几个Disallow函数，并分行描述。
至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。
补充说明：
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /search.html 说明 http://www.seowhy.com/search.html 这个页面禁止搜索引擎抓取。
Disallow: /index.php? 说明类似这样的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。
Robots.txt 文件应放位置
Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
例子：
http://www.seowhy.com/robots.txt 有效
http://www.seowhy.com/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
例子：
http://www.seowhy.com/robots.txt 有效
http://www.seowhy.com/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
Xenu-死链接检测工具
Xenu 是一款深受业界好评，并被广泛使用的死链接检测工具。
时常检测网站并排除死链接，对网站的 SEO 非常重要，因为大量死链接存在会降低用户和搜索引擎对网站的信任。
我们推荐的死链接检测工具 Xenu 主要具有以下特征：
需要下载安装，不到1M大小，用户界面非常简洁，操作简单。
检测彻底：能够检测到图片、框架、插件、背景、样式表、脚本和 java 程序中的链接。
报告形式合理多样，死链接一目了然。
提供出现死链接的网页，方便扫除导出链接错误。
能够侦测重定向URL
可以选择是否侦测站外链接。
对于小型简单网站，可以用来制作HTML格式网站地图。
死链接检测工具 Xenu 下载地址：http://home.snafu.de/tilman/XENU.ZIP
不懂英文者使用指南：
下载，并安装。
打开后，出现 Tips and Tricks 窗口，点击 Close 按钮。
点击左上第二行第一个按钮。
出现一个对话框，在对话框第一行，写入自己的URL。如：http://www.seowhy.com/
按底部的“OK”，就完成了。
报告结果中，出现红色的部分即是死链接。
时常检测网站并排除死链接，对网站的 SEO 非常重要，因为大量死链接存在会降低用户和搜索引擎对网站的信任。
我们推荐的死链接检测工具 Xenu 主要具有以下特征：
需要下载安装，不到1M大小，用户界面非常简洁，操作简单。
检测彻底：能够检测到图片、框架、插件、背景、样式表、脚本和 java 程序中的链接。
报告形式合理多样，死链接一目了然。
提供出现死链接的网页，方便扫除导出链接错误。
能够侦测重定向URL
可以选择是否侦测站外链接。
对于小型简单网站，可以用来制作HTML格式网站地图。
死链接检测工具 Xenu 下载地址：http://home.snafu.de/tilman/XENU.ZIP
不懂英文者使用指南：
下载，并安装。
打开后，出现 Tips and Tricks 窗口，点击 Close 按钮。
点击左上第二行第一个按钮。
出现一个对话框，在对话框第一行，写入自己的URL。如：http://www.seowhy.com/
按底部的“OK”，就完成了。
报告结果中，出现红色的部分即是死链接。
XML Sitemap 相关问题
Sitemap-网站地图包括：
普通 Html 格式的网站地图
XML Sitemap
XML Sitemap 的主要作用是让搜索引擎特别是 Google 更好地收录网站所有 URL。关于 XML Sitemap 的常见问题包括：
1、如果没有 XML Sitemap，对被收录会有影响吗？
XML Sitemap 是为了让你的站点更好地被收录。特别是当你的站点内容层次比较深，或者包含许多通过js或提交表单才能获得 URL 时，XML Sitemap 可以帮助搜索引擎机器人抓取原本不好获得的 URL。如果你的站点很简单、每个页面均可以通过 html 链接到达，且层次不超过三层，则不用 XML Sitemap 也会被全部收录。
2、提交了 XML Sitemap ，一定会被收录吗？或者，会不会受到因提交不当而导致的惩罚？
提交 XML Sitemap 可以帮助你的站点更好的被收录，但如果你的站点存在内容或操作上的问题，同样不会被收录。绝对不会因你提交了正确或错误的 XML Sitemap 而惩罚你的站点。
3、 XML Sitemap 具体有什么用？
XML Sitemap 向搜索引擎提供了这些信息包括，站点的所有 URL、站点页面的最后更新时间、各个 URL 在本站的相对权重。
4、XML Sitemap 会提高网站排名吗？
虽然说网站排名与 XML Sitemap 并没有直接的关系，但因为 XML Sitemap 为搜索引擎提供了你站点的更多信息，这有利于搜索引擎更好地评估你的站点。对于内容优秀的站点，XML Sitemap 可以从某种意义上帮助提高排名。
5、所有页面的优先级都设置为1.0会不会更好一点？
不会。优先级只是表明你站点各个 URL 相对本站点的权重，如果都设置为1.0，这和都没有设置是一样的效果。
6、XML Sitemap 应该放在哪里？
对于 Google 搜索引擎 XML Sitemap 可以放在任何一个它可以爬取的位置，包括其他的网站上。需要你通过 Google 网站管理员工具把存放的地址提交 Google。其他搜索引擎需要放在网站根目录，同样需要提交。
7、我只提交 Html 格式的网站地图，可以吗？
Html 格式的网站地图主要用来方便用户的浏览使用，并不能起到 XML Sitemap 所起的作用。所以最好是两者都要有。
8、XML Sitemap 到底怎么做？最简单的方式。
最简单的方式是把网站的所有单独页面 URL 列出来，放入记事本里，命名为 Sitemap.txt 直接提交给 Google。其他的搜索引擎则不支持这个方式。你或许需要使用 Sitemap 生成器创建 Sitemap 。从这里获得详细帮助：http://www.google.cn/support/webmasters/?hl=zh-CN
普通 Html 格式的网站地图
XML Sitemap
XML Sitemap 的主要作用是让搜索引擎特别是 Google 更好地收录网站所有 URL。关于 XML Sitemap 的常见问题包括：
1、如果没有 XML Sitemap，对被收录会有影响吗？
XML Sitemap 是为了让你的站点更好地被收录。特别是当你的站点内容层次比较深，或者包含许多通过js或提交表单才能获得 URL 时，XML Sitemap 可以帮助搜索引擎机器人抓取原本不好获得的 URL。如果你的站点很简单、每个页面均可以通过 html 链接到达，且层次不超过三层，则不用 XML Sitemap 也会被全部收录。
2、提交了 XML Sitemap ，一定会被收录吗？或者，会不会受到因提交不当而导致的惩罚？
提交 XML Sitemap 可以帮助你的站点更好的被收录，但如果你的站点存在内容或操作上的问题，同样不会被收录。绝对不会因你提交了正确或错误的 XML Sitemap 而惩罚你的站点。
3、 XML Sitemap 具体有什么用？
XML Sitemap 向搜索引擎提供了这些信息包括，站点的所有 URL、站点页面的最后更新时间、各个 URL 在本站的相对权重。
4、XML Sitemap 会提高网站排名吗？
虽然说网站排名与 XML Sitemap 并没有直接的关系，但因为 XML Sitemap 为搜索引擎提供了你站点的更多信息，这有利于搜索引擎更好地评估你的站点。对于内容优秀的站点，XML Sitemap 可以从某种意义上帮助提高排名。
5、所有页面的优先级都设置为1.0会不会更好一点？
不会。优先级只是表明你站点各个 URL 相对本站点的权重，如果都设置为1.0，这和都没有设置是一样的效果。
6、XML Sitemap 应该放在哪里？
对于 Google 搜索引擎 XML Sitemap 可以放在任何一个它可以爬取的位置，包括其他的网站上。需要你通过 Google 网站管理员工具把存放的地址提交 Google。其他搜索引擎需要放在网站根目录，同样需要提交。
7、我只提交 Html 格式的网站地图，可以吗？
Html 格式的网站地图主要用来方便用户的浏览使用，并不能起到 XML Sitemap 所起的作用。所以最好是两者都要有。
8、XML Sitemap 到底怎么做？最简单的方式。
最简单的方式是把网站的所有单独页面 URL 列出来，放入记事本里，命名为 Sitemap.txt 直接提交给 Google。其他的搜索引擎则不支持这个方式。你或许需要使用 Sitemap 生成器创建 Sitemap 。从这里获得详细帮助：http://www.google.cn/support/webmasters/?hl=zh-CN
百度指数
百度指数地址： http://index.baidu.com
百度指数是 SEO 工作者最常用的工具之一。关于百度指数：
百度指数是统计关键词搜索量的工具。
百度指数中“用户关注量”的依据是百度网页搜索。
从“直观图型显示”可以获得关键词在百度搜索量的稳定性。
百度指数与百度风云榜的数据并不统一。
从 SEO 的角度看百度指数：
可能出现这个情况：排名在百度搜索结果第一页，获得的流量却与百度指数相差甚远。
关键词的搜索量按季度、半年、一年的平均值来算，相对客观些。
目前，百度指数是关键词统计方面的主要工具。
Google 关键字趋势：http://www.google.com/trends
雅虎风向标：http://cn.buzz.yahoo.com/
百度指数是 SEO 工作者最常用的工具之一。关于百度指数：
百度指数是统计关键词搜索量的工具。
百度指数中“用户关注量”的依据是百度网页搜索。
从“直观图型显示”可以获得关键词在百度搜索量的稳定性。
百度指数与百度风云榜的数据并不统一。
从 SEO 的角度看百度指数：
可能出现这个情况：排名在百度搜索结果第一页，获得的流量却与百度指数相差甚远。
关键词的搜索量按季度、半年、一年的平均值来算，相对客观些。
目前，百度指数是关键词统计方面的主要工具。
Google 关键字趋势：http://www.google.com/trends
雅虎风向标：http://cn.buzz.yahoo.com/
Google关键字工具
阿里妈妈站长工具
阿里妈妈站长工具：http://tool.alimama.com/
推荐阿里妈妈站长工具的理由：
界面非常简洁。
查询速度快。
数据更新快。
业界口碑良好。
阿里妈妈站长工具包括：
域名/IP信息查询
IP 服务器查询：输入 IP 查询该 IP 所在的物理位置。
域名服务器查询：输入域名，查询域名服务器 IP 及物理位置。
IP Whois 信息查询：输入 IP，查询此 IP 下的所有主机。
域名 Whois 信息查询：输入域名，查询此域名注册信息。
网站信息查询
Alexa 排名查询：查询网站的世界排名、流量等详细信息。
China Rank 查询：查询网站的中国网站排名及流量信息等。
SEO信息查询
搜索引擎收录查询：查询指定网站在各个搜索引擎的收录数量。
搜索引擎反向链接查询：查询指定网站在 Yahoo、Google 的反向链接数量（暂无百度的）。
网页关键词密度查询：查询指定页面的关键字出现的数量和密度。
网页 Meta 信息检测：查询检测网页标题、Meta 信息等是否有利于搜索引擎收录。
推荐阿里妈妈站长工具的理由：
界面非常简洁。
查询速度快。
数据更新快。
业界口碑良好。
阿里妈妈站长工具包括：
域名/IP信息查询
IP 服务器查询：输入 IP 查询该 IP 所在的物理位置。
域名服务器查询：输入域名，查询域名服务器 IP 及物理位置。
IP Whois 信息查询：输入 IP，查询此 IP 下的所有主机。
域名 Whois 信息查询：输入域名，查询此域名注册信息。
网站信息查询
Alexa 排名查询：查询网站的世界排名、流量等详细信息。
China Rank 查询：查询网站的中国网站排名及流量信息等。
SEO信息查询
搜索引擎收录查询：查询指定网站在各个搜索引擎的收录数量。
搜索引擎反向链接查询：查询指定网站在 Yahoo、Google 的反向链接数量（暂无百度的）。
网页关键词密度查询：查询指定页面的关键字出现的数量和密度。
网页 Meta 信息检测：查询检测网页标题、Meta 信息等是否有利于搜索引擎收录。
Google网站流量统计
Google Analytics 网站流量分析：http://www.google.cn/analytics/zh-CN/
Google Analytics 简介：
Google 分析是 Google 提供的一款免费的网站流量分析工具。
目前，对于没有 Google Adword 账户的用户每日限制500万PV的统计，Adword 用户则没有限制。
操作简单：只需把一个js代码放入需要统计的每一个页面。
可以选择时区。
分析非常全面精确。
在业界深受好评。
Google Analytics 功能（Google Analytics 功能非常强大，这里主要列出与 SEO 有关的几点）：
加载分析代码，对网页速度影响不大。
详细的流量来源数据分析，包括：直接点击、搜索引擎、推介、Adword、其他等。
每个关键字的流量数据分析，包括：当天搜索量、某时间段内搜索流量趋势、流量地区分布、各搜索引擎相对关键字、跳出率。
提供推介网站的来源链接。
提供每个页面的浏览量。
分析用户在网站的平均停留时间、新访问量所占百分比、用户地图分布、电子商务转换率。
对用户客户端进行分析。
可以多用户（不同帐号）一起查看分析数据。
Google Analytics 注册和使用：
访问 http://www.google.com/analytics/zh-CN/ 。
输入 Google 帐户的电子邮件和密码直接登录，如果没有 Google 帐户，则注册创建一个。
注册时，记得从下拉列表中选择 http:// 或 https://，然后输入你的网址。在帐户名称字段中为该帐户输入一个别名，然后点击继续，输入联系方式。
同意服务条款，提交注册，完成。
Google Analytics 简介：
Google 分析是 Google 提供的一款免费的网站流量分析工具。
目前，对于没有 Google Adword 账户的用户每日限制500万PV的统计，Adword 用户则没有限制。
操作简单：只需把一个js代码放入需要统计的每一个页面。
可以选择时区。
分析非常全面精确。
在业界深受好评。
Google Analytics 功能（Google Analytics 功能非常强大，这里主要列出与 SEO 有关的几点）：
加载分析代码，对网页速度影响不大。
详细的流量来源数据分析，包括：直接点击、搜索引擎、推介、Adword、其他等。
每个关键字的流量数据分析，包括：当天搜索量、某时间段内搜索流量趋势、流量地区分布、各搜索引擎相对关键字、跳出率。
提供推介网站的来源链接。
提供每个页面的浏览量。
分析用户在网站的平均停留时间、新访问量所占百分比、用户地图分布、电子商务转换率。
对用户客户端进行分析。
可以多用户（不同帐号）一起查看分析数据。
Google Analytics 注册和使用：
访问 http://www.google.com/analytics/zh-CN/ 。
输入 Google 帐户的电子邮件和密码直接登录，如果没有 Google 帐户，则注册创建一个。
注册时，记得从下拉列表中选择 http:// 或 https://，然后输入你的网址。在帐户名称字段中为该帐户输入一个别名，然后点击继续，输入联系方式。
同意服务条款，提交注册，完成。
Google网站管理员工具
Google网站管理员工具是什么？
地址：http://www.google.cn/webmasters/
Google为了更好地与网站管理员沟通，推出了这套服务，让站长可以在此查询站点在Goole的索引和排名情况。可以说Google网站管理员工具是网站管理员与Google对话的平台，不管是懂SEO或从来没听过SEO这个词的网站管理员，都可以从这个最基本的SEO工具获得帮助。权威、免费、全面，这些特征让Google网站管理员工具从一上线就深受网站管理员欢迎。
Goole网站管理员工具有什么功能？
从这里获得Google官方介绍：
https://www.google.com/webmasters/tools/docs/zh_CN/about.html
Google网站管理员工具注册和登录：
从 Google网络管理员中心 选择“网站管理员工具”，如果你已经拥有Goolge账户，不管是Gmail、Adsense、igoogle或其他产品的帐号都可以直接登录。如果都没有，则注册一个即可。
使用Google网站管理员工具的建议：
如果验证总是不通过，可能的原因是robots.txt页面或404页面设置不对。有时需要换一个时间再来验证。
如果你需要删除网址，则需要谨慎。切不可整站都删除。
如果发现很多网址错误，则应该是你站点需要改进，而不是删除错误网址了事。
设置一下“首选网址”，同时在你的.haccess文件里进行301重定向。（只适合apache服务器）
地址：http://www.google.cn/webmasters/
Google为了更好地与网站管理员沟通，推出了这套服务，让站长可以在此查询站点在Goole的索引和排名情况。可以说Google网站管理员工具是网站管理员与Google对话的平台，不管是懂SEO或从来没听过SEO这个词的网站管理员，都可以从这个最基本的SEO工具获得帮助。权威、免费、全面，这些特征让Google网站管理员工具从一上线就深受网站管理员欢迎。
Goole网站管理员工具有什么功能？
从这里获得Google官方介绍：
https://www.google.com/webmasters/tools/docs/zh_CN/about.html
Google网站管理员工具注册和登录：
从 Google网络管理员中心 选择“网站管理员工具”，如果你已经拥有Goolge账户，不管是Gmail、Adsense、igoogle或其他产品的帐号都可以直接登录。如果都没有，则注册一个即可。
使用Google网站管理员工具的建议：
如果验证总是不通过，可能的原因是robots.txt页面或404页面设置不对。有时需要换一个时间再来验证。
如果你需要删除网址，则需要谨慎。切不可整站都删除。
如果发现很多网址错误，则应该是你站点需要改进，而不是删除错误网址了事。
设置一下“首选网址”，同时在你的.haccess文件里进行301重定向。（只适合apache服务器）
订阅：
博文 (Atom)
