一 : 谷歌计划处罚过度使用搜索引擎优化技术网站
3月19日消息，据国外媒体报道，一位谷歌的工程师称谷歌目前正在准备重新组装其搜索引擎装备，这样一来过度使用搜索优化技术的网站未经完全同意就很难取胜。
据报道，谷歌目前正在计划惩罚过度使用搜索引擎优化技术的网站。谷歌搜索引擎领域的Barry Schwartz发布了一个最近西南之南会谈的小组讨论的视频剪辑，在该视频中Matt Cutts对这一计划做了相关讨论。
据了解，谷歌考虑到为了保证“过度使用搜索引擎优化技术(SEO)的网站和那些有很高满意度的网站”之间的公平，才准备采取这种措施，Schwartz引用Cutts的话这么说道。
“我们正试图将GoogleBot变得更智能，使我们提供更好的相关信息，同时我们也在努力找出那些滥用它的人，例如在一个网页上有许多关键字，或是交换太多链接以及其他一些未按照正常做法进行操作的网站。”
据悉，Schwartz称这些改变将开始影响“未来几个月或几周之后的”搜索结果，尽管目前谷歌官方对此事还没有做出官方评论。
华尔街日报在这周之初称谷歌将着手于对其搜索系统前所未有的一次详细整修，这次整修的领域将包括“语义搜索”，包括搜索引擎优化的一些改变，广告，以及网页排序结果。
二 : 网站优化中怎样尽量减少无效URL的爬行和索引
简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统（如选择产品的品牌、价格、尺寸、性能、参数等）会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，原因包括：
大量过滤条件页面内容重复或极为类似（大量复制内容将使网站整体质量下降）
大量过滤条件页面没有对应产品，页面无内容（如选择“100元以下42寸LED电视”之类的）
绝大部分过滤条件页面没有排名能力（排名能力比分类页面低得多）却浪费一定权重
这些过滤条件页面也不是产品页面收录的必要通道（产品页面应该有其它内链帮助爬行和收录）
爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下降（过滤条件页面组合起来是巨量的）
简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统（如选择产品的品牌、价格、尺寸、性能、参数等）会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，原因包括：
大量过滤条件页面内容重复或极为类似（大量复制内容将使网站整体质量下降）
大量过滤条件页面没有对应产品，页面无内容（如选择“100元以下42寸LED电视”之类的）
绝大部分过滤条件页面没有排名能力（排名能力比分类页面低得多）却浪费一定权重
这些过滤条件页面也不是产品页面收录的必要通道（产品页面应该有其它内链帮助爬行和收录）
爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下降（过滤条件页面组合起来是巨量的）
那么怎样尽量使这些URL不被爬行和索引、收录呢？不过可惜，我目前想不出完美的解决方法。提出两个方法，我觉得都无法完美解决。
第一个方法，是将不想收录的URL保持为动态URL，甚至故意越动态越好，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费一定权重。
第二个方法，robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去（搜索引擎不爬行就不知道有什么导出链接），页面成为权重只进不出的黑洞。
连向这些URL的链接配合nofollow也不完美，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重同样浪费了。百度据称支持nofollow，但权重怎么处理未知。
将这些URL链接放在Flash、JS里也没有用，搜索引擎已经可以爬行Flash、JS里的链接，而且估计以后越来越擅长爬。很多SEO忽略了的一点是，JS中的链接不仅能被爬，也能传递权重，和正常连接一样。
也可以将过滤条件链接做成AJAX形式，用户点击后不会访问一个新的URL，还是在原来URL上，URL后面加了#，不会被当成不同URL。和JS问题一样，搜索引擎正在积极尝试爬行、抓取AJAX里的内容，这个方法也不保险。
还一个方法是在页面head部分加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题（权重是可以随着导出链接传到其它页面的），不能解决的是浪费蜘蛛爬行时间问题，这些页面还是要被蜘蛛爬行抓取的（然后才能看到页面html里的noindex+follow标签），对某些网站来说，过滤页面数量巨大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。
再一个可以考虑的方法是隐藏页面（cloaking），也就是用程序检测访问者，是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法，唯一的问题是，可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是：如果没有搜索引擎，你会不会这么做？或者说，某种方法是否只是为了搜索引擎而采用？显然，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有恶意的，但风险是存在的，胆大的可试用。
还一个方法是使用canonical标签，最大问题是百度是否支持未知，而且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵守，等于没用。另外，canonical标签的本意是指定规范化网址，过滤条件页面是否适用有些存疑，毕竟，这些页面上的内容经常是不同的。
目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe，等于调用其它文件内容，对搜索引擎来说，这部分内容不属于当前页面，也即隐藏了内容。但不属于当前页面不等于不存在，搜索引擎是可以发现iframe中的内容和链接的，还是可能爬行这些URL，所以加robots禁止爬行。iframe中的内容还是会有一些权重流失，但因为iframe里的链接不是从当前页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除了排版、浏览器兼容性之类的头疼问题，iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊，很多广告就是放在iframe中，但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊的总原则上，很难说这不是专门为搜索引擎做的。记得Matt Cutts说过，Google以后可能改变处理iframe的方式，他们还是希望在同一个页面上看到普通用户能看到的所有内容。
总之，对这个现实、严重的问题，我目前没有自己觉得完美的答案。当然，不能完美解决不是就不能活了，不同网站SEO重点不同，具体问题具体分析，采用上述方法中的一种或几种应该可以解决主要问题。
而最最最大的问题还不是上述这些，而是有时候你想让这些过滤页面被爬行和收录，这才是杯具的开始。以后再讨论。
一是将不想收录的URL保持为动态URL，甚至故意越动态越好，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费一定权重。
第二个方法，robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去（搜索引擎不爬行就不知道有什么导出链接），页面成为权重只进不出的黑洞。
连向这些URL的链接配合nofollow也不完美，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重同样浪费了。百度据称支持nofollow，但权重怎么处理未知。
将这些URL链接放在Flash、JS里也没有用，搜索引擎已经可以爬行Flash、JS里的链接，而且估计以后越来越擅长爬。很多SEO忽略了的一点是，JS中的链接不仅能被爬，也能传递权重，和正常连接一样。
也可以将过滤条件链接做成AJAX形式，用户点击后不会访问一个新的URL，还是在原来URL上，URL后面加了#，不会被当成不同URL。和JS问题一样，搜索引擎正在积极尝试爬行、抓取AJAX里的内容，这个方法也不保险。
还一个方法是在页面head部分加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题（权重是可以随着导出链接传到其它页面的），不能解决的是浪费蜘蛛爬行时间问题，这些页面还是要被蜘蛛爬行抓取的（然后才能看到页面html里的noindex+follow标签），对某些网站来说，过滤页面数量巨大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。
再一个可以考虑的方法是隐藏页面（cloaking），也就是用程序检测访问者，是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法，唯一的问题是，可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是：如果没有搜索引擎，你会不会这么做？或者说，某种方法是否只是为了搜索引擎而采用？显然，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有恶意的，但风险是存在的，胆大的可试用。
还一个方法是使用canonical标签，最大问题是百度是否支持未知，而且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵守，等于没用。另外，canonical标签的本意是指定规范化网址，过滤条件页面是否适用有些存疑，毕竟，这些页面上的内容经常是不同的。
目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe，等于调用其它文件内容，对搜索引擎来说，这部分内容不属于当前页面，也即隐藏了内容。但不属于当前页面不等于不存在，搜索引擎是可以发现iframe中的内容和链接的，还是可能爬行这些URL，所以加robots禁止爬行。iframe中的内容还是会有一些权重流失，但因为iframe里的链接不是从当前页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除了排版、浏览器兼容性之类的头疼问题，iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊，很多广告就是放在iframe中，但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊的总原则上，很难说这不是专门为搜索引擎做的。记得Matt Cutts说过，Google以后可能改变处理iframe的方式，他们还是希望在同一个页面上看到普通用户能看到的所有内容。
总之，对这个现实、严重的问题，我目前没有自己觉得完美的答案。当然，不能完美解决不是就不能活了，不同网站SEO重点不同，具体问题具体分析，采用上述方法中的一种或几种应该可以解决主要问题。
而最最最大的问题还不是上述这些，而是有时候你想让这些过滤页面被爬行和收录，这才是杯具的开始。以后再讨论。
三 : 网站优化 搜索引擎收录网页的四个阶段
作为SEO从业者，不仅要被搜索引擎抓取，还要被收录，最重要的是在收录后有良好的排名，本文将简单分析下搜索引擎收录网页的四个阶段。每个网站、每个网页的排名都是不一样的，看看你的网站处于哪个阶段呢?
网页收录第一阶段：大小通吃
搜索引擎的网页抓取都是采取「大小通吃」的策略，也就是把网页中能发现的链接逐一加入到待抓取URL中，机械性的将新抓取的网页中的URL提取出来，这种方式虽然比较古老，但效果很好，这就是为什么很多站长反应蜘蛛来访问了，但没有收录的原因，这仅仅是第一阶段。
网页收录第二阶段：网页评级
而第二阶段则是对网页的重要性进行评级，PageRank是一种著名的链接分析算法，可以用来衡量网页的重要性，很自然的，站长可以用PageRank的思路来对URL进行排序，这就是各位热衷的「发外链」，据一位朋友了解，在中国「发外链」这个市场每年有上亿元的规模。
爬虫的目的就是去下载网页，但PageRank是个全局性算法，也就是当所有网页有下载完成后，其计算结果才是可靠的。对于中小网站来讲，服务器如果质量不好，如果在抓取过程中，只看到部分内容，在抓取阶段是无法获得可靠的PageRank得分。
网页收录第三阶段：OCIP策略
OCIP策略更像是PageRank算法的改进。在算法开始之前，每个网页都给予相同的「现金」，每当下载某个页面A后，A将自己的「现金」平均分给页面中包含的链接页面，把自己的「现金」清空。这就是为什么导出的链接越少，权重会越高的原因之一。
而对于待抓取的网页，会根据手头拥有的现金多少排序，优先下载现金最充裕的网页，OCIP大致与PageRank思路一致，区别在于：PageRank每次要迭代计算，而OCIP则不需要，所以计算速度远远快于PageRank，适合实时计算使用。这可能就是为什么很多网页会出现「秒收」的情况了。
网页收录第四阶段：大站优先策略
大站优先的思路很直接，以网站为单位来衡量网页的重要性，对于待抓取的URL队列中的网页，根据所述网站归类，如果哪个网站等待下载的页面最多，则优先下载这些链接。其本质思想是「倾向于优先下载大型网站URL」。因为大型网站往往包含更多的页面。鉴于大型网站往往是名站，其网页质量一般较高，所以这个思路虽然简单，但有一定依据。
实验表明这个算法虽然简单粗暴，但却能收录高质量网页，很有效果。这也是为什么许多网站的内容被转载后，大站却能排到你前面的最重要原因之一。
61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1