Google新FCF规则与搜索引擎不公平竞争的激化

googlebot

根据Philipp LenssenGoogle Webmaster Central Blog的报道,原本用于Google News的First Click Free选项现在也将对任何网站启用。所谓First Click Free(首次点击免费,下简称FCF)是指允许网站可以用户与搜索引擎提供不同的页面内容,假如他们满足以下条件——

通过点击Google搜索结果访问该页面的用户可以和Googlebot看到相同的内容。

这个条件包含两层意思——

对于一个需要注册才能浏览的网页,假设管理员将它的完整内容显示给Googlebot以赚取排名,则来自Google.com或Google.cn等等搜索页面的访客应与注册用户有一样的浏览权限;

反之,对任何不来自上述地址的访问,网站有权利选择不显示完整内容(例如强迫“注册新用户”)。

尽管Google称此举是将平时无法访问的相关页面纳入Google搜索,但包括Philipp在内的一群Google支持者却表示疑惑和反感。看似人畜无害的FCF会引起争议,是因为这个提案存在不公平竞争的灰色属性,这个属性在Google News的模式上可以忽略,扩展到整个网络则非常不妙。

不妨来假设一个案例,假如角川出版社制作了一个封闭式小说分享站,同时为了让站点的排名靠前,启用了Google的FCF支持,允许googlebot抓取小说内容,会出现什么问题呢?

问题1:大量游客使用伪装的user agent或referer浏览网站。因为判断googlebot的官方最快捷手段就是UA(准确的办法是DNS Lookup,逐个检查访问者不可行),至于UA伪装有多容易,我们在Pixiv懒人套装动漫花园Private Tracker上的测试足以说明。

问题2:其他网络搜索引擎必须伪装成googlebot抓取小说的内容(这当然是违反Google条款的)。取决于网站的性质,这可以是好事也可以是坏事;Google有明确的协议让站主阻止缓存这些网站的内容,但去到其他搜索引擎的手头上呢?反之,管理员希望页面的内容出现在百度上,他们就必须再增加referer和UA检查。从网页设计的角度出发,这等于在促进“为搜索引擎设计网站”的概念,脱离了人本的概念。

问题3:假如一个页面可以通过Google搜索页面访问,很容易会造成用户认为该页面能永久访问的错觉;然而由于Google的FCF协议只保证来自Google网址的访问通畅,无论保存为书签还是转载到其他页面,该页面都不会显示原版。这等于是对搜索引擎最厌恶的cloaking(包括google自己)采取睁一只眼闭一只眼的策略。同时,由于服务器只认google网址的referer,任何使用google搜索API的网站都将得不到这个好处。

以上的问题,总结而言是Google尝试通过自己庞大的市场份额为Googlebot赢得类似VIP一般的访问权限,间接将其他搜索引擎的竞争力削弱,同时为Google用户创造更多“留在Google上”的借口(例如:由于页面无法直接访问,不得不退之保存特定搜索页的病态网络)

FCF仅解决了抓取受限页面的技术问题,却激化了大范围的网络问题,更为行业竞争营造了负面气氛,实为不可取的策略,客栈上下对Google的决定感到非常失望。

Author: 店长

The Master of BitInn

6 thoughts on “Google新FCF规则与搜索引擎不公平竞争的激化”

  1. > 问题1:
    UA伪装容易,但是“大量游客”伪装UA并不容易。对所有人来说,伪装UA并不比从google搜索结果链接进去简单。

    > 问题2:
    fcf其实是一个网站与搜索引擎互取其利的过程,独立性的丧失的坏处看起来没有想像的那么大。

    > 问题3:
    没有人会在使用收费期刊数据库的时候转载全文的链接吧?类似的,一个常识的普及而已。

    总得来说我觉得google这次在继续走向不平衡的一极,不过fcf具体的问题并没有文中提到的那么严重,店长如此痛心疾首大概是因为fcf确实不是干净的技术。

  2. >>对所有人来说,伪装UA并不比从google搜索结果链接进去简单。
    这是在没有Google FCF的时代。一旦FCF开始流行会怎样?

    >>一个网站与搜索引擎互取其利的过程
    默许Google用户看到与百度用户不同的内容,这是不公平竞争。

    >>一个常识的普及而已
    你是站在熟练电脑用户的角度看。

    First Click Free无视Web Accessibility(第二条),在服务器Security Model中添加漏洞(第一条)以及鼓吹作弊/收费(第三条)的倾向极其明显。这对站主和用户都会造成长远影响。

  3. 看完后觉得很混乱,于是跑去看原文,还是混乱…… 怎么看都是一个实现可能性很低的方案,尤其是应用到新闻以外的情况下。

    个人的感觉:
    1. 站点存在规制内容的webmaster,不会存在因为需要提高google排名而被迫开放FCF的情况。而在google全文都没有提到必须开放多少规制内容的限制的前提下,webmaster依然有很大的选择空间。因此,应该不会对现有的体系造成太大的冲击。

    2. FCF没有什么门槛,也就是其他搜索引擎介入也是很方便的事情。长远的说,应该会趋于一个平衡。

    3. FCF针对的应该是已经或者必然会成为收费站点,也就是本来就会有规制内容的站点。

    4. FCF和Cloaking还是存在本质上区别的行为。凡是FCF抓到的内容,用户还是能访问其全部,而Cloaking显然不同于这样的结果。

    其实FCF这东西,评论里有人写了,”Implement this, and pay me a commission on revenue, or give me a job and I’ll implement if for you” = v = 言下之意就是只要google不区别对待FCF的站点,webmaster也没什么可能性刻意去嵌入FCF….

  4. CYan你也没理解我的话么……

    FCF的网站对于Google用户自然不是cloaking,但对于其他网站呢?

    如果收费网站只针对Google提供收费内容,则这是Googlebot比其他搜索bot有更高的权限;如果网站本来就是cloaking站,只是针对Google进行调整,则其他搜索引擎要继续受害。

    Google当然可以说他们不是太平洋警察,但作为最大的网络搜索站,鼓励减少信息封闭(FCF还是将信息标价,只是第一个Free),或者在推出FCF前与其他搜索引擎做出公平协议不是应该是事情么?

    FCF只有在大多数搜索引擎上都能施行才有意义,然而就如我之前所说,FCF自身会引导问题,目前只是Google独大的借口罢了。

  5. 嘛,话题的出发点不太一样吧。我只是觉得FCF似乎没可能普及开的感觉=w= 如果真的要FCF,作为推广网站的目的来说,站长不会选择仅限于在Googlebot上FCF吧。而且我始终觉得如果搜索引擎不拿钱养着的话,没什么站点会实质上使用FCF吧….

    不过从好的方面去想的话,如果这样的方式能够促使原先封闭的信息开放第一步Free的话,对信息自由也是有好处的。至于有可能会促使原先就免费的信息因为FCF而变得封闭起来,这点还有待观察了=w=

    至于Google独大,也不是一天两天了。如果说期望商业公司应该负起应有的全部社会责任的话,可以批判的对象就太多了-w-

  6. First Click Free计划原用于Google News上的收费媒体,扩展到整个网络的吸引力不强,概念上又有漏洞,说明Google这个举动是缺乏谨慎考虑的。

    PS:为了不让微软般的垄断重演,我们必须将公平竞争的标准提高。

Comments are closed.