Google新FCF规则与搜索引擎不公平竞争的激化

googlebot

根据Philipp LenssenGoogle Webmaster Central Blog的报道,原本用于Google News的First Click Free选项现在也将对任何网站启用。所谓First Click Free(首次点击免费,下简称FCF)是指允许网站可以用户与搜索引擎提供不同的页面内容,假如他们满足以下条件——

通过点击Google搜索结果访问该页面的用户可以和Googlebot看到相同的内容。

这个条件包含两层意思——

对于一个需要注册才能浏览的网页,假设管理员将它的完整内容显示给Googlebot以赚取排名,则来自Google.com或Google.cn等等搜索页面的访客应与注册用户有一样的浏览权限;

反之,对任何不来自上述地址的访问,网站有权利选择不显示完整内容(例如强迫“注册新用户”)。

尽管Google称此举是将平时无法访问的相关页面纳入Google搜索,但包括Philipp在内的一群Google支持者却表示疑惑和反感。看似人畜无害的FCF会引起争议,是因为这个提案存在不公平竞争的灰色属性,这个属性在Google News的模式上可以忽略,扩展到整个网络则非常不妙。

不妨来假设一个案例,假如角川出版社制作了一个封闭式小说分享站,同时为了让站点的排名靠前,启用了Google的FCF支持,允许googlebot抓取小说内容,会出现什么问题呢?

问题1:大量游客使用伪装的user agent或referer浏览网站。因为判断googlebot的官方最快捷手段就是UA(准确的办法是DNS Lookup,逐个检查访问者不可行),至于UA伪装有多容易,我们在Pixiv懒人套装动漫花园Private Tracker上的测试足以说明。

问题2:其他网络搜索引擎必须伪装成googlebot抓取小说的内容(这当然是违反Google条款的)。取决于网站的性质,这可以是好事也可以是坏事;Google有明确的协议让站主阻止缓存这些网站的内容,但去到其他搜索引擎的手头上呢?反之,管理员希望页面的内容出现在百度上,他们就必须再增加referer和UA检查。从网页设计的角度出发,这等于在促进“为搜索引擎设计网站”的概念,脱离了人本的概念。

问题3:假如一个页面可以通过Google搜索页面访问,很容易会造成用户认为该页面能永久访问的错觉;然而由于Google的FCF协议只保证来自Google网址的访问通畅,无论保存为书签还是转载到其他页面,该页面都不会显示原版。这等于是对搜索引擎最厌恶的cloaking(包括google自己)采取睁一只眼闭一只眼的策略。同时,由于服务器只认google网址的referer,任何使用google搜索API的网站都将得不到这个好处。

以上的问题,总结而言是Google尝试通过自己庞大的市场份额为Googlebot赢得类似VIP一般的访问权限,间接将其他搜索引擎的竞争力削弱,同时为Google用户创造更多“留在Google上”的借口(例如:由于页面无法直接访问,不得不退之保存特定搜索页的病态网络)

FCF仅解决了抓取受限页面的技术问题,却激化了大范围的网络问题,更为行业竞争营造了负面气氛,实为不可取的策略,客栈上下对Google的决定感到非常失望。