搜索引擎和SEO的同步发展史

搜索引擎和SEO的同步发展

SEO不是突然出现的一个技术，而是和搜索引擎同时发展起来的。通过了解这段历史，我们就明白，两者的关系虽然不能说是“矛和盾”的关系，但是可以肯定的是，因为有SEO才使得搜索引擎技术能够变得更精确。我们还能明白为什么今天一些“黑帽”做法已经不再显灵，因为我们能看到搜索引擎也在和SEO的同步发展中逐步完善，在算法和反滥用的斗争中变得越来越更加精密。

作者从20世纪90年代中期开始接触互联网，以文字编辑器（text pad）开始编写第一张网页，设立第一个网站。建立的第一个商业网站便是在1995年建设的销售电话卡的网站，使用的是非独立域名，做过banner广告、文字广告、链接、网站联盟获得访问流量。直到1997年注册第一个独立域名，将业务转型，在网络上面向全球销售国际长途电话回拨业务，以及后来的世界范围的国际商业免费800电话服务，进而从此走上网络营销之路。2003年涉足旅游业，依靠互联网和SEO建立起了在美国有一定知名度的长城探险俱乐部。在这些岁月里，作者通过对搜索引擎的使用认识到了搜索营销的威力，也目睹了搜索引擎优化的产生和发展。

1994—1997年：雅虎诞生与SEO的开始

这一阶段是早期搜索引擎MSN，Lycos，Excite，Netscape（本身也是搜索引擎），Alta Vista，Hotbot和InfoSeek的天下。1994年7月，Lycos推出了基于搜索机器人的数据发现技术，并支持搜索结果相关性排序。它还第一次让搜索引擎能够使用网页自动摘要。

1995年底，AltaVista推出，由于它具备大量的新的搜索功能，深受大众好评。AltaVista是第一个支持自然语言搜索，具备了基于网页内容分析、智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND，OR，NOT等），同时还能搜索新闻群组（Newsgroups）中的内容，并且能够搜索图片。

这一阶段也是Yahoo（雅虎）发展的初期阶段。大多数人在这个时候对搜索并不熟悉，也不太知道有搜索引擎这回事，但是对于Yahoo，大多数人则都有所了解，寻找网站就上Yahoo。所以，将你的网站送到Yahoo是很必要的。在此阶段，只要你的网站基本有个模样，有一定的可看性，一般只要向Yahoo提交地址， 72小时内就能出现在Yahoo目录上。Yahoo对所有的网站进行人工归类，一般是按照字母顺序排列网站，自然开头为“A”的网站排到开头为“B”的前面，而有两个A的网站，排在有A和B的网站面前，比如American Airlines的网站不仅排在Bank of America的前面，而且也排在American Basketball Association前面。所以，大批网站就以追求A字来命名。这是搜索引擎优化的雏形。这个逻辑和黄页电话号码簿的排名逻辑一样。最早期Yahoo的截屏

在这一阶段，Yahoo的栏目编辑们也在网上积极搜索新的网站，丰富他们的数据库，而他们的搜索都是人工的，最典型的方法就是从一个网站的链接去访问另外一个网站。遇到一个好的网站，他们就给站主发电子邮件，欢迎站主登录，而且都是免费的。

这些Yahoo的编辑访问网站的行为和我们今天看到的搜索引擎爬行蜘蛛和机器人的形式是一样地孜孜不倦。作者就曾经收到Yahoo编辑的邀请登录，而且和Yahoo的编辑进行了若干次对话。有个Yahoo编辑这么关心你的网站，比你还着急登录你的网站，而且一文不收，这个在今天是无法想象的。你的网站登录后，你还可以随时更改登录的信息，一般72小时就得到了更新.

值得一提的是，虽然在这个时期中文网站很少，而且大多是美国的中文网和在台湾的网站，但是Yahoo显然注意到中文网站的未来，而且迅速有了中文译名“雅虎”，而这个不仅仅是因为它的创始人是杨致远。1998年最早期的雅虎中文截屏如图所示。

这一阶段也是SEO的雏形时期。网上网下出现了一些论文，讨论文字对应、数据挖掘和对搜索引擎程序员的访谈。人们初步有了让网页内容符合搜索引擎数据库原理的模糊意识。同样，将网站收录到搜索引擎也是很容易的。你的网页只要关键词的使用达到一定密度就轻而易举地排列在搜索引擎上了。

值得一提的是，搜索引擎InfoSeek首次做到每日更新。早晨八点你提交网站，下午就被收录，第二天就能出现在搜索之中。正是因为这么快的更新和这么容易的提交到收录，大量的站主开始变着法子频繁登录不同的网址，英文出现Spam这个词来形容站主不负责地制造泛滥的垃圾，很快使这些搜索引擎吃不消。

所以，SEO从一开始就是黑白两道开始的。白的，英文里是white-hat，就是按照能够悟出的搜索引擎原理来合理地调整自己的网站，使搜索引擎能收录并得到好的曝光。黑的，英文叫black-hat，这类优化者仿佛是黑客，寻找搜索引擎的弱点，力图将混淆的信息强塞给搜索引擎，从而为真实的网站提高曝光机会。

在中文搜索引擎领域，中国的起步其实并不晚。1996年8月成立的搜狐公司是最早参与作类似Yahoo的网络信息分类导航的网站，曾一度有“出门找地图，上网找搜狐”的美誉。

这个时候，没有人在注意在斯坦福大学的一个宿舍里，两个聪明的学生正在慢慢孕育着一个令世界瞩目的新型搜索引擎。他们发明了一个新的叫PageRank （佩奇等级）的理论，来重新塑造搜索引擎。这个新型搜索引擎就是现在的Google，截屏

1998—1999年：Google出现和SEO理论的浮现

这一阶段，美国的互联网大会开始有一些关于网站优化的文章发表。这些文章开始关注到链接流行度（link popularity）、名录网站链接（directory listing）的意义。这也使作者开始留意到，其实搜索引擎的排名原理是多种混用的，了解了一种是远不够的。这段时间，搜索引擎也知道了需要限制人们的网站提交来防止垃圾网站的泛滥，于是开始组织反击。

AltaVista开始大规模剔除含有“我们来优化”或者“我们来推广”包含这类文字的网页。SEO的实践者开始意识到，要破译搜索引擎的原理越来越难。在1999年将一个网站提升到前十名要比在1998年难上十倍。搜索引擎开始更多关注链接流行度的意义。

Google也在1998年收到了第一张10万美元的风险投资，搬出了斯坦福校园，正式命名为Google公司，域名也从google.stanford.edu变成google.com。这个新的搜索引擎衡量网站的重要性首次将关注链接流行度作为排名的标准之一。

1999年5月，英国的FAST公司推出AllTheWeb搜索引擎。它的网页搜索可利用ODP自动分类，支持Flash和PDF文件搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3和FTP搜索，拥有极其强大的高级搜索功能。这么强大的功能使它成为最流行的搜索引擎之一。

这一阶段的初期，搜索引擎也开始了多元化的进程，开始设立多语种的网站，比如AltaVista就率先开始了拉丁语的版本。台湾中正大学吴升教授所领导的GAIS实验室于1998年1月创立了OpenFind中文搜索引擎。它是最早开发的中文智能搜索引擎，号称能抓取全球最多的网页并开始进入英文搜索领域。

1999年Google获得了2,500万的资金，开始全力发展，并且已经在每天处理50万次搜索。Google搬家到目前的全球总部依然是旧金山——硅谷叫Mountain View（山景）的城市。这时候的搜索引擎开始设法控制市场，广告广泛地出现在搜索引擎上。这引起了许多搜索者的反感，因为大家还是在用56Kbps Modem上网，大量的广告使网站页面出现太慢。

Google发现了这个影响搜索步伐的致命的跟腱。简洁的网页设计让众人耳目一新，飞快的搜索速度更使得各个站主奔走相告，每个站主论坛都充满了对Google的极好评价，杂志的采访也是接连不断地对Google进行推荐。Google的全面演出就将正式登台了。1998年的Google Beta版如图8-4所示。

2000—2001年：百度的出现和搜索引擎的革新

从2000年开始，登录一个网站到搜索引擎花的时间是越来越长。搜索引擎热衷于收费服务，从一个新的搜索引擎Inktomi到AltaVista都染上了金钱。与此同时，搜索者希望有一个搜索引擎能真正地给他们带来有用的信息。Google没有辜负人们的期望，它的精确搜索开始巩固它在搜索引擎中的地位。

首先出局的是InfoSeek。这个InfoSeek在1998被迪士尼公司买下，变成Go.com。自从那以后，InfoSeek被抛弃，而Go.com也使用Yahoo搜索来代替。在1999年，InfoSeek的一位华人工程师离开了这个搜索引擎而驶向北京，他力图要创立一个“中国人自己的”搜索引擎，并且受一句中国古词“众里寻他千百度，蓦然回首，那人却在灯火阑珊处”的启发，将中国人的搜索引擎起名叫“百度”。这个工程师就是百度的创始人之一——李彦宏。

李彦宏自己就是新一代搜索技术的专家，他早在1996年就解决了如何将基于网页质量的排序与基于相关性排序完美结合的问题，并获得美国专利。百度公司结合硅谷搜索引擎人才精英，依托北京最优秀的软件人才，开发了大型商业化的中文搜索引擎，中文搜索从此与英文搜索站在了同一起跑线上。同时，百度搜索就巧妙地解决了数据更新的瓶颈，整个中文网页的数据库可以最快每天更新一次。

2000年也是Flash动画、JavaScript特技Rollover、动态图片甚至是网站由主题音乐导引的流行之年。这些动态的形式让人喜爱，但是很少有人知道，可惜搜索引擎却不能认识这些。搜索引擎只能阅读文字，而非这些感官的创意，因为它们一直是在模拟人的阅读方式，但是却无法模拟人的感知。直到今天，搜索引擎也没有解决这个问题。

从这一年开始，实际上，向搜索引擎呈交新的网站不需要按照以前那样在搜索引擎的页面上填写“Add URL”，搜索引擎已经能从一个存在的网站上发现新网站的链接而来访问并收录。在这个时候，SEO实践者也开始知道，如果网站能被目录导航站（directory），特别是开放目录ODP（OpenDirectory Project）收录，将非常有助于搜索排名的提升。最知名的ODP是DMOZ（www.dmoz.org），由尼克·斯冠塔和鲍勃· 图尔两位Sun公司的工程师在1998年创办。它是一个人工来收录网站进行分类的名录网站。在这点上，它的组成和Yahoo是一样的。

不同的是，它是由全球的站主自己做编辑来维护的，而Yahoo是由专业编辑来维护的。关于DMOZ，我们已在第7章详细说明。搜索引擎青睐DMOZ，是因为经过人工分析的网站的可信度自然要高于搜索引擎蜘蛛和机器人来获取的网站信息可靠。

2001年的收费登录大为红火。搜索引擎市场经历大清洗，人们开始抛弃搜索引擎Hotbot，AltaVista和Excite。AltaVista试图仿效Google方式来重新回到缩小版的搜索引擎，但是这个垂死挣扎非常痛苦地失败了，并在2003年被Yahoo收购。Inktomi也失去了好几个应用伙伴，急剧走下坡路，2004年同样被Yahoo收购了，而且成为了今天Yahoo搜索的主要技术核心。

SEO实践者开始讨论余下的那些搜索引擎——其实，那就是Google!

欢迎来到Google的时代！这个时代，“有了Google，就有了一切”。就这样，这个同时让众多SEO实践者常常彻夜不眠的时代开始了。

2002—2004年：Google Dance和SEO的不眠之夜

其实在2001年，敏感的站主和SEO实践者感觉到了一个从来没有过的现象。有些人的网站在Google上的排名一夜之间消失，而有的网站则名列首位。这个现象几乎是每月一次。后来，人们知道，这就是Google定期地更新它的索引（index）的剧烈活动，给人的感觉就像跳舞一样，因此被SEO实践者称为Google Dance，后来，Google不仅承认了Google Dance这回事，而且还把它作为了一个特色的公关节目，每年在其总部或者是在搜索营销大会的会场都会举办Google Dance舞会。

正是因为有Google Dance，每个SEO实践者都在Google更新的那个晚上熬夜地看自己的SEO成果能否在Google上实现。每次更新有赢家有输家，网上SEO论坛总有成千上万的讨论，期望知道下次更新能有什么可以预料的，或者猜测更新的具体日期。

搜索引擎在这个阶段中遇到更严重的泛滥问题。SEO实践者大量采用门户网页（doorway page）、重复网站（duplicate Websites）、伪装网页（cloaked page）、充斥名录网站（spamdirectories）、隐藏链接（hidden links）等来试图欺骗Google。另外，DMOZ被Google作为一个重要的收录新网站的渠道，DMOZ也被注入许多垃圾网站。

2002年是大量SEO被滥用的一年。但是，搜索引擎从这些与SEO非法实践的斗争中不断丰富自己辨别的技术，对抓住的网站拒绝收录，已经收录的则给予剔除。但是，这个封锁也冤枉了不少诚实的SEO网站。

在中国，百度于2001年9月开始提供公共搜索服务，并成功地使搜狐和新浪开始使用它的搜索技术，如图8-5所示。同时，它还提供新闻的服务，迅速扩大用户群。

2003年，越来越多的网站设计对Flash的应用有了谨慎的态度。这一年也是搜索引擎继续反击垃圾泛滥的一年。许多SEO实践者明白黑帽技术（black-hat）已经行不通，而是要扎扎实实地真正提高网站的素质。作者的国际电话业务网站在此阶段获得长足发展，也靠的是将丰富的内容给用户，同时也获得搜索引擎的青睐。

Google在2003年更是挤掉了AltaVista和Inktomi，成为独大。这里有个具有讽刺意义的事实。Google诞生于一个搜索引擎纷杂的时代，也就是前面的早期时代。在那个时代里，像AltaVista等搜索引擎对自己的市场份额太具信心而懒得变化。Google便由各个站主和SEO实践者宣扬，从而一举后来居上。而现在， Google开始反击垃圾泛滥，矛头直接指向曾经支持它的这些站主和SEO实践者。这些人成为了Google成功的牺牲品。

2003年的Google的“佛罗里达更新”（Florida Update）真是让全世界的站主和SEO实践者领教了Google的厉害。倘若强烈飓风一般，Florida Update一夜之间让千万个网站从搜索中消失或者从前10名刮到100页以后。这个发生在11月16日的更新，尤其对寄希望在即将来临的圣诞节狠赚一笔的电子商务网站损失惨重。从现在来看，Google的这个更新是反击垃圾网站和不法SEO行为的一次重要战役。

然而，由于Google使用的过滤器（filter）不完美，冲击了很多无辜网站。作者的两个网站也受到冲击，一度使作者夜不思寝，朝不思食。之所以叫“佛罗里达更新”，是因为这个更新由Google在佛罗里达的数据中心开始的。

之后，2004年1月叫做“Austin Update”的余波同样也对相当多的网站造成冲击。霎时间，所有SEO实践者都突然摇身变成了Google PPC（竞价排名广告）的专家——大家不得不依靠Google广告来维持这段节日期间的销售。

关于这两个历史性的Google行为，本书在前面章节有了专门叙述。这两个Google的更新给了许多SEO实践者相当大的教训。规规矩矩地从改善网站本身的素质而不是投机取巧，成为了SEO唯一可行的方法。PPC（竞价排名广告）也稳定地成为营销策略中的重要手段，而SEO也成为搜索引擎营销（SEM）的一部分。

Yahoo在这个时候决定与Google正式分道扬镳。长久以来，为了弥补自己靠人工收录网站的不足，Yahoo一直采用Google的技术来提供网络搜索。Yahoo先是陆续购入AltaVista，AllTheWeb和Inktomi公司，让人觉察到Yahoo的心情——它是否间接养大了Google？它的手上还有20% Google的股份！终于，在2004年2月16日，Yahoo出售了Google股份，正式告别Google，走上自己开发搜索引擎的道路。

同年，2004年9月12日，Google推出简体及繁体两种中文版本的中文搜索。

2005年之后：搜索引擎的战国时代

进入2005年，最大的变化是Google Update不再是定期的活动，而是逐渐地成为每天的递进更新。剧烈的变化不再看见。SEO实践者能够很快地看到自己的努力是否出现了效果。遵循搜索引擎的纪律，以合理的方法来调整、提高网站的结构和内容，成为唯一能够保证网站排名稳定的办法。更重要的是，遵循这些规范操作而优化的网站，不仅在Google上排名良好，而且在Yahoo和MSN上也具有不错的结果。中文网站，如果扎实地做好网站的素质，也会在百度的排名上获益。作者的国际电话服务的中文网站一直在百度上获得很多的访问者。

巨大的搜索市场被Google占领，这个让比尔·盖茨看不下去。MSN终于在2005年2月1日推出了自己的搜索引擎。从此，美国的搜索市场正式由Google、Yahoo和MSN出演“三国演义”。

中国的搜索市场也让世人瞩目。作为全球第二大互联网市场，中国的分量实在重要。美国的三大搜索引擎，在中国搜索市场遭遇了本土企业百度的强烈抵抗，以至于Yahoo和Google始终不能在市场份额上和百度相争。为了和百度决战， 2005年杨致远将雅虎中国交给了马云的阿里巴巴来经营。随后，Google启用李开复，并在2006年启用了中文域名Google.cn和中文译名“谷歌”。

搜索引擎优化（SEO）在中国方兴未艾，也吸引了美国的SEO公司的目光。其中美国著名的尚奇（www.zunchina.com）动作最快，不仅由作者主导在2005年7月推出美国搜索营销业唯一的一个中文网站，而且在2005年11月登陆上海，赞助2005年上海国际电子广告技术大会（Ad-Tech），获得极大的反响，赢得中国用户的热烈欢迎，并在中国的海峡两岸都服务中外客户。

为了帮助SEO的新手避免不该犯的错误，本书列举一些非法做法，分析搜索引擎为什么反对它们。下面就历数这些比较常见的非法操作，或者是“作弊”方式，提醒真正把搜索营销作为战略的人要远离这些技俩，不仅自己不要尝试，也能辨别一些SEO服务商是否诚实。