搜索引擎优化的发展历程
一、1994-1997:雅虎的诞生和SEO的诞生
1993年8月,Lycos推出了基于搜索机器人的数据发现技术,支持搜索结果排名。这也使得搜索引擎第一次能够自动提取网页。
1995年底推出Alta Vista。因为它有很多新的搜索功能,所以很受大众欢迎。Alta Vista是第一个支持自然语言搜索,具有基于网页的内容分析和智能处理能力,实现高级搜索语法(如AND、OR、NOR等)的搜索引擎。).同时还可以搜索新闻群里的内容,搜索图片。
这个阶段也是雅虎发展的初级阶段。这个时候,大多数人对搜索并不熟悉,也不太了解搜索引擎的存在。但是对于雅虎,大部分人都有所了解,去雅虎找网站。因此,有必要将你的网站发送到雅虎。在这个阶段,只要你的网站有了基本的样子,有了一定的知名度,只要你把地址提交给雅虎,它就会在72小时内出现在雅虎目录中。雅虎对所有的网站都是手动分类的,一般按照字母顺序排列。自然,以“A”开头的网站在“B”开头之前,而两个以“A”开头的网站在以“A”和“B”开头的网站之前。例如,美国航空公司的网站不仅在美国银行前面,而且在美国篮球协会前面。所以大量的网站都是以追求一个词来命名的。这就是搜索引擎优化的雏形。这个逻辑和黄页中电话号码的排名逻辑是一样的。
在这个阶段,雅虎的专栏编辑也在积极地在互联网上搜索新的网站,以丰富他们的数据库,他们的搜索都是人工的。最典型的方法是从一个网站的链接访问另一个网站。他们遇到好的网站就给站长发邮件,欢迎站长登录,而且都是免费的。
这些雅虎编辑访问网站的行为就像我们今天看到的搜索引擎蜘蛛和机器人一样不知疲倦。一个雅虎编辑这么关心你的网站,比你更着急登录你的网站,而且一分钱不收,这是不可想象的。你的网站登录后,也可以随时更改登录信息,一般72小时更新一次。
值得一提的是,虽然这一时期的中文网站很少,而且大多是美国中文网站和台湾省的网站,但雅虎显然注意到了中文网站的未来,很快得到了一个中文译名“雅虎”,这不仅是因为它的创始人是杨致远。
这个阶段也是SEO的萌芽阶段。一些论文出现在网上和网下,讨论文本通信,数据挖掘和采访搜索引擎程序员。人们最初有一种模糊的意识,即让网页的内容符合搜索引擎数据库的原则。同样,网站很容易被搜索引擎收录,只要关键词使用到一定的密度,你的网页也很容易在搜索引擎上排列。
值得一提的是,搜索引擎InfoSeek首次每日更新。你早上八点提交网站,下午就会被收录,第二天就会出现在搜索里。正是因为如此快速的更新和如此容易的提交和收录,大量的站长开始改变方式频繁登录不同的网站。英语中出现了Spam这个词来形容站长不负责任地制造猖獗的垃圾,很快就让这些搜索引擎无法忍受。
所以SEO一开始就是黑白的。白色,英文是white-hat,就是根据搜索引擎可以实现的原理,合理调整你的网站,让搜索引擎收录,获得良好的曝光。Mafia,英文名为black-hat,这类优化器看起来就像是黑客,寻找搜索引擎的弱点,试图将混乱的信息强行推给搜索引擎,从而提高真实网站的曝光机会。
在这期间,成人网站因为强大的利润诱惑,可以说率先“黑”了搜索引擎。所以SEO和搜索引擎从一开始就是爱恨交加的关系。在此期间,付费网站优化服务开始在美国出现。
在中文搜索引擎领域,中国起步并不晚。搜狐公司,成立于8月,1996,是最早参与类似雅虎的管理信息分类导航的网站,曾有“出门找地图,上网找搜狐”的美誉。
这个时候,谁也没有注意到,在斯坦福大学的一间宿舍里,两个聪明的学生正在慢慢孕育着一个举世瞩目的新搜索引擎。他们发明了一种叫做PageRank的新理论来重塑搜索引擎。这个新的搜索引擎就是现在的谷歌。
二、1998-1999: Google和SEO理论的出现。
这个阶段开始在美国的互联网大会上发表一些关于网站优化的文章。这些文章开始关注链接人气和目录列表的意义。这段时间,搜索引擎也知道要限制人们的网站提交,防止垃圾网站泛滥,于是开始组织反击。
Alta Vista开始大规模淘汰带有“让我们优化”或“让我们推广”等字眼的网页。SEO从业者开始意识到,破解搜索引擎的原理越来越难。一个网站在1999推广到前十比在1998难十倍。搜索引擎开始更加重视链接流行度的意义。
1998年,谷歌也获得了第一笔10万美元的风险投资,搬出了斯坦福校园,正式命名为谷歌公司,域名也从google.stanford. edu改为Google。com。这个新的搜索引擎衡量网站的重要性,首次将链接流行度作为排名标准之一。
1999年5月,英国的FAST公司推出了ALLTheWeb搜索引擎。其网页搜索可按ODP自动分类,支持Flash和PDF文件搜索,支持多语言搜索,还提供新闻搜索、图片搜索、视频、MP3和FTP搜索,具有极其强大的高级搜索功能。如此强大的功能使其成为最受欢迎的搜索引擎之一。
在这个阶段的开始,搜索引擎也开始多元化,设立多语种网站,比如AltaVista率先开始了拉丁版。由台湾中正大学吴升教授领导的GAIS实验室于2006年6月1998+10月创建了中文搜索引擎OpenFind。它是最早的中文智能搜索引擎,号称能抓取全球最多的网页,并开始进入英文搜索引擎。
1999年,谷歌拿到2500万,开始全力发展,已经每天处理50万次搜索。这笔投资也让谷歌搬到了旧金山,一个位于硅谷的名为帕洛阿尔托的城市。谷歌也开始了解它的合作伙伴。AOL刚到网景不久,谷歌就搬到了旧金山,一个硅谷的山景城。这时搜索引擎开始尝试控制市场,广告在搜索引擎中广泛出现。这引起了很多搜索者的反感,因为大家还在用56KB的modem上网,大量的广告让网站页面显得太慢。
谷歌发现了这个影响搜索速度的致命问题。简洁的网页设计让大家耳目一新,快速的搜索速度让所有的站长都互相转告。每个站长论坛都充斥着对Google的优秀评论,杂志访谈也在不断推荐Google,Google的综合表现正式上演。
第三,百度和搜索引擎的创新
从2000年开始,登录一个网站和搜索引擎需要的时间越来越多。搜索引擎热衷于收费服务,从一个新的搜索引擎Inktomi到Alta Vista,都沾染了金钱。同时,搜索者希望一个搜索引擎能真正给他们带来有用的信息。谷歌没有辜负人们的期望,它的精准搜索开始巩固它在搜索引擎中的地位。
第一个出局的是InfoSeek,它被迪士尼公司以1998收购,成为Go。com。从那以后,InfoSeek就被抛弃了,而Go。com转而使用雅虎搜索。1999,InfoSeek的一名中国工程师离开了这家搜索引擎,前往北京。他试图打造一个“中国人自己”的搜索引擎,灵感来源于中国一句老话“我在人群中寻他千百度,蓦然回首,那人却在昏黄的灯光下”,于是他将中国人的搜索引擎命名为“百度”。这位工程师就是百度的创始人之一李彦宏。
李彦宏本人是新一代搜索技术专家。早在1996,他就解决了如何将基于网页质量的排名和基于相关性的排名完美结合的问题,并获得了一项美国专利。百度公司结合硅谷搜索引擎的人才,依托北京最优秀的软件人才,开发出了大型商业中文搜索引擎。从此,中文搜索和英文搜索站在了同一起跑线上。同时,百度搜索巧妙地解决了数据更新的瓶颈,全中文网页的数据库最快可以一天更新一次。
2000年也是Flash动画、JavaScript特技翻转和动态图片流行的一年。这些动态形式很流行,但很少有人知道搜索引擎无法识别。搜索引擎只能阅读文字,而不能阅读这些感官的创造力,因为它们一直在模拟人的阅读方式,却无法模拟人的感知。直到今天,搜索引擎也没有解决这个问题。
从今年开始,其实在搜索引擎的页面上不需要填写“添加网址”就可以向搜索引擎提交新的网站。搜索引擎已经能够从现有网站中找到新网站的链接来访问和包含它。这时候SEO从业者也开始知道,如果网站能够被目录收录,尤其是开放目录项目ODP(Open Directory Project),对提高搜索排名会有很大的帮助。最著名的ODP是DMOZ(www。dmoz。org),由Sun公司的两位工程师Nick Stenta和Bob Tourre创建于1998。是一个人工收集网站进行分类的目录网站。在这一点上,其构成与雅虎相同。
不同的是,它是由全球站长自己维护的,而雅虎是由专业编辑维护的。关于DMOZ,搜索引擎青睐DMOZ是因为人工分析后的网站可信度自然高于搜索引擎蜘蛛和机器人获得的网站信息。
2001,收费登录红红火火。搜索引擎市场经历了一场大清洗,人们开始抛弃搜索引擎Hotbot、Alta Vista和Excite。Alta Vista试图效仿谷歌的方式回归到一个更小版本的搜索引擎,但这种绝望的挣扎非常痛苦地失败了,并于2003年被雅虎收购。Inktomi也失去了几个应用合作伙伴,急剧走下坡路。Inktomi也在2004年被雅虎收购,如今已经成为雅虎搜索的主要核心技术。
第四,2002-2007年:Google Dance和SEO的不眠之夜。
其实在2001,敏感的站长和SEO从业者都感受到了一个前所未有的现象。有的人在谷歌上的排名一夜之间消失,有的人排名第一。这种现象几乎一个月一次。后来人们知道这是Google定期更新索引的距离活动,给人跳舞的感觉,所以被SEO从业者称为Google Dance。
正是因为有了Google Dance,每一个SEO从业者都会熬夜看自己的SEO成果能否在Google更新之夜在Google上实现。每次更新都有赢家和输家,网上SEO论坛总有成千上万的讨论,希望知道下次更新可以期待什么或者猜测更新的具体日期。
搜索引擎在这个阶段遇到更严重的泛滥问题。SEO从业者使用门户页面、重复网站、隐藏页面和隐藏链接来欺骗Google。此外,DMOZ被谷歌用作收录新网站的重要渠道,DMOZ也被注入了许多垃圾网站。
2002年是大量SEO被滥用的一年。然而,搜索引擎从这些与非法SEO行为的斗争中不断丰富他们的识别技术,拒绝收录他们已经查封的网站,并排除那些已经被收录的网站。但这种封杀也委屈了很多老实的SEO网站。
在中国,百度于2001年9月开始提供公众搜索服务,并成功让搜狐和新浪使用其搜索技术。同时还提供新闻搜索服务,快速扩大用户群。
2003年,越来越多的网站设计者对Flash的应用持谨慎态度。今年也是搜索引擎继续反击垃圾泛滥的一年。很多SEO从业者都明白,黑帽技术已经行不通了,要扎扎实实的提高网站质量。
2003年,谷歌甚至挤掉了AltaVista和Inktomi,成为主导公司。谷歌诞生于一个复杂的搜索引擎时代。在那个时代,Alta Vista等搜索引擎对自己的市场份额过于自信,无法改变。Google是各种站长和SEO从业者推广的,从而后来居上。谷歌开始反击垃圾泛滥,直接针对曾经支持它的站长和SEO从业者。这些人成了谷歌成功的受害者。
2003年,谷歌的“佛罗里达更新”真正让全世界的站长们见识到了谷歌的强大。如果有强烈的飓风,佛罗里达更新将使数以千计的网站在一夜之间从搜索中消失,或从前十名刮到100页。这次更新发生在165438+10月16,损失惨重,尤其是希望在即将到来的圣诞节大赚一笔的电商网站。谷歌的这次更新是打击垃圾网站和非法SEO行为的一次重要战役。
然而,由于使用的过滤器不完善,许多无辜的网站受到了影响。它被称为“佛罗里达更新”,因为这次更新是由谷歌在佛罗里达的数据中心启动的。
之后,2004年6月5438+10月名为“奥斯汀更新”的余波也冲击了不少网站。一瞬间,于是SEO从业者一下子变成了Google Adwords的专家,大家不得不依靠Google广告来维持这个节日期间的销量。
这两次历史性的谷歌更新给许多SEO从业者上了相当多的课。提高网站本身的质量而不是投机取巧才是SEO唯一可行的方法。PPC也稳步成为营销策略的重要手段,SEO也成为搜索引擎营销(SEM)的一部分。
雅虎此时决定正式与谷歌分道扬镳。长期以来,为了弥补其手工收录网站的不足,雅虎一直使用谷歌技术提供在线搜索。雅虎显示先后收购了Alta Vista、AllTheWeb和Inktomi,让人意识到雅虎的心情——是不是间接抬高了谷歌?它仍然拥有谷歌20%的股份!终于在2004年2月16日,雅虎出售了在谷歌的股份,正式告别谷歌,走上了开发自己搜索引擎的道路。
同年,2004年9月12日,谷歌推出了其搜索引擎的简体和繁体中文版本。
2005年,最大的变化是Google Update不再是常规活动,逐渐变成了每日渐进式更新。再也看不到剧烈的变化。SEO从业者可以很快看到自己的努力是否有了回报。遵循搜索引擎的纪律,用合理的方法调整和改进网站的结构和内容,成为保证网站稳定性的必由之路。更重要的是,遵循这些规范优化的网站,不仅在谷歌上排名会很好,在雅虎和MSN上也会有不错的结果。中国网站如果把网站质量做好,也会从百度的排名中受益。