Twitter升级内部搜索引擎 每天处理超10亿查询

凤凰网科技讯 10月8日上午消息,据国外媒体报道,Twitter改造了其搜索引擎的后台,提高了速度并且增加了索引帖子、处理查询和提供搜索结果的容量,同时使Twitter搜索引擎稳定和更适合增加的这些新功能。

据Twitter称,在用大约6个月的时间研制这个新的后台系统之后,Twitter最近几个星期把自己的搜索引擎转移到了一个新的平台。

Twitter的搜索引擎在一个基于Summize的MySQL的系统上运行。但是,这个系统的升级一直很困难。Summize是Twitter在2008年年中收购的一家公司。

负责这个项目的工程师团队决定使用不同的技术彻底改造这个搜索引擎,使用的技术包括开源软件和用Java编写的文本搜索引擎Lucene。

Twitter修改了Lucene的一些技术,包括垃圾回收、查询终止、邮件列表以及数据结构和算法,保留了一个反向的基于索引的搜索引擎。这个搜索引擎进行了升级并且拥有更好的性能。

Twitter每秒处理1.2万个搜索查询,每天处理超过10亿个搜索查询。Twitter网站的微博发表10秒钟之后就会成为搜索索引的一部分。

Twitter官员Michael Busch在博客中称,我们预计我们仅仅使用了大约5%的后台可用资源。这就意味着我们有很大的发展空间。我们新的索引程序比我们目前使用的程序每秒处理微博的速度提高了大约50倍。

虽然Twitter将其微博的索引提供给谷歌微软必应等外部搜索引擎,但是,Twitter内部的搜索引擎是其微博服务的关键组件。

为了最大限度提高微博库的价值,Twitter必须拥有一个快速、全面和可伸缩的搜索引擎。Twitter大规模升级其搜索技术表明该公司已经认识到内部搜索能力的重要性。(编译/杨柳风)

Comments are closed.