腾讯科技讯(玉临)北京时间8月25日消息，据国外媒体报道，当前，无数网站正面临着如何高效管理海量在线数据的问题，而这一问题在5年前也同样困扰着Facebook。但是，根据Facebook技术专家杰-帕里克(Jay Parikh)的说法，人们没有必要过分担忧这些问题。
Facebook的“三棱镜”计划(腾讯科技配图)
这是因为在过去几年，许多互联网的巨型公司(包括Facebook)搭建了大量的软件平台，并通过数以万计的分布式服务器来解决在线信息爆炸的问题。此外，这些巨头们还同任何有需求的公司分享其“大数据”处理软件。
通过与雅虎合作，Facebook成为了最早涉足Hadoop技术的公司。Hadoop是一种无所不包的软件平台，可以用来处理和分析互联网海量数据。雅虎把这一开源项目当作是一种有助于建立索引的工具，从而加强其自身搜索引擎的功能。但是，之后参与进来的公司开始把Hadoop加入到自己的互联网项目中，并将其作为代码优化的必备工具。
其结果是，Hadoop演化成了一种可以处理100PB数据的平台(1PB=1024TB=1048576GB)。一直以来，帕里克专注于Facebook快速增长的软硬件基础设施建设。据他表示，“5年前，我们开始研发这些技术。当时，我们可以做的事情以及开发的速度都受到了一定的限制。此后，开源社区发生了巨大的变化，最重要的就是很多这些限制、障碍都被去除了。人们目前在互联网上可以做的事情超出了我们当时的想象。”
但是现在，Facebook正开始着手处理更为棘手的数据雪崩问题(avalanche of data)，因为现在又出现了新的限制需要突破。本周，在Facebook位于门洛帕克总部举行的一次记者招待会上，帕里克披露了Facebook已经开发出两种全新软件平台的消息，并表示Hadoop可以支撑的数据规模将进一步扩大。另外，Facebook还决定将这两款软件进行开源。
评论