您的位置:首页 >业界 >

科技巨头成立Presto基金会:大规模处理分布式数据

时间:2019-09-24 08:26:00 来源:网络整理

9月24日消息,据外媒报道,通过开源实现大规模创新的非营利性组织Linux基金会今天宣布,被广泛采用的交互式数据查询引擎Presto将在Linux基金会下托管。

新成立的Presto基金会将采用开放和中立的治理模式,使Presto能够扩大规模并使其社区多样化。创始成员包括Facebook、阿里巴巴、Twitter和Uber,他们将利用该基金会使贡献者能够推动项目的未来发展方向,并帮助Presto成为用于大规模分布式数据处理的最快、最可靠SQL引擎。

Presto是Facebook于2012年开发的高性能分布式SQL查询引擎,主要用于大规模数据分析。Presto的架构允许用户查询各种数据源,如Hadoop、S3、AlLuxio、MySQL、PostgreSQL、Kafka以及MongoDB,并以规模和速度闻名。它解决了以前该领域面临的两难问题,无需在使用昂贵商业解决方案的快速分析或使用需要过多硬件的缓慢但“免费”解决方案之间进行选择。

Facebook的Presto工程总监Nezih Yigitbasi说:“Presto专为在大量机器上进行高性能艾字节规模的数据处理而设计,其灵活的设计允许处理来自各种数据源的数据。从第一天开始,Presto的设计就考虑到了效率、可扩展性和可靠性,并且经过多年的改进,它可以在Facebook承担更多的用例,例如批处理和其他特定于应用程序的交互式用例。”

Facebook开源项目负责人凯西·卡姆(Kathy Kam)表示:“仅在Facebook,就有一千多名员工使用Presto,每天运行数百万个查询和处理PB级的数据。在创建Presto之后,我们对其进行了开源,看看其他公司是否也有同样的问题并希望进行合作。事实证明,许多其他公司都对此感兴趣,因此在Linux基金会下,我们相信该项目可以让其他人参与进来,并为所有人的利益发展社区。”

Linux基金会战略项目副总裁迈克尔·多兰(Michael Dolan)说:“Linux基金会很高兴与Presto社区合作,共同解决互联网规模的海量分布式数据处理面临的日益严重的问题。”

Presto基金会将在社区治理模式下运作,每个创始成员都会派驻代表。随着这一发展,Facebook将与更广泛的用户和贡献者生态系统合作,以作为该基金会未来的一个声音存在。

Presto是一个分布式系统,设计用于在大型机器集群上运行。它可以查询其存储位置的数据,而不需要将数据移动到单独的系统上。它的内存和分布式查询处理促使查询延迟为几秒到几分钟。

Uber开源主管布莱恩·赫斯(Brian Hsieh)表示:“Uber的数据平台架构使用Presto从聚合数据中提取关键见解,这有助于我们为客户构建更好的产品。Uber很荣幸与Linux基金会和技术社区的主要贡献者合作,让Presto基金会焕发生机。我们的目标是帮助创建一个开放和协作的社区,Presto开发者可以在其中茁壮成长。”

阿里巴巴OLAP Products高级总监Liang Lin表示:“阿里巴巴集团很高兴参与Linux基金会这个令人兴奋的项目,我们拥有丰富的业务场景和才华横溢的开发团队。我们相信,这一合作最终将使社区、阿里巴巴以及我们的客户受益。”

Linux基金会成立于2000年,有超过1000名成员支持,是世界上在开放源码软件、开放标准、开放数据和开放硬件方面的领先协作组织。Linux基金会的项目对世界上的基础设施至关重要,包括Linux、Kubernetes、Node.js等。Linux基金会的方法侧重于利用最佳实践并满足贡献者、用户和解决方案提供商的需求,以创建开放协作的可持续模型。(腾讯科技审校/金鹿)


郑重声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。