你所在的位置: 首页 > 正文

国内首家!腾讯主导Apache Hadoop新版本发布

2019-09-22 点击:836

最近,由腾讯主导的最新版Apache Hadoop 2.8.4为国内科技公司在国际开源领域的探索迈出了重要一步。

2006年,Apache Hadoop发布,2008年Hadoop成为Apache顶级项目。当时,中国移动,百度,淘宝等已经开始使用Hadoop技术。 Hadoop现在是Apache Software Foundation的金牌之一。不仅如此,它还催生了许多着名的Apache顶级项目,包括HBase,Hive,ZooKeeper,这些项目最初在社区中作为Apache Hadoop子项目实现,并且对开发人员来说很熟悉。

此版本的Apache Hadoop 2.8.4由腾讯发布,涉及20多项功能和优化,两者都如下:

发布经理负责该版本的整体进展,是腾讯云产品部大数据和人工智能产品中心的专家研究员,也是Apache Hadoop社区PMC的成员。

Apache Software Foundation推广PMC系统。每个开源项目都是PMC,项目管理委员会,可以决定技术发展的方向和社区的运作模式。但是,它需要定期披露信息并向Apache董事会报告,以监督董事会。

成为PMC的成员并不容易,您必须逐步完成“拖拽升级”。为了实现从普通开发人员到PMC成员的飞跃,除了代码之外,开源社区具有强大的组织能力,是不是很帅?

腾讯T4大数据技术专家,前身为EMC,VMware高级研发工程师,Hortonworks USA YARN团队负责人。深度云计算,超过10年的大数据方向,在许多社区中享有很高的知名度,包括Apache Hadoop社区提交者和PMC,并领导Hadoop 2.6,2.8等广泛使用的社区发布。在云平台上领导了几个Hadoop优化和扩展项目和产品的开发。目前,腾讯致力于引领腾讯云数据和人工智能产品的研发。

小编采访了女神,然后让他告诉你新版本发布过程的细节。

问:许多人可能听说过开源,但他们对此并不了解。你能简单介绍一下吗?

一种?开源可以被理解为“向公众开源”。近年来,恒定热量的大数据是由开源软件驱动的,以推动整个工业生态。在这里,我们不得不提一个具有里程碑意义的开源产品 hadoop:从谷歌的三篇论文到雅虎的hadoop,这是今天大数据时代的开始。

过去,系统软件主要由闭源软件驱动。尽管在操作系统中出现了像Linux这样的优秀软件,但随后的数据库和应用程序服务器几乎都是由封闭源产品驱动的。

自诞生以来,Hadoop在过去十年中一直是大数据生态的核心。它改变了过去的软件形式,成为最主流的开源项目之一。现在,基本上所有的数据平台团队都在Hadoop生态系统中进行了微小的修改,以支持大数据相关的业务系统,这可以被视为开源标准。

问:与传统的闭源生态相比,开源有什么好处?

一种?首先是避免“重复车轮”的问题。不同的个人和团体可以在开放代码平台上共同创建,而不是将其关闭以进行重复。其次,用户不必在特定的软件平台上被绑架,以便随时迁移应用程序和数据。最后,核心知识产权,如之前的IOE,不仅仅是“中国核心”的问题。上述应用软件和系统软件可能随时面临被封锁的危险,开源不会出现这个问题。它完全透明。此外,开源还鼓励公司计划长期技术投资,而不仅仅是短期利益。

问:腾讯推出新版Apache新社区hadoop,是否是中国首次推出?

一种?是的,微软,Hortonworks和Cloudera等国外大数据制造商过去常常轮流使用,这个版本首次得到了国内公司的全力支持。从技术的吸引力或整个开源社区的影响力,可以鼓励国内开发人员和公司更积极地参与开源项目的贡献,承担更大的责任并向开源社区提供更多的反馈。

Q对整个社会有什么积极影响?

一种?首先,大数据软件是一项基本技术。该平台以腾讯的技术为主导,是中国的突破。其次,对于开发者社区来说,它也是一个相对可靠的社区和最受欢迎的项目。

最后,对于普通人来说,它也可以从中受益。因为基本平台功能的改进,以及数据处理能力的提高,可以使每个人的生活更加便利。在大数据时代出现之前,可能没有那么多面向数据的服务,例如地图服务,O2O服务,智能推荐系统等。包括现在高度热门的AI人工智能,如果大数据平台没有进展,就不会发展。

问以前是否存在技术难题?

一种?在过去十年中,中国的互联网公司发展得非常快。每个人都在追求以商业为导向,在技术或开源方面做得不够。这是我们与西方相比的缺点。许多国内公司实际上都尝试过开源,但它只有开源代码,没有开源社区,也就是说,如果你认为产品运行良好,请打开源代码。

开源和开源社区是两回事。不同之处在于您的开源代码,其他第三方(尤其是您的生态合作伙伴)有能力参与。

现在整个大数据热潮实际上是由几个开源核心软件驱动的。在拥有经济实力后,这些中国大公司已经开始利用开源作为构建更好生态的手段。这可能需要一个过程,但每个人都慢慢意识到将这些基本软件与开源相结合的重要性。

澳门网络赌博平台 版权所有© www.5281520.com 技术支持:澳门网络赌博平台 | 网站地图