腾讯大数据渠道每日数据核算量超30万亿

2019-11-07 栏目:利来ag旗舰 查看()

原标题:腾讯大数据渠道每日数据核算量超30万亿

DoNews11月6日音讯 (记者 费倩文)11月6日,在Techo开发者大会上,腾讯云副总裁、腾讯数据渠道部总经理蒋杰表明,通过10年的堆集,腾讯大数据渠道的算力资源池现在已有超越20万台的规划,每天实时数据核算量超越30万亿条,腾讯现已成为我国实时数据核算量最大的公司。

上述数据背面是腾讯大数据渠道技能曩昔10年的不断演进。据蒋杰介绍,腾讯的数据量在短短5、6年时刻增加了几千倍,现在每天发生的数据量超越几十万亿条数据在发生。为了应对这种爆破式增加,腾讯走出了一条技能引进+改造+自研的路途,在曩昔10年间,腾讯大数据渠道现已阅历了四代演进。

从以Hadoop为中心的离线核算年代到以Spark、Storm、Flink为中心的实时核算年代,再到现在的机器学习和深度学习年代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发渠道智能钛TI,用来处理数据练习和算法的问题。现在,腾讯正在研讨以批流交融、ABC交融、以及数据湖和联邦学习为方向的下一代大数据渠道的研讨,该渠道将具有混合布置、跨域数据同享和边际核算等才能。

蒋杰表明,从开端的技能引进、局部优化到现在的自主立异,腾讯的大数据技能也在实践中不断完善和立异。“十年前,腾讯办理几百个节点都很困难,调度功能差,规划上不去。后来为了有用处理核算才能和大规划集群问题,腾讯自研调度器,相对原生调度器功能提高150倍,大大提高了集群可扩展性。现在,腾讯大数据渠道每天有1500万个剖析使命,每天数据接入条数达35万亿条数据。”

2个月前,腾讯在ApacheCon 2019上,面向全球开发者正式宣告开源本身中心渠道——实时数据收集渠道TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣告正式开源资源办理渠道中心TKE和分布式数据库TBase,跟着在大数据开源范畴的开源逐渐加快,腾讯正在成为我国大数据范畴开源最全面的厂商。

“现在,现已有数百万的开发者在腾讯云上构建使用,信任后边会有越来越多开发者参加,咱们将和一切开发者一同,共建云上的使用生态”,蒋杰表明。(完)

扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

郑重申明:以外的任何单位或个人,不得使用该案例作为工作成功展示!