您现在的位置: 通信界 >> 交换技术 >> 技术正文  
 
Cloudera用现代化企业数据架构,拥抱混合数据未来
[ 通信界 / 魏德龄 / www.cntxj.net / 2022/10/20 15:52:58 ]
 

通信界 数据的发展能够产生什么样的魔法效益?跑步、骑车这类曾经被很多人在中学时代视为枯燥的耐力项目,随着秒表/码表发展成为了智能表/功率计,让更多人在数据的爆发中发现此前未知的自我,比赛过程中运动员所实时共享出的数据,也大大提升了观赏度。如今,云计算大数据也照样在体育赛事中崭露头角,足球比赛中实时分析产生的跑动距离、点球方位的统计,F1赛事中对于排位赛晋级圈速的估算、正赛中车辆之间的实时距离,全部给予了观众耳目一新的感觉。

这一切的背后正是数据的发展,不同位置多种来源的数据源源不断的产生,如同一堆混乱的表格文件,在企业主的桌面上堆砌,其中蕴涵着无数可能,也充满了管理的烦恼。数据大爆发的背后,数据生态系统架构也正在朝向未来进化。

 

未来数据生态系统架构

谈及未来数据生态系统架构,普遍被大家所提及并达成共识的莫过于数据网格、数据编织、湖仓一体这三个概念。

数据网格是指一种范式转变,其中数据由业务中的不同域拥有和管理。“它的想法是数据与产品思维的融合,这个产品是讲企业内部里数据对外提供服务的方式。 ”Cloudera大中华区技术总监刘隶放解释称。以往企业在分析领域的思路多是集中式的管控,对外进行服务,而数据网格范式基于域主权、数据为产品、自助式数据平台、联合计算治理四项原则。通过域主权,数据成为一个产品,部门之间可以以产品的方式调用,规避了“影子IT”所带来的一系列问题。

数据编织是一种跨平台的数据整合方式,它不仅可以集合所有业务用户的信息,还具有灵活且弹性的特点,使得人们可以随时随地使用任何数据。“我们现在要做的事情,可能不光对人工的方式、手动数据管理进行服务,也要对未来的机器学习、自动的发现方式、对外进行服务,在这个框架里比以前要求更高。 ”刘隶放表示过去手动的元数据管理现在正在被一种积极主动的通过机器学习来构建元数据的方法取代。Gartner在今年提出数据编织的终极目标是为了数据的集成和访问提供一种更灵活的,无缝的自动化的方式,其中主要包括能够连接的服务与提供自助的服务。

湖仓一体集成并统一了数据仓库和数据湖的功能,旨在支持单一平台上的AI、BI、ML和数据工程。其集数据仓库与数据湖之所长,并规避了两者存在的一些问题,适用于数据分析和机器学习工作负载,拥有减少数据冗余、成本效益,易于数据版本控制、治理和安全性等多重优势。“有了湖仓一体,我们可以在同一个平台里同时实施数据仓库和数据湖的需求,这个时候会提高成本效益。 ”刘隶放表示湖仓一体去其实也是降本增效的一个思路。

 

人人获益的三种方法论

值得一提的是,这三种正在被外界广泛讨论并认可的方法论其实本身并不矛盾。刘隶放认为面对企业内部的不同角色,就需要讲不同的数据架构和方法论。

对于公司CEO或CIO而言,由于更关注如何在管理成本和维护人员规模的同时进行扩展,自然会关心数据网格,进而平衡企业内不同业务部门在组织架构下的数据所有权,以及数据和产品服务的方式。

对于CTO或CSO而言,其真正关心的是如何做技术方案与分析系统,保持一致性并构建标准模式,数据编织自然成为了关注的焦点,如何用数据编织的方法丰富数据仓库的构建方式,能够为将来机器学习自主的治理提供服务。

对于领域从业者或技术人员而言,湖仓一体则更为受用,可以理解为方法论,也可以理解为工具,寻求在具体项目上的优化。

Gartner曾经表示:“未来数据的生态系统应该充分的利用分布式数据管理组件,可以在多个云和/或本地进行运行,但应该被视为具有高度自动化的紧密的整体,像集成、元数据管理和治理功能将各个组件粘合在一起。 ”

这就意味着,关于数据未来的三种方法论其实将会有机的融为一体,最终让企业中的每个角色获益。

 

拥抱混合数据未来

Cloudera的新定位恰恰呼应了企业数据架构的未来,这家混合数据公司给出的定位是:我们提供适用于数据编织、数据湖库、数据网格和未来数据生态系统架构要求的混合数据平台的混合数据平台,允许客户在多个公共和私有云以及本地访问和分析数据,使企业能够做出由数据驱动的明智决策,帮助企业建立由数据驱动的未来。

实际上,CDP(Cloudera Data Platform) 是业界唯一适用于数据编织、数据湖库、数据网格和未来数据生态系统架构要求的混合数据平台。 Cloudera的数据平台实现了对于现代数据架构的全面支持,产品技术能够适应数据网格、数据编织、湖仓一体这三种架构概念,同时在多云和本地部署上,都可以做到管理和分析。Cloudera的分析代码经过一次编写即可跨平台运行。另外,SDX还能够做到数据的统一安全管控和治理。

以灵活且简单的方式建立数据驱动型文化、以性能和成本效益驱动价值、以速度和控制拉动企业增长是Cloudera拥有的三大核心优势。“我们仍然致力于实现让每个人都可以轻松访问数据和分析的愿景,以及我们成为混合数据领导者的使命。我们相信,数据可以让今天的不可能,在明天成为可能。”此前Cloudera的一篇官方文章中曾这样表述。

对于众多企业来说,数据正在源源不断的出现,如何利用数据挖掘其中价值,在未来或许比获取更多数据更加重要。Cloudera的数据平台将为企业带来通过数据战略在竞争中实现“弯道超车”的机会,混合数据方法即将成为企业未来的“必需品”。

 

作者:魏德龄 合作媒体:飞象网 编辑:顾北

 

 

 
 热点技术
普通技术 Cloudera用现代化企业数据架构,拥抱混合数据未来
普通技术 人工智能如何改变数据隐私的游戏规则?
普通技术 我国实现百公里自由空间高精度时间频率传递
普通技术 量子计算有哪些业务价值?如何帮助企业实现目标?
普通技术 智能手机用安卓,智能汽车要接着用安卓吗?工信部原部长敲警钟:操
普通技术 苹果力推、概念股异动,eSIM究竟是一项什么技术?
普通技术 中国边缘计算行业创新突飞猛进
普通技术 量子测量问题是一个问题吗?
普通技术 算力如何像水电一样即点即用?
普通技术 国家超算长沙中心“天河”新一代超级计算机系统启动运行
普通技术 AI首次创建高效准确数学算法
普通技术 我国实现百公里自由空间高精度时间频率传递
普通技术 潘建伟团队获量子精密测量重大突破,对科研和日常生活有何影响
普通技术 玩“羊了个羊”看广告被骗9万,游戏公司要负责吗?
普通技术 抖音、美团“变形记”
普通技术 腾讯基于AR视频数据处理专利获授权
普通技术 AT&T正在开发基于卫星的通讯覆盖服务
普通技术 国家超算长沙中心“天河”新一代超级计算机系统启动运行
普通技术 首个欧洲量子计算机网络将于2023年投入使用
普通技术 罗德与施瓦茨联合清华大学、行晟科技等多家单位开展RIS技术试验
  版权与免责声明: ① 凡本网注明“合作媒体:通信界”的所有作品,版权均属于通信界,未经本网授权不得转载、摘编或利用其它方式使用。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:通信界”。违反上述声明者,本网将追究其相关法律责任。 ② 凡本网注明“合作媒体:XXX(非通信界)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。 ③ 如因作品内容、版权和其它问题需要同本网联系的,请在一月内进行。
通信视界
韦乐平:网络深度转型最明确的方向首先就是云
爱立信中国区总裁方迎:将在中国市场重点做好
普通对话 NVIDIA发力数字孪生:站在虚拟和现实之间
普通对话 韦乐平:网络深度转型最明确的方向首先就是云
普通对话 中国工程院院士邬贺铨:6G标准面临小圈子风险
普通对话 华为丁耘:绿色ICT,共创新价值
普通对话 爱立信中国区总裁方迎:将在中国市场重点做好
普通对话 中国联通买彦州:广电5G商用对行业竞争格局不
普通对话 中国联通陈忠岳:从“提速降费”向“提速提质
普通对话 华为胡厚崑:5G+工业互联网 数据驱动是关键
普通对话 华为郭平:每个人磨好自己的豆腐,就会有一个
普通对话 中国移动杨杰:加快推进新型平台用工模式规范
普通对话 中国移动简勤:5G引领数字化转型 终端承载应用
普通对话 专访GSMA刘鸿:5G专网谁来建?运营商是最佳选
普通对话 华为甘斌:预计2021年5G用户将超5亿
普通对话 郄勇志:小米被美拉黑事件启示:实现科技自立
普通对话 闻库:要有打造“数字中国 光网底座”的使命感
通信前瞻
中国移动李慧镝:强化数智基建驱动 推进产业转
苏少林:打造北京数字经济“五强”,助力标杆
普通对话 多管齐下,VMware跨云服务助力企业云转型
普通对话 中国移动李慧镝:强化数智基建驱动 推进产业转
普通对话 苏少林:打造北京数字经济“五强”,助力标杆
普通对话 中国科大在高安全量子密钥分发网络方面取得新
普通对话 华为杨超斌:迈向5.5G持续创新,开启5G产业新
普通对话 中国联通买彦州:加强创新力度,协同推进6G技
普通对话 信通院总工敖立:5G工业模组是产业链特别短板
普通对话 中兴通讯首席发展官崔丽:澎湃“数”动能,助
普通对话 中国移动赵大春:力推北斗与5G产业深度融合
普通对话 信通院徐菲:争取2021年实现端到端网络切片自
普通对话 杨泽民:光网络发展挑战与机遇并存
普通对话 张杰:“双千兆”发展面临四大核心挑战
普通对话 中国移动董事长杨杰:共创信息服务新生态 共拓
普通对话 王志勤:“5G+工业互联网”产业发展初期仍面临
普通对话 中国电信董事长柯瑞文:5G+云网,助力VR产业发