近十年前,随着技术的不断更新迭代,大数据逐渐走向成熟,而如今,大数据已经渐地淡出人们的谈资。从2015年开始,大数据已经在Gartner新兴技术成熟度曲线中消失,Gartner对此的解释是,大数据不再是“新兴的”,而是正在慢慢融入我们的生活中。
这一说法,也得到了永洪科技高级副总裁邵文龙的认同。他表示,虽然新兴技术成熟度曲线中已经没有了大数据,但是很多其他技术都是基于大数据的,大数据已经成为这些技术的基础。
永洪科技高级副总裁邵文龙
根据福布斯的报道,89%的行业领袖认为大数据将像互联网一样改变传统的商业运作模式。的确,随着新兴技术的不断演进,大数据逐渐成为了企业中最重要的资产。如何从数据中挖掘出有价值的信息,辅助企业甚至是直接进行决策,成为了众多企业的必行之路。
大数据已经走向成熟?
得益于互联网的飞速发展,企业中的数据越来越多,过去,企业的关注点在于大量的多样的数据如何存储,而如今,更多的企业则希望从这些数据中挖掘价值,为企业的业务发展做出决策。
大数据发展了很多年后,是否已经走向了成熟呢?邵文龙告诉笔者,从企业的数据架构方面来看,技术还在不断地演进,还有很多创新的技术在不断推出来,比如Spark、Flink等等;如果从企业应用的角度来判断,大数据是已经走向成熟了,因为更多的企业开始行动,将大数据作为企业的基础设施。
在当前阶段,大数据的热点更多集中在大数据的应用以及分析方面,怎样从数据中挖掘价值,是很多企业的关注点。此外,企业希望服务提供商可以提供大数据一站式的解决方案,从大数据的基础架构、数据仓库,到数据分析平台、商业智能的展现能力,甚至是数据挖掘能力、人工智能的能力全部包含,一揽子的解决方案受到了更多企业的青睐。
数据爆炸式增长带来多方变化
过去数据大多都是由业务系统所产生,静静的存储在企业的数据库中,而如今产生数据的来源也是多种多样的,有来自新媒体、社交数据,也有来自物联网等传感器的数据,并且这些数据的形态也是多样的、杂乱的。而这些不同来源的数据给企业的大数据处理、分析带来了更大的挑战。此外,数据的类型,例如视频、音频、图片等不同格式的数据也增加了企业的存储、清洗、甚至是分析挖掘的难度。
在数据爆炸的时代,带来的变化不仅是数据处理分析难度的变化,更多的是用户以及技术上的变化。邵文龙表示,大数据分析和数据挖掘已经逐渐变成企业领导人的共识,他们需要从数据中挖掘价值从而指导自己企业的运营以及决策,因此企业需要利用好历史数据以及外部数据,从而更好的做出规划以及决策。此外,企业对于大数据处理的需求也更为清晰。过去很多用户只是看到大数据很热就开始做大数据,但是并不知道用大数据来具体做什么事情。而现在这样的小白用户越来越少,大部分企业还都是需求明确的。这说明企业对于大数据是有一定的认可度的,大数据已经成为企业的必备品。
第二个变化是技术方面的变化。从Gartner的新兴技术成熟度曲线中可以看到,虽然大数据在Gartner的新兴技术成熟度曲线2015年的报告中消失,但是很多新兴的技术背后都是由大数据作为支撑,大数据已经变成其他技术的基础。比如,像人工智能,数据就是其重要的因素,如果没有数据,那么算法模型都只是空壳,并不能产生真正的价值。
虽然,现在像视频、图片等非结构化数据已经很多,但是企业中大部分数据还是结构化数据居多。邵文龙表示,结构化数据更加容易挖掘出价值,规律性和特征比较容易总结,因此价值密度相对较高。
永洪科技的PASO应对之法
数据来源多样化、数据量级增加、数据来源复杂等多种原因,扰乱了数据之间的关系,增加了用户对数据治理、分析挖掘的难度,同时,对数据安全、隐私保护也带来了更高的挑战。
为此,永洪科技提出了PASO(Platform,Application,Service,Operation)平台,通过技术手段和非技术手段两方面解决这些挑战问题。技术方面主要通过Platform和Application的方式,能够有效的涵盖用户所面临的挑战,比如数据清洗、数据治理等难题,并且可以通过可视化拖拽这样简单易操作的方式实现,同时可以通过相关的血缘分析,找到数据的原始存在位置以及对数据进行过的操作,从而对数据了如指掌。