2012年时《纽约时报》的一篇专栏文章《The Ageof Big Data》正式宣告大数据时代的来临,到了2015年,大数据一词已经可以说是耳熟能详,然而在现今互联网跟云端技术的发达,加上智能产品、移动装置的普及下,以下四点将会是大数据的发展重点。
求快求即时:In-Memory数据库
当这世界上累积的数据量越来越庞大,各企业制订商业策略所纳入考量的数据也跟着大幅增加,这时候如何减少将数据(Data)转换成资讯(Information)的时间变得尤其重要。
采用记忆体内运算技术(In-MemoryComputing)减少原始数据的移动,仅搬移运算后的结果,加快处理的速度,并且透过压缩技术减 少数据量,能够有效提升数据库效能,应付企业对数据运算量及速度日益升高的要求,也使得企业得到的资讯更即时、能更快地回应各种市场需求及回馈,甚至开发 出全新市场、开创出其独一无二的价值。
万物联网的时代
在物联网概念起飞的这个时代,越来越多行动装置、智慧型居家装置被市场接受,进入到我们的生活中,根据预测,智慧型装置的数量将会从现在到2020年将从130亿成长到500亿。
可以预期的是更多种类型的数据将以更多形式被感测、收集起来,而且这些大量且即时性的感测数据(SensorDrivenData)属于非结构化数据,也就是从文本分析到未经处理的文字、声音与影片导出的数据,如何储存处理及分析成为现在十分重要的课题,可能从中挖掘出未知的趋势并带给人类生活重大的改变。
大数据上云端
如果说“大数据”是现在最夯的科技潮字,那上一个最红的则是“云端运算”。从2006年被提出后,云端(Cloud)便广为科技业所使用,各企业更是积极提出各种云端服务。
大数据与云端技术可以说是相辅相成,大数据大大的推动了云端服务,而云端服务的普遍也使得数据量攀升。2014年全世界平均每天产生23TB的 数据,大约是2012年的920倍,以这种情况来看,云端服务在大数据时代相当于“公共设施”般不可或缺,不但用来储存各式各样的数据,还利用云端运算来 建构基於大数据的应用程式和API,建立模型预测未来的事件。
人才很重要,平台跟工具更重要
因此对于不算“新”但算刚“热”的大数据来说,在短短几年内蓬勃发展,数据专家自然成为各公司争抢的人才。不过事实是,人才需要时间培养(以大学主修到硕士毕业来算,约需要4-6年),如果以2012年当作大数据发烧年,数据挖掘、数据处理因而成为超热门的学科,最快的一票“赶潮流”的数据新鲜人将会在2016年进入市场。
对于正在狂烧的大数据市场,人才不够的情况下,对於小企业来说最不可或缺的反而是大数据分析平台与数据视觉化工具!例如Cloudera、SumAll的线上分析平台,以及Tableau、QlikView等数据视觉化工具。许多企业都会要求员工熟悉上述平台及工具、具备一些数据分析的基本技能。