物联网快速发展推动数据增长
“全球联网设备正在迅速增长:2003年,是5亿台;2015年,将达到250亿台;到2020年,将增至500亿台;未来,人类所需的设备数将远远大于人口数。MB、GB、TB已经无法满足我们的存储需求,社会将进入zettabyte时代,存储空间将以PB、EB计量。”在2014年中国互联网大会上HGST亚太区产品营销总监黄庆民如此表示。几年前,一个人平均用的设备是两台,几年之后预估是每一个人平均所用的设备会超过7台,而这些设备所创建的数据将是前所未见的巨大。从对个人生活的改变来说,当我们在外出行办公时,不需要拷贝一大堆文件,只需要携带一个移动终端即可。
七牛云存储总裁吕桂华也表示,数据的增长、网络的普及使得云服务如同空气和水一样成为人们生存不可或缺的部分,云服务也将成为和水力和电网一样的社会基础设施。
为什么说物联网会推动数据爆炸?有两个理由:一是移动网络和智能终端的迅速普及;二是物联网的快速发展对于数据处理有更高要求。
黄庆民介绍,地球上每分钟发送电子邮件15TB;每天上传到顶尖的社交网站照片1.8PB;地铁摄像头每分钟可以收集1.5TB的数据。
物联网已经成为我们生活的一部分。物联网的使用会持续产生数据,例如快递服务。智能电脑、智能手机、可穿戴设备、甚至家中的无线监控、健身器材、智能家居、道路上的数字标牌、自动贩卖机、交通摄像头、汽车传感器等都在每分每秒收集数据。个人的生活数据被实时收集上传,技术的突破将使传感器的体积越来越微型,小到可以出现在生活的每一个角落。传感器像空气一样无处不在,个体的健康、饮食、出行、家居、购物等每一个行为将被采集,并会基于历史数据为人们提供个性化的智能决策。
数据爆炸时代:数据生数据 数据中心超负荷
数据是未来社会的核心,人的任何行为甚至情绪都可以进行数据化管理。
吕桂华认为,数据可以分为三类:第一类是数据库里放的数据,即关系型数据;第二类是日志,即你的行为轨迹,比如你在电商网站的登陆浏览以及购买记录,这个过程被完整地记录下来,记在日志文件中;第三类是文件型数据,通俗来说,就是以文件方式存在的音频、视频、图片、文档以及其它各类二进制的文件。三种类型的数据各自所需要的计算是不同的。
吕桂华认为,海量数据的持续收集就会出现大数据分析以及存储的问题,做好原始数据的管理非常重要。大数据的工作流程主要分成四个。首先是原始数据的收集,第二是原始数据的创建,第三和第四是做有关连接跟内容分析。通过对于原始数据的挖掘处理会产生许多有价值的数据,而互联网连接所产生的互动、机器与机器间的通信,也会产生许多数据。所以,大数据的普遍化会导致数据中心的工作超负荷问题出现。
黄庆民认为,因为数据中心容量瓶颈,高容量的硬盘未来几年会非常稳健地成长。