大数据时代降临

当大家还没搞清楚PC时代的时候，互联网来了；还没搞清楚互联网的时候，移动互联网来了；还没搞清移动互联网的时候，大数据时代来了。

最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

那么什么是大数据呢？

从目前比较公认的定义上看，大数据从数据量上看，至少也要达到PB级别（1PB=1024TB=1048576GB）。公开资料显示，阿里巴巴集团目前的数据系统之一“云梯”中总存储容量50PB，实际使用容量超过了40PB。百度搜索引擎抓取的数据综合，大概是10-50PB，这个范围很大，因为这个情况是每隔一小时就会发生很大变化。另外其的UGC，也就是用户产生的内容，例如百度贴吧、百度知道、百度文库中的内容，这些内容是广大互联网网民自己产生、自己上传的，大家一起分享的数据，这部分数据目前达到1PB。

归结起来，大数据便是海量的（Volume）、多种类的（Variety）、需要大规模的处理才能够凝聚足够价值的（Value）、处理和检索响应速度快的（Velocity）数据。处理大数据所需要的系统，和传统的数据挖掘工作所需要的系统有根本性区别。同时，大数据时代越发强调数据的关联性，将各种数据之间关联组合，以产生更大的价值。

互联网上的每一个网页、每一张图片、每一封邮件，通信行业每一条短消息、每一通电话，电力行业每一户用电数据等等，这些足迹都以“数据”的形式被记录下来，并以几何量级的速度增长。这就是大数据时代带给我们最直观的冲击。

正因为数据量之大，数据多为非结构化，现有的诸多存储介质和系统极大地限制着大数据的挖掘和发展。为更好地解决大数据存储问题，国内外各大企业和研究机构做了许许多多的尝试和努力，并不断摸索其商业化前景，目前形成了如下两种比较成熟的商业模式：

可扩展的存储解决方案。该存储解决方案可帮助政府、企业对存储的内容进行分类和确定优先级，高效安全地存储到适当存储介质中。而以存储区域网络（SAN）、统一存储、文件整合/网络连接存储（NAS）的传统存储解决方案，无法提供和扩展处理大数据所需要的灵活性。而以Intel、Oracle、华为、中兴等为代表的新一代存储解决方案提供商提供的适用于大、中小企业级的全系存储解决方案，通过标准化IT基础架构、自动化流程和高扩展性，来满足大数据多种应用需求。

云存储是一个以数据存储和管理为核心的云计算系统，其结构模型一般由存储层、基础管理、应用接口和访问层四层组成。通过易于使用的API（应用程序编程接口），方便用户将各种数据放到云存储里面，然后像使用水电一样按用量进行收费。用户不用关心数据的存储介质、网络状况以及安全性的管理，只需按需向提供方购买空间。包括国外的亚马逊、微软，国内的网易、盛大等公司都提供非常成熟的云存储服务。据研究企业MarketsandMarkets公司最新发布的报告称，全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率――从今年的148.7亿美元增长到2018年的463.4亿美元。

在红红火火的大数据时代，随着数据的累积，数据本身的价值也在不断升值。一些掌握海量有效数据的公司和企业找到了一条行之有效的商业路径：对源数据直接或者经过简单封装销售。在互联网领域，以Facebook、Twitter、微博为代表的社交网站拥有大量的用户和用户关系数据，这些网站正尝试以各种方式对该源数据进行商业化销售，Google、Yahoo！、百度等搜索公司拥有大量的搜索轨迹数据以及网页数据，它们可以通过简单API提供给第三方并从中盈利；在传统行业中，中国联通、中国电信等运营商拥有大量的底层用户资料，可以通过简单地去隐私化，然后进行销售盈利。

各大公司或者企业通过提供海量数据服务来支撑公司发展，同时以免费的服务补偿用户，这种成熟的商业模式经受住了时间的考验。但是对于任何用户数据的买卖，还需处理好用户隐私信息，通过去隐私化方式，来保护好用户隐私。

从走在大数据发展前沿的互联网新兴行业，到与人类生活息息相关的医疗保健、电力、通信等传统行业，大数据浪潮无时无刻不在改变着人们的生产和生活方式。大数据时代的到来，正在为国内外各行各业带来诸多的变革动力和巨大价值。