摘要:大数据无疑是当今的时髦词汇。不管是云计算、社交网络,还是物联网、移动互联网和智慧城市,都要与大数据扯上关系。各种与大数据有关的会议、文章、书籍铺天盖地。有人谈论大数据时代的公民生活,也有人谈论大数据时代网络反腐,仿佛一夜之间我们就进入了大数据时代。
大数据无疑是当今的时髦词汇。不管是云计算、社交网络,还是物联网、移动互联网和智慧城市,都要与大数据扯上关系。各种与大数据有关的会议、文章、书籍铺天盖地。
大数据时代已经来临。在人们畅想大数据将带来美好生活的同时,一个更加现实的问题却摆在眼前——大数据如何“落地”?政府和行业机构如何营造适应大数据发展的产业环境,企业如何开发强大和实用的数据分析工具,用户如何看待和适应大数据对个人隐私的“暴露”?虽然我们目前无法给出圆满回答,但是包括政府、企业、用户在内的多方正在积极寻找答案。
大数据无疑是当今的时髦词汇。不管是云计算、社交网络,还是物联网、移动互联网和智慧城市,都要与大数据扯上关系。各种与大数据有关的会议、文章、书籍铺天盖地。有人谈论大数据时代的公民生活,也有人谈论大数据时代网络反腐,仿佛一夜之间我们就进入了大数据时代。
大数据引发“思想启蒙”
国际上,大数据还真是热火朝天,各方都在积极行动。一方面,政府积极介入推动。2009年,联合国启动“全球脉动计划”,借大数据推动落后地区发展。2012年1月,世界经济论坛年会把“大数据、大影响”作为重要议题。美国从开放政府数据、开展关键技术研究和推动大数据应用三方面布局大数据产业。美国在开放政府数据上非常积极,通过开放37万个数据集,并开放网站的API和源代码,提供上千个数据应用。除了推动本国政府数据开放,美国倡导发起全球开放政府数据运动,已有41个国家响应。美国政府还投资两亿美元促进大数据核心技术研究和应用,把大数据放在与集成电路、互联网同等重要的位置,从国家层面推进。
必须迈过的“三道坎”
从全球来看,对大数据的认识、研究和应用还都处于初级阶段。特别是对我国来说,大数据真正落地,还需要迈过三道坎。
第一,数据是否足够丰富和开放。丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧,每年新增数据量仅为美国的7%、欧洲的12%,其中政府和制造业的数据资源积累远远落后于国外。就已有的有限数据资源来说,还存在标准化、准确性、完整性低以及利用价值不高等情况,这大大降低了数据的价值。同时,我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度也较低,这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善,一方面欠缺推动政府和公共数据的政策,另一方面数据保护和隐私保护方面的制度不完善,抑制了开放的积极性。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过的第一道坎。
第二,是否掌握强大的数据分析工具。要以低成本和可扩展的方式处理大数据,这就需要对整个IT架构进行重构,开发先进的软件平台和算法。这方面,国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台,及其相关产业已经在美国初步形成。而我国数据处理技术基础薄弱,总体上以跟随为主,难以满足大数据大规模应用的需求。如果把大数据比做石油,那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术,才能将资源转化为价值。应该说,要迈过这道坎,开源技术为我们提供了很好的基础。
第三,管理理念和运作方式能否适配数据化决策。大数据开发的根本目的是以数据分析为基础,帮助人们作出更明智的决策,优化企业和社会运转。哈佛商业评论说,大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验,要拿数据说话。因此,大数据能够真正发挥作用,深层次看,还要改善我们的管理模式,需要管理方式和架构与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。