未来智库 > 大数据论文 > 【迈向大数据时代】
    互联网上,每天新浪微博用户发博量超过1亿条,百度大约要处理数十亿次搜索请求,淘宝网站的交易达数千万笔……我们每个人都越来越熟练地使用着这些工具,享受着它们带来的便利。这一切的背后,不仅不断地产生着新的数据,更离不开大数据的支撑。
    11月18日,在郑州召开的河南省“互联网+”,开放合作大会盛况空前,超850亿元投资项目在会上签约,地处中部的河南省加快打造网络经济大省。在大会期间召开的城市论坛上,城市管理者和互联网企业大咖畅谈唤醒“沉睡”的数据,以期通过项目让城市更智能。
    就在此次大会的两天前,11月16日,贵州省人民政府在深圳市组织了“2015云上贵州・数据资源招商推介活动”,贵州省经信委相关负责人表示,大数据产业在贵州遍地开花,已经成为了这个一度“欠发达、欠开发”的省份弯道取直、后发赶超的重要支撑。贵州向参会的所有高新企业发出数据招商的邀请,显示出打造中国南方绿色数据基地的决心。
    大数据,就这样虽然悄无声息但迅速地占领了我们的生活,影响着政府的决策。
    大数据浪潮
    今天,“大数据时代”的气息已经扑面而来――美国互联网数据中心的调查显示,全球互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。此外,数据又并非单纯指人们在互联网上发布的信息,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。
    大数据并不是一个新概念,但大数据时代却是伴随着近年来信息爆炸式增长而来。
    早在1980年,著名未来学家阿尔文・托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过,大约从2D09年开始,“大数据”才成为互联网信息技术行业的流行词汇。按照世界经济论坛报告的看法,“大数据为新财富,价值堪比石油”。“大数据之父”维克托曾预测,“虽然数据还没有被列入企业的资产负债表,但这只是一个时间问题”。阿里巴巴集团创始人马云说:“未来的世界是数据的世界。”
    到目前为止,全球对“大数据”的定义并没有达成一致公认的程度。例如,维基百科提出“大数据”是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。这种定义对于实际应用而言几乎没有意义。企业界通常是将自己可利用到的海量数据视为大数据。政府部门认为自身数据很多,整合后的政府数据资源就是“大数据”。
    我国政府《促进大数据发展行动纲要》对大数据进行了相对科学精确的解释:“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”
    国际数据公司定义了大数据的四大特征:海量的数据规模(vast)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(varlety)和巨大的数据价值(value)。
    海量到底有多大?有资料显示,全球IP流量达到1EB(即10亿GB或1000PB)所需的时间,在2001年需要1年,到2016年则仅需半天,即半天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
    就像电力技术的应用不仅仅是发电、输电那么简单,而是引发了整个生产模式的变革一样,基于互联网技术而发展起来的大数据应用,将会对人们的生产过程和商品交换过程产生颠覆性影响。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,就在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
    世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统,为了能够准确了解顾客在其门店的购买习惯,沃尔玛对其顾客的购物行为进行购物篮分析,一个意外的发现是:“跟尿布一起购买最多的商品竟是啤酒!”经过大量实际调查和分析,他们发现了隐藏在“尿布与啤酒”背后的美国人的一种行为模式:美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起,结果是尿布与啤酒的销售量双双增长。这成为大数据技术应用的―个经典案例。
    中国最大的电子商务公司阿里巴巴推出的阿里信用贷款也是大数据应用的成功案例。他们根据在淘宝网上中小企业的交易状况,借助大数据技术自动分析筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款,全程不会出现人工干预。截至目前,阿里巴巴已经放贷300多亿元,坏账率约0.3%左右,大大低于商业银行。
    在全美范围内,以纽约市为首的警方部门也正在使用计算机化的地图以及对历史性逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析,从而试图对最可能发生罪案的“热点”地区作出预测,并预先在这些地区部署警力。
    在金融领域,华尔街“德温特资本市场”公司分析3。4亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。
    在医疗保健领域,谷歌就曾通过分析用户的搜索关键词,预测出了2009年禽流感在美国本土的严重程度以及未来的流行趋势,成功帮助卫生部门抑制住了疾病的大规模爆发。
         浙江省诸暨市教育局通过东软集团大数据管理平台,对教育资源实现科学有效管理。东软集团基础软件事业部咨询总监毛军介绍说:“通过这个云数据管理平台,我们可以完整的、综合性的把云数据中心的所有资源,在一个门户里面去监管起来,通过我们这个云数据管理平台,教育局构建了一个私有云,将幼儿园和学校通过这个私有云来接入访问,给百姓带来教育的快捷性。”
    北京大学数字中国研究院副院长曹和平认为,发展大数据会给国民经济带来多层面的利好,从而普惠普通老百姓,一是当孤岛性质的存在不同领域的数据连成一片的时候,如果有一个终端能够接触到整体数据的时候,你就好像到了一个信息超市里面去,没有你找不到的只有你想不到的。二是对于那些创新型企业,起初的孵化器时期的那些企业最有帮助,这恐怕是我们从后工业社会,进入到信息社会里面,在日常生活中和经济运行中得到的利好,而这个利好,可能会给国民经济带来一份意想不到的红利。
    中国国际经济交流中心副研究员张茉楠撰文指出,中国需要加快形成大数据国家战略。着力规划“大数据战略”中长期路线图与实施重点、目标、路径,统筹布局,加快大数据发展核心技术研发,推进大数据开放、共享以及安全方面的相关立法与标准制定,抢占新全球科技革命和产业革命战略机遇期,重构国家综合竞争优势已经迫在眉睫。
    挑战与启示
    “一个富于创造力却又充斥着巨大破坏力的大数据时代已经来临。”凤凰卫视董事局主席刘长乐如是说。
    以FacebOOk为例,全球10亿人在同一个社交网络留下活动信息和线索,而这全部被一家公司掌握,在刘长乐看来,这就好比把全世界的鸡蛋放到一个并不结实的篮子里,一旦篮子毁了,海量数据带来的风险和次生灾害难以预料。
    新闻集团全球资深副总裁高群耀博士也觉得自己成了实实在在的透明人。他笑道,社交网把人际关系数据化,微博把情绪数据化,职业设计网把过去经历数据化。“简而言之,微信知道你在干啥,百度知道你在想啥。”
    刘长乐援引斯诺登的爆料说,美国国家安全部门以30天为周期,从全球网络系统中接收970亿条讯息,再通过比对信用卡或通讯记录等方式,能几近真实地还原个人的实时状况。“大数据像一辆巨大的推土机,瓦解着国家、社会和个人的信息保护。”刘长乐说。
    大数据时代对数据中心的访问量是前所未有的。更多的网络设备将同时访问数据中心,这包括智能手机、平板电脑、台式机、笔记本、甚至正在马路上行驶的汽车。此时,数据中心面临的压力将是难以想象的。正如铁道部2014年年底推出的在线订票系统,采用的系统可谓是当下最先进的系统,但当有几亿人同时访问的时候,网站所有服务都陷入了瘫痪。“大”到一定程度的时候,任何事情都可能发生。
    云计算、大数据和物联网等新概念的兴起,必然会带来一次深刻的产业革命。如果说前两次产业革命,中国因为历史的原因,都处于落后的阶段,那么以大数据为代表的第三次产业革命必然是中国真正实现经济强国的历史契机。事实上,全世界都还没有准备好迎接这场革命,尚不了解数据的类别、品质和价值如何界定,也不知道数据的隐私、安全和版权如何保障,没有建立良好的数据产业生态环境,也没有针对大数据的教育和训练。这种不清晰带给了我们更多的机会,而我国独特的体制允许我们在世界其他国家不可能想象的尺度上“办大事,办好事”。政府、企业界、学术界、投资界和媒体需要齐心协力推动这次可能深刻改变我们社会和经济的变革。
    面临大数据时代,中国的政治、经济、社会需要实现新的转型,这要求深刻考量中国的发展特征,发现中国在新一轮现代科技革命中面临的短板。这些短板主要包括:我国在数据的开放性、流动性、交互性方面还远远不足;数据的真实性也有可能会成为阻碍大数据时代的一块暗礁。另外,在人才储备上,专业的数据分析人员的角色并没有形成气候,和走在前边的英美国家相比,中国的专业人才储备不足。
    国家行政学院公共管理教研部副研究员何哲提出:大数据战略上升为国家战略,首先是需要政府做出表率,要积极构建政府体系的大数据,打通在部门、区域之间隔离的数据孤岛,为建立统一高效的政府服务体系而努力。其次是需要建立大数据发展的标准体系,为整个市场做好标准制定工作,从而指导大数据产业的健康发展。
    中国国际经济交流中心信息部相关课题组专家提出:要加快数据安全立法。一方面,大量的数据汇总,涉及到企业运营数据、客户信息、个人的隐私和各种行为的详细记录,对数据的合法抓取和使用需要法律保障。另一方面,中国关于信息产权不清晰,缺乏对信息的所有权、使用权和收益权的规定,这就导致了无法形成一个健全的信息资源市场,无法真正发挥市场在信息资源方面的优化配置作用,这就需要通过法律手段,对信息资源产权进行界定,以便公众理解哪些个人信息是可以获取的,怎样使用,以及个人是否允许这种使用。
    国家信息中心信息化研究部副主任、中国智慧城市发展研究中心秘书长单志广提出:加快大数据专业人才引进与培养。政府可以采取培养和引进人才相结合策略,出台激励措施并对企业管理者进行数据分析技术培训,提高大型企业管理人员的数据分析能力。
    业内分析,在未来5到10年,大数据产业将迎来黄金增长期。根据国家金融信息中心指数研究院发布报告显示,2016年我国大数据市场规模预计将达238亿美元。在未来,线上线下所有数据都能串联起来;在未来,我们所有人都是数据的提供方,也是数据的使用者;在未来,数据变成一种普及,就像语言一样,成为人人可用的东西,每个人都能享受数据成果。我们生活在大数据之中。
    眼下,各地各部门都在学习贯彻十八届五中全会决议和“十三五”规划建议,只有以改革创新的勇气攻坚克难,建立坚实的政策保障机制,破除制约大数据发展的瓶颈和障碍,才能真正开创“用数据说话、用数据决策、用数据管理、用数据创新”的新局面,才能真正释放数据红利、制度红利和创新红利,推进我国从数据大国走向数据强国。
转载请注明来源。原文地址:https://www.7428.cn/vipzj19817/
 与本篇相关的热门内容: