赛迪顾问-大数据生命周期全景与产业发展IADP模型研究

本期主题

大数据产业链全景与产业发展IADP模型研究

一、大数据产业链全景概览

（一）大数据发展背景

2012年3月，美国奥巴马政府启动“大数据研究和发展计划”，投入2亿多美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论。此举引发了世界各国政府对大数据的高度关注。那么，“大数据”究竟是IT界又一概念炒作的噱头，还是产业发展的必然趋势？“大数据”是一种单纯的技术形态，还是人类社会全面进步的里程碑？

事实上，大数据是数据开放和流动、IT技术进步和应用发展的必然结果。早在上个世纪六十年代，美国白宫预算局就提出了当时堪称革命性的创新计划——成立一个被称为“中央数据银行”的统一大型数据库，把政府部门所有的数据库连接、集中、整合起来，提高数据的准确性和一致性；八十年代，美国就有人提出了“大数据”概念，企业界、学术界不断对此进行探讨；1995年麻省理工学院教授尼葛洛庞帝出版了《数字化生存》，率先提出“后信息时代”的概念，指出海量数据正在流动、时空障碍将被打破，个人将在后信息时代获得更大的解放；《自然》杂志在2008年9月推出了名为“大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色；2009年，奥巴马就任美国总统，任命了美国历史上第一位首席信息官和首席技术官，并建立了统一的数据开放门户网站Data.gov，全面开放政府拥有的公共数据，鼓励更多的创新型应用，提高政府的效率和效能；2011年，麦肯锡出版了《大数据：创新、竞争和生产力的下一个新领域》，产学研界对“大数据”的关注达到一个新的高度。

图1 大数据发展历程

2020 年，全球数据量预计达到惊人的35.2ZB！2016-2020年2015年大数据解决方案成熟；大数据应用渗透社会各行业；数据驱动决策；信息社会智能化程度大幅提升。生态环境完善；行业应用案例增多；用户认可程度高；基于大数据应用的业务创新加快；数据资产化进程加快。2012年3月29日，美国奥巴马政府颁布《大数据的研究和发展计划》2011 年全球数据量已经达到1.8 ZB2011年IBM、SAP、EMC等众多厂商和机构发布“大数据”相关研究，市场进入理念推广阶段，商业模式尚不成熟2010 年，全球数据量跨入ZB 时代 数据来源：赛迪顾问整理

全球的数据总量正呈指数增长，过去三年间产生的数据量超过以往总和。2011年全球被创建和被复制的数据总量达1.8ZB；预计2020年全球电子设备存储的数据将增至35.2ZB。大数据已经成为一种社会现象：它既是对既往IT技术发展至今的高度抽象和概况，同时抓住了IT技术服务于人、数据蕴藏价值的本质。大数据之“大”，不仅仅在于其容量之大——虽然数据容量的爆炸的确给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但大数据之“大”更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来“大知识”、“大科学”、“大利润”和“大发展”，逐渐走向大众创新的“大社会”时代。

图2 大数据的三维增长特性

速度Velocity数据的三维增长类型Variety数据来源：赛迪顾问整理

存储量Volume

（二）大数据产业链全景概览

因循数据的流动性和开放性，目前中国已初步形成了从数据产生到应用、继而产生新数据的环形产业链。从数据产生到应用，参与企业逐渐增多，数据价值逐级放大。

图3 大数据产业链

数据来源：赛迪顾问 2012，11

1、数据产生和采集

随着近年来社会各行业信息化发展的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，数据内容、数据结构和数据采集手段变得日益多元。

数据按其内容可大致划分为社会舆情数据、业务数据和环境资源数据这三类数据；三者之间存在一定的交叉和重叠。

数据按其产生和采集手段可划分为IT方式和非IT方式。通过IT手段生产和采集的主要有三种：交易数据、交互数据与传感数据。其中，交易数据来自于企业ERP系统、各种POS终端、以及电子支付系统等业务系统；交互数据主要来自于Web2.0技术的各类网络应用，应用硬件载体除传统网络终端，更多则是智能手机、平板电脑、车载终端等移动设备；传感数据则来自于各种物联网的“感知层”设备，如GPS设备、RFID设备、视频监控设备等。

图4 数据产生来源和采集手段

数据产生IT手段产生和采集数据采集非IT手段产生和采集交易数据交互数据传感数据Web2.0社交网络企业ERP系统门户网站搜索引擎……智能手机平板电脑车载终端人口普查传感器RFID二维码GPS/北斗传动器视频监控设备……经济普查问卷调查POS终端电子支付……现场采访……云电视……

数据来源：赛迪顾问 2012，11

2、数据传输

从理论上讲，数据在流转过程中的任何阶段都存在传输问题。目前数据传输主要通过通讯与网络传输或者光传输来实现。大数据时代对数据传输软硬件技术和设备都提出了更高的要求：随时随地、高速、稳定、安全地传输各种大小的结构化数据或非结构化数据。如交通应急指挥就是体现以上要求的典型应用。

图5 数据传输技术和途径

数据传输光传输通讯与网络传输2G/3G/4G光纤光缆光器件光接入设备关传输设备……NFCZigbeeBlueTeethWiFi/WAPIM2M……

数据来源：赛迪顾问 2012，11

3、数据存储

随着数据量急剧增加，许多IT厂商致力于研究存储方案，加速了存储技术的发展。并且非结构化数据增长速度远超过结构化数据；据预测，到2020年全球将有超过80%的数据为非结构化数据。用户面临的问题是：如何安全有效存储这些数据？除了新增的数据量，如何做好既有数据的保护？多数用户都会进行数据备份，无形中数据量增长了数倍，那么数据容量的增长给使用者带来了非常大的压力。那么如何提高存储空间的使用效率？如何降低需要存储的数据量？这些都是大数据时代用户时时要考虑的问题。

应对存储容量的资源优化管理技术会成为关注热点，如重复数据删除（适用于结构化数据）、自动精简配置和分层存储等技术，都是提高存储效率最重要、最有效的技术手段。如果不采用虚拟化技术，存储利用率只有20%-30%；通过使用这些技术，利用率将提高80%，可利用容量将增加数倍。结合重复删除技术，备份数据量和带宽资源需求可以减少90%以上。

此外，云存储作为非常有效的资源补充，能够有效提高使用者的IT资源利用率，将会被越来越多的企业级和个人消费者所采用。

图6 数据存储的软硬件基础设施

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库赛迪顾问-大数据生命周期全景与产业发展IADP模型研究在线全文阅读。