数据存储云计算中心(资源池)云基础设施云基础软件元器件数据中心设备服务器机房附属设备监控操作系统中间件消息中间件信息安全存储管理芯片面板……存储网络设备集装箱数据中心……机柜空调UPSWindowsLinuxUnixOthers交易中间件应用服务器集成中间件门户中间件行业应用平台中间件数据库OracleDB2Mysql桌面虚拟化网络虚拟化存储虚拟化虚拟化安全加密杀毒入侵检测生物认证DASNASSAN网络管理网管系统应用性能管理桌面管理远程监控IT资产管理安全管理SqlServerInformixAccess服务器虚拟化 数据来源:赛迪顾问 2012,11
4、数据处理
数据处理是目前整个大数据产业链的薄弱环节,尤其是数据质量问题,更是其中的软肋。 大数据蕴藏的价值虽然巨大,价值密度却很低,往往需要对海量的数据进行挖掘分析才能得到真正有用的信息,从而形成用户价值。但在数据挖掘分析之前,必须进行数据处理,其目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取出对于某些特定的人们来说是有价值、有意义的数据;包括数据清洗,即过滤掉不完整的数据、错误的数据、重复的数据等不符合要求的数据,然后进行数据装载、查询、展现等。在这一过程中,如果数据源质量不佳或者代码不严谨,都会导致数据失真,用户看到的错误信息将可能导致分析出错误的决策结论。
用户拥有的数据质量与其业务绩效之间存在着直接联系,高质量的数据可以使其保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量控制技术,企业在任何时候都可以信任满足所有需求的所有数据。为了充分实现数据资产的业务价值,企业往往通过一个数据整合/集成平台来进行数据质量控制,找出并修正隐藏的数据瑕疵,随时随地交付及时、可信的各种类型数据。
图7 数据处理软件和技术
数据处理应用开发工具查询和报表工具数据转换工具数据质量数据整合/集成
数据来源:赛迪顾问 2012,11
5、数据分析
数据分析是大数据产业链中最有“含金量”的环节。 大数据时代,理解数据所代表的内容成为一项挑战。由于事务型数据和决策支持型数据的处理性能不同,需将将决策支持型数据处理从事务型数据处理中分离出来,再从事务型数据库中导入数据仓库,继而采用OLAP(联机分析处理)工具、数据挖掘工具等进行分析、智能决策,提高决策的科学性和水平,完善各种管理流程,增强综合竞争力的智慧和能力。
大数据时代,包括政府在内的各行业用户对数据分析功能的需求更加旺盛,同时对数据分析的广度和速度都有更高要求,促进IT厂商加快了对于数据分析技术的研发创新。一方面,大数据分析不再局限于结构化的历史数据,而更倾向于分析来自社交网络、RFID传感器等的非结构化数据,促进了对非结构化数据的分析技术创新。另一方面,激烈的市场竞争促使行业用户对于数据分析的速度更加重视,促进了大数据解决方案厂商加大对数据的快速、实时分析、智能决策技术的研发投入。
通常意义上的数据挖掘、分析主要集中于公共服务和商业范围,数据分析的另一广阔领域则是工业领域。很多工业软件都具有强大的数据分析功能,如研发设计类的CAX/PLM软件、自动控制类软件等。
图8 数据分析软件和技术
数据分析数据挖掘数据集市OLAP(联机分析处理)服务器数据仓库商务智能(BI)嵌入式软件模式识别CAX/PLM自动控制软件搜索引擎内容/知识管理人工智能(AI)数据可视化…… 数据来源:赛迪顾问 2012,11
6、数据发布、展示和应用
大数据具有广泛的应用需求,在政府、行业、个人三个层面呈现出不同的应用特征:政府应用大数据,能够整合资源、提升监管水平、建设透明政府;行业应用大数据,能够科学决策、提高业务敏捷度、获取商业价值;个人应用大数据,能够提高生活质量、实现个人价值。
图9 数据发布、展示和应用
数据发布&展示&应用个人位置导航通信软件/语音增值服务游戏动漫商务财经休闲娱乐搜索引擎教育个人办公……行业金融电信零售交通互联网建筑楼宇制造业……政府政务公共安全社保医疗舆情监测国土资源管理气象地质灾害监测……智能XX行业 数据来源:赛迪顾问 2012,11
二、大数据产业发展趋势
(一)产业生态发展趋势 1、大数据发展的IADP模型
“大数据”一词内涵丰富、外延广阔,既融合了IT产业发展的一切组成要素,又直接体现了“科技改变生活”的理念,带有浓厚的社会学色彩。
大数据生态系统发展融合了众多的参与者,可以基本划分成四大角色,它们在产业发展中的地位和作用各有不同。大数据组成要素可抽象归纳为“IADP模型”。
图10 大数据IADP模型——产业生态四大角色
人与社会(People)——服务对象和发展愿景数据(Data)——核心应用(Application)——目的基础设施(Infrastructure)数据来源:赛迪顾问 2012,11
——基础保障 大数据产业发展遵循由低级到高级的“IADP模型”。“基础设施(Infrastructure)——应用(Application)——数据(Data)——人与社会(People)”既是完整的大数据产业生态中的四大角色,又是大数据产业四个发展阶段的具有代表性的关键词。
表1 大数据IADP模型——四个发展阶段及其主要特征 发展阶段(以关键词命名) 基础设施(Infrastructure) 主要特征 以IT基础设施(包含硬件和软件)建设为主要发展内容,数据采集、传输、存储、处理、分析都将直接依赖相关软硬件设施和技术的建设发展;应用较为单一,商业模式不成熟,未实现规模经济。 基础设施已初具规模、相对完善,数据处理和分析水平达到相当水准,应用软件和应用形态极大丰富,生态系统日益庞大,商业模式日渐成熟,基本实现规模经济。 数据本身已成为最重要的业务,重视数据资产、挖掘数据价值、丰富数据应用已成共识;国家关于数据的法规政策日益开放,很大程度上实现数据的流动性和开放性,数据资源公开、透明、共享。 通过大数据,发现新知识、创造新价值,带来大知识、大科学、大利润和大发展,实现社会全面进步,逐渐走向大众创新的“大社会”时代。 应用(Application) 数据(Data) 人与社会(People) 数据来源:赛迪顾问 2012,11
2、产业链的垂直整合和分化裂变
从数据价值的角度看IT产业,生态系统原有的各方参与者将被赋予新的任务和标签,
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说综合文库赛迪顾问-大数据生命周期全景与产业发展IADP模型研究(2)在线全文阅读。
相关推荐: