大数据时代
三次信息化浪潮
信息化浪潮 | 时间 | 标志 | 解决的问题 |
---|---|---|---|
第一次信息化浪潮 | 1980 | 个人计算机 | 信息处理 |
第二次信息化浪潮 | 1995 | 互联网 | 信息传输 |
第三次信息化浪潮 | 2010 | 大数据、云计算、互联网 | 信息爆炸 |
大数据的技术支撑
1. 存储设备容量不断增加 2. CPU处理能力大幅提升 3. 网络带宽不断增加
数据产生方式
1. 运营式系统阶段 2. 用户原创内容阶段 3. 感知式系统阶段
大数据概念
数据量大
“大数据摩尔定律”:人类产生的数据以每年50%的速度增长。数据类型多
结构化数据占10%,非结构化数据占90%处理速度快
秒级响应价值密度低
价值密度远远低于传统关系型数据库大数据的影响
四种科学研究范式
1. 实验科学2. 理论科学3. 计算科学:现提出理论,再收集数据,通过计算机验证4. 数据密集型科学 :现有大量数据,通过计算得出未知理论
大数据关键技术
1. 数据采集与预处理2. 数据存储与管理3. 数据处理与分析4. 数据安全和隐私保护
大数据计算模式
计算模式 | 解决问题 |
---|---|
批处理计算 | 针对大规模数据的批量处理 |
流计算 | 针对大数据的实时计算 |
图计算 | 针对大规模图结构数据(或网络的形式)的处理 |
查询分析计算 | 大规模数据的存储管理和查询分析(实时、准实时响应) |
大数据产业
1. IT基础设施层2. 数据源层3. 数据管理层4. 数据分析层5. 数据平台层6. 数据应用层
大数据与云计算、物联网
三者相辅相成,既有联系又有区别
云计算
通过网络提供可伸缩的、廉价的分布式计算能力,以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。
三种服务模式
* 基础设施即服务(IaaS)
* 平台即服务(PaaS)
* 软件即服务(SaaS)
关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户
云计算数据中心
云计算应用
云计算产业……
物联网
四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层
关键技术
1. 识别感知技术(二维码、RFID标签、传感器)
2. 网络与通信技术(NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络)
3. 数据挖掘与融合技术
大数据、云计算、物联网关系
1.物联网是大数据的重要来源,为云计算技术提供应用空间2.大数据技术为物联网数据分析提供支撑,大数据为云计算机提供用武之地3.云计算为大数据提供了技术基础,为物联网提供了海量数据存储能力