当前位置:首页 » 《随便一记》 » 正文

大数据技术原理与应用——第一章

18 人参与  2022年12月15日 09:37  分类 : 《随便一记》  评论

点击全文阅读


大数据时代

三次信息化浪潮

信息化浪潮时间标志解决的问题
第一次信息化浪潮1980个人计算机信息处理
第二次信息化浪潮1995互联网信息传输
第三次信息化浪潮2010大数据、云计算、互联网信息爆炸

大数据的技术支撑

 1. 存储设备容量不断增加 2. CPU处理能力大幅提升 3.  网络带宽不断增加

数据产生方式

 1. 运营式系统阶段 2. 用户原创内容阶段 3. 感知式系统阶段 

大数据概念

数据量大

“大数据摩尔定律”:人类产生的数据以每年50%的速度增长。

数据类型多

结构化数据占10%,非结构化数据占90%

处理速度快

秒级响应

价值密度低

价值密度远远低于传统关系型数据库

大数据的影响

四种科学研究范式

1. 实验科学2. 理论科学3. 计算科学:现提出理论,再收集数据,通过计算机验证4. 数据密集型科学 :现有大量数据,通过计算得出未知理论

大数据关键技术

1. 数据采集与预处理2. 数据存储与管理3. 数据处理与分析4. 数据安全和隐私保护

大数据计算模式

计算模式解决问题
批处理计算针对大规模数据的批量处理
流计算针对大数据的实时计算
图计算针对大规模图结构数据(或网络的形式)的处理
查询分析计算大规模数据的存储管理和查询分析(实时、准实时响应)

大数据产业

1. IT基础设施层2. 数据源层3. 数据管理层4. 数据分析层5. 数据平台层6. 数据应用层

大数据与云计算、物联网

三者相辅相成,既有联系又有区别

云计算

通过网络提供可伸缩的、廉价的分布式计算能力,以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。

三种服务模式
* 基础设施即服务(IaaS)
* 平台即服务(PaaS)
* 软件即服务(SaaS)

关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户

云计算数据中心
云计算应用
云计算产业……

物联网

四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层

关键技术
1. 识别感知技术(二维码、RFID标签、传感器)
2. 网络与通信技术(NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络)
3. 数据挖掘与融合技术

大数据、云计算、物联网关系

1.物联网是大数据的重要来源,为云计算技术提供应用空间2.大数据技术为物联网数据分析提供支撑,大数据为云计算机提供用武之地3.云计算为大数据提供了技术基础,为物联网提供了海量数据存储能力

点击全文阅读


本文链接:http://zhangshiyu.com/post/49751.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1