当前位置:首页 » 《随便一记》 » 正文

为什么Kafka这么快,解密Kafka高性能背后的秘密_菜鸟厚非

1 人参与  2021年12月29日 15:41  分类 : 《随便一记》  评论

点击全文阅读


介绍

说起 Kafka 很多同学都知道,即使你没有用过也知道,它是消息队列中数一数二的运动健将,他可以承载每秒钟上百万此的数据处理,但问什么 Kafka 可以这么快呢?

归纳原因主要有这四点原因,磁盘顺序读写、页缓存、零拷贝、批量操作。

对比 RocketMQ

说到 Kafka 有一个话题我们无法回避,就是与其他消息队列的对比。这里我们以 RocketMQ 为例,Kafka 与 RocketMQ 有着完全不同的使用场景。

看下图,RocketMQ 就行一个高压水枪他的流速快横截面积小,吞吐量不高处理速度快。而Kafaka 采用完全相反的设计横截面积大,吞吐量高处理速度慢。
在这里插入图片描述

四大特点

1. 顺序读写

为什么顺序读写快呢,来看下面一篇测试文章,有权威的测试分别对机械硬盘、固态硬盘、内存进行随机与顺序读写测试。

黄色为随机读写,蓝色为顺序读写。可以看到随机读写性能依次是机械硬盘、固态硬盘、内存。而顺序读写机械硬盘反而强于固态硬盘,对于企业来说存储空间SSD、内存是非常昂贵的。所以 Kafaka 在设计的时候也是根据这个进行来顺序存储的。
在这里插入图片描述

在 Kafka 中一个概念叫做 Partition ,分区的意思用来存储消息,生产者生产的消息都是从末尾进行添加。

这里设计到一个新的问题,就是消费过的消息消费了之后进行删除不就破坏了消息的顺序关系了吗。这里 Kafka 做了个折中的处理,不进行实时的消息删除,而是在某个时间进行批量删除的,这个比单个删除效率要高。
在这里插入图片描述

2. 页缓存

页缓存相对来说比较简单,页缓存在操作系统层面是保存数据的一个基本单位,Kafka 避免使用 JVM,直接使用操作系统的页缓存特性提高处理速度,进而避免了JVM GC 带来的性能损耗。

3. 零拷贝

作为 Kafka 运行在 Linux 操作系统,作为 Linux 操作系统,它有一个特性叫做零拷贝。就是在用户态与内核态不再发生拷贝。

接下来我使用更加形象化进行解释,来看下图。假设现在有一条数据需要应用程序进行操作,但是他现在存储在磁盘上。操作系统层面会将磁盘信息加载到页缓存,之后再 copy 到应用层面的应用内存,需要发送的时候再加载到 socket 缓冲区。
在这里插入图片描述
但 Kafka 不是这么做的,来看下图。当数据需要操作会加载到内核态的页缓存中,需要发送是再加载到 socket 缓冲区中。其中就少了与用户态之间的 copy 动作,如果再处理海量数据的时候,效率就提高了很多。
在这里插入图片描述

4. 批量操作

在这里插入图片描述
最后一个呢是批处理,同学可以想一下在 JDBC 中数据库的操作,会有些批量处理操作,它用来提高网络利用率与数据库执行效率。

在 kafka 中页提高了大量批处理的 API ,可以对数据进行统一的压缩合并,通过更小的数据包在网络中进行数据发送,再进行后续处理,这在大量数据处理中,效率提高是非常明显的。


点击全文阅读


本文链接:http://zhangshiyu.com/post/32369.html

读写  缓存  顺序  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 长林欢宴梦不赴结局+番外+完本(沈星窈谢淮序)全书浏览_长林欢宴梦不赴结局+番外+完本全书浏览
  • 前传_笔趣阁(唐栖雾靳沉野)唐栖雾靳沉野小说(而这一跑,就永远不会回来了)章节在线阅读
  • 叶夕岁的山月不知心里事萧逸年叶夕岁全书在线
  • 宋言欢的且听风声萧萧后续在线乔青绾沈辞安宋言欢全书在线
  • 无人知晓的99次日出超长版_陆凛林晚乔昭昭好评_小说后续在线阅读_无删减免费完结_
  • 我妈拿掉我的子宫后,悔疯了惊天黑幕_子宫汪子楠楠新鲜出炉_小说后续在线阅读_无删减免费完结_
  • 我的长公主身份曝光后,他们吓疯了节选高光片段速递‌(姜明远)_我的长公主身份曝光后,他们吓疯了节选高光片段速递‌(姜明远)
  • 心火焚尽终不归楚长安苏明月小说(楚长安苏明月)前传+全书阅读新作预览
  • 重生后好孕医女一胎三宝,前世夫君却悔哭了正版(陆允霄),重生后好孕医女一胎三宝,前世夫君却悔哭了正版
  • 重生1990,从回国造彩电开始更新_唐振华罗捷一口气看完_小说后续在线阅读_无删减免费完结_
  • 重生在高考前,我笑着送小青梅和小混混去庆祝成人礼(沈晏安乔念)全书免费_(沈晏安乔念)重生在高考前,我笑着送小青梅和小混混去庆祝成人礼后续(沈晏安乔念)
  • 特种任务归来未婚妻和八个竹马抽签入洞房完结+番外(林晚晚赵熙诚林邵纪行川)

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1