为何说KubeMQ会是Kafka的替代品?【51CTO.com快译】为了实现这种复杂的操作,必须有某种类型的服务“邮局”来跟踪所有请求和警报。实现这一...网站建设# kafka# KubeMQ# 开发1年前100
一文带您快速入门Kafka作者 | 蔡柱梁,审校 | 重楼,Kafka 是使用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的...网站建设# kafka# 分布式# 副本1年前350
成本低误差小,携程基于 Kafka 的 Serverless 延迟队列的实践作者简介,Pin,关注 RPC、Service Mesh、Serverless 等云原生技术。,随着上云项目的不断推进,大量的应...网站建设# aws# kafka# 延迟1年前80
图解 Kafka 源码之 Sender 线程架构设计,大家好,我是 华仔, 又跟大家见面了。,原文完整版在星球里面,如果感兴趣可以扫文末二维码加入。,...网站建设# kafka# sender# 架构设计2年前570
RocketMQ每秒要写入几十万并发,是怎么实现的?这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。,Kafka是高吞吐...网站建设# kafka# 写入# 并发2年前190
Kafka的春天-重试机制哈喽,大家好,我是指北君。,最近业务上用到了Spring Kafka,所以系统性的探索了下Spring Kafka的各种用...网站建设# kafka# retry# spring2年前170
Kafka不常见但是很高级的功能: Kafka 拦截器既然是不常见,那就说明在实际场景中并没有太高的出场率,但它们依然是很高级很实用的。下面就有请今天...网站建设# kafka# mvc# spring2年前400
我是如何将一个老系统的Kafka消费者服务的性能提升近百倍的?如果问你,如何提高kafka队列中的消息消费速度呢?,答案很简单,topic多分几个分片,然后使用消费者组(...网站建设# kafka# topic# 分片2年前590
聊聊 Apache Kafka 移除 ZK Proposals这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因,可以仔细看看该文章。以下是对该文...网站建设# kafka# offset# zk2年前460
图解 Kafka 网络层实现机制(一)今天我们就来聊聊 Kafka 是如何对 Java NIO 进行封装的,本系列总共分为3篇,主要剖析以下几个问题...网站建设# java# kafka# nio2年前560
Flink 并行流中 watermark 机制无法触发窗口计算的原因分析Kafka Source 接收并处理来自 Kafka 的点击数据(指定事件时间),开一个滚动窗口(Tumble Windows) 每 10 ...网站建设# kafka# watermark# 乱序2年前260
图解 Kafka 超高并发网络架构演进过程,大家好,我是 华仔, 又跟大家见面了。,上一篇作为专题系列的第一篇,我们深度剖析了关于 Kafka 存...网站建设# broker# kafka# 架构2年前680
系统 CPU 效率高,DMA 技术功不可没!大家好,我是树哥。,相信大家在学习 Kafka 的时候,都会被问到:为啥 Kafka 这么快?许多朋友都会回答...网站建设# dma# kafka# zero2年前120
生产环境里的Kafka天天丢消息,老大逼着我通宵排查解决这篇文章,给大家聊一下写入Kafka的数据该如何保证其不丢失?,我们暂且不考虑写磁盘的具体过程,先大致...网站建设# kafka# topic# 分布式2年前130
线上Kafka消息堆积,Consumer掉线,怎么办?线上kafka消息堆积,所有consumer全部掉线,到底怎么回事?,最近处理了一次线上故障,具体故障表现就是k...网站建设# consumer# kafka# topic2年前160
分布式编程工具Akka Streams、Kafka Streams和Spark Streaming大PK译者 | 陈峻,审校 | 孙淑娟,众所周知,作为一个事件流平台,Kafka能够松散地驻留在面向消息的...网站建设# akka# kafka# spark2年前360
尴尬,在Kafka生产实践中又出问题了最近在折腾Kafka日志集群,由于公司部署的应用不断增加,日志采集程序将采集到的日志发送到Kafka集群时...网站建设# kafka# 客户端# 日志2年前250
万字长文解析Kafka分区工作机制Kafka的消息发送与消息消费与分区关联密切,我们从这篇文章开始讲点学习分区相关的知识,本篇文章将重点...网站建设# kafka# partitionstatemachine# 分区2年前140
Flink无法将聚合结果直接写入Kafka怎么办?【Flink 1.10】- 有一种情况是所有的系统或应用之间的桥梁都是Kafka,而这个时候恰恰是上游需要做Unboun...网站建设# flink# kafka# retract2年前90
图解 Kafka 网络层实现机制之 Selector 多路复用器,大家好,我是 华仔, 又跟大家见面了。,在上一篇中,主要带大家深度剖析了「Kafka 对 NIO SocketCha...网站建设# kafka# nio# selector2年前330
JMS VS Kafka:苹果与橘子之战!,本文探讨了JMS消息中间件和Kafka部署的差异、权衡和架构。对于基于JMS的消息队列 (MQ) 基础架构和基于A...网站建设# confluent# jms# kafka2年前400
为什么kafka性能下降这么快,我用RocketMQ的时候不会这样子Rocketmq和kafka这两个消息队列大家应该都比较熟悉吧,哪怕不是很熟悉,应该也听说过的吧,你别告诉我...网站建设# kafka# rocketmq# 消息3年前310
什么场景下,不适合使用Apache Kafka?译者 | 吉锴,策划 | 云昭,Apache Kafka是处理流式数据的事实标准。随着它在各行各业中的广泛应用,我经...网站建设# apache# kafka# 事件处理3年前1510
Kafka 消息存储及检索Kafka是一个分布式的消息队列系统,消息存储在集群服务器的硬盘,Kafka中可以创建多个消息队列,称为topi...网站建设# kafka# partition# topic3年前170
美团超1.5万台Kafka,抗下每秒数亿消息量的挑战作者:海源、仕禄、肖恩、鸿洛、启帆、胡荣、李杰等,Kafka在美团数据平台承担着统一的数据缓存和分发的...网站建设# kafka# 平台# 数据3年前1050
图解 Kafka 生产者元数据拉取管理全流程大家好,我是 华仔, 又跟大家见面了。,在上一篇中,正式开启了「Kafka的源码之旅」,主要讲述了 KafkaPr...网站建设# broker# kafka# 拉取3年前210
大曝光!从RabbitMQ平滑迁移至Kafka架构设计方案!历史原因,公司存在多个 MQ 同时使用的问题,我们中间件团队在去年下半年开始支持对 Kafka 和 Rabbit 能...网站建设# kafka# mq# rabbit3年前120
Kafka到底有多高可靠?(RNG NB)在聊Kafka高可靠之前,先在评论区来波RNG NB好不好!,大家都知道,系统架构有三高:「高性能、高并发和高...网站建设# kafka# rng# 中间件3年前510
Kafka消息积压,你监控Rebalance了吗?《Bug:Zabbix对Kafka topic积压数据监控》一文我们通过监控lag来对Kafka某个分区topic的消费情况进行告...网站建设# kafka# rebalance# topic3年前280
一个能干掉90%候选人的Kafka面试连环炮,面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响?,这个...网站建设# acks# kafka# partition3年前60
字节面试官: 让你设计一个MQ每秒要抗几十万并发,怎么做?这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。,Kafka是高吞吐...网站建设# kafka# 并发# 性能3年前120
记Kafka消费的一次生产故障处理过程大家好,欢迎来到Tlog4J课堂,我是Jensen。,记录今天发生的一次生产故障以及故障处理全过程。,需求背景...网站建设# kafka# mq# 异步3年前60
面试官让我聊聊 MQ 的数据丢失问题,没想到水这么深,这篇文章,给大家聊一下写入Kafka的数据该如何保证其不丢失?,看过之前的文章《字节面试官: 让你设计...网站建设# kafka# mq# 写入3年前190
六张图告诉你 Kafka 是怎样做数据采集和统计的!大家好,我是君哥。,在讲解 Kafka的副本同步限流机制三部曲(源码篇) 第二篇(原理篇) 之前,我想先讲解一下...网站建设# kafka# 数据# 机制3年前270
Kafka封装之—方法参数解析器,用起来真香!,大家好,我是Jensen。一个想和大家一起打怪升级的程序员朋友。,咱们在写Kafka消费者的时候,有没有发现...网站建设# kafka# spring# 代码3年前460
大伙评评理,Kafka与Pulsar 谁更牛?,Apache Kafka(简称Kafka)是由LinkedIn公司开发的分布式消息流平台,于2011年开源。Kafka是使用Scala...网站建设# kafka# pulsar# 分布式3年前250
生产环境Kafka集群400W/Tps为啥就扛不住了?最近公司日志Kafka集群出现了性能瓶颈,单节点还没达到60W/tps时消息发送就出现了很大延迟,甚至最高超...网站建设# kafka# tps# 线程3年前270
那些选Redis来做MQ的人,是水平欠缺么?kafka多牛啊,老少通吃,风光无限,从业务服务到大数据,无所不能。,但,即使它这么牛x,在不少项目中,...网站建设# kafka# redis# stream3年前270
Netty、Kafka中的零拷贝技术到底有多牛?今天深入理解一下零拷贝技术~,数据的四次拷贝与四次上下文切换,很多应用程序在面临客户端请求时,可以...网站建设# dma# kafka# 上下文3年前310
Kafka的替代者Redpanda的架构及部署,Redpanda 使用C++编写,是一个与 Kafka兼容的流数据平台,事实证明它的速度提高了10 倍。它还不含 JVM...网站建设# c# jvm# kafka3年前1460
聊聊在springboot项目中如何配置多个kafka消费者不知道大家有没有遇到这样的场景,就是一个项目中要消费多个kafka消息,不同的消费者消费指定kafka消息...网站建设# kafka# spring# 多个4年前390
吃透Kafka底层通信机制后,我把系统网络性能提升了10倍以上这篇文章,给大家聊一个消息中间件相关的技术话题,对于一个优秀的消息中间件而言,客户端与服务端通信...网站建设# kafka# topic# 客户端4年前180
谈谈你对Kafka副本Leader选举原理的理解?一位7年工作经验的小伙伴,面试被问到这样一道题,说:”谈谈你对Kafka副本Leader选举原理的理解“。当时...网站建设# kafka# leader# zookeeper4年前210
真厉害!1 秒写入 10 万条消息,Kafka 写得这么快,都是因为这些优化!大家好,我是树义。,Kafka 作为消息队列中的中坚力量,基本上是每次面试必问的知识点。而说到 Kafka,大...网站建设# kafka# 内存# 写入4年前230