Skip to content

Kafka 源码分析系列 #7

Closed
Closed
@wangzzu

Description

@wangzzu
Owner
  • 内容:这近一年的时间,对 Kafka 的源码看了很多,但是并没有系统地去总结,希望自己在未来的半年到一年里能完成对 Kafka 源码分析的文章;
  • 指定一个小目标:每两周输出一篇 Kafka 分析的相关文章。(2017.6.11立)
  • 每篇文章都要用一张图表现出来(从第三篇开始,2017.7.17)。

这个系列以 0.10.2.0 为例(最新的版本 2.0.0 增加了事务性、重构了 Controller,代码变动很大)

Activity

wangzzu

wangzzu commented on Jun 20, 2017

@wangzzu
OwnerAuthor

Kafka Producer 端系列的源码分析,目前能想到的几个主题:

wangzzu

wangzzu commented on Sep 11, 2017

@wangzzu
OwnerAuthor

Kafka Consumer 端系列源码分析,分别以下几个部分来讲述(大概会分为5个):

wangzzu

wangzzu commented on Jan 29, 2018

@wangzzu
OwnerAuthor

Kafka Server 端的源码解析,主要分为以下三块来讲解(大概会有8篇左右的文章):

GroupCoordinator

存储层

Controller

这部分计划在 6.11 前讲述完。

Kafka Server 端

最后总述。

wangzzu

wangzzu commented on Apr 26, 2018

@wangzzu
OwnerAuthor

其它内容(包括后来的 new feature):

  1. producer 端如何实现不重(1.0.0代码)KIP-98 - Exactly Once Delivery and Transactional Messaging
  2. kafka 能否做到完全不丢(腾讯开源的一个 mq:微信开源PhxQueue:高可用、高可靠、高性能的分布式队列),或者有没有什么情况下kafka 即使做了不丢的设置,还是会有丢失的风险?
  3. Kafka 限流是如何做的?
wangzzu

wangzzu commented on Jun 10, 2018

@wangzzu
OwnerAuthor

马上就到2018.6.11了,这个小项目也算是立项一年了,庆幸的是自己能够坚持下来了,遗憾的时候没有在一年的时间内完成,后续其他的源码阅读要督促自己,保证总体按照计划去进行(立于2018.6.10)。

wangzzu

wangzzu commented on Jun 28, 2018

@wangzzu
OwnerAuthor

截至昨天晚上(2018-06-27),Kafka 源码解析系列23篇终于完成,主要是 client 与 core 部分的代码。

NeoTalk

NeoTalk commented on Nov 10, 2018

@NeoTalk

你好,请问你这是哪个版本的kafka啊,我看kafka2.0,源码差别和你文章里的还是又挺大差别啊

wangzzu

wangzzu commented on Nov 10, 2018

@wangzzu
OwnerAuthor

@CoderCai 上面的文章是以 0.10.2.0 为例,Kafka 2.0 增加了事务性、重构 Controller,所以改动还是挺大的,后面我的几篇关于事务性的文章是以 2.0.0 为例

Anandonzy

Anandonzy commented on Jan 4, 2019

@Anandonzy

为什么源码分析的文档看不了了

wangzzu

wangzzu commented on Jan 4, 2019

@wangzzu
OwnerAuthor

@Anandonzy 我这里可以打开的,你也可以看这里:http://matt33.com/tags/kafka/

Anandonzy

Anandonzy commented on Jan 4, 2019

@Anandonzy

@Anandonzy 我这里可以打开的,你也可以看这里:http://matt33.com/tags/kafka/

不行啊,我打开还是无效的访问。。

wangzzu

wangzzu commented on Jan 4, 2019

@wangzzu
OwnerAuthor

@Anandonzy 我这里可以打开的,你也可以看这里:http://matt33.com/tags/kafka/

不行啊,我打开还是无效的访问。。

@Anandonzy 你是在国外访问的么?😂

VIPJoey

VIPJoey commented on Aug 21, 2019

@VIPJoey

有没有遇到这种情况,我有一个topic,但有上百个消费者,只知道有个消费者A用了低版本的方式消费导致kafka server 报错,怎样快速定位这个有问题的消费者A?


java.lang.IllegalArgumentException: Magic v0 does not support record headers
        at org.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403)
        at org.apache.kafka.common.record.MemoryRecordsBuilder.append(MemoryRecordsBuilder.java:586)
        at org.apache.kafka.common.record.AbstractRecords.convertRecordBatch(AbstractRecords.java:134)
        at org.apache.kafka.common.record.AbstractRecords.downConvert(AbstractRecords.java:109)
        at org.apache.kafka.common.record.FileRecords.downConvert(FileRecords.java:253)

1 remaining item

Loading
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

      Development

      No branches or pull requests

        Participants

        @wangzzu@NeoTalk@VIPJoey@Anandonzy

        Issue actions

          Kafka 源码分析系列 · Issue #7 · wangzzu/awesome