?? ?? ???? Apache Kafka ????? ? ?? ??????. ?? ???? ?? ? ??? ???? ?? ?? ??? ??? ?? ?????. ? ???? ?? ???? ???? ?? ?? ???? ???? ???? ????? ??? ??? ???? ????.

? ???? ??:

1. Kafka ???? ??? Wireshark? ???? ????? ?????.
2. ?? ?? ?? ?? ??? ?????.
3. ?? ?? ??? ???? ?? ?? ??? ?????.

????? ??? Python? ???????. ??? ??? ???? ??? ??? ??? ?? ??? ? ????.

??

Apache Kafka?? ??? ??? ??, ??? ?? ??? ??? ???? ??? ?? ???? ????? ????. ????? Protobuf? ?? ? ??? ??? ??? ???? ????. ???? ??? ???? JSON? ???? ????. ??? ? ????? ???? ?? Java ??? ? ???? ?????.

Java ????? ?? ????? ?????? ??? ? ????. ??? ?? ???? ???? ???? ?? ??? ???? ???. ????? ?? ???? ???? ??? ??? ?? ?????? ?? ???? ?? ??? ??? ????. ?? ?? ?? ? ???? ??? ?????.

? ???? Kafka ???? ??? ???? ? ??? ? ????. (Kafka ????? ?? ??? Python (?)??? ?????? ?? ??? Kio¹? ?????. Rust? ?? ?? ?? ?? ?????? ?????.)

? ???? ??? Github? ? ????? ??? ???? ?? ? ????.

???? ??

?? ???? ??? ? ????? ???? ? ????. ??? "??" ? "????" ??? ???? ? ??? ????? ????.

??? ? ?? ?? ?????. Kafka ????? TCP ?? ???? ??-?? ???????.

• TCP ??: Kafka ???? TCP ??? ???? ?? ?????(?? ??? ?? ? ?? ?? ??).
• ????: ???? ???? ???? ????? ?? ??? ???? ?? ?? ??? ? ????? ?????.
• ??-??: ??? ?????? ?? ???? ??? ????? ???? ?????.

? API ??? ??? ??? ?? ??? ???? API ??? ?? ??? ?????. ?? ?? Kafka? ?? ???? RPC? Produce? Fetch? ?? ???? API ? 0? 1? ????. ???? API ??? ??? 90?? ?????(? ? ??? ?????-???? ?? ????????).

??? ??? ??? ??? ???? ?????. ?? ??? ?? ?? ?? ?? ??, ??? ?? ?? ? ???? ??? ???????.

? ?? ??

Kafka ???? ??? ???? ?? ??? ? ?? ? ?? ??? ??? ????.

Kafka ???? ?? ????

Kafka ??? ????? ?? (?????) ??? ?????. Github?? Kafka ??? ???? ?? ?? ???(?: 3.8.0)? ?????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

?????/src/main/resources/common/message?? JSON? API ??? ??? ?? ? ????. ? JSON ???? ?? ??? ?? ??? ???² ?? ??? ???? ????. ?????/src/main/resources/common/message/README.md? ??? ?? ??? ?? ?? ??? ?????. ???, ??? ??, ??? ??? ?? ?? ?????.

?? ?? ???? API ??? ?? ??? ? ??-?? ??? ???? ??? ???? ?????/src/main/resources/common/message/RequestHeader.json ? ResponseHeader.json? ?????. .

?? ???? ??? ?????.

./gradlew processMessages

?? ?????/src/generated/java/org/apache/kafka/common/message?? ??? ???? ?? ? ????.

clients/src/generated/java/org/apache/kafka/common/message/ApiMessageType.java? ?????. ? ????:

• ?? API ??? ?? ??? ?? ??? ? ??? ?? ?????.
• API ??? ??? requestHeaderVersion ? responseHeaderVersion ??? ?? ? ?? ?? ??? ?????.

?? ??? ?? ??? JSON?? ???? ?????(??? ??? ???? ?? ?? ??? ???). ? ???? ??? ?? ? ????:

1. ??? ??? ??? ?? SCHEMA_0, SCHEMA_1 ?. ??? ???? ?? ?? ???? ???? ??? ????. ?? ???? ???? ??-?? ??? ?????? ?????.
2. ???? ??? ? ????? ?? ?? ??? ?? ? ?? ?? ? ?? ?????.

?? ???? ?????. ???? ??? ??? ???? ?????.

Docker?? Kafka ??

Docker?? Kafka? ???? ?? ???? ???? ????? ?????? ???? ??? ???? ??? ?????. ?? 3.7.0?? Kafka ?? ??? ?? ??? ? ?? ?? Docker ???? ?????.

docker run --rm -ti -p 9092:9092 apache/kafka:3.8.0

?? ??? ??? ??? Docker Hub?? ?? ???? ?????. ??? Kafka ????? ?? ??? ????? ?? ???? ?? ???? ?? ? ????. ? ???? ?? ???? ??? ? ???? ?? ?????? ? ???? ??? ? ????.

? ?? ????? ??? ???? ???? Kafka ??? ??? ?? ?? ????. ??? ??? ??? Docker?? ??? ?? ????. ?? ?? ??? ???? ??? ?????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

Wireshark? ???? ??

Kafka ??? ??????, ?? ????? ???????. Wireshark? ??? ??? ?? ???? ?????. Kafka ????? ??? ? ????(??? ??? ??? ?? ?? ??? ?????).

?? ?? ???? ???? Kafka ????? ? ???? ??? ? ?? ??? ?? 4.5.0 ???? Wireshark? ??????. Wireshark 4.5.0? ??? Kafka 3.7 ???? ??? ???? ???. ??? ?? ??? ??? ??? ?? ??? ??? ????? ??? ? ????.

?? 9092 ?? ??(1) ? kafka ????? ??(2)? ???? ??? ??????? Wireshark? ??? ?????.

??? ??? Wireshark? ???? ??? ?????.

./gradlew processMessages

?? ??? ?? ?? ?? ??? ???? Kafka ?? ? ??? ????. Wireshark? ????? ???? ??? ??(?? Wireshark ??? ?? ??)? ????? ? ???? ??? ???? ??? ? ????. Wireshark? ?? ???? ?????.

Wireshark? ?? ???? ????? ??? ?????, ??? ?? ??? ??? ???? ? ??? ?? ??? ??? ?????.

?? ? ?? ? ??

????? ??? ?? ??? ???? ??? ??? ???? ?? ? ????. ?? ?? ?? ? ?? ??? ??? ?????. ? ???? ?? ??? ?? ? ???, ?? ??? ??? ??? ???.

?? ?? ?? ?: INT8, INT16, INT32, INT64 ? UINT16

?? ??? ??? ??(1, 2, 4 ?? 8???)???. ??? ???? ???? ??? ??? ?? ?? ? ????. ? ????? ??? ??? Kafka?? ??? ????? (????) ? ? ????.

?? ???? ??? ??? ?? ?? ??? ??? ?????³:

docker run --rm -ti -p 9092:9092 apache/kafka:3.8.0

Python? BinaryIO ?? ??? ???? ?? ? ? ?? ??? ?????. ??, ??, ???(?? ?? ????), ??(?? ??)? ?? ???? ????.

?? INT8 ??? ??? ? ????.

docker run --rm -ti --net=host apache/kafka:3.8.0 \
  /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

Kafka? ????(AKA ????) ??? ??? ????? byteorder="big"???.

?? ?? ?? ??:

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

INT16, INT32 ? INT64? ???? ? ??? ???? ?????. ???? ??? ???? ??? ?(?? 2, 4, 8)? ??? ??([-(2**15), 2*)???. *15 - 1], [-(2**31), 2**31 - 1] ? [-(2**63), 2**63 - 1] ??).

UINT16? INT16? ?????.

./gradlew processMessages

??? signed=False?? ?????.

??

BOOLEAN? ????? ?? ??? ??? INT8???. == 0? false? ????, != 0? true? ?????.

docker run --rm -ti -p 9092:9092 apache/kafka:3.8.0

MetadataRequestData ?? ???? allowedAutoTopicCreation ???? BOOLEAN? ?? ? ? ????.

FLOAT64

FLOAT64? ???? 64?? IEEE 754 ????. Python?? int?? float? ?? to_bytes ? from_bytes? ????. ??? ?? ?? ?????? struct ??? ???????.

docker run --rm -ti --net=host apache/kafka:3.8.0 \
  /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

>d? "???? ??? ??? ?? ?"? ?????.

UNSIGNED_VARINT: ?? ?? ?? ?

?? ?? ??? ?? ?? ? ?? ? ?? ??? ??? ? ?? ?? ?????. Kafka? ???? ??? varint ?? ??? ?????. ????? ?????.

varint? ? ????? ?? ?? ???? varint? ???? ??? ???? ?? ??? ????. ?? ???? ??? ??(MSB)???(?? ????? ?). ?? 7??? ???????. ?? ??? ?? ???? 7?? ????? ?? ???? ?????.

??? ??? Protobuf ?? ? Kafka ??(??, ??)? ???? ? ????.

? ??? ???? ?? ????? ???? ??? ?? ??? ?? ???? ?????.

??? ?????. ???? ??? ?? Kafka? ByteUtils ???? Kafka? ByteUtils ????? ?? ? ?? ?? ?????.

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

?? ???? ??? ?? ? ????.

def read_exact(buffer: BinaryIO, num_bytes: int) -> bytes:
    value = buffer.read(num_bytes)
    if len(value) != num_bytes:
        raise ValueError(f"Buffer underflow: expected {num_bytes}, got {len(value)}")
    return value

?? ??? ??? ??? ??? ???? ??? ?????.

def read_int8(buffer: BinaryIO) -> int:
    return int.from_bytes(read_exact(buffer, 1), byteorder="big", signed=True)

UUID

UUID? ???? ???? ???? ? ???? 128?? ????. ?? ?? CreateTopicsResponse?? ?? ID? ???? ? ?????.

Kafka ???? ??? ?? ??? ??? ? ????. ??? ?????:

def write_int8(value: int, buffer: BinaryIO) -> None:
    if -(2**7) <= value <= 2**7 - 1:
        buffer.write(value.to_bytes(1, byteorder="big", signed=True))
    else:
        raise ValueError(f"Value {value} is out of range for INT8")

Kafka? null/None? 0 UUID? ????? ???? ??? ??? ?????.

???

Kafka ?????? 4?? ??? ???? ????.

???? ??? ??? INT16 ?? UNSIGNED_VARINT? ?????? ??? ?????. ??? ??? ?? ????(2017??? ???). Null ?? ??? ?? Null? ? ? ??? ?????. ?? ??? ??? ??? ?? ????(??? ????? ???? ?? ??? ??? ?? ??? ?).

???? ???? ???? ?????. ?? ?? ??? ??? MetadataRequestData.MetadataRequestTopic? ?? ??? ?????.

???? ?? ???? ??????. ?? ??? ??? ?? UTF-8? ???? ??? ?????. ???? ?? ??? 32767??????. Null ???? ??? -1?? ??? ????.

???? ????? ??? ???? ??? ??? ????? ????? ? ?? ??? ?? ??? ??? ?? ? ????.

null ?? ???? ?? ?? ??? ??? ?????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

null? ???? ?? ??? ??? ??? ???? ??? ? ????.

./gradlew processMessages

??? ??

??? ??? ???? ?? ?????. ??? ???? null ?? ??? ???? ????.

?? ??? ???? ??????: ?? ??. ??? ??? UTF-8 ???? ?? ??? ??? ??? ?????. ??? ??? ?? ??? 2147483647???.

??? JoinGroupRequestData.JoinGroupRequestProtocol ???? ?? ??????? ???? ?? ?? ? ????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

????? ??? ??? ???? ???? ??? ??? ????.

?? ???

? ????? ??? ??? ?? ??(???, ??, ???(?? ?? ??)): ARRAY ? COMPACT_ARRAY? ?????. ???? ??? ?? ? ???? ?????.

?? ???? ???? ??? Null ?? ??? ????? ???? ?? ????. ??? ??? null? ??? ? ????. ?? ??? ?? ??? ??? nullableVersions? ?? ?????.

?? read_array_length ? write_array_length? ??? ?? ???? ??? ? ??? ??? ??? ?????.

./gradlew processMessages

??

RECORDS? Kafka ???? ??????. ??? ? ???? ? ?????? ???? ?????. (?, ??? ?? ??? ????? ????.) ???? ?? ???? NULLABLE_BYTES ?? COMPACT_NULLABLE_BYTES( ??? ??? ?? ??).

??? ??

??? ??? ??? ???? ???? ??? ? ?? Kafka ????? ?????. ????? ? ?????:

1. ??? ?????? ??? ??? ???? ??? ?? ?? ? ? ???? ???? ?????.
2. ??? ?? ???? ?? ?? ?? ? ???? ??? ? ????.

?? ?? ? ??? ?????. ? ??? ??? ??? ??? ???? taggedVersions? ????(???? ?? ??? ????? ?? ??? ?????).

??? ??? ???? ?????.

1. UNSIGNED_VARINT ??? ?????.
2. COMPACT_BYTES ??? ??????.

KIP-482?? ??? ??? ?? ??? ??? ??? ? ????.

??? ??? ?????.

docker run --rm -ti -p 9092:9092 apache/kafka:3.8.0

???? '? ? ??'??? ??? ?? ????. ??? ??? ?? ?? ??? ????? ???.

??? ??

?? ?? ??? ??? ?? ?????. ??? ???:

docker run --rm -ti --net=host apache/kafka:3.8.0 \
  /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

?, ??? ??? ??? ?? ?? ??? ?????. ?? ? ?? ???? ?? ?? ?? ?? ??? ?? ?????. ?? ?????? ? ??? ????? ????? ?? ????⁴. ??? ?? ??????? ?? ??? ?????.

?? ? ?? ??

?? ??? 0, 1, 2? ? ?? ???? ?????. ?????? ??? ?? ?????.

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

TAG_BUFFER? ?? ??? ??? ?????.

Python ??? ???? ??? ?????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

????? ?? 2?? ?? ??? ??? ??? ???? ??? ??? ????. ?? ??? ??? ???? ?? ???? ?????.

?? ??? 0? 1? ? ?? ???? ?????. ?????? ??? ?? ?????.

./gradlew processMessages

?? ??? ?????.

docker run --rm -ti -p 9092:9092 apache/kafka:3.8.0

?? ??? ???? ??? ???? ?? ?? ??? ???? ??? ???? ????. ?? ???? ?? ????. ??? ?? ?? ??????? ???? ????? ?? ??? ??? ?? ??? ?? ?? ????. ??? ?? ??? ??? ??? ? ??? ?? ???? ???(???? ???).

???? ID

?? ? ?? ??? Correlation_id ??? ?? ?????. ????? ?????? ?????. ?????? ??? ?? ??? ??? ??? ?? ? ????. ?? ?? ID? ???? ??? ?? ??? ???? ? ????.

?? ?? ??

?? ??? ???? ???? API ?? ??? ??? ?????. ?? ???? ????? ????? ????? ?? ????⁵.
??? ApiMessageType ???? requestHeaderVersion ? responseHeaderVersion ??? ??? ?????.

?? ??? ? ?? ??

?? ?? ??? ??? ?????? ??? ApiVersions ??? ??? ??? ?? ?? ?????. ApiVersions? ????? ?????? ??? ? ?? ?????. ? ??? ???? ???? API ??? ??? ?? ????. ?? ?? 3? ??????.

???? ????? ??? ?? ?????.

docker run --rm -ti --net=host apache/kafka:3.8.0 \
  /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

??? ???? ??? ?????.

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 --create \
  --topic test-topic1 --partitions 2

??? ??? ??? ????.

def read_exact(buffer: BinaryIO, num_bytes: int) -> bytes:
    value = buffer.read(num_bytes)
    if len(value) != num_bytes:
        raise ValueError(f"Buffer underflow: expected {num_bytes}, got {len(value)}")
    return value

[api_keys]? "api_keys? ??"? ?????. ??? api_keys? ?? ? ?? ??? ?????.

?? Python ??? ???? ??:

def read_int8(buffer: BinaryIO) -> int:
    return int.from_bytes(read_exact(buffer, 1), byteorder="big", signed=True)

???? ?? ???? ?? ???? ??? ????, ????? ?? ??? ???? ??? ???. ?? ????? ApiVersionsRequest.json? ??? ??? ???????. "flexibleVersions": "3 "? ? ? ????. ?? ?? 3?? ??? ??? ????? ?????(??? ??? ??? ????? README.md?? ?????). ???? ?? 3?? ???? ???? ??? ??? ?????.

?? ? ?? ???? ???? ??? ??? ??? ?? ? ????. ? ApiVersions v3? ?? v2 ?? ??? v0 ?? ??? ?????(??? ApiMessageType.java ??). API ?(18)? ApiVersionsRequest.json ?? ???? ???? ?? ? ????.

git clone git@github.com:apache/kafka.git
git checkout 3.8.0

? ??? ???? ??? ?? ??? ???? ???? ?? ? ? ????. ?????. Kafka ???? ??? ???? ??? ??????!

_unknownTaggedFields? ? ?? ??? ??? ?? ?? ? ? ????. ??? ApiVersionsResponseData ???? ?? ? ?? ???? ApiVersionsResponse.json? ??? ??? ?? ???? ? ??? ???. ? ??? ?????? ?

---

1. ?? ???? ???? ????? Kio? ??????. ?? ?? Python?? ??? Kafka API ??? ?? ??? ? ????. Kafka ??? ????? ???/???? ??? JSON ???? ???? ?????. ??? ??? ?? Java Kafka ??? ?? ?? ???? ???? ???? ??????.??

2. ?? ??? ?? "???"? ?????. ?? ???? API?? ???? ?? ?? ????? ????.??

3. read_exact ???? ?? ??? ?? ???? ?? ? ???? ????? ??? ????. ??? ?? ????? ? ?????.??

4. ? ??? ???? ?? ??? ????.??

5. ? ??? ???? ?? ?? PR? ????.??

? ??? Kafka ???? ?? ???? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!