Собственная Kafka

На этом этапе вы реализуете сохранение нескольких записей в одном запросе.

Сохранение нескольких записей

Получив запрос Produce с RecordBatch, содержащим несколько записей, брокер Kafka должен проверить существование топика и раздела, назначить последовательные смещения каждой записи пакета и сохранить весь пакет в файл журнала. RecordBatch с несколькими записями должен быть сохранён как единое целое в файл журнала топика <log-dir>/<topic-name>-<partition-index>/00000000000000000000.log.

Мы создали интерактивный обозреватель структуры запросов и ответов Produce:

• 🔎 Запрос Produce (v11)
• 🔎 Ответ Produce (v11)

Тесты

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh /tmp/server.properties

Затем подключится к серверу на порту 9092 и отправит запрос Produce (v11) с RecordBatch, содержащим несколько записей.

Она проверит, что:

• Первые 4 байта ответа («длина сообщения») корректны.
• Идентификатор корреляции в заголовке ответа совпадает с идентификатором в заголовке запроса.
• Поле throttle_time_ms ответа равно 0.
• Поле topics содержит 1 элемент, в котором:
  • Поле name совпадает с именем топика в запросе.
  • Поле partitions содержит 1 элемент, в котором:
    • Поле error_code равно 0 (NO_ERROR).
    • Поле index совпадает с разделом в запросе.
    • Поле base_offset равно 0 — базовому смещению пакета.
    • Поле log_append_time_ms равно -1, обозначая последнюю временную метку.
    • Поле log_start_offset равно 0.
• Отправленный в запросе RecordBatch записан в <log-dir>/<topic-name>-<partition-index>/00000000000000000000.log.

Примечания

• Файлы журнала на диске должны храниться в формате RecordBatch. Каждый RecordBatch из запроса нужно записать непосредственно в файл журнала соответствующего раздела топика.
• Официальная документация API Produce находится здесь. Прокрутите до раздела «(Version: 11)».