Собственная Kafka

На этом этапе вы реализуете сохранение одной записи на диск.

Сохранение записей

Получив запрос Produce, брокер Kafka должен проверить существование топика и раздела с помощью файла журнала __cluster_metadata, сохранить запись в соответствующий файл журнала в дисковом формате Kafka и вернуть успешный ответ.

Запись должна быть сохранена в файл журнала топика <log-dir>/<topic-name>-<partition-index>/00000000000000000000.log в формате RecordBatch Kafka.

Тесты

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh /tmp/server.properties

Затем подключится к серверу на порту 9092 и отправит запрос Produce (v11) с одним recordBatch, содержащим одну запись.

Она проверит, что:

• Первые 4 байта ответа («длина сообщения») корректны.
• Идентификатор корреляции в заголовке ответа совпадает с идентификатором в заголовке запроса.
• Поле throttle_time_ms ответа равно 0.
• Поле topics содержит 1 элемент, в котором:
  • Поле name совпадает с именем топика в запросе.
  • Поле partitions содержит 1 элемент, в котором:
    • Поле error_code равно 0 (NO_ERROR).
    • Поле index совпадает с разделом в запросе.
    • Поле base_offset равно 0, обозначая первую запись в разделе.
    • Поле log_append_time_ms равно -1, обозначая последнюю временную метку.
    • Поле log_start_offset равно 0.
• Запись сохранена в соответствующем файле журнала на диске по пути <log-dir>/<topic-name>-<partition-index>/00000000000000000000.log.

Примечания

• Файлы журнала на диске должны храниться в формате RecordBatch. Каждый RecordBatch из запроса нужно записать непосредственно в файл журнала соответствующего раздела топика.
• Официальная документация API Produce находится здесь. Прокрутите до раздела «(Version: 11)».