Собственная Kafka

На этом этапе вы реализуете запись в несколько разделов нескольких топиков.

Запись в несколько разделов нескольких топиков

Получив запрос Produce для нескольких разделов нескольких топиков, брокер Kafka должен проверить существование всех топиков и разделов, независимо записать данные в файл журнала каждого раздела и вернуть ответ с результатами для всех топиков и разделов.

Мы создали интерактивный обозреватель структуры запросов и ответов Produce:

• 🔎 Запрос Produce (v11)
• 🔎 Ответ Produce (v11)

Тесты

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh /tmp/server.properties

Затем подключится к серверу на порту 9092 и отправит запрос Produce (v11) для нескольких разделов нескольких топиков. В запросе будет несколько RecordBatch — по одному для каждого раздела каждого топика. Каждый RecordBatch содержит одну запись.

Она проверит, что:

• Первые 4 байта ответа («длина сообщения») корректны.
• Идентификатор корреляции в заголовке ответа совпадает с идентификатором в заголовке запроса.
• Поле throttle_time_ms ответа равно 0.
• Поле topics содержит несколько элементов — по одному для каждого топика из запроса. В каждом элементе:
  • Поле name совпадает с именем топика в запросе.
  • Поле partitions содержит несколько элементов — по одному для каждого раздела этого топика из запроса. В каждом элементе:
    • Поле error_code равно 0 (NO_ERROR).
    • Поле index совпадает с индексом раздела в запросе.
    • Поле base_offset равно 0, обозначая первую запись в каждом разделе.
    • Поле log_append_time_ms равно -1, обозначая последнюю временную метку.
    • Поле log_start_offset равно 0.
• Каждый RecordBatch сохранён в соответствующем файле журнала на диске по пути <log-dir>/<topic-name>-<partition-index>/00000000000000000000.log.

Примечания

• Файлы журнала на диске должны храниться в формате RecordBatch. Каждый RecordBatch из запроса нужно записать непосредственно в файл журнала соответствующего раздела топика.
• Официальная документация API Produce находится здесь. Прокрутите до раздела «(Version: 11)».