Собственный интерпретатор

На этом этапе вы добавите поддержку обнаружения лексических ошибок на нескольких строках.

Ссылка на книгу

Код для этого этапа реализован в разделе 4.5.1: Лексические ошибки.

Проверки

Тестирующая система выполнит серию проверок с файлами test.lox, содержащими лексические ошибки на нескольких строках.

Например, если test.lox содержит следующее:

#<|SPACE|>(
)<|TAB|>@

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
[line 1] Error: Unexpected character: #
[line 2] Error: Unexpected character: @
LEFT_PAREN ( null
RIGHT_PAREN ) null
EOF  null

Ошибки следует выводить в поток stderr с префиксом [line N]. Если обнаружены лексические ошибки, ваша программа должна завершиться с кодом 65.

Тестирующая система проверит, что:

• Поток stderr содержит по одной строке для каждой лексической ошибки (при их наличии).
  • Каждая строка должна соответствовать формату [line N] Error: Unexpected character: <character>.
• Поток stdout содержит по одной строке для каждого корректного токена (даже при наличии других лексических ошибок).
• Ваша программа завершается с кодом 65, если есть лексические ошибки, и с кодом 0 в противном случае.

Нумерация строк должна начинаться с 1.

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• Поскольку stdout и stderr — отдельные потоки, взаимный порядок ошибок и корректных токенов не важен. Вы можете выводить ошибки сначала, в конце или вперемешку с корректными токенами.
• Ошибками считаются только строки, начинающиеся с [line N], поэтому остальные строки в stderr можно использовать для отладки.
• При выделении токенов допускаются непарные круглые или фигурные скобки. На следующих этапах, когда мы перейдём к синтаксическому анализу выражений, такие случаи будут отмечаться как ошибки.