Собственный интерпретатор

Первая задача интерпретатора — превратить исходный текст программы в токены (минимальные значимые единицы кода). На этом этапе вы обработаете простейшие входные данные: пустой файл .lox.

Команда tokenize

Команда tokenize разбивает программу Lox на токены и выводит их в stdout. Мы будем использовать её для проверки всех этапов главы Лексический анализ.

Если есть файл с именем test.lox и следующим содержимым:

var language = "lox";

Команда tokenize вернёт следующее:

$ ./your_program.sh tokenize test.lox
VAR var null
IDENTIFIER language null
EQUAL = null
STRING "lox" lox
SEMICOLON ; null
EOF  null

Этот формат вывода соответствует спецификации в репозитории книги.

Каждая строка соответствует токену в файле (изображение из раздела 4.2: Лексемы и токены):

Формат каждой строки:

<token_type> <lexeme> <literal>

• <token_type>: тип токена.
  • Примеры: VAR, IDENTIFIER, STRING, EOF и т. д.
• <lexeme>: фактическая последовательность символов, образовавшая токен.
  • Примеры: var, breakfast, "bagels" и т. д.
  • Для токена EOF лексема — пустая строка.
• <literal>: значение литерала токена.
  • Для большинства токенов это null.
  • Для токенов STRING/NUMBER здесь хранится значение строки/числа.

Токен EOF — специальный токен, обозначающий конец файла. Все вызовы tokenize будут включать токен EOF в конце.

Проверки

Тестирующая система создаст пустой файл test.lox. Затем она запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
EOF  null

Поскольку файл пуст, в выводе ожидается только один токен: EOF. Тестирующая система проверит, что в stdout напечатано EOF<space><space>null.

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• Между EOF и null находятся два пробела. Это связано с тем, что часть <lexeme> для токена EOF — пустая строка.
• На этом этапе лексическому анализатору достаточно обрабатывать только пустые файлы. На следующих этапах вы постепенно расширите его возможности.