Собственный интерпретатор

На этом этапе вы добавите поддержку распознавания оператора деления и комментариев. Комментарии начинаются с //, а оператор деления — /.

Ссылка на книгу

Код для этого этапа реализован в разделе 4.6: Длинные лексемы.

Проверки

Тестирующая система выполнит серию проверок с файлами test.lox, содержащими / и // вместе с ранее введёнными токенами.

Например, если test.lox содержит следующее:

()// Comment

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
LEFT_PAREN ( null
RIGHT_PAREN ) null
EOF  null

Аналогично, если test.lox содержит следующее:

/()

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
SLASH / null
LEFT_PAREN ( null
RIGHT_PAREN ) null
EOF  null

Тестирующая система проверит, что stdout вашей программы соответствует приведённому выше формату.

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• Для комментариев нет отдельного типа токена: лексическому анализатору достаточно игнорировать все символы после //.
• При выделении токенов допускаются непарные круглые или фигурные скобки. На следующих этапах, когда мы перейдём к синтаксическому анализу выражений, такие случаи будут отмечаться как ошибки.