Собственный интерпретатор

На этом этапе вы добавите поддержку распознавания остальных односимвольных токенов: ,, ., -, +, ; и *. / здесь не рассматривается — к нему мы перейдём на следующих этапах.

Ссылка на книгу

Код для этого этапа реализован в разделе 4.5: Распознавание лексем.

Проверки

Тестирующая система выполнит серию проверок с файлами test.lox, содержащими круглые и фигурные скобки вместе со всеми новыми односимвольными токенами.

Например, если test.lox содержит следующее:

({*.,+*})

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
LEFT_PAREN ( null
LEFT_BRACE { null
STAR * null
DOT . null
COMMA , null
PLUS + null
STAR * null
RIGHT_BRACE } null
RIGHT_PAREN ) null
EOF  null

Тестирующая система проверит, что stdout вашей программы соответствует приведённому выше формату.

Список всех односимвольных токенов и их типов:

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• При выделении токенов допускаются непарные круглые или фигурные скобки. На следующих этапах, когда мы перейдём к синтаксическому анализу выражений, такие случаи будут отмечаться как ошибки.