Собственный интерпретатор

На этом этапе вы добавите поддержку распознавания строковых литералов.

Ссылка на книгу

Код для этого этапа реализован в разделе 4.6.1: Строковые литералы.

Проверки

Тестирующая система выполнит серию проверок с файлами test.lox, содержащими строковые литералы в двойных кавычках вместе с ранее введёнными токенами.

Например, если test.lox содержит следующее:

"foo baz"

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
STRING "foo baz" foo baz
EOF  null

Тестирующая система проверит, что stdout вашей программы соответствует приведённому выше формату.

Как указано в книге, формат вывода токенов — <TOKEN_TYPE> <LEXEME> <LITERAL>. До этого поле <LITERAL> всегда имело значение null. Для строк поле <LITERAL> будет содержать содержимое строки.

Если строка не закрыта, должна возникнуть лексическая ошибка.

Например, если test.lox содержит следующее:

"bar

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
[line 1] Error: Unterminated string.
EOF  null

Тестирующая система проверит, что возникла лексическая ошибка, сообщение об ошибке соответствует ожидаемому формату, а программа завершается с кодом 65.

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• Поле <LEXEME> будет содержать содержимое строки вместе с кавычками, поскольку оно представляет фактические символы, образовавшие токен. Поле <LITERAL> будет содержать содержимое строки без кавычек, поскольку оно представляет значение строки.
• Lox не поддерживает управляющие последовательности внутри строк, поэтому включить " внутрь строки нельзя.
• При выделении токенов допускаются непарные круглые или фигурные скобки. На следующих этапах, когда мы перейдём к синтаксическому анализу выражений, такие случаи будут отмечаться как ошибки.