Serendipity
06c8773fac
Token(74): +TOK_HASH, lexer 识别 '#', parser 在 fn/struct/enum 前解析 #[ident] 语法就位, 后续可扩展存储属性到 AST 节点 Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
56 lines
1.7 KiB
C
56 lines
1.7 KiB
C
#ifndef TOKEN_H
|
|
#define TOKEN_H
|
|
|
|
#include "l_lang.h"
|
|
|
|
// === Token 类型枚举 ===
|
|
typedef enum {
|
|
// 关键字
|
|
TOK_FN, TOK_LET, TOK_VAR, TOK_IF, TOK_ELSE, TOK_WHILE, TOK_FOR, TOK_IN, TOK_RETURN, TOK_GUARD,
|
|
TOK_STRUCT, TOK_TYPE, TOK_ENUM, TOK_EXTEND, TOK_DEFER, TOK_MATCH, TOK_PUB, TOK_MOD, TOK_USE,
|
|
TOK_TRAIT, TOK_SELF,
|
|
// 类型关键字
|
|
TOK_I32, TOK_I64, TOK_U64, TOK_F64, TOK_BOOL, TOK_CHAR, TOK_STR, TOK_VOID,
|
|
// 字面量
|
|
TOK_INT_LIT, TOK_FLOAT_LIT, TOK_CHAR_LIT, TOK_TRUE, TOK_FALSE, TOK_STR_LIT,
|
|
// 标识符
|
|
TOK_IDENT, TOK_UNDERSCORE,
|
|
// 运算符
|
|
TOK_PLUS, TOK_MINUS, TOK_STAR, TOK_SLASH, TOK_PERCENT,
|
|
TOK_EQ_EQ, TOK_BANG_EQ, TOK_LT, TOK_GT, TOK_LT_EQ, TOK_GT_EQ,
|
|
TOK_AND_AND, TOK_PIPE_PIPE, TOK_PIPE, TOK_BANG,
|
|
TOK_ARROW, TOK_TO, TOK_MATCH_ARROW,
|
|
TOK_PLUS_EQ, TOK_MINUS_EQ, TOK_STAR_EQ, TOK_SLASH_EQ,
|
|
// 分隔符
|
|
TOK_LPAREN, TOK_RPAREN, TOK_LBRACE, TOK_RBRACE,
|
|
TOK_LBRACKET, TOK_RBRACKET,
|
|
TOK_COMMA, TOK_COLON, TOK_SEMICOLON, TOK_ASSIGN,
|
|
// 特殊
|
|
TOK_DOT, TOK_COLON_COLON, TOK_HASH,
|
|
TOK_EOF, TOK_ERROR,
|
|
} TokenKind;
|
|
|
|
// === Token 结构体 ===
|
|
struct Token {
|
|
TokenKind kind;
|
|
const char* start; // 指向源码中 token 起始位置
|
|
int length; // token 文本长度
|
|
int line;
|
|
int col;
|
|
};
|
|
|
|
// === 工具函数 ===
|
|
const char* tok_name(TokenKind kind);
|
|
bool tok_is_type(TokenKind kind);
|
|
|
|
// 从 Token 创建 SourceLoc
|
|
static inline SourceLoc tok_loc(const Token* tok) {
|
|
return (SourceLoc){ .line = tok->line, .col = tok->col };
|
|
}
|
|
|
|
// 从 Token 提取值
|
|
int64_t tok_int_value(const Token* tok);
|
|
double tok_float_value(const Token* tok);
|
|
|
|
#endif
|