lexer.h

   1 #ifndef GMQCC_LEXER_HDR
   2 #define GMQCC_LEXER_HDR
   3 #include "gmqcc.h"
   4
   5 typedef struct token_s token;
   6
   7 struct token_s {
   8     int ttype;
   9
  10     char *value;
  11
  12     union {
  13         vec3_t    v;
  14         int       i;
  15         qcfloat_t f;
  16         int       t; /* type */
  17     } constval;
  18
  19     lex_ctx_t ctx;
  20 };
  21
  22 /* Lexer
  23  *
  24  */
  25 enum {
  26     /* Other tokens which we can return: */
  27     TOKEN_NONE = 0,
  28     TOKEN_START = 128,
  29
  30     TOKEN_IDENT,
  31
  32     TOKEN_TYPENAME,
  33
  34     TOKEN_OPERATOR,
  35
  36     TOKEN_KEYWORD, /* loop */
  37
  38     TOKEN_DOTS, /* 3 dots, ... */
  39
  40     TOKEN_ATTRIBUTE_OPEN,  /* [[ */
  41     TOKEN_ATTRIBUTE_CLOSE, /* ]] */
  42
  43     TOKEN_VA_ARGS, /* for the ftepp only */
  44     TOKEN_VA_ARGS_ARRAY, /* for the ftepp only */
  45     TOKEN_VA_COUNT,     /* to get the count of vaargs */
  46
  47     TOKEN_STRINGCONST, /* not the typename but an actual "string" */
  48     TOKEN_CHARCONST,
  49     TOKEN_VECTORCONST,
  50     TOKEN_INTCONST,
  51     TOKEN_FLOATCONST,
  52
  53     TOKEN_WHITE,
  54     TOKEN_EOL,
  55
  56     /* if we add additional tokens before this, the exposed API
  57      * should not be broken anyway, but EOF/ERROR/... should
  58      * still be at the bottom
  59      */
  60     TOKEN_EOF = 1024,
  61
  62     /* We use '< TOKEN_ERROR', so TOKEN_FATAL must come after it and any
  63      * other error related tokens as well
  64      */
  65     TOKEN_ERROR,
  66     TOKEN_FATAL /* internal error, eg out of memory */
  67 };
  68
  69 typedef struct {
  70     char *name;
  71     int   value;
  72 } frame_macro;
  73
  74 typedef struct lex_file_s {
  75     FILE  *file;
  76     const char *open_string;
  77     size_t      open_string_length;
  78     size_t      open_string_pos;
  79
  80     char   *name;
  81     size_t  line;
  82     size_t  sline; /* line at the start of a token */
  83     size_t  column;
  84
  85     int     peek[256];
  86     size_t  peekpos;
  87
  88     bool    eof;
  89
  90     token   tok; /* not a pointer anymore */
  91
  92     struct {
  93         unsigned noops:1;
  94         unsigned nodigraphs:1; /* used when lexing string constants */
  95         unsigned preprocessing:1; /* whitespace and EOLs become actual tokens */
  96         unsigned mergelines:1; /* backslash at the end of a line escapes the newline */
  97     } flags; /* sizeof == 1 */
  98
  99     int framevalue;
 100     frame_macro *frames;
 101     char *modelname;
 102
 103     size_t push_line;
 104 } lex_file;
 105
 106 lex_file* lex_open (const char *file);
 107 lex_file* lex_open_string(const char *str, size_t len, const char *name);
 108 void      lex_close(lex_file   *lex);
 109 int       lex_do   (lex_file   *lex);
 110 void      lex_cleanup(void);
 111
 112 /* Parser
 113  *
 114  */
 115
 116 enum {
 117     ASSOC_LEFT,
 118     ASSOC_RIGHT
 119 };
 120
 121 #define OP_SUFFIX 1
 122 #define OP_PREFIX 2
 123
 124 typedef struct {
 125     const char   *op;
 126     unsigned int operands;
 127     unsigned int id;
 128     unsigned int assoc;
 129     signed int   prec;
 130     unsigned int flags;
 131     bool         folds;
 132 } oper_info;
 133
 134 /*
 135  * Explicit uint8_t casts since the left operand of shift operator cannot
 136  * be negative, even though it won't happen, this supresses the future
 137  * possibility.
 138  */
 139 #define opid1(a)     ((uint8_t)a)
 140 #define opid2(a,b)   (((uint8_t)a<<8) |(uint8_t)b)
 141 #define opid3(a,b,c) (((uint8_t)a<<16)|((uint8_t)b<<8)|(uint8_t)c)
 142
 143 static const oper_info c_operators[] = {
 144     { "(",       0, opid1('('),         ASSOC_LEFT,  99, OP_PREFIX, false}, /* paren expression - non function call */
 145     { "_length", 1, opid3('l','e','n'), ASSOC_RIGHT, 98, OP_PREFIX, true},
 146
 147     { "++",     1, opid3('S','+','+'), ASSOC_LEFT,  17, OP_SUFFIX, false},
 148     { "--",     1, opid3('S','-','-'), ASSOC_LEFT,  17, OP_SUFFIX, false},
 149     { ".",      2, opid1('.'),         ASSOC_LEFT,  17, 0,         false},
 150     { "(",      0, opid1('('),         ASSOC_LEFT,  17, 0,         false}, /* function call */
 151     { "[",      2, opid1('['),         ASSOC_LEFT,  17, 0,         false}, /* array subscript */
 152
 153     { "++",     1, opid3('+','+','P'), ASSOC_RIGHT, 16, OP_PREFIX, false},
 154     { "--",     1, opid3('-','-','P'), ASSOC_RIGHT, 16, OP_PREFIX, false},
 155
 156     { "**",     2, opid2('*','*'),     ASSOC_RIGHT, 14, 0,         true},
 157     { "!",      1, opid2('!','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 158     { "~",      1, opid2('~','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 159     { "+",      1, opid2('+','P'),     ASSOC_RIGHT, 14, OP_PREFIX, false},
 160     { "-",      1, opid2('-','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 161 /*  { "&",      1, opid2('&','P'),     ASSOC_RIGHT, 14, OP_PREFIX, false}, */
 162
 163     { "*",      2, opid1('*'),         ASSOC_LEFT,  13, 0,         true},
 164     { "/",      2, opid1('/'),         ASSOC_LEFT,  13, 0,         true},
 165     { "%",      2, opid1('%'),         ASSOC_LEFT,  13, 0,         true},
 166     { "><",     2, opid2('>','<'),     ASSOC_LEFT,  13, 0,         true},
 167
 168     { "+",      2, opid1('+'),         ASSOC_LEFT,  12, 0,         true},
 169     { "-",      2, opid1('-'),         ASSOC_LEFT,  12, 0,         true},
 170
 171     { "<<",     2, opid2('<','<'),     ASSOC_LEFT,  11, 0,         true},
 172     { ">>",     2, opid2('>','>'),     ASSOC_LEFT,  11, 0,         true},
 173
 174     { "<",      2, opid1('<'),         ASSOC_LEFT,  10, 0,         false},
 175     { ">",      2, opid1('>'),         ASSOC_LEFT,  10, 0,         false},
 176     { "<=>",    2, opid3('<','=','>'), ASSOC_LEFT,  10, 0,         true},
 177     { "<=",     2, opid2('<','='),     ASSOC_LEFT,  10, 0,         false},
 178     { ">=",     2, opid2('>','='),     ASSOC_LEFT,  10, 0,         false},
 179
 180     { "==",     2, opid2('=','='),     ASSOC_LEFT,  9,  0,         true},
 181     { "!=",     2, opid2('!','='),     ASSOC_LEFT,  9,  0,         true},
 182
 183     { "&",      2, opid1('&'),         ASSOC_LEFT,  8,  0,         true},
 184
 185     { "^",      2, opid1('^'),         ASSOC_LEFT,  7,  0,         true},
 186
 187     { "|",      2, opid1('|'),         ASSOC_LEFT,  6,  0,         true},
 188
 189     { "&&",     2, opid2('&','&'),     ASSOC_LEFT,  5,  0,         true},
 190
 191     { "||",     2, opid2('|','|'),     ASSOC_LEFT,  4,  0,         true},
 192
 193     { "?",      3, opid2('?',':'),     ASSOC_RIGHT, 3,  0,         true},
 194
 195     { "=",      2, opid1('='),         ASSOC_RIGHT, 2,  0,         false},
 196     { "+=",     2, opid2('+','='),     ASSOC_RIGHT, 2,  0,         false},
 197     { "-=",     2, opid2('-','='),     ASSOC_RIGHT, 2,  0,         false},
 198     { "*=",     2, opid2('*','='),     ASSOC_RIGHT, 2,  0,         false},
 199     { "/=",     2, opid2('/','='),     ASSOC_RIGHT, 2,  0,         false},
 200     { "%=",     2, opid2('%','='),     ASSOC_RIGHT, 2,  0,         false},
 201     { ">>=",    2, opid3('>','>','='), ASSOC_RIGHT, 2,  0,         false},
 202     { "<<=",    2, opid3('<','<','='), ASSOC_RIGHT, 2,  0,         false},
 203     { "&=",     2, opid2('&','='),     ASSOC_RIGHT, 2,  0,         false},
 204     { "^=",     2, opid2('^','='),     ASSOC_RIGHT, 2,  0,         false},
 205     { "|=",     2, opid2('|','='),     ASSOC_RIGHT, 2,  0,         false},
 206
 207     { ":",      0, opid2(':','?'),     ASSOC_RIGHT, 1,  0,         false},
 208
 209     { ",",      2, opid1(','),         ASSOC_LEFT,  0,  0,         false}
 210 };
 211
 212 static const oper_info fte_operators[] = {
 213     { "(",   0, opid1('('),         ASSOC_LEFT,  99, OP_PREFIX, false}, /* paren expression - non function call */
 214
 215     { "++",  1, opid3('S','+','+'), ASSOC_LEFT,  15, OP_SUFFIX, false},
 216     { "--",  1, opid3('S','-','-'), ASSOC_LEFT,  15, OP_SUFFIX, false},
 217     { ".",   2, opid1('.'),         ASSOC_LEFT,  15, 0,         false},
 218     { "(",   0, opid1('('),         ASSOC_LEFT,  15, 0,         false}, /* function call */
 219     { "[",   2, opid1('['),         ASSOC_LEFT,  15, 0,         false}, /* array subscript */
 220
 221     { "!",   1, opid2('!','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 222     { "+",   1, opid2('+','P'),     ASSOC_RIGHT, 14, OP_PREFIX, false},
 223     { "-",   1, opid2('-','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 224     { "++",  1, opid3('+','+','P'), ASSOC_RIGHT, 14, OP_PREFIX, false},
 225     { "--",  1, opid3('-','-','P'), ASSOC_RIGHT, 14, OP_PREFIX, false},
 226
 227     { "*",   2, opid1('*'),         ASSOC_LEFT,  13, 0,         true},
 228     { "/",   2, opid1('/'),         ASSOC_LEFT,  13, 0,         true},
 229     { "&",   2, opid1('&'),         ASSOC_LEFT,  13, 0,         true},
 230     { "|",   2, opid1('|'),         ASSOC_LEFT,  13, 0,         true},
 231
 232     { "+",   2, opid1('+'),         ASSOC_LEFT,  12, 0,         true},
 233     { "-",   2, opid1('-'),         ASSOC_LEFT,  12, 0,         true},
 234
 235     { "<<",  2, opid2('<','<'),     ASSOC_LEFT,  11, 0,         true},
 236     { ">>",  2, opid2('>','>'),     ASSOC_LEFT,  11, 0,         true},
 237
 238     { "<",   2, opid1('<'),         ASSOC_LEFT,  10, 0,         false},
 239     { ">",   2, opid1('>'),         ASSOC_LEFT,  10, 0,         false},
 240     { "<=",  2, opid2('<','='),     ASSOC_LEFT,  10, 0,         false},
 241     { ">=",  2, opid2('>','='),     ASSOC_LEFT,  10, 0,         false},
 242     { "==",  2, opid2('=','='),     ASSOC_LEFT,  10, 0,         true},
 243     { "!=",  2, opid2('!','='),     ASSOC_LEFT,  10, 0,         true},
 244
 245     { "?",   3, opid2('?',':'),     ASSOC_RIGHT, 9,  0,         true},
 246
 247     { "=",   2, opid1('='),         ASSOC_RIGHT, 8,  0,         false},
 248     { "+=",  2, opid2('+','='),     ASSOC_RIGHT, 8,  0,         false},
 249     { "-=",  2, opid2('-','='),     ASSOC_RIGHT, 8,  0,         false},
 250     { "*=",  2, opid2('*','='),     ASSOC_RIGHT, 8,  0,         false},
 251     { "/=",  2, opid2('/','='),     ASSOC_RIGHT, 8,  0,         false},
 252     { "%=",  2, opid2('%','='),     ASSOC_RIGHT, 8,  0,         false},
 253     { "&=",  2, opid2('&','='),     ASSOC_RIGHT, 8,  0,         false},
 254     { "|=",  2, opid2('|','='),     ASSOC_RIGHT, 8,  0,         false},
 255     { "&~=", 2, opid3('&','~','='), ASSOC_RIGHT, 8,  0,         false},
 256
 257     { "&&",  2, opid2('&','&'),     ASSOC_LEFT,  5,  0,         true},
 258     { "||",  2, opid2('|','|'),     ASSOC_LEFT,  5,  0,         true},
 259
 260     /* Leave precedence 3 for : with -fcorrect-ternary */
 261     { ",",   2, opid1(','),         ASSOC_LEFT,  2,  0,         false},
 262     { ":",   0, opid2(':','?'),     ASSOC_RIGHT, 1,  0,         false}
 263 };
 264
 265 static const oper_info qcc_operators[] = {
 266     { "(",   0, opid1('('),         ASSOC_LEFT,  99, OP_PREFIX, false}, /* paren expression - non function call */
 267
 268     { ".",   2, opid1('.'),         ASSOC_LEFT,  15, 0,         false},
 269     { "(",   0, opid1('('),         ASSOC_LEFT,  15, 0,         false}, /* function call */
 270     { "[",   2, opid1('['),         ASSOC_LEFT,  15, 0,         false}, /* array subscript */
 271
 272     { "!",   1, opid2('!','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 273     { "+",   1, opid2('+','P'),     ASSOC_RIGHT, 14, OP_PREFIX, false},
 274     { "-",   1, opid2('-','P'),     ASSOC_RIGHT, 14, OP_PREFIX, true},
 275
 276     { "*",   2, opid1('*'),         ASSOC_LEFT,  13, 0,         true},
 277     { "/",   2, opid1('/'),         ASSOC_LEFT,  13, 0,         true},
 278     { "&",   2, opid1('&'),         ASSOC_LEFT,  13, 0,         true},
 279     { "|",   2, opid1('|'),         ASSOC_LEFT,  13, 0,         true},
 280
 281     { "+",   2, opid1('+'),         ASSOC_LEFT,  12, 0,         true},
 282     { "-",   2, opid1('-'),         ASSOC_LEFT,  12, 0,         true},
 283
 284     { "<",   2, opid1('<'),         ASSOC_LEFT,  10, 0,         false},
 285     { ">",   2, opid1('>'),         ASSOC_LEFT,  10, 0,         false},
 286     { "<=",  2, opid2('<','='),     ASSOC_LEFT,  10, 0,         false},
 287     { ">=",  2, opid2('>','='),     ASSOC_LEFT,  10, 0,         false},
 288     { "==",  2, opid2('=','='),     ASSOC_LEFT,  10, 0,         true},
 289     { "!=",  2, opid2('!','='),     ASSOC_LEFT,  10, 0,         true},
 290
 291     { "=",   2, opid1('='),         ASSOC_RIGHT, 8,  0,         false},
 292     { "+=",  2, opid2('+','='),     ASSOC_RIGHT, 8,  0,         false},
 293     { "-=",  2, opid2('-','='),     ASSOC_RIGHT, 8,  0,         false},
 294     { "*=",  2, opid2('*','='),     ASSOC_RIGHT, 8,  0,         false},
 295     { "/=",  2, opid2('/','='),     ASSOC_RIGHT, 8,  0,         false},
 296     { "%=",  2, opid2('%','='),     ASSOC_RIGHT, 8,  0,         false},
 297     { "&=",  2, opid2('&','='),     ASSOC_RIGHT, 8,  0,         false},
 298     { "|=",  2, opid2('|','='),     ASSOC_RIGHT, 8,  0,         false},
 299
 300     { "&&",  2, opid2('&','&'),     ASSOC_LEFT,  5,  0,         true},
 301     { "||",  2, opid2('|','|'),     ASSOC_LEFT,  5,  0,         true},
 302
 303     { ",",   2, opid1(','),         ASSOC_LEFT,  2,  0,         false},
 304 };
 305 extern const oper_info *operators;
 306 extern size_t           operator_count;
 307
 308 #endif