parser.c

   1 #include <stdio.h>
   2 #include <stdarg.h>
   3
   4 #include "gmqcc.h"
   5 #include "lexer.h"
   6
   7 typedef struct {
   8     lex_file *lex;
   9     int      tok;
  10
  11     MEM_VECTOR_MAKE(ast_value*, globals);
  12     MEM_VECTOR_MAKE(ast_function*, functions);
  13     MEM_VECTOR_MAKE(ast_value*, imm_float);
  14
  15     ast_function *function;
  16     MEM_VECTOR_MAKE(ast_value*, locals);
  17     size_t blocklocal;
  18 } parser_t;
  19
  20 MEM_VEC_FUNCTIONS(parser_t, ast_value*, globals)
  21 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
  22 MEM_VEC_FUNCTIONS(parser_t, ast_value*, locals)
  23 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
  24
  25 void parseerror(parser_t *parser, const char *fmt, ...)
  26 {
  27         va_list ap;
  28
  29     if (parser)
  30             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
  31         else
  32             printf("error: ");
  33
  34         va_start(ap, fmt);
  35         vprintf(fmt, ap);
  36         va_end(ap);
  37
  38         printf("\n");
  39 }
  40
  41 bool parser_next(parser_t *parser)
  42 {
  43     /* lex_do kills the previous token */
  44     parser->tok = lex_do(parser->lex);
  45     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
  46         return false;
  47     return true;
  48 }
  49
  50 /* lift a token out of the parser so it's not destroyed by parser_next */
  51 token *parser_lift(parser_t *parser)
  52 {
  53     token *tok = parser->lex->tok;
  54     parser->lex->tok = NULL;
  55     return tok;
  56 }
  57
  58 #define parser_tokval(p) (p->lex->tok->value)
  59 #define parser_token(p)  (p->lex->tok)
  60 #define parser_ctx(p)    (p->lex->tok->ctx)
  61
  62 ast_value* parser_const_float(parser_t *parser, double d)
  63 {
  64     size_t i;
  65     ast_value *out;
  66     for (i = 0; i < parser->imm_float_count; ++i) {
  67         if (parser->imm_float[i]->constval.vfloat == d)
  68             return parser->imm_float[i];
  69     }
  70     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
  71     out->isconst = true;
  72     out->constval.vfloat = d;
  73     if (!parser_t_imm_float_add(parser, out)) {
  74         ast_value_delete(out);
  75         return NULL;
  76     }
  77     return out;
  78 }
  79
  80 ast_value* parser_find_global(parser_t *parser, const char *name)
  81 {
  82     size_t i;
  83     for (i = 0; i < parser->globals_count; ++i) {
  84         if (!strcmp(parser->globals[i]->name, name))
  85             return parser->globals[i];
  86     }
  87     return NULL;
  88 }
  89
  90 ast_value* parser_find_local(parser_t *parser, const char *name, size_t upto)
  91 {
  92     size_t i;
  93     for (i = parser->locals_count; i > upto;) {
  94         --i;
  95         if (!strcmp(parser->locals[i]->name, name))
  96             return parser->locals[i];
  97     }
  98     return NULL;
  99 }
 100
 101 ast_value* parser_find_var(parser_t *parser, const char *name)
 102 {
 103     ast_value *v;
 104     v         = parser_find_local(parser, name, 0);
 105     if (!v) v = parser_find_global(parser, name);
 106     return v;
 107 }
 108
 109 typedef struct {
 110     MEM_VECTOR_MAKE(ast_value*, p);
 111 } paramlist_t;
 112 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
 113
 114 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
 115 {
 116     paramlist_t params;
 117     ast_value *var;
 118     lex_ctx   ctx = parser_ctx(parser);
 119     int vtype = basetype;
 120     int temptype;
 121
 122     MEM_VECTOR_INIT(&params, p);
 123
 124     *isfunc = false;
 125
 126     if (parser->tok == '(') {
 127         *isfunc = true;
 128         while (true) {
 129             ast_value *param;
 130             bool dummy;
 131
 132             if (!parser_next(parser)) {
 133                 MEM_VECTOR_CLEAR(&params, p);
 134                 return NULL;
 135             }
 136
 137             if (parser->tok == ')')
 138                 break;
 139
 140             temptype = parser_token(parser)->constval.t;
 141             if (!parser_next(parser)) {
 142                 MEM_VECTOR_CLEAR(&params, p);
 143                 return NULL;
 144             }
 145             param = parser_parse_type(parser, temptype, &dummy);
 146             (void)dummy;
 147
 148             if (!param) {
 149                 MEM_VECTOR_CLEAR(&params, p);
 150                 return NULL;
 151             }
 152
 153             if (!paramlist_t_p_add(&params, param)) {
 154                 MEM_VECTOR_CLEAR(&params, p);
 155                 parseerror(parser, "Out of memory while parsing typename");
 156                 return NULL;
 157             }
 158
 159             if (parser->tok == ',')
 160                 continue;
 161             if (parser->tok == ')')
 162                 break;
 163             MEM_VECTOR_CLEAR(&params, p);
 164             parseerror(parser, "Unexpected token");
 165             return NULL;
 166         }
 167         if (!parser_next(parser)) {
 168             MEM_VECTOR_CLEAR(&params, p);
 169             return NULL;
 170         }
 171     }
 172
 173     var = ast_value_new(ctx, "<unnamed>", vtype);
 174     if (!var) {
 175         MEM_VECTOR_CLEAR(&params, p);
 176         return NULL;
 177     }
 178     MEM_VECTOR_MOVE(&params, p, var, params);
 179     return var;
 180 }
 181
 182 typedef struct
 183 {
 184     size_t etype; /* 0 = expression, others are operators */
 185     ast_expression* out;
 186 } sy_elem;
 187 typedef struct
 188 {
 189     MEM_VECTOR_MAKE(sy_elem, out);
 190     MEM_VECTOR_MAKE(sy_elem, ops);
 191 } shynt;
 192 MEM_VEC_FUNCTIONS(shynt, sy_elem, out)
 193 MEM_VEC_FUNCTIONS(shynt, sy_elem, ops)
 194
 195 static sy_elem syexp(ast_expression *v) {
 196     sy_elem e;
 197     e.etype = 0;
 198     e.out = v;
 199     return e;
 200 }
 201 static sy_elem syval(ast_value *v) { return syexp((ast_expression*)v); }
 202
 203 static sy_elem syop(const oper_info *op) {
 204     sy_elem e;
 205     e.etype = 1 + (op - operators);
 206     e.out = NULL;
 207     return e;
 208 }
 209
 210 static bool parser_sy_pop(parser_t *parser, shynt *sy)
 211 {
 212     return true;
 213 }
 214
 215 static ast_expression* parser_expression(parser_t *parser)
 216 {
 217     ast_expression *expr = NULL;
 218     shynt sy;
 219     bool wantop = false;
 220
 221     MEM_VECTOR_INIT(&sy, out);
 222     MEM_VECTOR_INIT(&sy, ops);
 223
 224     while (true)
 225     {
 226         if (!wantop)
 227         {
 228             if (parser->tok == TOKEN_IDENT)
 229             {
 230                 /* variable */
 231                 ast_value *var = parser_find_var(parser, parser_tokval(parser));
 232                 if (!var) {
 233                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
 234                     goto onerr;
 235                 }
 236                 if (!shynt_out_add(&sy, syval(var))) {
 237                     parseerror(parser, "out of memory");
 238                     goto onerr;
 239                 }
 240             } else if (parser->tok == TOKEN_FLOATCONST) {
 241                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
 242                 if (!val)
 243                     return false;
 244                 if (!shynt_out_add(&sy, syval(val))) {
 245                     parseerror(parser, "out of memory");
 246                     goto onerr;
 247                 }
 248             } else if (parser->tok == TOKEN_INTCONST) {
 249                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
 250                 if (!val)
 251                     return false;
 252                 if (!shynt_out_add(&sy, syval(val))) {
 253                     parseerror(parser, "out of memory");
 254                     goto onerr;
 255                 }
 256             } else {
 257                 /* TODO: prefix operators */
 258                 parseerror(parser, "expected statement");
 259                 goto onerr;
 260             }
 261             wantop = true;
 262             parser->lex->flags.noops = false;
 263             if (!parser_next(parser)) {
 264                 goto onerr;
 265             }
 266         } else {
 267             if (parser->tok != TOKEN_OPERATOR) {
 268                 parseerror(parser, "expected operator or end of statement");
 269                 goto onerr;
 270             } else {
 271                 /* classify the operator */
 272                 /* TODO: suffix operators */
 273                 const oper_info *op;
 274                 const oper_info *olast = NULL;
 275                 size_t o;
 276                 for (o = 0; o < operator_count; ++o) {
 277                     if (!(operators[o].flags & OP_PREFIX) &&
 278                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
 279                         !strcmp(parser_tokval(parser), operators[o].op))
 280                     {
 281                         break;
 282                     }
 283                 }
 284                 if (o == operator_count) {
 285                     /* no operator found... must be the end of the statement */
 286                     break;
 287                 }
 288                 /* found an operator */
 289                 op = &operators[o];
 290
 291                 if (sy.ops_count)
 292                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 293
 294                 while (olast && (
 295                         (op->prec < olast->prec) ||
 296                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
 297                 {
 298                     if (!parser_sy_pop(parser, &sy))
 299                         goto onerr;
 300                     olast = sy.ops_count ? (&operators[sy.ops[sy.ops_count-1].etype-1]) : NULL;
 301                 }
 302
 303                 if (!shynt_ops_add(&sy, syop(op)))
 304                     goto onerr;
 305             }
 306             wantop = false;
 307             parser->lex->flags.noops = true;
 308             if (!parser_next(parser)) {
 309                 goto onerr;
 310             }
 311         }
 312     }
 313
 314     while (sy.ops_count) {
 315         if (!parser_sy_pop(parser, &sy))
 316             goto onerr;
 317     }
 318
 319     parser->lex->flags.noops = true;
 320     if (!sy.out_count) {
 321         parseerror(parser, "empty expression");
 322         expr = NULL;
 323     } else
 324         expr = sy.out[0].out;
 325     MEM_VECTOR_CLEAR(&sy, out);
 326     MEM_VECTOR_CLEAR(&sy, ops);
 327     return expr;
 328
 329 onerr:
 330     parser->lex->flags.noops = true;
 331     MEM_VECTOR_CLEAR(&sy, out);
 332     MEM_VECTOR_CLEAR(&sy, ops);
 333     return NULL;
 334 }
 335
 336 static bool parser_variable(parser_t *parser, bool global);
 337 static bool parser_body_do(parser_t *parser, ast_block *block)
 338 {
 339     if (parser->tok == TOKEN_TYPENAME)
 340     {
 341         /* local variable */
 342         if (!parser_variable(parser, false))
 343             return false;
 344         return true;
 345     }
 346     else if (parser->tok == '{')
 347     {
 348         /* a block */
 349         parseerror(parser, "TODO: inner blocks");
 350         return false;
 351     }
 352     else
 353     {
 354         ast_expression *exp = parser_expression(parser);
 355         if (!exp)
 356             return false;
 357         if (!ast_block_exprs_add(block, exp))
 358             return false;
 359         return true;
 360     }
 361 }
 362
 363 static ast_block* parser_parse_block(parser_t *parser)
 364 {
 365     size_t oldblocklocal;
 366     ast_block *block = NULL;
 367
 368     oldblocklocal = parser->blocklocal;
 369     parser->blocklocal = parser->locals_count;
 370
 371     if (!parser_next(parser)) { /* skip the '{' */
 372         parseerror(parser, "expected function body");
 373         goto cleanup;
 374     }
 375
 376     block = ast_block_new(parser_ctx(parser));
 377
 378     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 379     {
 380         if (parser->tok == '}')
 381             break;
 382
 383         if (!parser_body_do(parser, block)) {
 384             ast_block_delete(block);
 385             block = NULL;
 386             goto cleanup;
 387         }
 388     }
 389
 390     if (parser->tok != '}') {
 391         ast_block_delete(block);
 392         block = NULL;
 393     } else {
 394         (void)parser_next(parser);
 395     }
 396
 397 cleanup:
 398     parser->blocklocal = oldblocklocal;
 399     return block;
 400 }
 401
 402 static bool parser_variable(parser_t *parser, bool global)
 403 {
 404     bool          isfunc = false;
 405     ast_function *func = NULL;
 406     lex_ctx       ctx;
 407     ast_value    *var;
 408
 409     int basetype = parser_token(parser)->constval.t;
 410
 411     while (true)
 412     {
 413         if (!parser_next(parser)) { /* skip basetype or comma */
 414             parseerror(parser, "expected variable declaration");
 415             return false;
 416         }
 417
 418         isfunc = false;
 419         func = NULL;
 420         ctx = parser_ctx(parser);
 421         var = parser_parse_type(parser, basetype, &isfunc);
 422
 423         if (!var)
 424             return false;
 425
 426         if (parser->tok != TOKEN_IDENT) {
 427             parseerror(parser, "expected variable name\n");
 428             return false;
 429         }
 430
 431         if (global && parser_find_global(parser, parser_tokval(parser))) {
 432             ast_value_delete(var);
 433             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
 434             return false;
 435         }
 436
 437         if (!global && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
 438             ast_value_delete(var);
 439             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
 440             return false;
 441         }
 442
 443         if (!ast_value_set_name(var, parser_tokval(parser))) {
 444             parseerror(parser, "failed to set variable name\n");
 445             ast_value_delete(var);
 446             return false;
 447         }
 448
 449         if (isfunc) {
 450             /* a function was defined */
 451             ast_value *fval;
 452
 453             /* turn var into a value of TYPE_FUNCTION, with the old var
 454              * as return type
 455              */
 456             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
 457             func = ast_function_new(ctx, var->name, fval);
 458             if (!fval || !func) {
 459                 ast_value_delete(var);
 460                 if (fval) ast_value_delete(fval);
 461                 if (func) ast_function_delete(func);
 462                 return false;
 463             }
 464
 465             fval->expression.next = (ast_expression*)var;
 466             MEM_VECTOR_MOVE(var, params, fval, params);
 467
 468             if (!parser_t_functions_add(parser, func)) {
 469                 ast_value_delete(var);
 470                 if (fval) ast_value_delete(fval);
 471                 if (func) ast_function_delete(func);
 472                 return false;
 473             }
 474
 475             var = fval;
 476         }
 477
 478         if ( ( global && !parser_t_globals_add(parser, var)) ||
 479              (!global && !parser_t_locals_add(parser, var)) )
 480         {
 481             ast_value_delete(var);
 482             return false;
 483         }
 484
 485         if (!parser_next(parser)) {
 486             ast_value_delete(var);
 487             return false;
 488         }
 489
 490         if (parser->tok == ';') {
 491             if (!parser_next(parser))
 492                 return parser->tok == TOKEN_EOF;
 493             return true;
 494         }
 495
 496         if (parser->tok == ',') {
 497             /* another var */
 498             continue;
 499         }
 500
 501         if (parser->tok != '=') {
 502             parseerror(parser, "expected '=' or ';'");
 503             return false;
 504         }
 505
 506         if (!parser_next(parser))
 507             return false;
 508
 509         if (parser->tok == '#') {
 510             if (!global) {
 511                 parseerror(parser, "cannot declare builtins within functions");
 512                 return false;
 513             }
 514             if (!isfunc || !func) {
 515                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
 516                 return false;
 517             }
 518             if (!parser_next(parser)) {
 519                 parseerror(parser, "expected builtin number");
 520                 return false;
 521             }
 522             if (parser->tok != TOKEN_INTCONST) {
 523                 parseerror(parser, "builtin number must be an integer constant");
 524                 return false;
 525             }
 526             if (parser_token(parser)->constval.i <= 0) {
 527                 parseerror(parser, "builtin number must be positive integer greater than zero");
 528                 return false;
 529             }
 530
 531             func->builtin = -parser_token(parser)->constval.i;
 532         } else if (parser->tok == '{') {
 533             /* function body */
 534             ast_block *block;
 535             ast_function *old = parser->function;
 536
 537             if (!global) {
 538                 parseerror(parser, "cannot declare functions within functions");
 539                 return false;
 540             }
 541
 542             parser->function = func;
 543             block = parser_parse_block(parser);
 544             parser->function = old;
 545
 546             if (!block)
 547                 return false;
 548
 549             if (!ast_function_blocks_add(func, block)) {
 550                 ast_block_delete(block);
 551                 return false;
 552             }
 553             return true;
 554         } else {
 555             parseerror(parser, "TODO, const assignment");
 556         }
 557
 558         if (!parser_next(parser))
 559             return false;
 560
 561         if (parser->tok == ',') {
 562             /* another */
 563             continue;
 564         }
 565
 566         if (parser->tok != ';') {
 567             parseerror(parser, "expected semicolon");
 568             return false;
 569         }
 570
 571         (void)parser_next(parser);
 572
 573         return true;
 574     }
 575 }
 576
 577 static bool parser_do(parser_t *parser)
 578 {
 579     if (parser->tok == TOKEN_TYPENAME)
 580     {
 581         return parser_variable(parser, true);
 582     }
 583     else if (parser->tok == TOKEN_KEYWORD)
 584     {
 585         /* handle 'var' and 'const' */
 586         return false;
 587     }
 588     else if (parser->tok == '.')
 589     {
 590         /* entity-member declaration */
 591         return false;
 592     }
 593     else
 594     {
 595         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
 596         return false;
 597     }
 598     return true;
 599 }
 600
 601 bool parser_compile(const char *filename)
 602 {
 603     size_t i;
 604     parser_t *parser;
 605     ir_builder *ir;
 606
 607     parser = (parser_t*)mem_a(sizeof(parser_t));
 608     if (!parser)
 609         return false;
 610
 611     memset(parser, 0, sizeof(parser));
 612
 613     MEM_VECTOR_INIT(parser, globals);
 614     MEM_VECTOR_INIT(parser, locals);
 615     parser->lex = lex_open(filename);
 616
 617     if (!parser->lex) {
 618         printf("failed to open file \"%s\"\n", filename);
 619         return false;
 620     }
 621
 622     /* initial lexer/parser state */
 623     parser->lex->flags.noops = true;
 624
 625     if (parser_next(parser))
 626     {
 627         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 628         {
 629             if (!parser_do(parser)) {
 630                 if (parser->tok == TOKEN_EOF)
 631                     parseerror(parser, "unexpected eof");
 632                 else
 633                     parseerror(parser, "parse error\n");
 634                 lex_close(parser->lex);
 635                 mem_d(parser);
 636                 return false;
 637             }
 638         }
 639     }
 640
 641     lex_close(parser->lex);
 642
 643     ir = ir_builder_new("gmqcc_out");
 644     if (!ir) {
 645         printf("failed to allocate builder\n");
 646         goto cleanup;
 647     }
 648
 649     for (i = 0; i < parser->imm_float_count; ++i) {
 650         if (!ast_global_codegen(parser->imm_float[i], ir)) {
 651             printf("failed to generate global %s\n", parser->imm_float[i]->name);
 652         }
 653     }
 654     for (i = 0; i < parser->globals_count; ++i) {
 655         if (!ast_global_codegen(parser->globals[i], ir)) {
 656             printf("failed to generate global %s\n", parser->globals[i]->name);
 657         }
 658     }
 659     for (i = 0; i < parser->functions_count; ++i) {
 660         if (!ast_function_codegen(parser->functions[i], ir)) {
 661             printf("failed to generate function %s\n", parser->functions[i]->name);
 662         }
 663         if (!ir_function_finalize(parser->functions[i]->ir_func)) {
 664             printf("failed to finalize function %s\n", parser->functions[i]->name);
 665         }
 666     }
 667
 668     ir_builder_dump(ir, printf);
 669
 670 cleanup:
 671     for (i = 0; i < parser->globals_count; ++i) {
 672         ast_value_delete(parser->globals[i]);
 673     }
 674     MEM_VECTOR_CLEAR(parser, globals);
 675
 676     mem_d(parser);
 677     return true;
 678 }