parser.c

   1 #include <stdio.h>
   2 #include <stdarg.h>
   3
   4 #include "gmqcc.h"
   5 #include "lexer.h"
   6
   7 typedef struct {
   8     lex_file *lex;
   9     int      tok;
  10
  11     MEM_VECTOR_MAKE(ast_value*, globals);
  12     MEM_VECTOR_MAKE(ast_function*, functions);
  13     MEM_VECTOR_MAKE(ast_value*, imm_float);
  14
  15     ast_function *function;
  16     MEM_VECTOR_MAKE(ast_value*, locals);
  17     size_t blocklocal;
  18 } parser_t;
  19
  20 MEM_VEC_FUNCTIONS(parser_t, ast_value*, globals)
  21 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
  22 MEM_VEC_FUNCTIONS(parser_t, ast_value*, locals)
  23 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
  24
  25 void parseerror(parser_t *parser, const char *fmt, ...)
  26 {
  27         va_list ap;
  28
  29     if (parser)
  30             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
  31         else
  32             printf("error: ");
  33
  34         va_start(ap, fmt);
  35         vprintf(fmt, ap);
  36         va_end(ap);
  37
  38         printf("\n");
  39 }
  40
  41 bool parser_next(parser_t *parser)
  42 {
  43     /* lex_do kills the previous token */
  44     parser->tok = lex_do(parser->lex);
  45     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
  46         return false;
  47     return true;
  48 }
  49
  50 /* lift a token out of the parser so it's not destroyed by parser_next */
  51 token *parser_lift(parser_t *parser)
  52 {
  53     token *tok = parser->lex->tok;
  54     parser->lex->tok = NULL;
  55     return tok;
  56 }
  57
  58 #define parser_tokval(p) (p->lex->tok->value)
  59 #define parser_token(p)  (p->lex->tok)
  60 #define parser_ctx(p)    (p->lex->tok->ctx)
  61
  62 ast_value* parser_const_float(parser_t *parser, double d)
  63 {
  64     size_t i;
  65     ast_value *out;
  66     for (i = 0; i < parser->imm_float_count; ++i) {
  67         if (parser->imm_float[i]->constval.vfloat == d)
  68             return parser->imm_float[i];
  69     }
  70     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
  71     out->isconst = true;
  72     out->constval.vfloat = d;
  73     if (!parser_t_imm_float_add(parser, out)) {
  74         ast_value_delete(out);
  75         return NULL;
  76     }
  77     return out;
  78 }
  79
  80 ast_value* parser_find_global(parser_t *parser, const char *name)
  81 {
  82     size_t i;
  83     for (i = 0; i < parser->globals_count; ++i) {
  84         if (!strcmp(parser->globals[i]->name, name))
  85             return parser->globals[i];
  86     }
  87     return NULL;
  88 }
  89
  90 ast_value* parser_find_local(parser_t *parser, const char *name, size_t upto)
  91 {
  92     size_t i;
  93     for (i = parser->locals_count; i > upto;) {
  94         --i;
  95         if (!strcmp(parser->locals[i]->name, name))
  96             return parser->locals[i];
  97     }
  98     return NULL;
  99 }
 100
 101 ast_value* parser_find_var(parser_t *parser, const char *name)
 102 {
 103     ast_value *v;
 104     v         = parser_find_local(parser, name, 0);
 105     if (!v) v = parser_find_global(parser, name);
 106     return v;
 107 }
 108
 109 typedef struct {
 110     MEM_VECTOR_MAKE(ast_value*, p);
 111 } paramlist_t;
 112 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
 113
 114 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
 115 {
 116     paramlist_t params;
 117     ast_value *var;
 118     lex_ctx   ctx = parser_ctx(parser);
 119     int vtype = basetype;
 120     int temptype;
 121
 122     MEM_VECTOR_INIT(&params, p);
 123
 124     *isfunc = false;
 125
 126     if (parser->tok == '(') {
 127         *isfunc = true;
 128         while (true) {
 129             ast_value *param;
 130             bool dummy;
 131
 132             if (!parser_next(parser)) {
 133                 MEM_VECTOR_CLEAR(&params, p);
 134                 return NULL;
 135             }
 136
 137             if (parser->tok == ')')
 138                 break;
 139
 140             temptype = parser_token(parser)->constval.t;
 141             if (!parser_next(parser)) {
 142                 MEM_VECTOR_CLEAR(&params, p);
 143                 return NULL;
 144             }
 145             param = parser_parse_type(parser, temptype, &dummy);
 146             (void)dummy;
 147
 148             if (!param) {
 149                 MEM_VECTOR_CLEAR(&params, p);
 150                 return NULL;
 151             }
 152
 153             if (!paramlist_t_p_add(&params, param)) {
 154                 MEM_VECTOR_CLEAR(&params, p);
 155                 parseerror(parser, "Out of memory while parsing typename");
 156                 return NULL;
 157             }
 158
 159             if (parser->tok == ',')
 160                 continue;
 161             if (parser->tok == ')')
 162                 break;
 163             MEM_VECTOR_CLEAR(&params, p);
 164             parseerror(parser, "Unexpected token");
 165             return NULL;
 166         }
 167         if (!parser_next(parser)) {
 168             MEM_VECTOR_CLEAR(&params, p);
 169             return NULL;
 170         }
 171     }
 172
 173     var = ast_value_new(ctx, "<unnamed>", vtype);
 174     if (!var) {
 175         MEM_VECTOR_CLEAR(&params, p);
 176         return NULL;
 177     }
 178     MEM_VECTOR_MOVE(&params, p, var, params);
 179     return var;
 180 }
 181
 182 typedef struct
 183 {
 184     size_t etype; /* 0 = expression, others are operators */
 185     ast_expression* out;
 186 } sy_elem;
 187 typedef struct
 188 {
 189     MEM_VECTOR_MAKE(sy_elem, out);
 190     MEM_VECTOR_MAKE(sy_elem, ops);
 191 } shynt;
 192 MEM_VEC_FUNCTIONS(shynt, sy_elem, out)
 193 MEM_VEC_FUNCTIONS(shynt, sy_elem, ops)
 194
 195 static sy_elem syexp(ast_expression *v) {
 196     sy_elem e;
 197     e.etype = 0;
 198     e.out = v;
 199     return e;
 200 }
 201 static sy_elem syval(ast_value *v) { return syexp((ast_expression*)v); }
 202
 203 static sy_elem syop(const oper_info *op) {
 204     sy_elem e;
 205     e.etype = 1 + (op - operators);
 206     e.out = NULL;
 207     return e;
 208 }
 209
 210 static bool parser_sy_pop(parser_t *parser, shynt *sy)
 211 {
 212     const oper_info *op;
 213     ast_expression *vals[3];
 214     size_t i;
 215
 216     if (!sy->ops_count) {
 217         parseerror(parser, "internal error: missing operator");
 218         return false;
 219     }
 220
 221     op = &operators[sy->ops[sy->ops_count-1].etype - 1];
 222
 223     if (sy->out_count < op->operands) {
 224         parseerror(parser, "internal error: not enough operands");
 225         return false;
 226     }
 227
 228     sy->ops_count--;
 229
 230     sy->out_count -= op->operands;
 231     for (i = 0; i < op->operands; ++i)
 232         vals[i] = sy->out[sy->out_count+i].out;
 233
 234     switch (op->id)
 235     {
 236         default:
 237             parseerror(parser, "internal error: unhandled operand");
 238             return false;
 239     }
 240
 241     return true;
 242 }
 243
 244 static ast_expression* parser_expression(parser_t *parser)
 245 {
 246     ast_expression *expr = NULL;
 247     shynt sy;
 248     bool wantop = false;
 249
 250     MEM_VECTOR_INIT(&sy, out);
 251     MEM_VECTOR_INIT(&sy, ops);
 252
 253     while (true)
 254     {
 255         if (!wantop)
 256         {
 257             if (parser->tok == TOKEN_IDENT)
 258             {
 259                 /* variable */
 260                 ast_value *var = parser_find_var(parser, parser_tokval(parser));
 261                 if (!var) {
 262                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
 263                     goto onerr;
 264                 }
 265                 if (!shynt_out_add(&sy, syval(var))) {
 266                     parseerror(parser, "out of memory");
 267                     goto onerr;
 268                 }
 269             } else if (parser->tok == TOKEN_FLOATCONST) {
 270                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
 271                 if (!val)
 272                     return false;
 273                 if (!shynt_out_add(&sy, syval(val))) {
 274                     parseerror(parser, "out of memory");
 275                     goto onerr;
 276                 }
 277             } else if (parser->tok == TOKEN_INTCONST) {
 278                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
 279                 if (!val)
 280                     return false;
 281                 if (!shynt_out_add(&sy, syval(val))) {
 282                     parseerror(parser, "out of memory");
 283                     goto onerr;
 284                 }
 285             } else {
 286                 /* TODO: prefix operators */
 287                 parseerror(parser, "expected statement");
 288                 goto onerr;
 289             }
 290             wantop = true;
 291             parser->lex->flags.noops = false;
 292             if (!parser_next(parser)) {
 293                 goto onerr;
 294             }
 295         } else {
 296             if (parser->tok != TOKEN_OPERATOR) {
 297                 parseerror(parser, "expected operator or end of statement");
 298                 goto onerr;
 299             } else {
 300                 /* classify the operator */
 301                 /* TODO: suffix operators */
 302                 const oper_info *op;
 303                 const oper_info *olast = NULL;
 304                 size_t o;
 305                 for (o = 0; o < operator_count; ++o) {
 306                     if (!(operators[o].flags & OP_PREFIX) &&
 307                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
 308                         !strcmp(parser_tokval(parser), operators[o].op))
 309                     {
 310                         break;
 311                     }
 312                 }
 313                 if (o == operator_count) {
 314                     /* no operator found... must be the end of the statement */
 315                     break;
 316                 }
 317                 /* found an operator */
 318                 op = &operators[o];
 319
 320                 if (sy.ops_count)
 321                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 322
 323                 while (olast && (
 324                         (op->prec < olast->prec) ||
 325                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
 326                 {
 327                     if (!parser_sy_pop(parser, &sy))
 328                         goto onerr;
 329                     olast = sy.ops_count ? (&operators[sy.ops[sy.ops_count-1].etype-1]) : NULL;
 330                 }
 331
 332                 if (!shynt_ops_add(&sy, syop(op)))
 333                     goto onerr;
 334             }
 335             wantop = false;
 336             parser->lex->flags.noops = true;
 337             if (!parser_next(parser)) {
 338                 goto onerr;
 339             }
 340         }
 341     }
 342
 343     while (sy.ops_count) {
 344         if (!parser_sy_pop(parser, &sy))
 345             goto onerr;
 346     }
 347
 348     parser->lex->flags.noops = true;
 349     if (!sy.out_count) {
 350         parseerror(parser, "empty expression");
 351         expr = NULL;
 352     } else
 353         expr = sy.out[0].out;
 354     MEM_VECTOR_CLEAR(&sy, out);
 355     MEM_VECTOR_CLEAR(&sy, ops);
 356     return expr;
 357
 358 onerr:
 359     parser->lex->flags.noops = true;
 360     MEM_VECTOR_CLEAR(&sy, out);
 361     MEM_VECTOR_CLEAR(&sy, ops);
 362     return NULL;
 363 }
 364
 365 static bool parser_variable(parser_t *parser, bool global);
 366 static bool parser_body_do(parser_t *parser, ast_block *block)
 367 {
 368     if (parser->tok == TOKEN_TYPENAME)
 369     {
 370         /* local variable */
 371         if (!parser_variable(parser, false))
 372             return false;
 373         return true;
 374     }
 375     else if (parser->tok == '{')
 376     {
 377         /* a block */
 378         parseerror(parser, "TODO: inner blocks");
 379         return false;
 380     }
 381     else
 382     {
 383         ast_expression *exp = parser_expression(parser);
 384         if (!exp)
 385             return false;
 386         if (!ast_block_exprs_add(block, exp))
 387             return false;
 388         return true;
 389     }
 390 }
 391
 392 static ast_block* parser_parse_block(parser_t *parser)
 393 {
 394     size_t oldblocklocal;
 395     ast_block *block = NULL;
 396
 397     oldblocklocal = parser->blocklocal;
 398     parser->blocklocal = parser->locals_count;
 399
 400     if (!parser_next(parser)) { /* skip the '{' */
 401         parseerror(parser, "expected function body");
 402         goto cleanup;
 403     }
 404
 405     block = ast_block_new(parser_ctx(parser));
 406
 407     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 408     {
 409         if (parser->tok == '}')
 410             break;
 411
 412         if (!parser_body_do(parser, block)) {
 413             ast_block_delete(block);
 414             block = NULL;
 415             goto cleanup;
 416         }
 417     }
 418
 419     if (parser->tok != '}') {
 420         ast_block_delete(block);
 421         block = NULL;
 422     } else {
 423         (void)parser_next(parser);
 424     }
 425
 426 cleanup:
 427     parser->blocklocal = oldblocklocal;
 428     return block;
 429 }
 430
 431 static bool parser_variable(parser_t *parser, bool global)
 432 {
 433     bool          isfunc = false;
 434     ast_function *func = NULL;
 435     lex_ctx       ctx;
 436     ast_value    *var;
 437
 438     int basetype = parser_token(parser)->constval.t;
 439
 440     while (true)
 441     {
 442         if (!parser_next(parser)) { /* skip basetype or comma */
 443             parseerror(parser, "expected variable declaration");
 444             return false;
 445         }
 446
 447         isfunc = false;
 448         func = NULL;
 449         ctx = parser_ctx(parser);
 450         var = parser_parse_type(parser, basetype, &isfunc);
 451
 452         if (!var)
 453             return false;
 454
 455         if (parser->tok != TOKEN_IDENT) {
 456             parseerror(parser, "expected variable name\n");
 457             return false;
 458         }
 459
 460         if (global && parser_find_global(parser, parser_tokval(parser))) {
 461             ast_value_delete(var);
 462             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
 463             return false;
 464         }
 465
 466         if (!global && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
 467             ast_value_delete(var);
 468             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
 469             return false;
 470         }
 471
 472         if (!ast_value_set_name(var, parser_tokval(parser))) {
 473             parseerror(parser, "failed to set variable name\n");
 474             ast_value_delete(var);
 475             return false;
 476         }
 477
 478         if (isfunc) {
 479             /* a function was defined */
 480             ast_value *fval;
 481
 482             /* turn var into a value of TYPE_FUNCTION, with the old var
 483              * as return type
 484              */
 485             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
 486             func = ast_function_new(ctx, var->name, fval);
 487             if (!fval || !func) {
 488                 ast_value_delete(var);
 489                 if (fval) ast_value_delete(fval);
 490                 if (func) ast_function_delete(func);
 491                 return false;
 492             }
 493
 494             fval->expression.next = (ast_expression*)var;
 495             MEM_VECTOR_MOVE(var, params, fval, params);
 496
 497             if (!parser_t_functions_add(parser, func)) {
 498                 ast_value_delete(var);
 499                 if (fval) ast_value_delete(fval);
 500                 if (func) ast_function_delete(func);
 501                 return false;
 502             }
 503
 504             var = fval;
 505         }
 506
 507         if ( ( global && !parser_t_globals_add(parser, var)) ||
 508              (!global && !parser_t_locals_add(parser, var)) )
 509         {
 510             ast_value_delete(var);
 511             return false;
 512         }
 513
 514         if (!parser_next(parser)) {
 515             ast_value_delete(var);
 516             return false;
 517         }
 518
 519         if (parser->tok == ';') {
 520             if (!parser_next(parser))
 521                 return parser->tok == TOKEN_EOF;
 522             return true;
 523         }
 524
 525         if (parser->tok == ',') {
 526             /* another var */
 527             continue;
 528         }
 529
 530         if (parser->tok != '=') {
 531             parseerror(parser, "expected '=' or ';'");
 532             return false;
 533         }
 534
 535         if (!parser_next(parser))
 536             return false;
 537
 538         if (parser->tok == '#') {
 539             if (!global) {
 540                 parseerror(parser, "cannot declare builtins within functions");
 541                 return false;
 542             }
 543             if (!isfunc || !func) {
 544                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
 545                 return false;
 546             }
 547             if (!parser_next(parser)) {
 548                 parseerror(parser, "expected builtin number");
 549                 return false;
 550             }
 551             if (parser->tok != TOKEN_INTCONST) {
 552                 parseerror(parser, "builtin number must be an integer constant");
 553                 return false;
 554             }
 555             if (parser_token(parser)->constval.i <= 0) {
 556                 parseerror(parser, "builtin number must be positive integer greater than zero");
 557                 return false;
 558             }
 559
 560             func->builtin = -parser_token(parser)->constval.i;
 561         } else if (parser->tok == '{') {
 562             /* function body */
 563             ast_block *block;
 564             ast_function *old = parser->function;
 565
 566             if (!global) {
 567                 parseerror(parser, "cannot declare functions within functions");
 568                 return false;
 569             }
 570
 571             parser->function = func;
 572             block = parser_parse_block(parser);
 573             parser->function = old;
 574
 575             if (!block)
 576                 return false;
 577
 578             if (!ast_function_blocks_add(func, block)) {
 579                 ast_block_delete(block);
 580                 return false;
 581             }
 582             return true;
 583         } else {
 584             parseerror(parser, "TODO, const assignment");
 585         }
 586
 587         if (!parser_next(parser))
 588             return false;
 589
 590         if (parser->tok == ',') {
 591             /* another */
 592             continue;
 593         }
 594
 595         if (parser->tok != ';') {
 596             parseerror(parser, "expected semicolon");
 597             return false;
 598         }
 599
 600         (void)parser_next(parser);
 601
 602         return true;
 603     }
 604 }
 605
 606 static bool parser_do(parser_t *parser)
 607 {
 608     if (parser->tok == TOKEN_TYPENAME)
 609     {
 610         return parser_variable(parser, true);
 611     }
 612     else if (parser->tok == TOKEN_KEYWORD)
 613     {
 614         /* handle 'var' and 'const' */
 615         return false;
 616     }
 617     else if (parser->tok == '.')
 618     {
 619         /* entity-member declaration */
 620         return false;
 621     }
 622     else
 623     {
 624         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
 625         return false;
 626     }
 627     return true;
 628 }
 629
 630 bool parser_compile(const char *filename)
 631 {
 632     size_t i;
 633     parser_t *parser;
 634     ir_builder *ir;
 635
 636     parser = (parser_t*)mem_a(sizeof(parser_t));
 637     if (!parser)
 638         return false;
 639
 640     memset(parser, 0, sizeof(parser));
 641
 642     MEM_VECTOR_INIT(parser, globals);
 643     MEM_VECTOR_INIT(parser, locals);
 644     parser->lex = lex_open(filename);
 645
 646     if (!parser->lex) {
 647         printf("failed to open file \"%s\"\n", filename);
 648         return false;
 649     }
 650
 651     /* initial lexer/parser state */
 652     parser->lex->flags.noops = true;
 653
 654     if (parser_next(parser))
 655     {
 656         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 657         {
 658             if (!parser_do(parser)) {
 659                 if (parser->tok == TOKEN_EOF)
 660                     parseerror(parser, "unexpected eof");
 661                 else
 662                     parseerror(parser, "parse error\n");
 663                 lex_close(parser->lex);
 664                 mem_d(parser);
 665                 return false;
 666             }
 667         }
 668     }
 669
 670     lex_close(parser->lex);
 671
 672     ir = ir_builder_new("gmqcc_out");
 673     if (!ir) {
 674         printf("failed to allocate builder\n");
 675         goto cleanup;
 676     }
 677
 678     for (i = 0; i < parser->imm_float_count; ++i) {
 679         if (!ast_global_codegen(parser->imm_float[i], ir)) {
 680             printf("failed to generate global %s\n", parser->imm_float[i]->name);
 681         }
 682     }
 683     for (i = 0; i < parser->globals_count; ++i) {
 684         if (!ast_global_codegen(parser->globals[i], ir)) {
 685             printf("failed to generate global %s\n", parser->globals[i]->name);
 686         }
 687     }
 688     for (i = 0; i < parser->functions_count; ++i) {
 689         if (!ast_function_codegen(parser->functions[i], ir)) {
 690             printf("failed to generate function %s\n", parser->functions[i]->name);
 691         }
 692         if (!ir_function_finalize(parser->functions[i]->ir_func)) {
 693             printf("failed to finalize function %s\n", parser->functions[i]->name);
 694         }
 695     }
 696
 697     ir_builder_dump(ir, printf);
 698
 699 cleanup:
 700     for (i = 0; i < parser->globals_count; ++i) {
 701         ast_value_delete(parser->globals[i]);
 702     }
 703     MEM_VECTOR_CLEAR(parser, globals);
 704
 705     mem_d(parser);
 706     return true;
 707 }