parser.c

   1 #include <stdio.h>
   2 #include <stdarg.h>
   3
   4 #include "gmqcc.h"
   5 #include "lexer.h"
   6
   7 typedef struct {
   8     lex_file *lex;
   9     int      tok;
  10
  11     MEM_VECTOR_MAKE(ast_value*, globals);
  12     MEM_VECTOR_MAKE(ast_function*, functions);
  13     MEM_VECTOR_MAKE(ast_value*, imm_float);
  14     MEM_VECTOR_MAKE(ast_value*, imm_string);
  15     MEM_VECTOR_MAKE(ast_value*, imm_vector);
  16
  17     ast_function *function;
  18     MEM_VECTOR_MAKE(ast_value*, locals);
  19     size_t blocklocal;
  20
  21     size_t errors;
  22 } parser_t;
  23
  24 MEM_VEC_FUNCTIONS(parser_t, ast_value*, globals)
  25 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
  26 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_string)
  27 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_vector)
  28 MEM_VEC_FUNCTIONS(parser_t, ast_value*, locals)
  29 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
  30
  31 void parseerror(parser_t *parser, const char *fmt, ...)
  32 {
  33         va_list ap;
  34
  35         parser->errors++;
  36
  37     if (parser)
  38             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
  39         else
  40             printf("error: ");
  41
  42         va_start(ap, fmt);
  43         vprintf(fmt, ap);
  44         va_end(ap);
  45
  46         printf("\n");
  47 }
  48
  49 bool parser_next(parser_t *parser)
  50 {
  51     /* lex_do kills the previous token */
  52     parser->tok = lex_do(parser->lex);
  53     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
  54         return false;
  55     return true;
  56 }
  57
  58 /* lift a token out of the parser so it's not destroyed by parser_next */
  59 token *parser_lift(parser_t *parser)
  60 {
  61     token *tok = parser->lex->tok;
  62     parser->lex->tok = NULL;
  63     return tok;
  64 }
  65
  66 #define parser_tokval(p) (p->lex->tok->value)
  67 #define parser_token(p)  (p->lex->tok)
  68 #define parser_ctx(p)    (p->lex->tok->ctx)
  69
  70 ast_value* parser_const_float(parser_t *parser, double d)
  71 {
  72     size_t i;
  73     ast_value *out;
  74     for (i = 0; i < parser->imm_float_count; ++i) {
  75         if (parser->imm_float[i]->constval.vfloat == d)
  76             return parser->imm_float[i];
  77     }
  78     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
  79     out->isconst = true;
  80     out->constval.vfloat = d;
  81     if (!parser_t_imm_float_add(parser, out)) {
  82         ast_value_delete(out);
  83         return NULL;
  84     }
  85     return out;
  86 }
  87
  88 ast_value* parser_const_string(parser_t *parser, const char *str)
  89 {
  90     size_t i;
  91     ast_value *out;
  92     for (i = 0; i < parser->imm_string_count; ++i) {
  93         if (!strcmp(parser->imm_string[i]->constval.vstring, str))
  94             return parser->imm_string[i];
  95     }
  96     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_STRING);
  97     out->isconst = true;
  98     out->constval.vstring = util_strdup(str);
  99     if (!parser_t_imm_string_add(parser, out)) {
 100         ast_value_delete(out);
 101         return NULL;
 102     }
 103     return out;
 104 }
 105
 106 ast_value* parser_const_vector(parser_t *parser, vector v)
 107 {
 108     size_t i;
 109     ast_value *out;
 110     for (i = 0; i < parser->imm_vector_count; ++i) {
 111         if (!memcmp(&parser->imm_vector[i]->constval.vvec, &v, sizeof(v)))
 112             return parser->imm_vector[i];
 113     }
 114     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_VECTOR);
 115     out->isconst = true;
 116     out->constval.vvec = v;
 117     if (!parser_t_imm_vector_add(parser, out)) {
 118         ast_value_delete(out);
 119         return NULL;
 120     }
 121     return out;
 122 }
 123
 124 ast_value* parser_find_global(parser_t *parser, const char *name)
 125 {
 126     size_t i;
 127     for (i = 0; i < parser->globals_count; ++i) {
 128         if (!strcmp(parser->globals[i]->name, name))
 129             return parser->globals[i];
 130     }
 131     return NULL;
 132 }
 133
 134 ast_value* parser_find_local(parser_t *parser, const char *name, size_t upto)
 135 {
 136     size_t i;
 137     ast_value *fun;
 138     for (i = parser->locals_count; i > upto;) {
 139         --i;
 140         if (!strcmp(parser->locals[i]->name, name))
 141             return parser->locals[i];
 142     }
 143     fun = parser->function->vtype;
 144     for (i = 0; i < fun->expression.params_count; ++i) {
 145         if (!strcmp(fun->expression.params[i]->name, name))
 146             return fun->expression.params[i];
 147     }
 148     return NULL;
 149 }
 150
 151 ast_value* parser_find_var(parser_t *parser, const char *name)
 152 {
 153     ast_value *v;
 154     v         = parser_find_local(parser, name, 0);
 155     if (!v) v = parser_find_global(parser, name);
 156     return v;
 157 }
 158
 159 typedef struct {
 160     MEM_VECTOR_MAKE(ast_value*, p);
 161 } paramlist_t;
 162 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
 163
 164 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
 165 {
 166     paramlist_t params;
 167     ast_value *var;
 168     lex_ctx   ctx = parser_ctx(parser);
 169     int vtype = basetype;
 170     int temptype;
 171     size_t i;
 172
 173     MEM_VECTOR_INIT(&params, p);
 174
 175     *isfunc = false;
 176
 177     if (parser->tok == '(') {
 178         *isfunc = true;
 179         while (true) {
 180             ast_value *param;
 181             bool dummy;
 182
 183             if (!parser_next(parser))
 184                 goto on_error;
 185
 186             if (parser->tok == ')')
 187                 break;
 188
 189             temptype = parser_token(parser)->constval.t;
 190             if (!parser_next(parser))
 191                 goto on_error;
 192
 193             param = parser_parse_type(parser, temptype, &dummy);
 194             (void)dummy;
 195
 196             if (!param)
 197                 goto on_error;
 198
 199             if (parser->tok == TOKEN_IDENT) {
 200                 /* named parameter */
 201                 if (!ast_value_set_name(param, parser_tokval(parser)))
 202                     goto on_error;
 203                 if (!parser_next(parser))
 204                     goto on_error;
 205             }
 206
 207             if (!paramlist_t_p_add(&params, param)) {
 208                 parseerror(parser, "Out of memory while parsing typename");
 209                 goto on_error;
 210             }
 211
 212             if (parser->tok == ',')
 213                 continue;
 214             if (parser->tok == ')')
 215                 break;
 216             parseerror(parser, "Unexpected token");
 217             goto on_error;
 218         }
 219         if (!parser_next(parser))
 220             goto on_error;
 221     }
 222
 223     var = ast_value_new(ctx, "<unnamed>", vtype);
 224     if (!var)
 225         goto on_error;
 226     MEM_VECTOR_MOVE(&params, p, &var->expression, params);
 227     return var;
 228 on_error:
 229     for (i = 0; i < params.p_count; ++i)
 230         ast_value_delete(params.p[i]);
 231     MEM_VECTOR_CLEAR(&params, p);
 232     return NULL;
 233 }
 234
 235 typedef struct
 236 {
 237     size_t etype; /* 0 = expression, others are operators */
 238     int             paren;
 239     size_t          off;
 240     ast_expression *out;
 241     ast_block      *block; /* for commas and function calls */
 242     lex_ctx ctx;
 243 } sy_elem;
 244 typedef struct
 245 {
 246     MEM_VECTOR_MAKE(sy_elem, out);
 247     MEM_VECTOR_MAKE(sy_elem, ops);
 248 } shunt;
 249 MEM_VEC_FUNCTIONS(shunt, sy_elem, out)
 250 MEM_VEC_FUNCTIONS(shunt, sy_elem, ops)
 251
 252 static sy_elem syexp(lex_ctx ctx, ast_expression *v) {
 253     sy_elem e;
 254     e.etype = 0;
 255     e.out   = v;
 256     e.block = NULL;
 257     e.ctx   = ctx;
 258     e.paren = 0;
 259     return e;
 260 }
 261
 262 static sy_elem syblock(lex_ctx ctx, ast_block *v) {
 263     sy_elem e;
 264     e.etype = 0;
 265     e.out   = (ast_expression*)v;
 266     e.block = v;
 267     e.ctx   = ctx;
 268     e.paren = 0;
 269     return e;
 270 }
 271
 272 static sy_elem syop(lex_ctx ctx, const oper_info *op) {
 273     sy_elem e;
 274     e.etype = 1 + (op - operators);
 275     e.out   = NULL;
 276     e.block = NULL;
 277     e.ctx   = ctx;
 278     e.paren = 0;
 279     return e;
 280 }
 281
 282 static sy_elem syparen(lex_ctx ctx, int p, size_t off) {
 283     sy_elem e;
 284     e.etype = 0;
 285     e.off   = off;
 286     e.out   = NULL;
 287     e.block = NULL;
 288     e.ctx   = ctx;
 289     e.paren = p;
 290     return e;
 291 }
 292
 293 static bool parser_sy_pop(parser_t *parser, shunt *sy)
 294 {
 295     const oper_info *op;
 296     lex_ctx ctx;
 297     ast_expression *out = NULL;
 298     ast_expression *exprs[3];
 299     ast_block      *blocks[3];
 300     size_t i;
 301
 302     if (!sy->ops_count) {
 303         parseerror(parser, "internal error: missing operator");
 304         return false;
 305     }
 306
 307     if (sy->ops[sy->ops_count-1].paren) {
 308         parseerror(parser, "unmatched parenthesis");
 309         return false;
 310     }
 311
 312     op = &operators[sy->ops[sy->ops_count-1].etype - 1];
 313     ctx = sy->ops[sy->ops_count-1].ctx;
 314
 315     if (sy->out_count < op->operands) {
 316         parseerror(parser, "internal error: not enough operands: %i", sy->out_count);
 317         return false;
 318     }
 319
 320     sy->ops_count--;
 321
 322     sy->out_count -= op->operands;
 323     for (i = 0; i < op->operands; ++i) {
 324         exprs[i]  = sy->out[sy->out_count+i].out;
 325         blocks[i] = sy->out[sy->out_count+i].block;
 326     }
 327
 328     if (blocks[0] && !blocks[0]->exprs_count && op->id != opid1(',')) {
 329         parseerror(parser, "internal error: operator cannot be applied on empty blocks");
 330         return false;
 331     }
 332
 333     switch (op->id)
 334     {
 335         default:
 336             parseerror(parser, "internal error: unhandled operand");
 337             return false;
 338
 339         case opid1(','):
 340             if (blocks[0]) {
 341                 if (!ast_block_exprs_add(blocks[0], exprs[1]))
 342                     return false;
 343             } else {
 344                 blocks[0] = ast_block_new(ctx);
 345                 if (!ast_block_exprs_add(blocks[0], exprs[0]) ||
 346                     !ast_block_exprs_add(blocks[0], exprs[1]))
 347                 {
 348                     return false;
 349                 }
 350             }
 351             if (!ast_block_set_type(blocks[0], exprs[1]))
 352                 return false;
 353
 354             sy->out[sy->out_count++] = syblock(ctx, blocks[0]);
 355             return true;
 356
 357         case opid1('+'):
 358             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
 359                 parseerror(parser, "Cannot add type %s and %s",
 360                            type_name[exprs[0]->expression.vtype],
 361                            type_name[exprs[1]->expression.vtype]);
 362                 return false;
 363             }
 364             switch (exprs[0]->expression.vtype) {
 365                 case TYPE_FLOAT:
 366                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_F, exprs[0], exprs[1]);
 367                     break;
 368                 case TYPE_VECTOR:
 369                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_V, exprs[0], exprs[1]);
 370                     break;
 371                 default:
 372                     parseerror(parser, "Cannot add type %s and %s",
 373                                type_name[exprs[0]->expression.vtype],
 374                                type_name[exprs[1]->expression.vtype]);
 375                     return false;
 376             };
 377             break;
 378         case opid1('-'):
 379             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
 380                 parseerror(parser, "Cannot subtract type %s from %s",
 381                            type_name[exprs[1]->expression.vtype],
 382                            type_name[exprs[0]->expression.vtype]);
 383                 return false;
 384             }
 385             switch (exprs[0]->expression.vtype) {
 386                 case TYPE_FLOAT:
 387                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_F, exprs[0], exprs[1]);
 388                     break;
 389                 case TYPE_VECTOR:
 390                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_V, exprs[0], exprs[1]);
 391                     break;
 392                 default:
 393                     parseerror(parser, "Cannot add type %s from %s",
 394                                type_name[exprs[1]->expression.vtype],
 395                                type_name[exprs[0]->expression.vtype]);
 396                     return false;
 397             };
 398             break;
 399         case opid1('*'):
 400             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype &&
 401                 exprs[0]->expression.vtype != TYPE_VECTOR &&
 402                 exprs[0]->expression.vtype != TYPE_FLOAT &&
 403                 exprs[1]->expression.vtype != TYPE_VECTOR &&
 404                 exprs[1]->expression.vtype != TYPE_FLOAT)
 405             {
 406                 parseerror(parser, "Cannot multiply type %s from %s",
 407                            type_name[exprs[1]->expression.vtype],
 408                            type_name[exprs[0]->expression.vtype]);
 409                 return false;
 410             }
 411             switch (exprs[0]->expression.vtype) {
 412                 case TYPE_FLOAT:
 413                     if (exprs[1]->expression.vtype == TYPE_VECTOR)
 414                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_FV, exprs[0], exprs[1]);
 415                     else
 416                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_F, exprs[0], exprs[1]);
 417                     break;
 418                 case TYPE_VECTOR:
 419                     if (exprs[1]->expression.vtype == TYPE_FLOAT)
 420                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_VF, exprs[0], exprs[1]);
 421                     else
 422                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_V, exprs[0], exprs[1]);
 423                     break;
 424                 default:
 425                     parseerror(parser, "Cannot add type %s from %s",
 426                                type_name[exprs[1]->expression.vtype],
 427                                type_name[exprs[0]->expression.vtype]);
 428                     return false;
 429             };
 430             break;
 431         case opid1('/'):
 432             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype ||
 433                 exprs[0]->expression.vtype != TYPE_FLOAT)
 434             {
 435                 parseerror(parser, "Cannot divide types %s and %s",
 436                            type_name[exprs[0]->expression.vtype],
 437                            type_name[exprs[1]->expression.vtype]);
 438                 return false;
 439             }
 440             out = (ast_expression*)ast_binary_new(ctx, INSTR_DIV_F, exprs[0], exprs[1]);
 441             break;
 442
 443
 444         case opid1('='):
 445             out = (ast_expression*)ast_store_new(ctx,
 446                                                  type_store_instr[exprs[0]->expression.vtype],
 447                                                  exprs[0], exprs[1]);
 448             break;
 449     }
 450
 451     if (!out) {
 452         parseerror(parser, "failed to apply operand %s", op->op);
 453         return false;
 454     }
 455
 456     sy->out[sy->out_count++] = syexp(ctx, out);
 457     return true;
 458 }
 459
 460 static bool parser_close_call(parser_t *parser, shunt *sy)
 461 {
 462     /* was a function call */
 463     ast_expression *fun;
 464     ast_call       *call;
 465
 466     size_t          fid;
 467     size_t          paramcount;
 468
 469     sy->ops_count--;
 470     fid = sy->ops[sy->ops_count].off;
 471
 472     /* out[fid] is the function
 473      * everything above is parameters...
 474      * 0 params = nothing
 475      * 1 params = ast_expression
 476      * more = ast_block
 477      */
 478
 479     if (sy->out_count < 1 || sy->out_count <= fid) {
 480         parseerror(parser, "internal error: function call needs function and parameter list...");
 481         return false;
 482     }
 483
 484     fun = sy->out[fid].out;
 485
 486     call = ast_call_new(sy->ops[sy->ops_count].ctx, fun);
 487     if (!call) {
 488         parseerror(parser, "out of memory");
 489         return false;
 490     }
 491
 492     if (fid+1 == sy->out_count) {
 493         /* no arguments */
 494         paramcount = 0;
 495     } else if (fid+2 == sy->out_count) {
 496         ast_block *params;
 497         sy->out_count--;
 498         params = sy->out[sy->out_count].block;
 499         if (!params) {
 500             /* 1 param */
 501             paramcount = 1;
 502             if (!ast_call_params_add(call, sy->out[sy->out_count].out)) {
 503                 ast_delete(sy->out[sy->out_count].out);
 504                 parseerror(parser, "out of memory");
 505                 return false;
 506             }
 507         } else {
 508             paramcount = params->exprs_count;
 509             MEM_VECTOR_MOVE(params, exprs, call, params);
 510             ast_delete(params);
 511         }
 512     } else {
 513         parseerror(parser, "invalid function call");
 514         return false;
 515     }
 516
 517     /* overwrite fid, the function, with a call */
 518     sy->out[fid] = syexp(call->expression.node.context, (ast_expression*)call);
 519
 520     if (fun->expression.vtype != TYPE_FUNCTION) {
 521         parseerror(parser, "not a function");
 522         return false;
 523     }
 524
 525     if (!fun->expression.next) {
 526         parseerror(parser, "could not determine function return type");
 527         return false;
 528     } else {
 529         if (fun->expression.params_count != paramcount) {
 530             parseerror(parser, "expected %i parameters, got %i", (int)fun->expression.params_count, paramcount);
 531             return false;
 532         }
 533     }
 534
 535     return true;
 536 }
 537
 538 static bool parser_close_paren(parser_t *parser, shunt *sy, bool functions_only)
 539 {
 540     if (!sy->ops_count) {
 541         parseerror(parser, "unmatched closing paren");
 542         return false;
 543     }
 544     if (sy->ops[sy->ops_count-1].paren == 1) {
 545         parseerror(parser, "empty parenthesis expression");
 546         return false;
 547     }
 548     while (sy->ops_count) {
 549         if (sy->ops[sy->ops_count-1].paren == 'f') {
 550             if (!parser_close_call(parser, sy))
 551                 return false;
 552             break;
 553         }
 554         if (sy->ops[sy->ops_count-1].paren == 1) {
 555             sy->ops_count--;
 556             return !functions_only;
 557         }
 558         if (!parser_sy_pop(parser, sy))
 559             return false;
 560     }
 561     return true;
 562 }
 563
 564 static ast_expression* parser_expression(parser_t *parser)
 565 {
 566     ast_expression *expr = NULL;
 567     shunt sy;
 568     bool wantop = false;
 569
 570     MEM_VECTOR_INIT(&sy, out);
 571     MEM_VECTOR_INIT(&sy, ops);
 572
 573     while (true)
 574     {
 575         if (!wantop)
 576         {
 577             bool nextwant = true;
 578             if (parser->tok == TOKEN_IDENT)
 579             {
 580                 /* variable */
 581                 ast_value *var = parser_find_var(parser, parser_tokval(parser));
 582                 if (!var) {
 583                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
 584                     goto onerr;
 585                 }
 586                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)var))) {
 587                     parseerror(parser, "out of memory");
 588                     goto onerr;
 589                 }
 590             }
 591             else if (parser->tok == TOKEN_FLOATCONST) {
 592                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
 593                 if (!val)
 594                     return false;
 595                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 596                     parseerror(parser, "out of memory");
 597                     goto onerr;
 598                 }
 599             }
 600             else if (parser->tok == TOKEN_INTCONST) {
 601                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
 602                 if (!val)
 603                     return false;
 604                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 605                     parseerror(parser, "out of memory");
 606                     goto onerr;
 607                 }
 608             }
 609             else if (parser->tok == TOKEN_STRINGCONST) {
 610                 ast_value *val = parser_const_string(parser, parser_tokval(parser));
 611                 if (!val)
 612                     return false;
 613                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 614                     parseerror(parser, "out of memory");
 615                     goto onerr;
 616                 }
 617             }
 618             else if (parser->tok == TOKEN_VECTORCONST) {
 619                 ast_value *val = parser_const_vector(parser, parser_token(parser)->constval.v);
 620                 if (!val)
 621                     return false;
 622                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 623                     parseerror(parser, "out of memory");
 624                     goto onerr;
 625                 }
 626             }
 627             else if (parser->tok == '(') {
 628                 nextwant = false; /* not expecting an operator next */
 629                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 1, 0))) {
 630                     parseerror(parser, "out of memory");
 631                     goto onerr;
 632                 }
 633             }
 634             else if (parser->tok == ')') {
 635                 /* allowed for function calls */
 636                 if (!parser_close_paren(parser, &sy, true))
 637                     goto onerr;
 638             }
 639             else {
 640                 /* TODO: prefix operators */
 641                 parseerror(parser, "expected statement");
 642                 goto onerr;
 643             }
 644             wantop = nextwant;
 645             parser->lex->flags.noops = !wantop;
 646         } else {
 647             if (parser->tok == '(') {
 648                 /* we expected an operator, this is the function-call operator */
 649                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 'f', sy.out_count-1))) {
 650                     parseerror(parser, "out of memory");
 651                     goto onerr;
 652                 }
 653             }
 654             else if (parser->tok == ')') {
 655                 /* we do expect an operator next */
 656                 /* closing an opening paren */
 657                 if (!parser_close_paren(parser, &sy, false))
 658                     goto onerr;
 659             }
 660             else if (parser->tok != TOKEN_OPERATOR) {
 661                 parseerror(parser, "expected operator or end of statement");
 662                 goto onerr;
 663             }
 664             else {
 665                 /* classify the operator */
 666                 /* TODO: suffix operators */
 667                 const oper_info *op;
 668                 const oper_info *olast = NULL;
 669                 size_t o;
 670                 for (o = 0; o < operator_count; ++o) {
 671                     if (!(operators[o].flags & OP_PREFIX) &&
 672                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
 673                         !strcmp(parser_tokval(parser), operators[o].op))
 674                     {
 675                         break;
 676                     }
 677                 }
 678                 if (o == operator_count) {
 679                     /* no operator found... must be the end of the statement */
 680                     break;
 681                 }
 682                 /* found an operator */
 683                 op = &operators[o];
 684
 685                 if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
 686                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 687
 688                 while (olast && (
 689                         (op->prec < olast->prec) ||
 690                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
 691                 {
 692                     if (!parser_sy_pop(parser, &sy))
 693                         goto onerr;
 694                     if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
 695                         olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 696                 }
 697
 698                 if (!shunt_ops_add(&sy, syop(parser_ctx(parser), op)))
 699                     goto onerr;
 700             }
 701             wantop = false;
 702             parser->lex->flags.noops = true;
 703         }
 704         if (!parser_next(parser)) {
 705             goto onerr;
 706         }
 707         if (parser->tok == ';') {
 708             break;
 709         }
 710     }
 711     if (!parser_next(parser)) {
 712         parseerror(parser, "Unexpected end of file");
 713         goto onerr;
 714     }
 715
 716     while (sy.ops_count) {
 717         if (!parser_sy_pop(parser, &sy))
 718             goto onerr;
 719     }
 720
 721     parser->lex->flags.noops = true;
 722     if (!sy.out_count) {
 723         parseerror(parser, "empty expression");
 724         expr = NULL;
 725     } else
 726         expr = sy.out[0].out;
 727     MEM_VECTOR_CLEAR(&sy, out);
 728     MEM_VECTOR_CLEAR(&sy, ops);
 729     return expr;
 730
 731 onerr:
 732     parser->lex->flags.noops = true;
 733     MEM_VECTOR_CLEAR(&sy, out);
 734     MEM_VECTOR_CLEAR(&sy, ops);
 735     return NULL;
 736 }
 737
 738 static bool parser_variable(parser_t *parser, ast_block *localblock);
 739 static bool parser_body_do(parser_t *parser, ast_block *block)
 740 {
 741     if (parser->tok == TOKEN_TYPENAME)
 742     {
 743         /* local variable */
 744         if (!parser_variable(parser, block))
 745             return false;
 746         return true;
 747     }
 748     else if (parser->tok == TOKEN_KEYWORD)
 749     {
 750         if (!strcmp(parser_tokval(parser), "return"))
 751         {
 752             ast_expression *exp = NULL;
 753             ast_return     *ret = NULL;
 754             ast_value      *expected = parser->function->vtype;
 755
 756             if (!parser_next(parser)) {
 757                 parseerror(parser, "expected return expression");
 758                 return false;
 759             }
 760
 761             if (parser->tok != ';') {
 762                 exp = parser_expression(parser);
 763                 if (!exp)
 764                     return false;
 765
 766                 if (exp->expression.vtype != expected->expression.next->expression.vtype) {
 767                     parseerror(parser, "return with invalid expression");
 768                 }
 769
 770                 ret = ast_return_new(exp->expression.node.context, exp);
 771                 if (!ret) {
 772                     ast_delete(exp);
 773                     return false;
 774                 }
 775
 776                 if (!ast_block_exprs_add(block, (ast_expression*)ret)) {
 777                     ast_delete(ret);
 778                     return false;
 779                 }
 780             } else if (!parser_next(parser)) {
 781                 parseerror(parser, "expected semicolon");
 782                 if (expected->expression.next->expression.vtype != TYPE_VOID) {
 783                     parseerror(parser, "return without value");
 784                 }
 785             }
 786             return true;
 787         }
 788         parseerror(parser, "Unexpected keyword");
 789         return false;
 790     }
 791     else if (parser->tok == '{')
 792     {
 793         /* a block */
 794         parseerror(parser, "TODO: inner blocks: %s", parser_tokval(parser));
 795         return false;
 796     }
 797     else
 798     {
 799         ast_expression *exp = parser_expression(parser);
 800         if (!exp)
 801             return false;
 802         if (!ast_block_exprs_add(block, exp)) {
 803             ast_delete(exp);
 804             return false;
 805         }
 806         return true;
 807     }
 808 }
 809
 810 static ast_block* parser_parse_block(parser_t *parser)
 811 {
 812     size_t oldblocklocal;
 813     ast_block *block = NULL;
 814
 815     oldblocklocal = parser->blocklocal;
 816     parser->blocklocal = parser->locals_count;
 817
 818     if (!parser_next(parser)) { /* skip the '{' */
 819         parseerror(parser, "expected function body");
 820         goto cleanup;
 821     }
 822
 823     block = ast_block_new(parser_ctx(parser));
 824
 825     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 826     {
 827         if (parser->tok == '}')
 828             break;
 829
 830         if (!parser_body_do(parser, block)) {
 831             ast_block_delete(block);
 832             block = NULL;
 833             goto cleanup;
 834         }
 835     }
 836
 837     if (parser->tok != '}') {
 838         ast_block_delete(block);
 839         block = NULL;
 840     } else {
 841         (void)parser_next(parser);
 842     }
 843
 844 cleanup:
 845     parser->blocklocal = oldblocklocal;
 846     return block;
 847 }
 848
 849 static bool parser_variable(parser_t *parser, ast_block *localblock)
 850 {
 851     bool          isfunc = false;
 852     ast_function *func = NULL;
 853     lex_ctx       ctx;
 854     ast_value    *var;
 855
 856     int basetype = parser_token(parser)->constval.t;
 857
 858     while (true)
 859     {
 860         if (!parser_next(parser)) { /* skip basetype or comma */
 861             parseerror(parser, "expected variable declaration");
 862             return false;
 863         }
 864
 865         isfunc = false;
 866         func = NULL;
 867         ctx = parser_ctx(parser);
 868         var = parser_parse_type(parser, basetype, &isfunc);
 869
 870         if (!var)
 871             return false;
 872
 873         if (parser->tok != TOKEN_IDENT) {
 874             parseerror(parser, "expected variable name\n");
 875             return false;
 876         }
 877
 878         if (!localblock && parser_find_global(parser, parser_tokval(parser))) {
 879             ast_value_delete(var);
 880             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
 881             return false;
 882         }
 883
 884         if (localblock && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
 885             ast_value_delete(var);
 886             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
 887             return false;
 888         }
 889
 890         if (!ast_value_set_name(var, parser_tokval(parser))) {
 891             parseerror(parser, "failed to set variable name\n");
 892             ast_value_delete(var);
 893             return false;
 894         }
 895
 896         if (isfunc) {
 897             /* a function was defined */
 898             ast_value *fval;
 899
 900             /* turn var into a value of TYPE_FUNCTION, with the old var
 901              * as return type
 902              */
 903             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
 904             func = ast_function_new(ctx, var->name, fval);
 905             if (!fval || !func) {
 906                 ast_value_delete(var);
 907                 if (fval) ast_value_delete(fval);
 908                 if (func) ast_function_delete(func);
 909                 return false;
 910             }
 911
 912             fval->expression.next = (ast_expression*)var;
 913             MEM_VECTOR_MOVE(&var->expression, params, &fval->expression, params);
 914
 915             if (!parser_t_functions_add(parser, func)) {
 916                 ast_value_delete(var);
 917                 if (fval) ast_value_delete(fval);
 918                 if (func) ast_function_delete(func);
 919                 return false;
 920             }
 921
 922             var = fval;
 923         }
 924
 925         if ( (!localblock && !parser_t_globals_add(parser, var)) ||
 926              ( localblock && !parser_t_locals_add(parser, var)) )
 927         {
 928             ast_value_delete(var);
 929             return false;
 930         }
 931         if (localblock && !ast_block_locals_add(localblock, var))
 932         {
 933             parser->locals_count--;
 934             ast_value_delete(var);
 935             return false;
 936         }
 937
 938         if (!parser_next(parser)) {
 939             ast_value_delete(var);
 940             return false;
 941         }
 942
 943         if (parser->tok == ';') {
 944             if (!parser_next(parser))
 945                 return parser->tok == TOKEN_EOF;
 946             return true;
 947         }
 948
 949         if (parser->tok == ',') {
 950             /* another var */
 951             continue;
 952         }
 953
 954         if (parser->tok != '=') {
 955             parseerror(parser, "expected '=' or ';'");
 956             return false;
 957         }
 958
 959         if (!parser_next(parser))
 960             return false;
 961
 962         if (parser->tok == '#') {
 963             if (localblock) {
 964                 parseerror(parser, "cannot declare builtins within functions");
 965                 return false;
 966             }
 967             if (!isfunc || !func) {
 968                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
 969                 return false;
 970             }
 971             if (!parser_next(parser)) {
 972                 parseerror(parser, "expected builtin number");
 973                 return false;
 974             }
 975             if (parser->tok != TOKEN_INTCONST) {
 976                 parseerror(parser, "builtin number must be an integer constant");
 977                 return false;
 978             }
 979             if (parser_token(parser)->constval.i <= 0) {
 980                 parseerror(parser, "builtin number must be positive integer greater than zero");
 981                 return false;
 982             }
 983
 984             func->builtin = -parser_token(parser)->constval.i;
 985         } else if (parser->tok == '{') {
 986             /* function body */
 987             ast_block *block;
 988             ast_function *old = parser->function;
 989
 990             if (localblock) {
 991                 parseerror(parser, "cannot declare functions within functions");
 992                 return false;
 993             }
 994
 995             parser->function = func;
 996             block = parser_parse_block(parser);
 997             parser->function = old;
 998
 999             if (!block)
1000                 return false;
1001
1002             if (!ast_function_blocks_add(func, block)) {
1003                 ast_block_delete(block);
1004                 return false;
1005             }
1006             return true;
1007         } else {
1008             parseerror(parser, "TODO, const assignment");
1009         }
1010
1011         if (!parser_next(parser))
1012             return false;
1013
1014         if (parser->tok == ',') {
1015             /* another */
1016             continue;
1017         }
1018
1019         if (parser->tok != ';') {
1020             parseerror(parser, "expected semicolon");
1021             return false;
1022         }
1023
1024         (void)parser_next(parser);
1025
1026         return true;
1027     }
1028 }
1029
1030 static bool parser_do(parser_t *parser)
1031 {
1032     if (parser->tok == TOKEN_TYPENAME)
1033     {
1034         return parser_variable(parser, NULL);
1035     }
1036     else if (parser->tok == TOKEN_KEYWORD)
1037     {
1038         /* handle 'var' and 'const' */
1039         return false;
1040     }
1041     else if (parser->tok == '.')
1042     {
1043         /* entity-member declaration */
1044         return false;
1045     }
1046     else
1047     {
1048         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
1049         return false;
1050     }
1051     return true;
1052 }
1053
1054 static parser_t *parser;
1055
1056 bool parser_init()
1057 {
1058     parser = (parser_t*)mem_a(sizeof(parser_t));
1059     if (!parser)
1060         return false;
1061
1062     memset(parser, 0, sizeof(parser));
1063
1064     MEM_VECTOR_INIT(parser, globals);
1065     MEM_VECTOR_INIT(parser, locals);
1066     return true;
1067 }
1068
1069 bool parser_compile(const char *filename)
1070 {
1071     parser->lex = lex_open(filename);
1072     if (!parser->lex) {
1073         printf("failed to open file \"%s\"\n", filename);
1074         return false;
1075     }
1076
1077     /* initial lexer/parser state */
1078     parser->lex->flags.noops = true;
1079
1080     if (parser_next(parser))
1081     {
1082         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
1083         {
1084             if (!parser_do(parser)) {
1085                 if (parser->tok == TOKEN_EOF)
1086                     parseerror(parser, "unexpected eof");
1087                 else
1088                     parseerror(parser, "parse error\n");
1089                 lex_close(parser->lex);
1090                 mem_d(parser);
1091                 return false;
1092             }
1093         }
1094     }
1095
1096     lex_close(parser->lex);
1097
1098     return !parser->errors;
1099 }
1100
1101 void parser_cleanup()
1102 {
1103     size_t i;
1104     for (i = 0; i < parser->functions_count; ++i) {
1105         ast_delete(parser->functions[i]);
1106     }
1107     for (i = 0; i < parser->imm_vector_count; ++i) {
1108         ast_delete(parser->imm_vector[i]);
1109     }
1110     for (i = 0; i < parser->imm_string_count; ++i) {
1111         ast_delete(parser->imm_string[i]);
1112     }
1113     for (i = 0; i < parser->imm_float_count; ++i) {
1114         ast_delete(parser->imm_float[i]);
1115     }
1116     for (i = 0; i < parser->globals_count; ++i) {
1117         ast_delete(parser->globals[i]);
1118     }
1119     MEM_VECTOR_CLEAR(parser, globals);
1120
1121     mem_d(parser);
1122 }
1123
1124 bool parser_finish(const char *output)
1125 {
1126     size_t i;
1127     ir_builder *ir;
1128
1129     if (!parser->errors)
1130     {
1131         ir = ir_builder_new("gmqcc_out");
1132         if (!ir) {
1133             printf("failed to allocate builder\n");
1134             return false;
1135         }
1136
1137         for (i = 0; i < parser->imm_float_count; ++i) {
1138             if (!ast_global_codegen(parser->imm_float[i], ir)) {
1139                 printf("failed to generate global %s\n", parser->imm_float[i]->name);
1140                 ir_builder_delete(ir);
1141                 return false;
1142             }
1143         }
1144         for (i = 0; i < parser->imm_string_count; ++i) {
1145             if (!ast_global_codegen(parser->imm_string[i], ir)) {
1146                 printf("failed to generate global %s\n", parser->imm_string[i]->name);
1147                 ir_builder_delete(ir);
1148                 return false;
1149             }
1150         }
1151         for (i = 0; i < parser->imm_vector_count; ++i) {
1152             if (!ast_global_codegen(parser->imm_vector[i], ir)) {
1153                 printf("failed to generate global %s\n", parser->imm_vector[i]->name);
1154                 ir_builder_delete(ir);
1155                 return false;
1156             }
1157         }
1158         for (i = 0; i < parser->globals_count; ++i) {
1159             if (!ast_global_codegen(parser->globals[i], ir)) {
1160                 printf("failed to generate global %s\n", parser->globals[i]->name);
1161                 ir_builder_delete(ir);
1162                 return false;
1163             }
1164         }
1165         for (i = 0; i < parser->functions_count; ++i) {
1166             if (!ast_function_codegen(parser->functions[i], ir)) {
1167                 printf("failed to generate function %s\n", parser->functions[i]->name);
1168                 ir_builder_delete(ir);
1169                 return false;
1170             }
1171             if (!ir_function_finalize(parser->functions[i]->ir_func)) {
1172                 printf("failed to finalize function %s\n", parser->functions[i]->name);
1173                 ir_builder_delete(ir);
1174                 return false;
1175             }
1176         }
1177
1178         ir_builder_dump(ir, printf);
1179
1180         if (!ir_builder_generate(ir, output)) {
1181             printf("*** failed to generate output file\n");
1182             ir_builder_delete(ir);
1183             return false;
1184         }
1185
1186         ir_builder_delete(ir);
1187         return true;
1188     }
1189
1190     printf("*** there were compile errors\n");
1191     return false;
1192 }