parser.c

   1 #include <stdio.h>
   2 #include <stdarg.h>
   3
   4 #include "gmqcc.h"
   5 #include "lexer.h"
   6
   7 typedef struct {
   8     lex_file *lex;
   9     int      tok;
  10
  11     MEM_VECTOR_MAKE(ast_value*, globals);
  12     MEM_VECTOR_MAKE(ast_function*, functions);
  13     MEM_VECTOR_MAKE(ast_value*, imm_float);
  14     MEM_VECTOR_MAKE(ast_value*, imm_string);
  15     MEM_VECTOR_MAKE(ast_value*, imm_vector);
  16
  17     ast_function *function;
  18     MEM_VECTOR_MAKE(ast_value*, locals);
  19     size_t blocklocal;
  20 } parser_t;
  21
  22 MEM_VEC_FUNCTIONS(parser_t, ast_value*, globals)
  23 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
  24 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_string)
  25 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_vector)
  26 MEM_VEC_FUNCTIONS(parser_t, ast_value*, locals)
  27 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
  28
  29 void parseerror(parser_t *parser, const char *fmt, ...)
  30 {
  31         va_list ap;
  32
  33     if (parser)
  34             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
  35         else
  36             printf("error: ");
  37
  38         va_start(ap, fmt);
  39         vprintf(fmt, ap);
  40         va_end(ap);
  41
  42         printf("\n");
  43 }
  44
  45 bool parser_next(parser_t *parser)
  46 {
  47     /* lex_do kills the previous token */
  48     parser->tok = lex_do(parser->lex);
  49     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
  50         return false;
  51     return true;
  52 }
  53
  54 /* lift a token out of the parser so it's not destroyed by parser_next */
  55 token *parser_lift(parser_t *parser)
  56 {
  57     token *tok = parser->lex->tok;
  58     parser->lex->tok = NULL;
  59     return tok;
  60 }
  61
  62 #define parser_tokval(p) (p->lex->tok->value)
  63 #define parser_token(p)  (p->lex->tok)
  64 #define parser_ctx(p)    (p->lex->tok->ctx)
  65
  66 ast_value* parser_const_float(parser_t *parser, double d)
  67 {
  68     size_t i;
  69     ast_value *out;
  70     for (i = 0; i < parser->imm_float_count; ++i) {
  71         if (parser->imm_float[i]->constval.vfloat == d)
  72             return parser->imm_float[i];
  73     }
  74     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
  75     out->isconst = true;
  76     out->constval.vfloat = d;
  77     if (!parser_t_imm_float_add(parser, out)) {
  78         ast_value_delete(out);
  79         return NULL;
  80     }
  81     return out;
  82 }
  83
  84 ast_value* parser_const_string(parser_t *parser, const char *str)
  85 {
  86     size_t i;
  87     ast_value *out;
  88     for (i = 0; i < parser->imm_string_count; ++i) {
  89         if (!strcmp(parser->imm_string[i]->constval.vstring, str))
  90             return parser->imm_string[i];
  91     }
  92     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_STRING);
  93     out->isconst = true;
  94     out->constval.vstring = util_strdup(str);
  95     if (!parser_t_imm_string_add(parser, out)) {
  96         ast_value_delete(out);
  97         return NULL;
  98     }
  99     return out;
 100 }
 101
 102 ast_value* parser_const_vector(parser_t *parser, vector v)
 103 {
 104     size_t i;
 105     ast_value *out;
 106     for (i = 0; i < parser->imm_vector_count; ++i) {
 107         if (!memcmp(&parser->imm_vector[i]->constval.vvec, &v, sizeof(v)))
 108             return parser->imm_vector[i];
 109     }
 110     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_VECTOR);
 111     out->isconst = true;
 112     out->constval.vvec = v;
 113     if (!parser_t_imm_vector_add(parser, out)) {
 114         ast_value_delete(out);
 115         return NULL;
 116     }
 117     return out;
 118 }
 119
 120 ast_value* parser_find_global(parser_t *parser, const char *name)
 121 {
 122     size_t i;
 123     for (i = 0; i < parser->globals_count; ++i) {
 124         if (!strcmp(parser->globals[i]->name, name))
 125             return parser->globals[i];
 126     }
 127     return NULL;
 128 }
 129
 130 ast_value* parser_find_local(parser_t *parser, const char *name, size_t upto)
 131 {
 132     size_t i;
 133     ast_value *fun;
 134     for (i = parser->locals_count; i > upto;) {
 135         --i;
 136         if (!strcmp(parser->locals[i]->name, name))
 137             return parser->locals[i];
 138     }
 139     fun = parser->function->vtype;
 140     for (i = 0; i < fun->expression.params_count; ++i) {
 141         if (!strcmp(fun->expression.params[i]->name, name))
 142             return fun->expression.params[i];
 143     }
 144     return NULL;
 145 }
 146
 147 ast_value* parser_find_var(parser_t *parser, const char *name)
 148 {
 149     ast_value *v;
 150     v         = parser_find_local(parser, name, 0);
 151     if (!v) v = parser_find_global(parser, name);
 152     return v;
 153 }
 154
 155 typedef struct {
 156     MEM_VECTOR_MAKE(ast_value*, p);
 157 } paramlist_t;
 158 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
 159
 160 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
 161 {
 162     paramlist_t params;
 163     ast_value *var;
 164     lex_ctx   ctx = parser_ctx(parser);
 165     int vtype = basetype;
 166     int temptype;
 167     size_t i;
 168
 169     MEM_VECTOR_INIT(&params, p);
 170
 171     *isfunc = false;
 172
 173     if (parser->tok == '(') {
 174         *isfunc = true;
 175         while (true) {
 176             ast_value *param;
 177             bool dummy;
 178
 179             if (!parser_next(parser))
 180                 goto on_error;
 181
 182             if (parser->tok == ')')
 183                 break;
 184
 185             temptype = parser_token(parser)->constval.t;
 186             if (!parser_next(parser))
 187                 goto on_error;
 188
 189             param = parser_parse_type(parser, temptype, &dummy);
 190             (void)dummy;
 191
 192             if (!param)
 193                 goto on_error;
 194
 195             if (parser->tok == TOKEN_IDENT) {
 196                 /* named parameter */
 197                 if (!ast_value_set_name(param, parser_tokval(parser)))
 198                     goto on_error;
 199                 if (!parser_next(parser))
 200                     goto on_error;
 201             }
 202
 203             if (!paramlist_t_p_add(&params, param)) {
 204                 parseerror(parser, "Out of memory while parsing typename");
 205                 goto on_error;
 206             }
 207
 208             if (parser->tok == ',')
 209                 continue;
 210             if (parser->tok == ')')
 211                 break;
 212             parseerror(parser, "Unexpected token");
 213             goto on_error;
 214         }
 215         if (!parser_next(parser))
 216             goto on_error;
 217     }
 218
 219     var = ast_value_new(ctx, "<unnamed>", vtype);
 220     if (!var)
 221         goto on_error;
 222     MEM_VECTOR_MOVE(&params, p, &var->expression, params);
 223     return var;
 224 on_error:
 225     for (i = 0; i < params.p_count; ++i)
 226         ast_value_delete(params.p[i]);
 227     MEM_VECTOR_CLEAR(&params, p);
 228     return NULL;
 229 }
 230
 231 typedef struct
 232 {
 233     size_t etype; /* 0 = expression, others are operators */
 234     int             paren;
 235     size_t          off;
 236     ast_expression *out;
 237     ast_value      *value; /* need to know if we can assign */
 238     ast_block      *block; /* for commas and function calls */
 239     lex_ctx ctx;
 240 } sy_elem;
 241 typedef struct
 242 {
 243     MEM_VECTOR_MAKE(sy_elem, out);
 244     MEM_VECTOR_MAKE(sy_elem, ops);
 245 } shunt;
 246 MEM_VEC_FUNCTIONS(shunt, sy_elem, out)
 247 MEM_VEC_FUNCTIONS(shunt, sy_elem, ops)
 248
 249 static sy_elem syexp(lex_ctx ctx, ast_expression *v) {
 250     sy_elem e;
 251     e.etype = 0;
 252     e.out   = v;
 253     e.value = NULL;
 254     e.block = NULL;
 255     e.ctx   = ctx;
 256     e.paren = 0;
 257     return e;
 258 }
 259 static sy_elem syval(lex_ctx ctx, ast_value *v) {
 260     sy_elem e;
 261     e.etype = 0;
 262     e.out   = (ast_expression*)v;
 263     e.value = v;
 264     e.block = NULL;
 265     e.ctx   = ctx;
 266     e.paren = 0;
 267     return e;
 268 }
 269
 270 static sy_elem syblock(lex_ctx ctx, ast_block *v) {
 271     sy_elem e;
 272     e.etype = 0;
 273     e.out   = (ast_expression*)v;
 274     e.value = NULL;
 275     e.block = v;
 276     e.ctx   = ctx;
 277     e.paren = 0;
 278     return e;
 279 }
 280
 281 static sy_elem syop(lex_ctx ctx, const oper_info *op) {
 282     sy_elem e;
 283     e.etype = 1 + (op - operators);
 284     e.out   = NULL;
 285     e.value = NULL;
 286     e.block = NULL;
 287     e.ctx   = ctx;
 288     e.paren = 0;
 289     return e;
 290 }
 291
 292 static sy_elem syparen(lex_ctx ctx, int p, size_t off) {
 293     sy_elem e;
 294     e.etype = 0;
 295     e.off   = off;
 296     e.out   = NULL;
 297     e.value = NULL;
 298     e.block = NULL;
 299     e.ctx   = ctx;
 300     e.paren = p;
 301     return e;
 302 }
 303
 304 static bool parser_sy_pop(parser_t *parser, shunt *sy)
 305 {
 306     const oper_info *op;
 307     lex_ctx ctx;
 308     ast_expression *out = NULL;
 309     ast_expression *exprs[3];
 310     ast_value      *vars[3];
 311     ast_block      *blocks[3];
 312     size_t i;
 313
 314     if (!sy->ops_count) {
 315         parseerror(parser, "internal error: missing operator");
 316         return false;
 317     }
 318
 319     if (sy->ops[sy->ops_count-1].paren) {
 320         parseerror(parser, "unmatched parenthesis");
 321         return false;
 322     }
 323
 324     op = &operators[sy->ops[sy->ops_count-1].etype - 1];
 325     ctx = sy->ops[sy->ops_count-1].ctx;
 326
 327     if (sy->out_count < op->operands) {
 328         parseerror(parser, "internal error: not enough operands: %i", sy->out_count);
 329         return false;
 330     }
 331
 332     sy->ops_count--;
 333
 334     sy->out_count -= op->operands;
 335     for (i = 0; i < op->operands; ++i) {
 336         exprs[i]  = sy->out[sy->out_count+i].out;
 337         vars[i]   = sy->out[sy->out_count+i].value;
 338         blocks[i] = sy->out[sy->out_count+i].block;
 339     }
 340
 341     if (blocks[0] && !blocks[0]->exprs_count && op->id != opid1(',')) {
 342         parseerror(parser, "internal error: operator cannot be applied on empty blocks");
 343         return false;
 344     }
 345
 346     switch (op->id)
 347     {
 348         default:
 349             parseerror(parser, "internal error: unhandled operand");
 350             return false;
 351
 352         case opid1(','):
 353             if (blocks[0]) {
 354                 if (!ast_block_exprs_add(blocks[0], exprs[1]))
 355                     return false;
 356             } else {
 357                 blocks[0] = ast_block_new(ctx);
 358                 if (!ast_block_exprs_add(blocks[0], exprs[0]) ||
 359                     !ast_block_exprs_add(blocks[0], exprs[1]))
 360                 {
 361                     return false;
 362                 }
 363             }
 364             if (!ast_block_set_type(blocks[0], exprs[1]))
 365                 return false;
 366
 367             sy->out[sy->out_count++] = syblock(ctx, blocks[0]);
 368             return true;
 369
 370         case opid1('+'):
 371             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
 372                 parseerror(parser, "Cannot add type %s and %s",
 373                            type_name[exprs[0]->expression.vtype],
 374                            type_name[exprs[1]->expression.vtype]);
 375                 return false;
 376             }
 377             switch (exprs[0]->expression.vtype) {
 378                 case TYPE_FLOAT:
 379                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_F, exprs[0], exprs[1]);
 380                     break;
 381                 case TYPE_VECTOR:
 382                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_V, exprs[0], exprs[1]);
 383                     break;
 384                 default:
 385                     parseerror(parser, "Cannot add type %s and %s",
 386                                type_name[exprs[0]->expression.vtype],
 387                                type_name[exprs[1]->expression.vtype]);
 388                     return false;
 389             };
 390             break;
 391         case opid1('-'):
 392             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
 393                 parseerror(parser, "Cannot subtract type %s from %s",
 394                            type_name[exprs[1]->expression.vtype],
 395                            type_name[exprs[0]->expression.vtype]);
 396                 return false;
 397             }
 398             switch (exprs[0]->expression.vtype) {
 399                 case TYPE_FLOAT:
 400                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_F, exprs[0], exprs[1]);
 401                     break;
 402                 case TYPE_VECTOR:
 403                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_V, exprs[0], exprs[1]);
 404                     break;
 405                 default:
 406                     parseerror(parser, "Cannot add type %s from %s",
 407                                type_name[exprs[1]->expression.vtype],
 408                                type_name[exprs[0]->expression.vtype]);
 409                     return false;
 410             };
 411             break;
 412         case opid1('*'):
 413             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype &&
 414                 exprs[0]->expression.vtype != TYPE_VECTOR &&
 415                 exprs[0]->expression.vtype != TYPE_FLOAT &&
 416                 exprs[1]->expression.vtype != TYPE_VECTOR &&
 417                 exprs[1]->expression.vtype != TYPE_FLOAT)
 418             {
 419                 parseerror(parser, "Cannot multiply type %s from %s",
 420                            type_name[exprs[1]->expression.vtype],
 421                            type_name[exprs[0]->expression.vtype]);
 422                 return false;
 423             }
 424             switch (exprs[0]->expression.vtype) {
 425                 case TYPE_FLOAT:
 426                     if (exprs[1]->expression.vtype == TYPE_VECTOR)
 427                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_FV, exprs[0], exprs[1]);
 428                     else
 429                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_F, exprs[0], exprs[1]);
 430                     break;
 431                 case TYPE_VECTOR:
 432                     if (exprs[1]->expression.vtype == TYPE_FLOAT)
 433                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_VF, exprs[0], exprs[1]);
 434                     else
 435                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_V, exprs[0], exprs[1]);
 436                     break;
 437                 default:
 438                     parseerror(parser, "Cannot add type %s from %s",
 439                                type_name[exprs[1]->expression.vtype],
 440                                type_name[exprs[0]->expression.vtype]);
 441                     return false;
 442             };
 443             break;
 444         case opid1('/'):
 445             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype ||
 446                 exprs[0]->expression.vtype != TYPE_FLOAT)
 447             {
 448                 parseerror(parser, "Cannot divide types %s and %s",
 449                            type_name[exprs[0]->expression.vtype],
 450                            type_name[exprs[1]->expression.vtype]);
 451                 return false;
 452             }
 453             out = (ast_expression*)ast_binary_new(ctx, INSTR_DIV_F, exprs[0], exprs[1]);
 454             break;
 455
 456
 457         case opid1('='):
 458             if (!vars[0]) {
 459                 parseerror(parser, "Cannot assign to non-variable");
 460                 return false;
 461             }
 462             out = (ast_expression*)ast_store_new(ctx,
 463                                                  type_store_instr[vars[0]->expression.vtype],
 464                                                  vars[0], exprs[1]);
 465             break;
 466     }
 467
 468     if (!out) {
 469         parseerror(parser, "failed to apply operand %s", op->op);
 470         return false;
 471     }
 472
 473     sy->out[sy->out_count++] = syexp(ctx, out);
 474     return true;
 475 }
 476
 477 static bool parser_close_call(parser_t *parser, shunt *sy)
 478 {
 479     /* was a function call */
 480     ast_expression *fun;
 481     ast_call       *call;
 482
 483     size_t          fid;
 484     size_t          paramcount;
 485
 486     sy->ops_count--;
 487     fid = sy->ops[sy->ops_count].off;
 488
 489     /* out[fid] is the function
 490      * everything above is parameters...
 491      * 0 params = nothing
 492      * 1 params = ast_expression
 493      * more = ast_block
 494      */
 495
 496     if (sy->out_count < 1 || sy->out_count <= fid) {
 497         parseerror(parser, "internal error: function call needs function and parameter list...");
 498         return false;
 499     }
 500
 501     fun = sy->out[fid].out;
 502
 503     call = ast_call_new(sy->ops[sy->ops_count].ctx, fun);
 504     if (!call) {
 505         parseerror(parser, "out of memory");
 506         return false;
 507     }
 508
 509     printf("fid = %i, out_count = %i\n", (int)fid, (int)sy->out_count);
 510
 511     if (fid+1 == sy->out_count) {
 512         /* no arguments */
 513         paramcount = 0;
 514     } else if (fid+2 == sy->out_count) {
 515         ast_block *params;
 516         sy->out_count--;
 517         params = sy->out[sy->out_count].block;
 518         if (!params) {
 519             /* 1 param */
 520             paramcount = 1;
 521             if (!ast_call_params_add(call, sy->out[sy->out_count].out)) {
 522                 ast_delete(sy->out[sy->out_count].out);
 523                 parseerror(parser, "out of memory");
 524                 return false;
 525             }
 526         } else {
 527             paramcount = params->exprs_count;
 528             MEM_VECTOR_MOVE(params, exprs, call, params);
 529             ast_delete(params);
 530         }
 531     } else {
 532         parseerror(parser, "invalid function call");
 533         return false;
 534     }
 535
 536     /* overwrite fid, the function, with a call */
 537     sy->out[fid] = syexp(call->expression.node.context, (ast_expression*)call);
 538
 539     if (fun->expression.vtype != TYPE_FUNCTION) {
 540         parseerror(parser, "not a function");
 541         return false;
 542     }
 543
 544     if (!fun->expression.next) {
 545         parseerror(parser, "could not determine function return type");
 546         return false;
 547     } else {
 548         if (fun->expression.params_count != paramcount) {
 549             parseerror(parser, "expected %i parameters, got %i", (int)fun->expression.params_count, paramcount);
 550             return false;
 551         }
 552     }
 553
 554     return true;
 555 }
 556
 557 static bool parser_close_paren(parser_t *parser, shunt *sy, bool functions_only)
 558 {
 559     if (!sy->ops_count) {
 560         parseerror(parser, "unmatched closing paren");
 561         return false;
 562     }
 563     if (sy->ops[sy->ops_count-1].paren == 1) {
 564         parseerror(parser, "empty parenthesis expression");
 565         return false;
 566     }
 567     while (sy->ops_count) {
 568         if (sy->ops[sy->ops_count-1].paren == 'f') {
 569             if (!parser_close_call(parser, sy))
 570                 return false;
 571             break;
 572         }
 573         if (sy->ops[sy->ops_count-1].paren == 1) {
 574             sy->ops_count--;
 575             return !functions_only;
 576         }
 577         if (!parser_sy_pop(parser, sy))
 578             return false;
 579     }
 580     return true;
 581 }
 582
 583 static ast_expression* parser_expression(parser_t *parser)
 584 {
 585     ast_expression *expr = NULL;
 586     shunt sy;
 587     bool wantop = false;
 588
 589     MEM_VECTOR_INIT(&sy, out);
 590     MEM_VECTOR_INIT(&sy, ops);
 591
 592     while (true)
 593     {
 594         if (!wantop)
 595         {
 596             bool nextwant = true;
 597             if (parser->tok == TOKEN_IDENT)
 598             {
 599                 /* variable */
 600                 ast_value *var = parser_find_var(parser, parser_tokval(parser));
 601                 if (!var) {
 602                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
 603                     goto onerr;
 604                 }
 605                 if (!shunt_out_add(&sy, syval(parser_ctx(parser), var))) {
 606                     parseerror(parser, "out of memory");
 607                     goto onerr;
 608                 }
 609             }
 610             else if (parser->tok == TOKEN_FLOATCONST) {
 611                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
 612                 if (!val)
 613                     return false;
 614                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 615                     parseerror(parser, "out of memory");
 616                     goto onerr;
 617                 }
 618             }
 619             else if (parser->tok == TOKEN_INTCONST) {
 620                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
 621                 if (!val)
 622                     return false;
 623                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 624                     parseerror(parser, "out of memory");
 625                     goto onerr;
 626                 }
 627             }
 628             else if (parser->tok == TOKEN_STRINGCONST) {
 629                 ast_value *val = parser_const_string(parser, parser_tokval(parser));
 630                 if (!val)
 631                     return false;
 632                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 633                     parseerror(parser, "out of memory");
 634                     goto onerr;
 635                 }
 636             }
 637             else if (parser->tok == TOKEN_VECTORCONST) {
 638                 ast_value *val = parser_const_vector(parser, parser_token(parser)->constval.v);
 639                 if (!val)
 640                     return false;
 641                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
 642                     parseerror(parser, "out of memory");
 643                     goto onerr;
 644                 }
 645             }
 646             else if (parser->tok == '(') {
 647                 nextwant = false; /* not expecting an operator next */
 648                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 1, 0))) {
 649                     parseerror(parser, "out of memory");
 650                     goto onerr;
 651                 }
 652             }
 653             else if (parser->tok == ')') {
 654                 /* allowed for function calls */
 655                 if (!parser_close_paren(parser, &sy, true))
 656                     goto onerr;
 657             }
 658             else {
 659                 /* TODO: prefix operators */
 660                 parseerror(parser, "expected statement");
 661                 goto onerr;
 662             }
 663             wantop = nextwant;
 664             parser->lex->flags.noops = !wantop;
 665         } else {
 666             if (parser->tok == '(') {
 667                 /* we expected an operator, this is the function-call operator */
 668                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 'f', sy.out_count-1))) {
 669                     parseerror(parser, "out of memory");
 670                     goto onerr;
 671                 }
 672             }
 673             else if (parser->tok == ')') {
 674                 /* we do expect an operator next */
 675                 /* closing an opening paren */
 676                 if (!parser_close_paren(parser, &sy, false))
 677                     goto onerr;
 678             }
 679             else if (parser->tok != TOKEN_OPERATOR) {
 680                 parseerror(parser, "expected operator or end of statement");
 681                 goto onerr;
 682             }
 683             else {
 684                 /* classify the operator */
 685                 /* TODO: suffix operators */
 686                 const oper_info *op;
 687                 const oper_info *olast = NULL;
 688                 size_t o;
 689                 for (o = 0; o < operator_count; ++o) {
 690                     if (!(operators[o].flags & OP_PREFIX) &&
 691                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
 692                         !strcmp(parser_tokval(parser), operators[o].op))
 693                     {
 694                         break;
 695                     }
 696                 }
 697                 if (o == operator_count) {
 698                     /* no operator found... must be the end of the statement */
 699                     break;
 700                 }
 701                 /* found an operator */
 702                 op = &operators[o];
 703
 704                 if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
 705                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 706
 707                 while (olast && (
 708                         (op->prec < olast->prec) ||
 709                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
 710                 {
 711                     if (!parser_sy_pop(parser, &sy))
 712                         goto onerr;
 713                     if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
 714                         olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 715                 }
 716
 717                 if (!shunt_ops_add(&sy, syop(parser_ctx(parser), op)))
 718                     goto onerr;
 719             }
 720             wantop = false;
 721             parser->lex->flags.noops = true;
 722         }
 723         if (!parser_next(parser)) {
 724             goto onerr;
 725         }
 726         if (parser->tok == ';') {
 727             break;
 728         }
 729     }
 730     if (!parser_next(parser)) {
 731         parseerror(parser, "Unexpected end of file");
 732         goto onerr;
 733     }
 734
 735     while (sy.ops_count) {
 736         if (!parser_sy_pop(parser, &sy))
 737             goto onerr;
 738     }
 739
 740     parser->lex->flags.noops = true;
 741     if (!sy.out_count) {
 742         parseerror(parser, "empty expression");
 743         expr = NULL;
 744     } else
 745         expr = sy.out[0].out;
 746     MEM_VECTOR_CLEAR(&sy, out);
 747     MEM_VECTOR_CLEAR(&sy, ops);
 748     return expr;
 749
 750 onerr:
 751     parser->lex->flags.noops = true;
 752     MEM_VECTOR_CLEAR(&sy, out);
 753     MEM_VECTOR_CLEAR(&sy, ops);
 754     return NULL;
 755 }
 756
 757 static bool parser_variable(parser_t *parser, ast_block *localblock);
 758 static bool parser_body_do(parser_t *parser, ast_block *block)
 759 {
 760     if (parser->tok == TOKEN_TYPENAME)
 761     {
 762         /* local variable */
 763         if (!parser_variable(parser, block))
 764             return false;
 765         return true;
 766     }
 767     else if (parser->tok == TOKEN_KEYWORD)
 768     {
 769         if (!strcmp(parser_tokval(parser), "return"))
 770         {
 771             ast_expression *exp;
 772             ast_return *ret;
 773
 774             if (!parser_next(parser)) {
 775                 parseerror(parser, "expected return expression");
 776                 return false;
 777             }
 778
 779             exp = parser_expression(parser);
 780             if (!exp)
 781                 return false;
 782             ret = ast_return_new(exp->expression.node.context, exp);
 783             if (!ret) {
 784                 ast_delete(exp);
 785                 return false;
 786             }
 787             if (!ast_block_exprs_add(block, (ast_expression*)ret)) {
 788                 ast_delete(ret);
 789                 return false;
 790             }
 791             return true;
 792         }
 793         parseerror(parser, "Unexpected keyword");
 794         return false;
 795     }
 796     else if (parser->tok == '{')
 797     {
 798         /* a block */
 799         parseerror(parser, "TODO: inner blocks: %s", parser_tokval(parser));
 800         return false;
 801     }
 802     else
 803     {
 804         ast_expression *exp = parser_expression(parser);
 805         if (!exp)
 806             return false;
 807         if (!ast_block_exprs_add(block, exp)) {
 808             ast_delete(exp);
 809             return false;
 810         }
 811         return true;
 812     }
 813 }
 814
 815 static ast_block* parser_parse_block(parser_t *parser)
 816 {
 817     size_t oldblocklocal;
 818     ast_block *block = NULL;
 819
 820     oldblocklocal = parser->blocklocal;
 821     parser->blocklocal = parser->locals_count;
 822
 823     if (!parser_next(parser)) { /* skip the '{' */
 824         parseerror(parser, "expected function body");
 825         goto cleanup;
 826     }
 827
 828     block = ast_block_new(parser_ctx(parser));
 829
 830     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 831     {
 832         if (parser->tok == '}')
 833             break;
 834
 835         if (!parser_body_do(parser, block)) {
 836             ast_block_delete(block);
 837             block = NULL;
 838             goto cleanup;
 839         }
 840     }
 841
 842     if (parser->tok != '}') {
 843         ast_block_delete(block);
 844         block = NULL;
 845     } else {
 846         (void)parser_next(parser);
 847     }
 848
 849 cleanup:
 850     parser->blocklocal = oldblocklocal;
 851     return block;
 852 }
 853
 854 static bool parser_variable(parser_t *parser, ast_block *localblock)
 855 {
 856     bool          isfunc = false;
 857     ast_function *func = NULL;
 858     lex_ctx       ctx;
 859     ast_value    *var;
 860
 861     int basetype = parser_token(parser)->constval.t;
 862
 863     while (true)
 864     {
 865         if (!parser_next(parser)) { /* skip basetype or comma */
 866             parseerror(parser, "expected variable declaration");
 867             return false;
 868         }
 869
 870         isfunc = false;
 871         func = NULL;
 872         ctx = parser_ctx(parser);
 873         var = parser_parse_type(parser, basetype, &isfunc);
 874
 875         if (!var)
 876             return false;
 877
 878         if (parser->tok != TOKEN_IDENT) {
 879             parseerror(parser, "expected variable name\n");
 880             return false;
 881         }
 882
 883         if (!localblock && parser_find_global(parser, parser_tokval(parser))) {
 884             ast_value_delete(var);
 885             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
 886             return false;
 887         }
 888
 889         if (localblock && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
 890             ast_value_delete(var);
 891             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
 892             return false;
 893         }
 894
 895         if (!ast_value_set_name(var, parser_tokval(parser))) {
 896             parseerror(parser, "failed to set variable name\n");
 897             ast_value_delete(var);
 898             return false;
 899         }
 900
 901         if (isfunc) {
 902             /* a function was defined */
 903             ast_value *fval;
 904
 905             /* turn var into a value of TYPE_FUNCTION, with the old var
 906              * as return type
 907              */
 908             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
 909             func = ast_function_new(ctx, var->name, fval);
 910             if (!fval || !func) {
 911                 ast_value_delete(var);
 912                 if (fval) ast_value_delete(fval);
 913                 if (func) ast_function_delete(func);
 914                 return false;
 915             }
 916
 917             fval->expression.next = (ast_expression*)var;
 918             MEM_VECTOR_MOVE(&var->expression, params, &fval->expression, params);
 919
 920             if (!parser_t_functions_add(parser, func)) {
 921                 ast_value_delete(var);
 922                 if (fval) ast_value_delete(fval);
 923                 if (func) ast_function_delete(func);
 924                 return false;
 925             }
 926
 927             var = fval;
 928         }
 929
 930         if ( (!localblock && !parser_t_globals_add(parser, var)) ||
 931              ( localblock && !parser_t_locals_add(parser, var)) )
 932         {
 933             ast_value_delete(var);
 934             return false;
 935         }
 936         if (localblock && !ast_block_locals_add(localblock, var))
 937         {
 938             parser->locals_count--;
 939             ast_value_delete(var);
 940             return false;
 941         }
 942
 943         if (!parser_next(parser)) {
 944             ast_value_delete(var);
 945             return false;
 946         }
 947
 948         if (parser->tok == ';') {
 949             if (!parser_next(parser))
 950                 return parser->tok == TOKEN_EOF;
 951             return true;
 952         }
 953
 954         if (parser->tok == ',') {
 955             /* another var */
 956             continue;
 957         }
 958
 959         if (parser->tok != '=') {
 960             parseerror(parser, "expected '=' or ';'");
 961             return false;
 962         }
 963
 964         if (!parser_next(parser))
 965             return false;
 966
 967         if (parser->tok == '#') {
 968             if (localblock) {
 969                 parseerror(parser, "cannot declare builtins within functions");
 970                 return false;
 971             }
 972             if (!isfunc || !func) {
 973                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
 974                 return false;
 975             }
 976             if (!parser_next(parser)) {
 977                 parseerror(parser, "expected builtin number");
 978                 return false;
 979             }
 980             if (parser->tok != TOKEN_INTCONST) {
 981                 parseerror(parser, "builtin number must be an integer constant");
 982                 return false;
 983             }
 984             if (parser_token(parser)->constval.i <= 0) {
 985                 parseerror(parser, "builtin number must be positive integer greater than zero");
 986                 return false;
 987             }
 988
 989             func->builtin = -parser_token(parser)->constval.i;
 990         } else if (parser->tok == '{') {
 991             /* function body */
 992             ast_block *block;
 993             ast_function *old = parser->function;
 994
 995             if (localblock) {
 996                 parseerror(parser, "cannot declare functions within functions");
 997                 return false;
 998             }
 999
1000             parser->function = func;
1001             block = parser_parse_block(parser);
1002             parser->function = old;
1003
1004             if (!block)
1005                 return false;
1006
1007             if (!ast_function_blocks_add(func, block)) {
1008                 ast_block_delete(block);
1009                 return false;
1010             }
1011             return true;
1012         } else {
1013             parseerror(parser, "TODO, const assignment");
1014         }
1015
1016         if (!parser_next(parser))
1017             return false;
1018
1019         if (parser->tok == ',') {
1020             /* another */
1021             continue;
1022         }
1023
1024         if (parser->tok != ';') {
1025             parseerror(parser, "expected semicolon");
1026             return false;
1027         }
1028
1029         (void)parser_next(parser);
1030
1031         return true;
1032     }
1033 }
1034
1035 static bool parser_do(parser_t *parser)
1036 {
1037     if (parser->tok == TOKEN_TYPENAME)
1038     {
1039         return parser_variable(parser, NULL);
1040     }
1041     else if (parser->tok == TOKEN_KEYWORD)
1042     {
1043         /* handle 'var' and 'const' */
1044         return false;
1045     }
1046     else if (parser->tok == '.')
1047     {
1048         /* entity-member declaration */
1049         return false;
1050     }
1051     else
1052     {
1053         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
1054         return false;
1055     }
1056     return true;
1057 }
1058
1059 bool parser_compile(const char *filename, const char *datfile)
1060 {
1061     size_t i;
1062     parser_t *parser;
1063     ir_builder *ir;
1064
1065     parser = (parser_t*)mem_a(sizeof(parser_t));
1066     if (!parser)
1067         return false;
1068
1069     memset(parser, 0, sizeof(parser));
1070
1071     MEM_VECTOR_INIT(parser, globals);
1072     MEM_VECTOR_INIT(parser, locals);
1073     parser->lex = lex_open(filename);
1074
1075     if (!parser->lex) {
1076         printf("failed to open file \"%s\"\n", filename);
1077         return false;
1078     }
1079
1080     /* initial lexer/parser state */
1081     parser->lex->flags.noops = true;
1082
1083     if (parser_next(parser))
1084     {
1085         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
1086         {
1087             if (!parser_do(parser)) {
1088                 if (parser->tok == TOKEN_EOF)
1089                     parseerror(parser, "unexpected eof");
1090                 else
1091                     parseerror(parser, "parse error\n");
1092                 lex_close(parser->lex);
1093                 mem_d(parser);
1094                 return false;
1095             }
1096         }
1097     }
1098
1099     lex_close(parser->lex);
1100
1101     ir = ir_builder_new("gmqcc_out");
1102     if (!ir) {
1103         printf("failed to allocate builder\n");
1104         goto cleanup;
1105     }
1106
1107     for (i = 0; i < parser->imm_float_count; ++i) {
1108         if (!ast_global_codegen(parser->imm_float[i], ir)) {
1109             printf("failed to generate global %s\n", parser->imm_float[i]->name);
1110         }
1111     }
1112     for (i = 0; i < parser->imm_string_count; ++i) {
1113         if (!ast_global_codegen(parser->imm_string[i], ir)) {
1114             printf("failed to generate global %s\n", parser->imm_string[i]->name);
1115         }
1116     }
1117     for (i = 0; i < parser->imm_vector_count; ++i) {
1118         if (!ast_global_codegen(parser->imm_vector[i], ir)) {
1119             printf("failed to generate global %s\n", parser->imm_vector[i]->name);
1120         }
1121     }
1122     for (i = 0; i < parser->globals_count; ++i) {
1123         if (!ast_global_codegen(parser->globals[i], ir)) {
1124             printf("failed to generate global %s\n", parser->globals[i]->name);
1125         }
1126     }
1127     for (i = 0; i < parser->functions_count; ++i) {
1128         if (!ast_function_codegen(parser->functions[i], ir)) {
1129             printf("failed to generate function %s\n", parser->functions[i]->name);
1130         }
1131         if (!ir_function_finalize(parser->functions[i]->ir_func)) {
1132             printf("failed to finalize function %s\n", parser->functions[i]->name);
1133         }
1134     }
1135
1136     ir_builder_dump(ir, printf);
1137
1138     if (!ir_builder_generate(ir, datfile))
1139         printf("*** failed to generate output file\n");
1140
1141     ir_builder_delete(ir);
1142
1143 cleanup:
1144     for (i = 0; i < parser->globals_count; ++i) {
1145         ast_value_delete(parser->globals[i]);
1146     }
1147     MEM_VECTOR_CLEAR(parser, globals);
1148
1149     mem_d(parser);
1150     return true;
1151 }