]> git.xonotic.org Git - xonotic/gmqcc.git/blob - parser.c
8c4d0358b561e72c99d5fe3f83f84ab32b2ccd8c
[xonotic/gmqcc.git] / parser.c
1 #include <stdio.h>
2 #include <stdarg.h>
3
4 #include "gmqcc.h"
5 #include "lexer.h"
6
7 typedef struct {
8     char *name;
9     ast_expression *var;
10 } varentry_t;
11
12 typedef struct {
13     lex_file *lex;
14     int      tok;
15
16     MEM_VECTOR_MAKE(varentry_t, globals);
17     MEM_VECTOR_MAKE(varentry_t, fields);
18     MEM_VECTOR_MAKE(ast_function*, functions);
19     MEM_VECTOR_MAKE(ast_value*, imm_float);
20     MEM_VECTOR_MAKE(ast_value*, imm_string);
21     MEM_VECTOR_MAKE(ast_value*, imm_vector);
22
23     ast_function *function;
24     MEM_VECTOR_MAKE(varentry_t, locals);
25     size_t blocklocal;
26
27     size_t errors;
28 } parser_t;
29
30 MEM_VEC_FUNCTIONS(parser_t, varentry_t, globals)
31 MEM_VEC_FUNCTIONS(parser_t, varentry_t, fields)
32 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
33 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_string)
34 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_vector)
35 MEM_VEC_FUNCTIONS(parser_t, varentry_t, locals)
36 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
37
38 void parseerror(parser_t *parser, const char *fmt, ...)
39 {
40         va_list ap;
41
42         parser->errors++;
43
44     if (parser)
45             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
46         else
47             printf("error: ");
48
49         va_start(ap, fmt);
50         vprintf(fmt, ap);
51         va_end(ap);
52
53         printf("\n");
54 }
55
56 bool parser_next(parser_t *parser)
57 {
58     /* lex_do kills the previous token */
59     parser->tok = lex_do(parser->lex);
60     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
61         return false;
62     return true;
63 }
64
65 /* lift a token out of the parser so it's not destroyed by parser_next */
66 token *parser_lift(parser_t *parser)
67 {
68     token *tok = parser->lex->tok;
69     parser->lex->tok = NULL;
70     return tok;
71 }
72
73 #define parser_tokval(p) (p->lex->tok->value)
74 #define parser_token(p)  (p->lex->tok)
75 #define parser_ctx(p)    (p->lex->tok->ctx)
76
77 ast_value* parser_const_float(parser_t *parser, double d)
78 {
79     size_t i;
80     ast_value *out;
81     for (i = 0; i < parser->imm_float_count; ++i) {
82         if (parser->imm_float[i]->constval.vfloat == d)
83             return parser->imm_float[i];
84     }
85     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
86     out->isconst = true;
87     out->constval.vfloat = d;
88     if (!parser_t_imm_float_add(parser, out)) {
89         ast_value_delete(out);
90         return NULL;
91     }
92     return out;
93 }
94
95 ast_value* parser_const_string(parser_t *parser, const char *str)
96 {
97     size_t i;
98     ast_value *out;
99     for (i = 0; i < parser->imm_string_count; ++i) {
100         if (!strcmp(parser->imm_string[i]->constval.vstring, str))
101             return parser->imm_string[i];
102     }
103     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_STRING);
104     out->isconst = true;
105     out->constval.vstring = util_strdup(str);
106     if (!parser_t_imm_string_add(parser, out)) {
107         ast_value_delete(out);
108         return NULL;
109     }
110     return out;
111 }
112
113 ast_value* parser_const_vector(parser_t *parser, vector v)
114 {
115     size_t i;
116     ast_value *out;
117     for (i = 0; i < parser->imm_vector_count; ++i) {
118         if (!memcmp(&parser->imm_vector[i]->constval.vvec, &v, sizeof(v)))
119             return parser->imm_vector[i];
120     }
121     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_VECTOR);
122     out->isconst = true;
123     out->constval.vvec = v;
124     if (!parser_t_imm_vector_add(parser, out)) {
125         ast_value_delete(out);
126         return NULL;
127     }
128     return out;
129 }
130
131 ast_expression* parser_find_field(parser_t *parser, const char *name)
132 {
133     size_t i;
134     for (i = 0; i < parser->fields_count; ++i) {
135         if (!strcmp(parser->fields[i].name, name))
136             return parser->fields[i].var;
137     }
138     return NULL;
139 }
140
141 ast_expression* parser_find_global(parser_t *parser, const char *name)
142 {
143     size_t i;
144     for (i = 0; i < parser->globals_count; ++i) {
145         if (!strcmp(parser->globals[i].name, name))
146             return parser->globals[i].var;
147     }
148     return NULL;
149 }
150
151 ast_expression* parser_find_local(parser_t *parser, const char *name, size_t upto)
152 {
153     size_t i;
154     ast_value *fun;
155     for (i = parser->locals_count; i > upto;) {
156         --i;
157         if (!strcmp(parser->locals[i].name, name))
158             return parser->locals[i].var;
159     }
160     fun = parser->function->vtype;
161     for (i = 0; i < fun->expression.params_count; ++i) {
162         if (!strcmp(fun->expression.params[i]->name, name))
163             return (ast_expression*)(fun->expression.params[i]);
164     }
165     return NULL;
166 }
167
168 ast_expression* parser_find_var(parser_t *parser, const char *name)
169 {
170     ast_expression *v;
171     v         = parser_find_local(parser, name, 0);
172     if (!v) v = parser_find_global(parser, name);
173     return v;
174 }
175
176 typedef struct {
177     MEM_VECTOR_MAKE(ast_value*, p);
178 } paramlist_t;
179 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
180
181 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
182 {
183     paramlist_t params;
184     ast_value *var;
185     lex_ctx   ctx = parser_ctx(parser);
186     int vtype = basetype;
187     int temptype;
188     size_t i;
189
190     MEM_VECTOR_INIT(&params, p);
191
192     *isfunc = false;
193
194     if (parser->tok == '(') {
195         *isfunc = true;
196         while (true) {
197             ast_value *param;
198             bool dummy;
199
200             if (!parser_next(parser))
201                 goto on_error;
202
203             if (parser->tok == ')')
204                 break;
205
206             temptype = parser_token(parser)->constval.t;
207             if (!parser_next(parser))
208                 goto on_error;
209
210             param = parser_parse_type(parser, temptype, &dummy);
211             (void)dummy;
212
213             if (!param)
214                 goto on_error;
215
216             if (parser->tok == TOKEN_IDENT) {
217                 /* named parameter */
218                 if (!ast_value_set_name(param, parser_tokval(parser)))
219                     goto on_error;
220                 if (!parser_next(parser))
221                     goto on_error;
222             }
223
224             if (!paramlist_t_p_add(&params, param)) {
225                 parseerror(parser, "Out of memory while parsing typename");
226                 goto on_error;
227             }
228
229             if (parser->tok == ',')
230                 continue;
231             if (parser->tok == ')')
232                 break;
233             parseerror(parser, "Unexpected token");
234             goto on_error;
235         }
236         if (!parser_next(parser))
237             goto on_error;
238     }
239
240     var = ast_value_new(ctx, "<unnamed>", vtype);
241     if (!var)
242         goto on_error;
243     MEM_VECTOR_MOVE(&params, p, &var->expression, params);
244     return var;
245 on_error:
246     for (i = 0; i < params.p_count; ++i)
247         ast_value_delete(params.p[i]);
248     MEM_VECTOR_CLEAR(&params, p);
249     return NULL;
250 }
251
252 typedef struct
253 {
254     size_t etype; /* 0 = expression, others are operators */
255     int             paren;
256     size_t          off;
257     ast_expression *out;
258     ast_block      *block; /* for commas and function calls */
259     lex_ctx ctx;
260 } sy_elem;
261 typedef struct
262 {
263     MEM_VECTOR_MAKE(sy_elem, out);
264     MEM_VECTOR_MAKE(sy_elem, ops);
265 } shunt;
266 MEM_VEC_FUNCTIONS(shunt, sy_elem, out)
267 MEM_VEC_FUNCTIONS(shunt, sy_elem, ops)
268
269 static sy_elem syexp(lex_ctx ctx, ast_expression *v) {
270     sy_elem e;
271     e.etype = 0;
272     e.out   = v;
273     e.block = NULL;
274     e.ctx   = ctx;
275     e.paren = 0;
276     return e;
277 }
278
279 static sy_elem syblock(lex_ctx ctx, ast_block *v) {
280     sy_elem e;
281     e.etype = 0;
282     e.out   = (ast_expression*)v;
283     e.block = v;
284     e.ctx   = ctx;
285     e.paren = 0;
286     return e;
287 }
288
289 static sy_elem syop(lex_ctx ctx, const oper_info *op) {
290     sy_elem e;
291     e.etype = 1 + (op - operators);
292     e.out   = NULL;
293     e.block = NULL;
294     e.ctx   = ctx;
295     e.paren = 0;
296     return e;
297 }
298
299 static sy_elem syparen(lex_ctx ctx, int p, size_t off) {
300     sy_elem e;
301     e.etype = 0;
302     e.off   = off;
303     e.out   = NULL;
304     e.block = NULL;
305     e.ctx   = ctx;
306     e.paren = p;
307     return e;
308 }
309
310 static bool parser_sy_pop(parser_t *parser, shunt *sy)
311 {
312     const oper_info *op;
313     lex_ctx ctx;
314     ast_expression *out = NULL;
315     ast_expression *exprs[3];
316     ast_block      *blocks[3];
317     size_t i;
318
319     if (!sy->ops_count) {
320         parseerror(parser, "internal error: missing operator");
321         return false;
322     }
323
324     if (sy->ops[sy->ops_count-1].paren) {
325         parseerror(parser, "unmatched parenthesis");
326         return false;
327     }
328
329     op = &operators[sy->ops[sy->ops_count-1].etype - 1];
330     ctx = sy->ops[sy->ops_count-1].ctx;
331
332     if (sy->out_count < op->operands) {
333         parseerror(parser, "internal error: not enough operands: %i", sy->out_count);
334         return false;
335     }
336
337     sy->ops_count--;
338
339     sy->out_count -= op->operands;
340     for (i = 0; i < op->operands; ++i) {
341         exprs[i]  = sy->out[sy->out_count+i].out;
342         blocks[i] = sy->out[sy->out_count+i].block;
343     }
344
345     if (blocks[0] && !blocks[0]->exprs_count && op->id != opid1(',')) {
346         parseerror(parser, "internal error: operator cannot be applied on empty blocks");
347         return false;
348     }
349
350     switch (op->id)
351     {
352         default:
353             parseerror(parser, "internal error: unhandled operand");
354             return false;
355
356         case opid1(','):
357             if (blocks[0]) {
358                 if (!ast_block_exprs_add(blocks[0], exprs[1]))
359                     return false;
360             } else {
361                 blocks[0] = ast_block_new(ctx);
362                 if (!ast_block_exprs_add(blocks[0], exprs[0]) ||
363                     !ast_block_exprs_add(blocks[0], exprs[1]))
364                 {
365                     return false;
366                 }
367             }
368             if (!ast_block_set_type(blocks[0], exprs[1]))
369                 return false;
370
371             sy->out[sy->out_count++] = syblock(ctx, blocks[0]);
372             return true;
373
374         case opid1('+'):
375             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
376                 parseerror(parser, "Cannot add type %s and %s",
377                            type_name[exprs[0]->expression.vtype],
378                            type_name[exprs[1]->expression.vtype]);
379                 return false;
380             }
381             switch (exprs[0]->expression.vtype) {
382                 case TYPE_FLOAT:
383                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_F, exprs[0], exprs[1]);
384                     break;
385                 case TYPE_VECTOR:
386                     out = (ast_expression*)ast_binary_new(ctx, INSTR_ADD_V, exprs[0], exprs[1]);
387                     break;
388                 default:
389                     parseerror(parser, "Cannot add type %s and %s",
390                                type_name[exprs[0]->expression.vtype],
391                                type_name[exprs[1]->expression.vtype]);
392                     return false;
393             };
394             break;
395         case opid1('-'):
396             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype) {
397                 parseerror(parser, "Cannot subtract type %s from %s",
398                            type_name[exprs[1]->expression.vtype],
399                            type_name[exprs[0]->expression.vtype]);
400                 return false;
401             }
402             switch (exprs[0]->expression.vtype) {
403                 case TYPE_FLOAT:
404                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_F, exprs[0], exprs[1]);
405                     break;
406                 case TYPE_VECTOR:
407                     out = (ast_expression*)ast_binary_new(ctx, INSTR_SUB_V, exprs[0], exprs[1]);
408                     break;
409                 default:
410                     parseerror(parser, "Cannot add type %s from %s",
411                                type_name[exprs[1]->expression.vtype],
412                                type_name[exprs[0]->expression.vtype]);
413                     return false;
414             };
415             break;
416         case opid1('*'):
417             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype &&
418                 exprs[0]->expression.vtype != TYPE_VECTOR &&
419                 exprs[0]->expression.vtype != TYPE_FLOAT &&
420                 exprs[1]->expression.vtype != TYPE_VECTOR &&
421                 exprs[1]->expression.vtype != TYPE_FLOAT)
422             {
423                 parseerror(parser, "Cannot multiply type %s from %s",
424                            type_name[exprs[1]->expression.vtype],
425                            type_name[exprs[0]->expression.vtype]);
426                 return false;
427             }
428             switch (exprs[0]->expression.vtype) {
429                 case TYPE_FLOAT:
430                     if (exprs[1]->expression.vtype == TYPE_VECTOR)
431                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_FV, exprs[0], exprs[1]);
432                     else
433                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_F, exprs[0], exprs[1]);
434                     break;
435                 case TYPE_VECTOR:
436                     if (exprs[1]->expression.vtype == TYPE_FLOAT)
437                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_VF, exprs[0], exprs[1]);
438                     else
439                         out = (ast_expression*)ast_binary_new(ctx, INSTR_MUL_V, exprs[0], exprs[1]);
440                     break;
441                 default:
442                     parseerror(parser, "Cannot add type %s from %s",
443                                type_name[exprs[1]->expression.vtype],
444                                type_name[exprs[0]->expression.vtype]);
445                     return false;
446             };
447             break;
448         case opid1('/'):
449             if (exprs[0]->expression.vtype != exprs[1]->expression.vtype ||
450                 exprs[0]->expression.vtype != TYPE_FLOAT)
451             {
452                 parseerror(parser, "Cannot divide types %s and %s",
453                            type_name[exprs[0]->expression.vtype],
454                            type_name[exprs[1]->expression.vtype]);
455                 return false;
456             }
457             out = (ast_expression*)ast_binary_new(ctx, INSTR_DIV_F, exprs[0], exprs[1]);
458             break;
459
460
461         case opid1('='):
462             out = (ast_expression*)ast_store_new(ctx,
463                                                  type_store_instr[exprs[0]->expression.vtype],
464                                                  exprs[0], exprs[1]);
465             break;
466     }
467
468     if (!out) {
469         parseerror(parser, "failed to apply operand %s", op->op);
470         return false;
471     }
472
473     sy->out[sy->out_count++] = syexp(ctx, out);
474     return true;
475 }
476
477 static bool parser_close_call(parser_t *parser, shunt *sy)
478 {
479     /* was a function call */
480     ast_expression *fun;
481     ast_call       *call;
482
483     size_t          fid;
484     size_t          paramcount;
485
486     sy->ops_count--;
487     fid = sy->ops[sy->ops_count].off;
488
489     /* out[fid] is the function
490      * everything above is parameters...
491      * 0 params = nothing
492      * 1 params = ast_expression
493      * more = ast_block
494      */
495
496     if (sy->out_count < 1 || sy->out_count <= fid) {
497         parseerror(parser, "internal error: function call needs function and parameter list...");
498         return false;
499     }
500
501     fun = sy->out[fid].out;
502
503     call = ast_call_new(sy->ops[sy->ops_count].ctx, fun);
504     if (!call) {
505         parseerror(parser, "out of memory");
506         return false;
507     }
508
509     if (fid+1 == sy->out_count) {
510         /* no arguments */
511         paramcount = 0;
512     } else if (fid+2 == sy->out_count) {
513         ast_block *params;
514         sy->out_count--;
515         params = sy->out[sy->out_count].block;
516         if (!params) {
517             /* 1 param */
518             paramcount = 1;
519             if (!ast_call_params_add(call, sy->out[sy->out_count].out)) {
520                 ast_delete(sy->out[sy->out_count].out);
521                 parseerror(parser, "out of memory");
522                 return false;
523             }
524         } else {
525             paramcount = params->exprs_count;
526             MEM_VECTOR_MOVE(params, exprs, call, params);
527             ast_delete(params);
528         }
529     } else {
530         parseerror(parser, "invalid function call");
531         return false;
532     }
533
534     /* overwrite fid, the function, with a call */
535     sy->out[fid] = syexp(call->expression.node.context, (ast_expression*)call);
536
537     if (fun->expression.vtype != TYPE_FUNCTION) {
538         parseerror(parser, "not a function");
539         return false;
540     }
541
542     if (!fun->expression.next) {
543         parseerror(parser, "could not determine function return type");
544         return false;
545     } else {
546         if (fun->expression.params_count != paramcount) {
547             parseerror(parser, "expected %i parameters, got %i", (int)fun->expression.params_count, paramcount);
548             return false;
549         }
550     }
551
552     return true;
553 }
554
555 static bool parser_close_paren(parser_t *parser, shunt *sy, bool functions_only)
556 {
557     if (!sy->ops_count) {
558         parseerror(parser, "unmatched closing paren");
559         return false;
560     }
561     if (sy->ops[sy->ops_count-1].paren == 1) {
562         parseerror(parser, "empty parenthesis expression");
563         return false;
564     }
565     while (sy->ops_count) {
566         if (sy->ops[sy->ops_count-1].paren == 'f') {
567             if (!parser_close_call(parser, sy))
568                 return false;
569             break;
570         }
571         if (sy->ops[sy->ops_count-1].paren == 1) {
572             sy->ops_count--;
573             return !functions_only;
574         }
575         if (!parser_sy_pop(parser, sy))
576             return false;
577     }
578     return true;
579 }
580
581 static ast_expression* parser_expression(parser_t *parser)
582 {
583     ast_expression *expr = NULL;
584     shunt sy;
585     bool wantop = false;
586
587     /* count the parens because an if starts with one, so the
588      * end of a condition is an unmatched closing paren
589      */
590     int parens = 0;
591
592     MEM_VECTOR_INIT(&sy, out);
593     MEM_VECTOR_INIT(&sy, ops);
594
595     while (true)
596     {
597         if (!wantop)
598         {
599             bool nextwant = true;
600             if (parser->tok == TOKEN_IDENT)
601             {
602                 /* variable */
603                 ast_expression *var = parser_find_var(parser, parser_tokval(parser));
604                 /* in the gmqcc standard, fields are in their own namespace */
605                 if (!var && opts_standard != COMPILER_GMQCC)
606                     var = parser_find_field(parser, parser_tokval(parser));
607                 if (!var) {
608                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
609                     goto onerr;
610                 }
611                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), var))) {
612                     parseerror(parser, "out of memory");
613                     goto onerr;
614                 }
615             }
616             else if (parser->tok == TOKEN_FLOATCONST) {
617                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
618                 if (!val)
619                     return false;
620                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
621                     parseerror(parser, "out of memory");
622                     goto onerr;
623                 }
624             }
625             else if (parser->tok == TOKEN_INTCONST) {
626                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
627                 if (!val)
628                     return false;
629                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
630                     parseerror(parser, "out of memory");
631                     goto onerr;
632                 }
633             }
634             else if (parser->tok == TOKEN_STRINGCONST) {
635                 ast_value *val = parser_const_string(parser, parser_tokval(parser));
636                 if (!val)
637                     return false;
638                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
639                     parseerror(parser, "out of memory");
640                     goto onerr;
641                 }
642             }
643             else if (parser->tok == TOKEN_VECTORCONST) {
644                 ast_value *val = parser_const_vector(parser, parser_token(parser)->constval.v);
645                 if (!val)
646                     return false;
647                 if (!shunt_out_add(&sy, syexp(parser_ctx(parser), (ast_expression*)val))) {
648                     parseerror(parser, "out of memory");
649                     goto onerr;
650                 }
651             }
652             else if (parser->tok == '(') {
653                 ++parens;
654                 nextwant = false; /* not expecting an operator next */
655                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 1, 0))) {
656                     parseerror(parser, "out of memory");
657                     goto onerr;
658                 }
659             }
660             else if (parser->tok == ')') {
661                 --parens;
662                 if (parens < 0)
663                     break;
664                 /* allowed for function calls */
665                 if (!parser_close_paren(parser, &sy, true))
666                     goto onerr;
667             }
668             else {
669                 /* TODO: prefix operators */
670                 parseerror(parser, "expected statement");
671                 goto onerr;
672             }
673             wantop = nextwant;
674             parser->lex->flags.noops = !wantop;
675         } else {
676             if (parser->tok == '(') {
677                 ++parens;
678                 /* we expected an operator, this is the function-call operator */
679                 if (!shunt_ops_add(&sy, syparen(parser_ctx(parser), 'f', sy.out_count-1))) {
680                     parseerror(parser, "out of memory");
681                     goto onerr;
682                 }
683             }
684             else if (parser->tok == ')') {
685                 --parens;
686                 if (parens < 0)
687                     break;
688                 /* we do expect an operator next */
689                 /* closing an opening paren */
690                 if (!parser_close_paren(parser, &sy, false))
691                     goto onerr;
692             }
693             else if (parser->tok != TOKEN_OPERATOR) {
694                 parseerror(parser, "expected operator or end of statement");
695                 goto onerr;
696             }
697             else {
698                 /* classify the operator */
699                 /* TODO: suffix operators */
700                 const oper_info *op;
701                 const oper_info *olast = NULL;
702                 size_t o;
703                 for (o = 0; o < operator_count; ++o) {
704                     if (!(operators[o].flags & OP_PREFIX) &&
705                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
706                         !strcmp(parser_tokval(parser), operators[o].op))
707                     {
708                         break;
709                     }
710                 }
711                 if (o == operator_count) {
712                     /* no operator found... must be the end of the statement */
713                     break;
714                 }
715                 /* found an operator */
716                 op = &operators[o];
717
718                 if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
719                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
720
721                 while (olast && (
722                         (op->prec < olast->prec) ||
723                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
724                 {
725                     if (!parser_sy_pop(parser, &sy))
726                         goto onerr;
727                     if (sy.ops_count && !sy.ops[sy.ops_count-1].paren)
728                         olast = &operators[sy.ops[sy.ops_count-1].etype-1];
729                 }
730
731                 if (!shunt_ops_add(&sy, syop(parser_ctx(parser), op)))
732                     goto onerr;
733             }
734             wantop = false;
735             parser->lex->flags.noops = true;
736         }
737         if (!parser_next(parser)) {
738             goto onerr;
739         }
740         if (parser->tok == ';') {
741             break;
742         }
743     }
744     if (parens >= 0 && !parser_next(parser)) {
745         parseerror(parser, "Unexpected end of file");
746         goto onerr;
747     }
748
749     while (sy.ops_count) {
750         if (!parser_sy_pop(parser, &sy))
751             goto onerr;
752     }
753
754     parser->lex->flags.noops = true;
755     if (!sy.out_count) {
756         parseerror(parser, "empty expression");
757         expr = NULL;
758     } else
759         expr = sy.out[0].out;
760     MEM_VECTOR_CLEAR(&sy, out);
761     MEM_VECTOR_CLEAR(&sy, ops);
762     return expr;
763
764 onerr:
765     parser->lex->flags.noops = true;
766     MEM_VECTOR_CLEAR(&sy, out);
767     MEM_VECTOR_CLEAR(&sy, ops);
768     return NULL;
769 }
770
771 static bool parser_variable(parser_t *parser, ast_block *localblock);
772 static ast_block* parser_parse_block(parser_t *parser);
773 static ast_expression* parser_parse_statement_or_block(parser_t *parser);
774 static bool parser_parse_statement(parser_t *parser, ast_block *block, ast_expression **out)
775 {
776     if (parser->tok == TOKEN_TYPENAME)
777     {
778         /* local variable */
779         if (!block) {
780             parseerror(parser, "cannot declare a variable from here");
781             return false;
782         }
783         if (!parser_variable(parser, block))
784             return false;
785         *out = NULL;
786         return true;
787     }
788     else if (parser->tok == TOKEN_KEYWORD)
789     {
790         if (!strcmp(parser_tokval(parser), "return"))
791         {
792             ast_expression *exp = NULL;
793             ast_return     *ret = NULL;
794             ast_value      *expected = parser->function->vtype;
795
796             if (!parser_next(parser)) {
797                 parseerror(parser, "expected return expression");
798                 return false;
799             }
800
801             if (parser->tok != ';') {
802                 exp = parser_expression(parser);
803                 if (!exp)
804                     return false;
805
806                 if (exp->expression.vtype != expected->expression.next->expression.vtype) {
807                     parseerror(parser, "return with invalid expression");
808                 }
809
810                 ret = ast_return_new(exp->expression.node.context, exp);
811                 if (!ret) {
812                     ast_delete(exp);
813                     return false;
814                 }
815
816                 *out = (ast_expression*)ret;
817             } else if (!parser_next(parser)) {
818                 parseerror(parser, "expected semicolon");
819                 if (expected->expression.next->expression.vtype != TYPE_VOID) {
820                     parseerror(parser, "return without value");
821                 }
822             }
823             return true;
824         }
825         else if (!strcmp(parser_tokval(parser), "if"))
826         {
827             ast_ifthen *ifthen;
828             ast_expression *cond, *ontrue, *onfalse = NULL;
829
830             lex_ctx ctx = parser_ctx(parser);
831
832             /* skip the 'if' and check for opening paren */
833             if (!parser_next(parser) || parser->tok != '(') {
834                 parseerror(parser, "expected 'if' condition in parenthesis");
835                 return false;
836             }
837             /* parse into the expression */
838             if (!parser_next(parser)) {
839                 parseerror(parser, "expected 'if' condition after opening paren");
840                 return false;
841             }
842             /* parse the condition */
843             cond = parser_expression(parser);
844             if (!cond)
845                 return false;
846             /* closing paren */
847             if (parser->tok != ')') {
848                 parseerror(parser, "expected closing paren after 'if' condition");
849                 ast_delete(cond);
850                 return false;
851             }
852             /* parse into the 'then' branch */
853             if (!parser_next(parser)) {
854                 parseerror(parser, "expected statement for on-true branch of 'if'");
855                 ast_delete(cond);
856                 return false;
857             }
858             ontrue = parser_parse_statement_or_block(parser);
859             if (!ontrue) {
860                 ast_delete(cond);
861                 return false;
862             }
863             /* check for an else */
864             if (!strcmp(parser_tokval(parser), "else")) {
865                 /* parse into the 'else' branch */
866                 if (!parser_next(parser)) {
867                     parseerror(parser, "expected on-false branch after 'else'");
868                     ast_delete(ontrue);
869                     ast_delete(cond);
870                     return false;
871                 }
872                 onfalse = parser_parse_statement_or_block(parser);
873                 if (!onfalse) {
874                     ast_delete(ontrue);
875                     ast_delete(cond);
876                     return false;
877                 }
878             }
879
880             ifthen = ast_ifthen_new(ctx, cond, ontrue, onfalse);
881             *out = (ast_expression*)ifthen;
882             return true;
883         }
884         parseerror(parser, "Unexpected keyword");
885         return false;
886     }
887     else if (parser->tok == '{')
888     {
889         ast_block *inner;
890         inner = parser_parse_block(parser);
891         if (!inner)
892             return false;
893         *out = (ast_expression*)inner;
894         return true;
895     }
896     else
897     {
898         ast_expression *exp = parser_expression(parser);
899         if (!exp)
900             return false;
901         *out = exp;
902         return true;
903     }
904 }
905
906 static void parser_pop_local(parser_t *parser)
907 {
908     parser->locals_count--;
909     mem_d(parser->locals[parser->locals_count].name);
910 }
911
912 static ast_block* parser_parse_block(parser_t *parser)
913 {
914     size_t oldblocklocal;
915     ast_block *block = NULL;
916
917     oldblocklocal = parser->blocklocal;
918     parser->blocklocal = parser->locals_count;
919
920     if (!parser_next(parser)) { /* skip the '{' */
921         parseerror(parser, "expected function body");
922         goto cleanup;
923     }
924
925     block = ast_block_new(parser_ctx(parser));
926
927     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
928     {
929         ast_expression *expr;
930         if (parser->tok == '}')
931             break;
932
933         if (!parser_parse_statement(parser, block, &expr)) {
934             ast_block_delete(block);
935             block = NULL;
936             goto cleanup;
937         }
938         if (!expr)
939             continue;
940         if (!ast_block_exprs_add(block, expr)) {
941             ast_delete(expr);
942             ast_block_delete(block);
943             block = NULL;
944             goto cleanup;
945         }
946     }
947
948     if (parser->tok != '}') {
949         ast_block_delete(block);
950         block = NULL;
951     } else {
952         (void)parser_next(parser);
953     }
954
955 cleanup:
956     while (parser->locals_count > parser->blocklocal)
957         parser_pop_local(parser);
958     parser->blocklocal = oldblocklocal;
959     /* unroll the local vector */
960     return block;
961 }
962
963 static ast_expression* parser_parse_statement_or_block(parser_t *parser)
964 {
965     ast_expression *expr;
966     if (parser->tok == '{')
967         return (ast_expression*)parser_parse_block(parser);
968     if (!parser_parse_statement(parser, NULL, &expr))
969         return NULL;
970     return expr;
971 }
972
973 static bool parser_variable(parser_t *parser, ast_block *localblock)
974 {
975     bool          isfunc = false;
976     ast_function *func = NULL;
977     lex_ctx       ctx;
978     ast_value    *var;
979     varentry_t    varent;
980
981     int basetype = parser_token(parser)->constval.t;
982
983     while (true)
984     {
985         if (!parser_next(parser)) { /* skip basetype or comma */
986             parseerror(parser, "expected variable declaration");
987             return false;
988         }
989
990         isfunc = false;
991         func = NULL;
992         ctx = parser_ctx(parser);
993         var = parser_parse_type(parser, basetype, &isfunc);
994
995         if (!var)
996             return false;
997
998         if (parser->tok != TOKEN_IDENT) {
999             parseerror(parser, "expected variable name\n");
1000             return false;
1001         }
1002
1003         if (!localblock && parser_find_global(parser, parser_tokval(parser))) {
1004             ast_value_delete(var);
1005             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
1006             return false;
1007         }
1008
1009         if (localblock && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
1010             ast_value_delete(var);
1011             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
1012             return false;
1013         }
1014
1015         if (!ast_value_set_name(var, parser_tokval(parser))) {
1016             parseerror(parser, "failed to set variable name\n");
1017             ast_value_delete(var);
1018             return false;
1019         }
1020
1021         if (isfunc) {
1022             /* a function was defined */
1023             ast_value *fval;
1024
1025             /* turn var into a value of TYPE_FUNCTION, with the old var
1026              * as return type
1027              */
1028             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
1029             func = ast_function_new(ctx, var->name, fval);
1030             if (!fval || !func) {
1031                 ast_value_delete(var);
1032                 if (fval) ast_value_delete(fval);
1033                 if (func) ast_function_delete(func);
1034                 return false;
1035             }
1036
1037             fval->expression.next = (ast_expression*)var;
1038             MEM_VECTOR_MOVE(&var->expression, params, &fval->expression, params);
1039
1040             if (!parser_t_functions_add(parser, func)) {
1041                 ast_value_delete(var);
1042                 if (fval) ast_value_delete(fval);
1043                 if (func) ast_function_delete(func);
1044                 return false;
1045             }
1046
1047             var = fval;
1048         }
1049
1050         varent.name = util_strdup(var->name);
1051         varent.var = (ast_expression*)var;
1052         if (var->expression.vtype == TYPE_VECTOR)
1053         {
1054             size_t len = strlen(varent.name);
1055             varentry_t vx, vy, vz;
1056             vx.var = (ast_expression*)ast_member_new(var->expression.node.context, (ast_expression*)var, 0);
1057             vy.var = (ast_expression*)ast_member_new(var->expression.node.context, (ast_expression*)var, 1);
1058             vz.var = (ast_expression*)ast_member_new(var->expression.node.context, (ast_expression*)var, 2);
1059             vx.name = mem_a(len+3);
1060             vy.name = mem_a(len+3);
1061             vz.name = mem_a(len+3);
1062             strcpy(vx.name, varent.name);
1063             strcpy(vy.name, varent.name);
1064             strcpy(vz.name, varent.name);
1065             vx.name[len] = vy.name[len] = vz.name[len] = '_';
1066             vx.name[len+1] = 'x';
1067             vy.name[len+1] = 'y';
1068             vz.name[len+1] = 'z';
1069             vx.name[len+2] = vy.name[len+2] = vz.name[len+2] = 0;
1070
1071             if (!localblock) {
1072                 (void)!parser_t_globals_add(parser, varent);
1073                 (void)!parser_t_globals_add(parser, vx);
1074                 (void)!parser_t_globals_add(parser, vy);
1075                 (void)!parser_t_globals_add(parser, vz);
1076             } else {
1077                 (void)!parser_t_locals_add(parser, varent);
1078                 (void)!parser_t_locals_add(parser, vx);
1079                 (void)!parser_t_locals_add(parser, vy);
1080                 (void)!parser_t_locals_add(parser, vz);
1081             }
1082         }
1083         else
1084         {
1085             if ( (!localblock && !parser_t_globals_add(parser, varent)) ||
1086                  ( localblock && !parser_t_locals_add(parser, varent)) )
1087             {
1088                 ast_value_delete(var);
1089                 return false;
1090             }
1091         }
1092         if (localblock && !ast_block_locals_add(localblock, var))
1093         {
1094             parser_pop_local(parser);
1095             ast_value_delete(var);
1096             return false;
1097         }
1098
1099         if (!parser_next(parser)) {
1100             ast_value_delete(var);
1101             return false;
1102         }
1103
1104         if (parser->tok == ';') {
1105             if (!parser_next(parser))
1106                 return parser->tok == TOKEN_EOF;
1107             return true;
1108         }
1109
1110         if (parser->tok == ',') {
1111             /* another var */
1112             continue;
1113         }
1114
1115         if (parser->tok != '=') {
1116             parseerror(parser, "expected '=' or ';'");
1117             return false;
1118         }
1119
1120         if (!parser_next(parser))
1121             return false;
1122
1123         if (parser->tok == '#') {
1124             if (localblock) {
1125                 parseerror(parser, "cannot declare builtins within functions");
1126                 return false;
1127             }
1128             if (!isfunc || !func) {
1129                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
1130                 return false;
1131             }
1132             if (!parser_next(parser)) {
1133                 parseerror(parser, "expected builtin number");
1134                 return false;
1135             }
1136             if (parser->tok != TOKEN_INTCONST) {
1137                 parseerror(parser, "builtin number must be an integer constant");
1138                 return false;
1139             }
1140             if (parser_token(parser)->constval.i <= 0) {
1141                 parseerror(parser, "builtin number must be positive integer greater than zero");
1142                 return false;
1143             }
1144
1145             func->builtin = -parser_token(parser)->constval.i;
1146         } else if (parser->tok == '{') {
1147             /* function body */
1148             ast_block *block;
1149             ast_function *old = parser->function;
1150
1151             if (localblock) {
1152                 parseerror(parser, "cannot declare functions within functions");
1153                 return false;
1154             }
1155
1156             parser->function = func;
1157             block = parser_parse_block(parser);
1158             parser->function = old;
1159
1160             if (!block)
1161                 return false;
1162
1163             if (!ast_function_blocks_add(func, block)) {
1164                 ast_block_delete(block);
1165                 return false;
1166             }
1167             return true;
1168         } else {
1169             parseerror(parser, "TODO, const assignment");
1170         }
1171
1172         if (!parser_next(parser))
1173             return false;
1174
1175         if (parser->tok == ',') {
1176             /* another */
1177             continue;
1178         }
1179
1180         if (parser->tok != ';') {
1181             parseerror(parser, "expected semicolon");
1182             return false;
1183         }
1184
1185         (void)parser_next(parser);
1186
1187         return true;
1188     }
1189 }
1190
1191 static bool parser_do(parser_t *parser)
1192 {
1193     if (parser->tok == TOKEN_TYPENAME)
1194     {
1195         return parser_variable(parser, NULL);
1196     }
1197     else if (parser->tok == TOKEN_KEYWORD)
1198     {
1199         /* handle 'var' and 'const' */
1200         return false;
1201     }
1202     else if (parser->tok == '.')
1203     {
1204         ast_value *var;
1205         ast_value *fld;
1206         bool       isfunc = false;
1207         int        basetype;
1208         lex_ctx    ctx = parser_ctx(parser);
1209         varentry_t varent;
1210
1211         /* entity-member declaration */
1212         if (!parser_next(parser) || parser->tok != TOKEN_TYPENAME) {
1213             parseerror(parser, "expected member variable definition");
1214             return false;
1215         }
1216
1217         /* remember the base/return type */
1218         basetype = parser_token(parser)->constval.t;
1219
1220         /* parse into the declaration */
1221         if (!parser_next(parser)) {
1222             parseerror(parser, "expected field def");
1223             return false;
1224         }
1225
1226         /* parse the field type fully */
1227         var = parser_parse_type(parser, basetype, &isfunc);
1228         if (!var)
1229             return false;
1230
1231         /* now the field name */
1232         if (parser->tok != TOKEN_IDENT) {
1233             parseerror(parser, "expected field name");
1234             ast_delete(var);
1235             return false;
1236         }
1237
1238         /* check for an existing field
1239          * in original qc we also have to check for an existing
1240          * global named like the field
1241          */
1242         if (opts_standard == COMPILER_QCC) {
1243             if (parser_find_global(parser, parser_tokval(parser))) {
1244                 parseerror(parser, "cannot declare a field and a global of the same name with -std=qcc");
1245                 ast_delete(var);
1246                 return false;
1247             }
1248         }
1249         if (parser_find_field(parser, parser_tokval(parser))) {
1250             parseerror(parser, "field %s already exists", parser_tokval(parser));
1251             ast_delete(var);
1252             return false;
1253         }
1254
1255         /* if it was a function, turn it into a function */
1256         if (isfunc) {
1257             ast_value *fval;
1258             /* turn var into a value of TYPE_FUNCTION, with the old var
1259              * as return type
1260              */
1261             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
1262             if (!fval) {
1263                 ast_value_delete(var);
1264                 ast_value_delete(fval);
1265                 return false;
1266             }
1267
1268             fval->expression.next = (ast_expression*)var;
1269             MEM_VECTOR_MOVE(&var->expression, params, &fval->expression, params);
1270
1271             var = fval;
1272         }
1273
1274         /* turn it into a field */
1275         fld = ast_value_new(ctx, parser_tokval(parser), TYPE_FIELD);
1276         fld->expression.next = (ast_expression*)var;
1277
1278         varent.var = (ast_expression*)fld;
1279         if (var->expression.vtype == TYPE_VECTOR)
1280         {
1281             /* create _x, _y and _z fields as well */
1282             parseerror(parser, "TODO: vector field members (_x,_y,_z)");
1283             ast_delete(fld);
1284             return false;
1285         }
1286
1287         varent.name = util_strdup(fld->name);
1288         (void)!parser_t_fields_add(parser, varent);
1289
1290         /* end with a semicolon */
1291         if (!parser_next(parser) || parser->tok != ';') {
1292             parseerror(parser, "semicolon expected");
1293             return false;
1294         }
1295
1296         /* skip the semicolon */
1297         if (!parser_next(parser))
1298             return parser->tok == TOKEN_EOF;
1299
1300         return true;
1301     }
1302     else
1303     {
1304         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
1305         return false;
1306     }
1307     return true;
1308 }
1309
1310 static parser_t *parser;
1311
1312 bool parser_init()
1313 {
1314     parser = (parser_t*)mem_a(sizeof(parser_t));
1315     if (!parser)
1316         return false;
1317
1318     memset(parser, 0, sizeof(parser));
1319
1320     MEM_VECTOR_INIT(parser, globals);
1321     MEM_VECTOR_INIT(parser, locals);
1322     return true;
1323 }
1324
1325 bool parser_compile(const char *filename)
1326 {
1327     parser->lex = lex_open(filename);
1328     if (!parser->lex) {
1329         printf("failed to open file \"%s\"\n", filename);
1330         return false;
1331     }
1332
1333     /* initial lexer/parser state */
1334     parser->lex->flags.noops = true;
1335
1336     if (parser_next(parser))
1337     {
1338         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
1339         {
1340             if (!parser_do(parser)) {
1341                 if (parser->tok == TOKEN_EOF)
1342                     parseerror(parser, "unexpected eof");
1343                 else
1344                     parseerror(parser, "parse error\n");
1345                 lex_close(parser->lex);
1346                 mem_d(parser);
1347                 return false;
1348             }
1349         }
1350     }
1351
1352     lex_close(parser->lex);
1353
1354     return !parser->errors;
1355 }
1356
1357 void parser_cleanup()
1358 {
1359     size_t i;
1360     for (i = 0; i < parser->functions_count; ++i) {
1361         ast_delete(parser->functions[i]);
1362     }
1363     for (i = 0; i < parser->imm_vector_count; ++i) {
1364         ast_delete(parser->imm_vector[i]);
1365     }
1366     for (i = 0; i < parser->imm_string_count; ++i) {
1367         ast_delete(parser->imm_string[i]);
1368     }
1369     for (i = 0; i < parser->imm_float_count; ++i) {
1370         ast_delete(parser->imm_float[i]);
1371     }
1372     for (i = 0; i < parser->globals_count; ++i) {
1373         ast_delete(parser->globals[i].var);
1374         mem_d(parser->globals[i].name);
1375     }
1376     MEM_VECTOR_CLEAR(parser, globals);
1377
1378     mem_d(parser);
1379 }
1380
1381 bool parser_finish(const char *output)
1382 {
1383     size_t i;
1384     ir_builder *ir;
1385
1386     if (!parser->errors)
1387     {
1388         ir = ir_builder_new("gmqcc_out");
1389         if (!ir) {
1390             printf("failed to allocate builder\n");
1391             return false;
1392         }
1393
1394         for (i = 0; i < parser->imm_float_count; ++i) {
1395             if (!ast_global_codegen(parser->imm_float[i], ir)) {
1396                 printf("failed to generate global %s\n", parser->imm_float[i]->name);
1397                 ir_builder_delete(ir);
1398                 return false;
1399             }
1400         }
1401         for (i = 0; i < parser->imm_string_count; ++i) {
1402             if (!ast_global_codegen(parser->imm_string[i], ir)) {
1403                 printf("failed to generate global %s\n", parser->imm_string[i]->name);
1404                 ir_builder_delete(ir);
1405                 return false;
1406             }
1407         }
1408         for (i = 0; i < parser->imm_vector_count; ++i) {
1409             if (!ast_global_codegen(parser->imm_vector[i], ir)) {
1410                 printf("failed to generate global %s\n", parser->imm_vector[i]->name);
1411                 ir_builder_delete(ir);
1412                 return false;
1413             }
1414         }
1415         for (i = 0; i < parser->fields_count; ++i) {
1416             ast_value *field;
1417             bool isconst;
1418             if (!ast_istype(parser->fields[i].var, ast_value))
1419                 continue;
1420             field = (ast_value*)parser->fields[i].var;
1421             isconst = field->isconst;
1422             field->isconst = false;
1423             if (!ast_global_codegen((ast_value*)field, ir)) {
1424                 printf("failed to generate field %s\n", field->name);
1425                 ir_builder_delete(ir);
1426                 return false;
1427             }
1428             if (isconst) {
1429                 ir_value *ifld;
1430                 ast_expression *subtype;
1431                 field->isconst = true;
1432                 subtype = field->expression.next;
1433                 ifld = ir_builder_create_field(ir, field->name, subtype->expression.vtype);
1434                 if (subtype->expression.vtype == TYPE_FIELD)
1435                     ifld->fieldtype = subtype->expression.next->expression.vtype;
1436                 else if (subtype->expression.vtype == TYPE_FUNCTION)
1437                     ifld->outtype = subtype->expression.next->expression.vtype;
1438                 (void)!ir_value_set_field(field->ir_v, ifld);
1439             }
1440         }
1441         for (i = 0; i < parser->globals_count; ++i) {
1442             if (!ast_istype(parser->globals[i].var, ast_value))
1443                 continue;
1444             if (!ast_global_codegen((ast_value*)(parser->globals[i].var), ir)) {
1445                 printf("failed to generate global %s\n", parser->globals[i].name);
1446                 ir_builder_delete(ir);
1447                 return false;
1448             }
1449         }
1450         for (i = 0; i < parser->functions_count; ++i) {
1451             if (!ast_function_codegen(parser->functions[i], ir)) {
1452                 printf("failed to generate function %s\n", parser->functions[i]->name);
1453                 ir_builder_delete(ir);
1454                 return false;
1455             }
1456             if (!ir_function_finalize(parser->functions[i]->ir_func)) {
1457                 printf("failed to finalize function %s\n", parser->functions[i]->name);
1458                 ir_builder_delete(ir);
1459                 return false;
1460             }
1461         }
1462
1463         ir_builder_dump(ir, printf);
1464
1465         if (!ir_builder_generate(ir, output)) {
1466             printf("*** failed to generate output file\n");
1467             ir_builder_delete(ir);
1468             return false;
1469         }
1470
1471         ir_builder_delete(ir);
1472         return true;
1473     }
1474
1475     printf("*** there were compile errors\n");
1476     return false;
1477 }