ftepp.c

   1 /*
   2  * Copyright (C) 2012
   3  *     Wolfgang Bumiller
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a copy of
   6  * this software and associated documentation files (the "Software"), to deal in
   7  * the Software without restriction, including without limitation the rights to
   8  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
   9  * of the Software, and to permit persons to whom the Software is furnished to do
  10  * so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in all
  13  * copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  20  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  21  * SOFTWARE.
  22  */
  23 #include "gmqcc.h"
  24 #include "lexer.h"
  25
  26 typedef struct {
  27     bool on;
  28     bool was_on;
  29     bool had_else;
  30 } ppcondition;
  31
  32 typedef struct {
  33     int   token;
  34     char *value;
  35     /* a copy from the lexer */
  36     union {
  37         vector v;
  38         int    i;
  39         double f;
  40         int    t; /* type */
  41     } constval;
  42 } pptoken;
  43
  44 typedef struct {
  45     lex_ctx ctx;
  46
  47     char   *name;
  48     char  **params;
  49     /* yes we need an extra flag since `#define FOO x` is not the same as `#define FOO() x` */
  50     bool    has_params;
  51
  52     pptoken **output;
  53 } ppmacro;
  54
  55 typedef struct {
  56     lex_file    *lex;
  57     int          token;
  58     bool         newline;
  59     unsigned int errors;
  60
  61     ppcondition *conditions;
  62     ppmacro    **macros;
  63 } ftepp_t;
  64
  65 #define ftepp_tokval(f) ((f)->lex->tok.value)
  66 #define ftepp_ctx(f)    ((f)->lex->tok.ctx)
  67
  68 static void ftepp_errorat(ftepp_t *ftepp, lex_ctx ctx, const char *fmt, ...)
  69 {
  70     va_list ap;
  71
  72     ftepp->errors++;
  73
  74     va_start(ap, fmt);
  75     con_vprintmsg(LVL_ERROR, ctx.file, ctx.line, "error", fmt, ap);
  76     va_end(ap);
  77 }
  78
  79 static void ftepp_error(ftepp_t *ftepp, const char *fmt, ...)
  80 {
  81     va_list ap;
  82
  83     ftepp->errors++;
  84
  85     va_start(ap, fmt);
  86     con_vprintmsg(LVL_ERROR, ftepp->lex->tok.ctx.file, ftepp->lex->tok.ctx.line, "error", fmt, ap);
  87     va_end(ap);
  88 }
  89
  90 ppmacro *ppmacro_new(lex_ctx ctx, const char *name)
  91 {
  92     ppmacro *macro = (ppmacro*)mem_a(sizeof(ppmacro));
  93     memset(macro, 0, sizeof(*macro));
  94     macro->name = util_strdup(name);
  95     return macro;
  96 }
  97
  98 void ppmacro_delete(ppmacro *self)
  99 {
 100     vec_free(self->params);
 101     vec_free(self->output);
 102     mem_d(self->name);
 103     mem_d(self);
 104 }
 105
 106 ftepp_t* ftepp_init()
 107 {
 108     ftepp_t *ftepp;
 109
 110     ftepp = (ftepp_t*)mem_a(sizeof(*ftepp));
 111     memset(ftepp, 0, sizeof(*ftepp));
 112
 113     return ftepp;
 114 }
 115
 116 void ftepp_delete(ftepp_t *self)
 117 {
 118     vec_free(self->macros);
 119     vec_free(self->conditions);
 120     mem_d(self);
 121 }
 122
 123 ppmacro* ftepp_macro_find(ftepp_t *ftepp, const char *name)
 124 {
 125     size_t i;
 126     for (i = 0; i < vec_size(ftepp->macros); ++i) {
 127         if (!strcmp(name, ftepp->macros[i]->name))
 128             return ftepp->macros[i];
 129     }
 130     return NULL;
 131 }
 132
 133 static inline int ftepp_next(ftepp_t *ftepp)
 134 {
 135     return (ftepp->token = lex_do(ftepp->lex));
 136 }
 137
 138 /* Important: this does not skip newlines! */
 139 static bool ftepp_skipspace(ftepp_t *ftepp)
 140 {
 141     if (ftepp->token != TOKEN_WHITE)
 142         return true;
 143     while (ftepp_next(ftepp) == TOKEN_WHITE) {}
 144     if (ftepp->token >= TOKEN_EOF) {
 145         ftepp_error(ftepp, "unexpected end of preprocessor directive");
 146         return false;
 147     }
 148     return true;
 149 }
 150
 151 /**
 152  * The huge macro parsing code...
 153  */
 154 static bool ftepp_define(ftepp_t *ftepp)
 155 {
 156     ppmacro *macro;
 157     (void)ftepp_next(ftepp);
 158     if (!ftepp_skipspace(ftepp))
 159         return false;
 160
 161     switch (ftepp->token) {
 162         case TOKEN_IDENT:
 163         case TOKEN_TYPENAME:
 164         case TOKEN_KEYWORD:
 165             macro = ppmacro_new(ftepp_ctx(ftepp), ftepp_tokval(ftepp));
 166             break;
 167         default:
 168             ftepp_error(ftepp, "expected macro name");
 169             return false;
 170     }
 171
 172     (void)ftepp_next(ftepp);
 173     if (!ftepp_skipspace(ftepp))
 174         return false;
 175     if (ftepp->token != TOKEN_EOL) {
 176         ftepp_error(ftepp, "stray tokens after macro");
 177         return false;
 178     }
 179     vec_push(ftepp->macros, macro);
 180     return true;
 181 }
 182
 183 /**
 184  * #if - the FTEQCC way:
 185  *    defined(FOO) => true if FOO was #defined regardless of parameters or contents
 186  *    <numbers>    => True if the number is not 0
 187  *    !<factor>    => True if the factor yields false
 188  *    <macro>      => becomes the macro's FIRST token regardless of parameters
 189  *    <e> && <e>   => True if both expressions are true
 190  *    <e> || <e>   => True if either expression is true
 191  *    <string>     => False
 192  *    <ident>      => False (remember for macros the <macro> rule applies instead)
 193  * Unary + and - are skipped
 194  * parenthesis in expressions are allowed
 195  * parameter lists on macros are errors
 196  * No mathematical calculations are executed
 197  */
 198 static bool ftepp_if_expr(ftepp_t *ftepp, bool *out)
 199 {
 200     ppmacro *macro;
 201     while (ftepp->token != TOKEN_EOL) {
 202         switch (ftepp->token) {
 203             case TOKEN_IDENT:
 204             case TOKEN_TYPENAME:
 205             case TOKEN_KEYWORD:
 206                 macro = ftepp_macro_find(ftepp, ftepp_tokval(ftepp));
 207                 if (!macro || !vec_size(macro->output)) {
 208                     *out = false;
 209                 } else {
 210                     /* This does not expand recursively! */
 211                     switch (macro->output[0]->token) {
 212                         case TOKEN_INTCONST:
 213                             *out = !!(macro->output[0]->constval.f);
 214                             break;
 215                         case TOKEN_FLOATCONST:
 216                             *out = !!(macro->output[0]->constval.f);
 217                             break;
 218                         default:
 219                             *out = false;
 220                             break;
 221                     }
 222                 }
 223                 break;
 224             case TOKEN_STRINGCONST:
 225                 *out = false;
 226                 break;
 227             case TOKEN_INTCONST:
 228                 *out = !!(ftepp->lex->tok.constval.i);
 229                 break;
 230             case TOKEN_FLOATCONST:
 231                 *out = !!(ftepp->lex->tok.constval.f);
 232                 break;
 233
 234             default:
 235                 ftepp_error(ftepp, "junk in #if");
 236                 return false;
 237         }
 238
 239         ftepp_next(ftepp);
 240         if (!ftepp_skipspace(ftepp))
 241             return false;
 242
 243         switch (ftepp->token) {
 244         }
 245     }
 246     (void)ftepp_next(ftepp);
 247     return true;
 248 }
 249
 250 static bool ftepp_if(ftepp_t *ftepp, ppcondition *cond)
 251 {
 252     bool result = false;
 253
 254     ftepp->lex->flags.noops = false;
 255
 256     memset(cond, 0, sizeof(*cond));
 257     (void)ftepp_next(ftepp);
 258
 259     if (!ftepp_skipspace(ftepp))
 260         return false;
 261     if (ftepp->token == TOKEN_EOL) {
 262         ftepp_error(ftepp, "expected expression for #if-directive");
 263         return false;
 264     }
 265
 266     if (!ftepp_if_expr(ftepp, &result))
 267         return false;
 268     ftepp->lex->flags.noops = true;
 269
 270     cond->on = result;
 271     return true;
 272 }
 273
 274 /**
 275  * ifdef is rather simple
 276  */
 277 static bool ftepp_ifdef(ftepp_t *ftepp, ppcondition *cond)
 278 {
 279     ppmacro *macro;
 280     memset(cond, 0, sizeof(*cond));
 281     (void)ftepp_next(ftepp);
 282     if (!ftepp_skipspace(ftepp))
 283         return false;
 284
 285     switch (ftepp->token) {
 286         case TOKEN_IDENT:
 287         case TOKEN_TYPENAME:
 288         case TOKEN_KEYWORD:
 289             macro = ftepp_macro_find(ftepp, ftepp_tokval(ftepp));
 290             break;
 291         default:
 292             ftepp_error(ftepp, "expected macro name");
 293             return false;
 294     }
 295
 296     (void)ftepp_next(ftepp);
 297     if (!ftepp_skipspace(ftepp))
 298         return false;
 299     if (ftepp->token != TOKEN_EOL) {
 300         ftepp_error(ftepp, "stray tokens after #ifdef");
 301         return false;
 302     }
 303     cond->on = !!macro;
 304     return true;
 305 }
 306
 307 /* Basic structure handlers */
 308 static bool ftepp_else_allowed(ftepp_t *ftepp)
 309 {
 310     if (!vec_size(ftepp->conditions)) {
 311         ftepp_error(ftepp, "#else without #if");
 312         return false;
 313     }
 314     if (vec_last(ftepp->conditions).had_else) {
 315         ftepp_error(ftepp, "multiple #else for a single #if");
 316         return false;
 317     }
 318     return true;
 319 }
 320
 321 static bool ftepp_hash(ftepp_t *ftepp)
 322 {
 323     ppcondition cond;
 324     ppcondition *pc;
 325
 326     lex_ctx ctx = ftepp_ctx(ftepp);
 327
 328     if (!ftepp_skipspace(ftepp))
 329         return false;
 330
 331     switch (ftepp->token) {
 332         case TOKEN_KEYWORD:
 333         case TOKEN_IDENT:
 334         case TOKEN_TYPENAME:
 335             if (!strcmp(ftepp_tokval(ftepp), "define")) {
 336                 return ftepp_define(ftepp);
 337             }
 338             else if (!strcmp(ftepp_tokval(ftepp), "ifdef")) {
 339                 if (!ftepp_ifdef(ftepp, &cond))
 340                     return false;
 341                 vec_push(ftepp->conditions, cond);
 342                 return true;
 343             }
 344             else if (!strcmp(ftepp_tokval(ftepp), "ifndef")) {
 345                 if (!ftepp_ifdef(ftepp, &cond))
 346                     return false;
 347                 cond.on = !cond.on;
 348                 vec_push(ftepp->conditions, cond);
 349                 return true;
 350             }
 351             else if (!strcmp(ftepp_tokval(ftepp), "elifdef")) {
 352                 if (!ftepp_else_allowed(ftepp))
 353                     return false;
 354                 if (!ftepp_ifdef(ftepp, &cond))
 355                     return false;
 356                 pc = &vec_last(ftepp->conditions);
 357                 pc->on     = !pc->was_on && cond.on;
 358                 pc->was_on = pc->was_on || pc->on;
 359                 return true;
 360             }
 361             else if (!strcmp(ftepp_tokval(ftepp), "elifndef")) {
 362                 if (!ftepp_else_allowed(ftepp))
 363                     return false;
 364                 if (!ftepp_ifdef(ftepp, &cond))
 365                     return false;
 366                 cond.on = !cond.on;
 367                 pc = &vec_last(ftepp->conditions);
 368                 pc->on     = !pc->was_on && cond.on;
 369                 pc->was_on = pc->was_on || pc->on;
 370                 return true;
 371             }
 372             else if (!strcmp(ftepp_tokval(ftepp), "elif")) {
 373                 if (!ftepp_else_allowed(ftepp))
 374                     return false;
 375                 if (!ftepp_if(ftepp, &cond))
 376                     return false;
 377                 pc = &vec_last(ftepp->conditions);
 378                 pc->on     = !pc->was_on && cond.on;
 379                 pc->was_on = pc->was_on  || pc->on;
 380                 return true;
 381             }
 382             else if (!strcmp(ftepp_tokval(ftepp), "if")) {
 383                 if (!ftepp_if(ftepp, &cond))
 384                     return false;
 385                 vec_push(ftepp->conditions, cond);
 386                 return true;
 387             }
 388             else if (!strcmp(ftepp_tokval(ftepp), "else")) {
 389                 if (!ftepp_else_allowed(ftepp))
 390                     return false;
 391                 pc = &vec_last(ftepp->conditions);
 392                 pc->on = !pc->was_on;
 393                 pc->had_else = true;
 394                 return true;
 395             }
 396             else if (!strcmp(ftepp_tokval(ftepp), "endif")) {
 397                 if (!vec_size(ftepp->conditions)) {
 398                     ftepp_error(ftepp, "#endif without #if");
 399                     return false;
 400                 }
 401                 vec_pop(ftepp->conditions);
 402                 break;
 403             }
 404             else {
 405                 ftepp_error(ftepp, "unrecognized preprocessor directive: `%s`", ftepp_tokval(ftepp));
 406                 return false;
 407             }
 408             break;
 409         default:
 410             ftepp_error(ftepp, "unexpected preprocessor token: `%s`", ftepp_tokval(ftepp));
 411             return false;
 412         case TOKEN_EOL:
 413             ftepp_errorat(ftepp, ctx, "empty preprocessor directive");
 414             return false;
 415         case TOKEN_EOF:
 416             ftepp_error(ftepp, "missing newline at end of file", ftepp_tokval(ftepp));
 417             return false;
 418     }
 419     return true;
 420 }
 421
 422 static void ftepp_out(ftepp_t *ftepp, const char *str)
 423 {
 424     if (!vec_size(ftepp->conditions) ||
 425         vec_last(ftepp->conditions).on)
 426     {
 427         printf("%s", str);
 428     }
 429 }
 430
 431 static bool ftepp_preprocess(ftepp_t *ftepp)
 432 {
 433     bool newline = true;
 434
 435     ftepp->lex->flags.preprocessing = true;
 436
 437     ftepp_next(ftepp);
 438     do
 439     {
 440         if (ftepp->token >= TOKEN_EOF)
 441             break;
 442
 443         ftepp->newline = newline;
 444         newline = false;
 445
 446         switch (ftepp->token) {
 447             case '#':
 448                 if (!ftepp->newline) {
 449                     ftepp_out(ftepp, ftepp_tokval(ftepp));
 450                     ftepp_next(ftepp);
 451                     break;
 452                 }
 453                 if (ftepp_next(ftepp) >= TOKEN_EOF) {
 454                     ftepp_error(ftepp, "error in preprocessor directive");
 455                     ftepp->token = TOKEN_ERROR;
 456                     break;
 457                 }
 458                 if (!ftepp_hash(ftepp))
 459                     ftepp->token = TOKEN_ERROR;
 460                 break;
 461             case TOKEN_EOL:
 462                 newline = true;
 463                 ftepp_out(ftepp, "\n");
 464                 ftepp_next(ftepp);
 465                 break;
 466             default:
 467                 ftepp_out(ftepp, ftepp_tokval(ftepp));
 468                 ftepp_next(ftepp);
 469                 break;
 470         }
 471     } while (!ftepp->errors && ftepp->token < TOKEN_EOF);
 472
 473     ftepp_delete(ftepp);
 474     return (ftepp->token == TOKEN_EOF);
 475 }
 476
 477 bool ftepp_preprocess_file(const char *filename)
 478 {
 479     ftepp_t *ftepp = ftepp_init();
 480     ftepp->lex = lex_open(filename);
 481     if (!ftepp->lex) {
 482         con_out("failed to open file \"%s\"\n", filename);
 483         return false;
 484     }
 485     return ftepp_preprocess(ftepp);
 486 }
 487
 488 bool ftepp_preprocess_string(const char *name, const char *str)
 489 {
 490     ftepp_t *ftepp = ftepp_init();
 491     ftepp->lex = lex_open_string(str, strlen(str), name);
 492     if (!ftepp->lex) {
 493         con_out("failed to create lexer for string \"%s\"\n", name);
 494         return false;
 495     }
 496     return ftepp_preprocess(ftepp);
 497 }