gmqcc.h

   1 /*
   2  * Copyright (C) 2012, 2013
   3  *     Dale Weiler
   4  *     Wolfgang Bumiller
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy of
   7  * this software and associated documentation files (the "Software"), to deal in
   8  * the Software without restriction, including without limitation the rights to
   9  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
  10  * of the Software, and to permit persons to whom the Software is furnished to do
  11  * so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #ifndef GMQCC_HDR
  25 #define GMQCC_HDR
  26 #include <stdarg.h>
  27 #include <stdio.h> /* TODO: remove this */
  28
  29 /*
  30  * Disable some over protective warnings in visual studio because fixing them is a waste
  31  * of my time.
  32  */
  33 #ifdef _MSC_VER
  34 #   pragma warning(disable : 4244 ) /* conversion from 'int' to 'float', possible loss of data */
  35 #endif /*! _MSC_VER */
  36
  37 #define GMQCC_VERSION_MAJOR 0
  38 #define GMQCC_VERSION_MINOR 3
  39 #define GMQCC_VERSION_PATCH 0
  40 #define GMQCC_VERSION_BUILD(J,N,P) (((J)<<16)|((N)<<8)|(P))
  41 #define GMQCC_VERSION \
  42     GMQCC_VERSION_BUILD(GMQCC_VERSION_MAJOR, GMQCC_VERSION_MINOR, GMQCC_VERSION_PATCH)
  43 /* Undefine the following on a release-tag: */
  44 #define GMQCC_VERSION_TYPE_DEVEL
  45
  46 /* Full version string in case we need it */
  47 #ifdef GMQCC_VERSION_TYPE_DEVEL
  48 #    ifdef GMQCC_GITINFO
  49 #        define GMQCC_DEV_VERSION_STRING "git build: " GMQCC_GITINFO "\n"
  50 #    elif defined(GMQCC_VERSION_TYPE_DEVEL)
  51 #        define GMQCC_DEV_VERSION_STRING "development build\n"
  52 #    else
  53 #        define GMQCC_DEV_VERSION_STRING
  54 #    endif /*! GMQCC_GITINGO */
  55 #else
  56 #    define GMQCC_DEV_VERSION_STRING
  57 #endif
  58
  59 #define GMQCC_STRINGIFY(x) #x
  60 #define GMQCC_IND_STRING(x) GMQCC_STRINGIFY(x)
  61 #define GMQCC_FULL_VERSION_STRING \
  62 "GMQCC " \
  63 GMQCC_IND_STRING(GMQCC_VERSION_MAJOR) "." \
  64 GMQCC_IND_STRING(GMQCC_VERSION_MINOR) "." \
  65 GMQCC_IND_STRING(GMQCC_VERSION_PATCH) \
  66 " Built " __DATE__ " " __TIME__ \
  67 "\n" GMQCC_DEV_VERSION_STRING
  68
  69 /*
  70  * We cannot rely on C99 at all, since compilers like MSVC
  71  * simply don't support it.  We define our own boolean type
  72  * as a result (since we cannot include <stdbool.h>). For
  73  * compilers that are in 1999 mode (C99 compliant) we can use
  74  * the language keyword _Bool which can allow for better code
  75  * on GCC and GCC-like compilers, opposed to `int`.
  76  */
  77 #ifndef __cplusplus
  78 #   ifdef  false
  79 #       undef  false
  80 #   endif /*! false */
  81 #   ifdef  true
  82 #       undef true
  83 #   endif /*! true  */
  84 #   define false (unsigned)(0)
  85 #   define true  (unsigned)(1)
  86 #   ifdef __STDC_VERSION__
  87 #       if __STDC_VERSION__ < 199901L && __GNUC__ < 3
  88             typedef int  bool;
  89 #       else
  90             typedef _Bool bool;
  91 #       endif /*! __STDC_VERSION__ < 199901L && __GNUC__ < 3 */
  92 #   else
  93         typedef int bool;
  94 #   endif /*! __STDC_VERSION__ */
  95 #endif /*! __cplusplus      */
  96
  97 /*
  98  * Of some functions which are generated we want to make sure
  99  * that the result isn't ignored. To find such function calls,
 100  * we use this macro.
 101  */
 102 #if defined(__GNUC__) || defined(__CLANG__)
 103 #   define GMQCC_WARN __attribute__((warn_unused_result))
 104 #   define GMQCC_USED __attribute__((used))
 105 #else
 106 #   define GMQCC_WARN
 107 #   define GMQCC_USED
 108 #endif /*! defined(__GNUC__) || defined (__CLANG__) */
 109
 110 /*
 111  * Inline is not supported in < C90, however some compilers
 112  * like gcc and clang might have an inline attribute we can
 113  * use if present.
 114  */
 115 #ifdef __STDC_VERSION__
 116 #    if __STDC_VERSION__ < 199901L
 117 #       if defined(__GNUC__) || defined (__CLANG__)
 118 #           if __GNUC__ < 2
 119 #               define GMQCC_INLINE
 120 #           else
 121 #               define GMQCC_INLINE __attribute__ ((always_inline))
 122 #           endif /*! __GNUC__ < 2 */
 123 #       else
 124 #           define GMQCC_INLINE
 125 #       endif /*! defined(__GNUC__) || defined (__CLANG__) */
 126 #    else
 127 #       define GMQCC_INLINE inline
 128 #    endif /*! __STDC_VERSION < 199901L */
 129 /*
 130  * Visual studio has __forcinline we can use.  So lets use that
 131  * I suspect it also has just __inline of some sort, but our use
 132  * of inline is correct (not guessed), WE WANT IT TO BE INLINE
 133  */
 134 #elif defined(_MSC_VER)
 135 #    define GMQCC_INLINE __forceinline
 136 #else
 137 #    define GMQCC_INLINE
 138 #endif /*! __STDC_VERSION__ */
 139
 140 /*
 141  * noreturn is present in GCC and clang
 142  * it's required for _ast_node_destory otherwise -Wmissing-noreturn
 143  * in clang complains about there being no return since abort() is
 144  * called.
 145  */
 146 #if (defined(__GNUC__) && __GNUC__ >= 2) || defined(__CLANG__)
 147 #    define GMQCC_NORETURN __attribute__ ((noreturn))
 148 #else
 149 #    define GMQCC_NORETURN
 150 #endif /*! (defined(__GNUC__) && __GNUC__ >= 2) || defined (__CLANG__) */
 151
 152 #ifndef _MSC_VER
 153 #   include <stdint.h>
 154 #else
 155     typedef unsigned __int8  uint8_t;
 156     typedef unsigned __int16 uint16_t;
 157     typedef unsigned __int32 uint32_t;
 158     typedef unsigned __int64 uint64_t;
 159
 160     typedef __int16          int16_t;
 161     typedef __int32          int32_t;
 162     typedef __int64          int64_t;
 163 #endif /*! _MSC_VER */
 164
 165 /*
 166  * Very roboust way at determining endianess at compile time: this handles
 167  * almost every possible situation.  Otherwise a runtime check has to be
 168  * performed.
 169  */
 170 #define GMQCC_BYTE_ORDER_LITTLE 1234
 171 #define GMQCC_BYTE_ORDER_BIG    4321
 172
 173 #if defined (__GNUC__) || defined (__GNU_LIBRARY__)
 174 #   if defined (__FreeBSD__) || defined (__OpenBSD__)
 175 #       include <sys/endian.h>
 176 #   elif defined (BSD) && (BSD >= 199103) || defined (__DJGPP__) || defined (__CYGWIN32__)
 177 #       include <machine/endian.h>
 178 #   elif defined (__APPLE__)
 179 #       if defined (__BIG_ENDIAN__) && !defined(BIG_ENDIAN)
 180 #           define BIG_ENDIAN
 181 #       elif defined (__LITTLE_ENDIAN__) && !defined (LITTLE_ENDIAN)
 182 #           define LITTLE_ENDIAN
 183 #       endif /*! defined (__BIG_ENDIAN__) && !defined(BIG_ENDIAN) */
 184 #   elif !defined (__MINGW32__)
 185 #       include <endian.h>
 186 #       if !defined (__BEOS__)
 187 #           include <byteswap.h>
 188 #       endif /*! !definde (__BEOS__) */
 189 #   endif /*! defined (__FreeBSD__) || defined (__OpenBSD__) */
 190 #endif /*! defined (__GNUC__) || defined (__GNU_LIBRARY__) */
 191 #if !defined(PLATFORM_BYTE_ORDER)
 192 #   if defined (LITTLE_ENDIAN) || defined (BIG_ENDIAN)
 193 #       if defined (LITTLE_ENDIAN) && !defined(BIG_ENDIAN)
 194 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 195 #       elif !defined (LITTLE_ENDIAN) && defined (BIG_ENDIAN)
 196 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 197 #       elif defined (BYTE_ORDER) && (BYTE_ORDER == LITTLE_ENDIAN)
 198 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 199 #       elif defined (BYTE_ORDER) && (BYTE_ORDER == BIG_ENDIAN)
 200 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 201 #       endif /*! defined (LITTLE_ENDIAN) && !defined(BIG_ENDIAN) */
 202 #   elif defined (_LITTLE_ENDIAN) || defined (_BIG_ENDIAN)
 203 #       if defined (_LITTLE_ENDIAN) && !defined(_BIG_ENDIAN)
 204 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 205 #       elif !defined (_LITTLE_ENDIAN) && defined (_BIG_ENDIAN)
 206 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 207 #       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _LITTLE_ENDIAN)
 208 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 209 #       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _BIG_ENDIAN)
 210 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 211 #       endif /*! defined (_LITTLE_ENDIAN) && !defined(_BIG_ENDIAN) */
 212 #   elif defined (__LITTLE_ENDIAN__) || defined (__BIG_ENDIAN__)
 213 #       if defined (__LITTLE_ENDIAN__) && !defined (__BIG_ENDIAN__)
 214 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 215 #       elif !defined (__LITTLE_ENDIAN__) && defined (__BIG_ENDIAN__)
 216 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 217 #       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __LITTLE_ENDIAN__)
 218 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 219 #       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __BIG_ENDIAN__)
 220 #           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 221 #       endif /*! defined (__LITTLE_ENDIAN__) && !defined (__BIG_ENDIAN__) */
 222 #   endif /*! defined(LITTLE_ENDIAN) || defined (BIG_ENDIAN) */
 223 #endif /*! !defined(PLATFORM_BYTE_ORDER) */
 224 #if !defined (PLATFORM_BYTE_ORDER)
 225 #   if   defined (__alpha__) || defined (__alpha)    || defined (i386)       || \
 226          defined (__i386__)  || defined (_M_I86)     || defined (_M_IX86)    || \
 227          defined (__OS2__)   || defined (sun386)     || defined (__TURBOC__) || \
 228          defined (vax)       || defined (vms)        || defined (VMS)        || \
 229          defined (__VMS)     || defined (__x86_64__) || defined (_M_IA64)    || \
 230          defined (_M_X64)    || defined (__i386)     || defined (__x86_64)
 231 #       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
 232 #   elif defined (AMIGA)     || defined (applec)     || defined (__AS400__)  || \
 233          defined (_CRAY)     || defined (__hppa)     || defined (__hp9000)   || \
 234          defined (ibm370)    || defined (mc68000)    || defined (m68k)       || \
 235          defined (__MRC__)   || defined (__MVS__)    || defined (__MWERKS__) || \
 236          defined (sparc)     || defined (__sparc)    || defined (SYMANTEC_C) || \
 237          defined (__TANDEM)  || defined (THINK_C)    || defined (__VMCMS__)  || \
 238          defined (__PPC__)   || defined (__PPC)      || defined (PPC)
 239 #       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
 240 #   else
 241 #       define PLATFORM_BYTE_ORDER -1
 242 #   endif
 243 #endif /*! !defined (PLATFORM_BYTE_ORDER) */
 244
 245 /*
 246  * On windows systems where we're not compiling with MING32 we need a
 247  * little extra help on dependinces for implementing our own dirent.h
 248  * in fs.c.
 249  */
 250 #if defined(_WIN32) && !defined(__MINGW32__)
 251 #   define _WIN32_LEAN_AND_MEAN
 252 #   include <windows.h>
 253 #   include <io.h>
 254 #   include <fcntl.h>
 255
 256     struct dirent {
 257         long               d_ino;
 258         unsigned short     d_reclen;
 259         unsigned short     d_namlen;
 260         char               d_name[FILENAME_MAX];
 261     };
 262
 263     typedef struct {
 264         struct _finddata_t dd_dta;
 265         struct dirent      dd_dir;
 266         long               dd_handle;
 267         int                dd_stat;
 268         char               dd_name[1];
 269     } DIR;
 270     /*
 271      * Visual studio also lacks S_ISDIR for sys/stat.h, so we emulate this as well
 272      * which is not hard at all.
 273      */
 274 #    ifdef S_ISDIR
 275 #        undef  S_ISDIR
 276 #    endif /*! S_ISDIR */
 277 #   define S_ISDIR(X) ((X)&_S_IFDIR)
 278 #else
 279 #   include <dirent.h>
 280 #endif /*! _WIN32 && !defined(__MINGW32__) */
 281
 282 /*===================================================================*/
 283 /*=========================== stat.c ================================*/
 284 /*===================================================================*/
 285 void  stat_info          (void);
 286 char *stat_mem_strdup    (const char *, size_t,         const char *, bool);
 287 void *stat_mem_reallocate(void *,       size_t, size_t, const char *);
 288 void  stat_mem_deallocate(void *);
 289 void *stat_mem_allocate  (size_t, size_t, const char *);
 290
 291 #define mem_a(SIZE)              stat_mem_allocate  ((SIZE), __LINE__, __FILE__)
 292 #define mem_d(PTRN)              stat_mem_deallocate((void*)(PTRN))
 293 #define mem_r(PTRN, SIZE)        stat_mem_reallocate((void*)(PTRN), (SIZE), __LINE__, __FILE__)
 294 #define mem_af(SIZE, FILE, LINE) stat_mem_allocate  ((SIZE), (LINE), (FILE))
 295
 296 /* TODO: rename to mem variations */
 297 #define util_strdup(SRC)         stat_mem_strdup((char*)(SRC), __LINE__, __FILE__, false)
 298 #define util_strdupe(SRC)        stat_mem_strdup((char*)(SRC), __LINE__, __FILE__, true)
 299
 300 /*===================================================================*/
 301 /*=========================== util.c ================================*/
 302 /*===================================================================*/
 303
 304 /*
 305  * Microsoft implements against the spec versions of ctype.h. Which
 306  * means what ever the current set locale is will render the actual
 307  * results of say isalpha('A') wrong for what ever retarded locale
 308  * is used. Simalerly these are also implemented inefficently on
 309  * some toolchains and end up becoming actual library calls. Perhaps
 310  * this is why tools like yacc provide their own? Regardless implementing
 311  * these as functions is equally as silly, the call overhead is not
 312  * justified when this could happen on every character from an input
 313  * stream. We provide our own as macros for absolute inlinability.
 314  */
 315 #define util_isalpha(a) ((((unsigned)(a)|32)-'a') < 26)
 316 #define util_isdigit(a) (((unsigned)(a)-'0') < 10)
 317 #define util_islower(a) (((unsigned)(a)-'a') < 26)
 318 #define util_isupper(a) (((unsigned)(a)-'A') < 26)
 319 #define util_isprint(a) (((unsigned)(a)-0x20) < 0x5F)
 320 #define util_isspace(a) (((a) >= 9 && (a) <= 13) || (a) == ' ')
 321
 322 bool  util_filexists     (const char *);
 323 bool  util_strupper      (const char *);
 324 bool  util_strdigit      (const char *);
 325 void  util_debug         (const char *, const char *, ...);
 326 void  util_endianswap    (void *,  size_t, unsigned int);
 327
 328 size_t util_strtocmd         (const char *, char *, size_t);
 329 size_t util_strtononcmd      (const char *, char *, size_t);
 330 size_t util_optimizationtostr(const char *, char *, size_t);
 331
 332 uint16_t util_crc16(uint16_t crc, const char *data, size_t len);
 333
 334 void     util_seed(uint32_t);
 335 uint32_t util_rand(void);
 336
 337 /*
 338  * String functions (formatting, copying, concatenating, errors). These are wrapped
 339  * to use the MSVC _safe_ versions when using MSVC, plus some implementations of
 340  * these are non-conformant or don't exist such as asprintf and snprintf, which are
 341  * not supported in C90, but do exist in C99.
 342  */
 343 int         util_vasprintf(char **ret, const char *fmt, va_list);
 344 int         util_asprintf (char **ret, const char *fmt, ...);
 345 int         util_snprintf (char *src,  size_t bytes, const char *format, ...);
 346 char       *util_strcat   (char *dest, const char *src);
 347 char       *util_strncpy  (char *dest, const char *src, size_t num);
 348 const char *util_strerror (int num);
 349
 350 /*
 351  * A flexible vector implementation: all vector pointers contain some
 352  * data about themselfs exactly - sizeof(vector_t) behind the pointer
 353  * this data is represented in the structure below.  Doing this allows
 354  * us to use the array [] to access individual elements from the vector
 355  * opposed to using set/get methods.
 356  */
 357 typedef struct {
 358     size_t  allocated;
 359     size_t  used;
 360
 361     /* can be extended now! whoot */
 362 } vector_t;
 363
 364 /* hidden interface */
 365 void _util_vec_grow(void **a, size_t i, size_t s);
 366 #define GMQCC_VEC_WILLGROW(X,Y) ( \
 367     ((!(X) || vec_meta(X)->used + Y >= vec_meta(X)->allocated)) ? \
 368         (void)_util_vec_grow(((void**)&(X)), (Y), sizeof(*(X))) : \
 369         (void)0                                                   \
 370 )
 371
 372 /* exposed interface */
 373 #define vec_meta(A)       (((vector_t*)((void*)A)) - 1)
 374 #define vec_free(A)       ((void)((A) ? (mem_d((void*)vec_meta(A)), (A) = NULL) : 0))
 375 #define vec_push(A,V)     (GMQCC_VEC_WILLGROW((A),1), (A)[vec_meta(A)->used++] = (V))
 376 #define vec_size(A)       ((A) ? vec_meta(A)->used : 0)
 377 #define vec_add(A,N)      (GMQCC_VEC_WILLGROW((A),(N)), vec_meta(A)->used += (N), &(A)[vec_meta(A)->used-(N)])
 378 #define vec_last(A)       ((A)[vec_meta(A)->used - 1])
 379 #define vec_pop(A)        ((void)(vec_meta(A)->used -= 1))
 380 #define vec_shrinkto(A,N) ((void)(vec_meta(A)->used  = (N)))
 381 #define vec_shrinkby(A,N) ((void)(vec_meta(A)->used -= (N)))
 382 #define vec_append(A,N,S) ((void)(memcpy(vec_add((A), (N)), (S), (N) * sizeof(*(S)))))
 383 #define vec_upload(X,Y,S) ((void)(memcpy(vec_add((X), (S) * sizeof(*(Y))), (Y), (S) * sizeof(*(Y)))))
 384 #define vec_remove(A,I,N) ((void)(memmove((A)+(I),(A)+((I)+(N)),sizeof(*(A))*(vec_meta(A)->used-(I)-(N))),vec_meta(A)->used-=(N)))
 385
 386 typedef struct correct_trie_s {
 387     void                  *value;
 388     struct correct_trie_s *entries;
 389 } correct_trie_t;
 390
 391 correct_trie_t* correct_trie_new(void);
 392
 393 typedef struct hash_table_s {
 394     size_t                size;
 395     struct hash_node_t **table;
 396 } hash_table_t, *ht;
 397
 398 /*
 399  * hashtable implementation:
 400  *
 401  * Note:
 402  *      This was designed for pointers:  you manage the life of the object yourself
 403  *      if you do use this for non-pointers please be warned that the object may not
 404  *      be valid if the duration of it exceeds (i.e on stack).  So you need to allocate
 405  *      yourself, or put those in global scope to ensure duration is for the whole
 406  *      runtime.
 407  *
 408  * util_htnew(size)                             -- to make a new hashtable
 409  * util_htset(table, key, value, sizeof(value)) -- to set something in the table
 410  * util_htget(table, key)                       -- to get something from the table
 411  * util_htdel(table)                            -- to delete the table
 412  *
 413  * example of use:
 414  *
 415  * ht    foo  = util_htnew(1024);
 416  * int   data = 100;
 417  * char *test = "hello world\n";
 418  * util_htset(foo, "foo", (void*)&data);
 419  * util_gtset(foo, "bar", (void*)test);
 420  *
 421  * printf("foo: %d, bar %s",
 422  *     *((int *)util_htget(foo, "foo")),
 423  *      ((char*)util_htget(foo, "bar"))
 424  * );
 425  *
 426  * util_htdel(foo);
 427  */
 428 hash_table_t *util_htnew (size_t size);
 429 void          util_htrem (hash_table_t *ht, void (*callback)(void *data));
 430 void          util_htset (hash_table_t *ht, const char *key, void *value);
 431 void          util_htdel (hash_table_t *ht);
 432 size_t        util_hthash(hash_table_t *ht, const char *key);
 433 void          util_htseth(hash_table_t *ht, const char *key, size_t hash, void *value);
 434 void          util_htrmh (hash_table_t *ht, const char *key, size_t bin, void (*cb)(void*));
 435 void          util_htrm  (hash_table_t *ht, const char *key, void (*cb)(void*));
 436
 437 void         *util_htget (hash_table_t *ht, const char *key);
 438 void         *util_htgeth(hash_table_t *ht, const char *key, size_t hash);
 439
 440 /*===================================================================*/
 441 /*============================ file.c ===============================*/
 442 /*===================================================================*/
 443 /* file handling */
 444 void           fs_file_close  (FILE *);
 445 int            fs_file_error  (FILE *);
 446 int            fs_file_getc   (FILE *);
 447 int            fs_file_printf (FILE *, const char *, ...);
 448 int            fs_file_puts   (FILE *, const char *);
 449 int            fs_file_seek   (FILE *, long int, int);
 450 long int       fs_file_tell   (FILE *);
 451
 452 size_t         fs_file_read   (void *,        size_t, size_t, FILE *);
 453 size_t         fs_file_write  (const void *,  size_t, size_t, FILE *);
 454
 455 FILE          *fs_file_open   (const char *, const char *);
 456 int            fs_file_getline(char  **, size_t *, FILE *);
 457
 458 /* directory handling */
 459 int            fs_dir_make    (const char *);
 460 DIR           *fs_dir_open    (const char *);
 461 int            fs_dir_close   (DIR *);
 462 struct dirent *fs_dir_read    (DIR *);
 463
 464
 465 /*===================================================================*/
 466 /*=========================== correct.c =============================*/
 467 /*===================================================================*/
 468 typedef struct {
 469     char   ***edits;
 470     size_t  **lens;
 471 } correction_t;
 472
 473 void  correct_del (correct_trie_t*, size_t **);
 474 void  correct_add (correct_trie_t*, size_t ***, const char *);
 475 char *correct_str (correction_t *, correct_trie_t*, const char *);
 476 void  correct_init(correction_t *);
 477 void  correct_free(correction_t *);
 478
 479 /*===================================================================*/
 480 /*=========================== code.c ================================*/
 481 /*===================================================================*/
 482
 483 /* Note: if you change the order, fix type_sizeof in ir.c */
 484 enum {
 485     TYPE_VOID     ,
 486     TYPE_STRING   ,
 487     TYPE_FLOAT    ,
 488     TYPE_VECTOR   ,
 489     TYPE_ENTITY   ,
 490     TYPE_FIELD    ,
 491     TYPE_FUNCTION ,
 492     TYPE_POINTER  ,
 493     TYPE_INTEGER  ,
 494     TYPE_VARIANT  ,
 495     TYPE_STRUCT   ,
 496     TYPE_UNION    ,
 497     TYPE_ARRAY    ,
 498
 499     TYPE_NIL      , /* it's its own type / untyped */
 500     TYPE_NOEXPR   , /* simply invalid in expressions */
 501
 502     TYPE_COUNT
 503 };
 504
 505 /* const/var qualifiers */
 506 #define CV_NONE   0
 507 #define CV_CONST  1
 508 #define CV_VAR   -1
 509 #define CV_WRONG  0x8000 /* magic number to help parsing */
 510
 511 extern const char    *type_name        [TYPE_COUNT];
 512 extern const uint16_t type_store_instr [TYPE_COUNT];
 513 extern const uint16_t field_store_instr[TYPE_COUNT];
 514
 515 /*
 516  * could use type_store_instr + INSTR_STOREP_F - INSTR_STORE_F
 517  * but this breaks when TYPE_INTEGER is added, since with the enhanced
 518  * instruction set, the old ones are left untouched, thus the _I instructions
 519  * are at a seperate place.
 520  */
 521 extern const uint16_t type_storep_instr[TYPE_COUNT];
 522 extern const uint16_t type_eq_instr    [TYPE_COUNT];
 523 extern const uint16_t type_ne_instr    [TYPE_COUNT];
 524 extern const uint16_t type_not_instr   [TYPE_COUNT];
 525
 526 typedef struct {
 527     uint32_t offset;      /* Offset in file of where data begins  */
 528     uint32_t length;      /* Length of section (how many of)      */
 529 } prog_section_t;
 530
 531 typedef struct {
 532     uint32_t       version;      /* Program version (6)     */
 533     uint16_t       crc16;
 534     uint16_t       skip;
 535
 536     prog_section_t statements;   /* prog_section_statement  */
 537     prog_section_t defs;         /* prog_section_def        */
 538     prog_section_t fields;       /* prog_section_field      */
 539     prog_section_t functions;    /* prog_section_function   */
 540     prog_section_t strings;
 541     prog_section_t globals;
 542     uint32_t       entfield;     /* Number of entity fields */
 543 } prog_header_t;
 544
 545 /*
 546  * Each paramater incerements by 3 since vector types hold
 547  * 3 components (x,y,z).
 548  */
 549 #define OFS_NULL      0
 550 #define OFS_RETURN    1
 551 #define OFS_PARM0     (OFS_RETURN+3)
 552 #define OFS_PARM1     (OFS_PARM0 +3)
 553 #define OFS_PARM2     (OFS_PARM1 +3)
 554 #define OFS_PARM3     (OFS_PARM2 +3)
 555 #define OFS_PARM4     (OFS_PARM3 +3)
 556 #define OFS_PARM5     (OFS_PARM4 +3)
 557 #define OFS_PARM6     (OFS_PARM5 +3)
 558 #define OFS_PARM7     (OFS_PARM6 +3)
 559
 560 typedef struct {
 561     uint16_t opcode;
 562
 563     /* operand 1 */
 564     union {
 565         int16_t  s1; /* signed   */
 566         uint16_t u1; /* unsigned */
 567     } o1;
 568     /* operand 2 */
 569     union {
 570         int16_t  s1; /* signed   */
 571         uint16_t u1; /* unsigned */
 572     } o2;
 573     /* operand 3 */
 574     union {
 575         int16_t  s1; /* signed   */
 576         uint16_t u1; /* unsigned */
 577     } o3;
 578
 579     /*
 580      * This is the same as the structure in darkplaces
 581      * {
 582      *     unsigned short op;
 583      *     short          a,b,c;
 584      * }
 585      * But this one is more sane to work with, and the
 586      * type sizes are guranteed.
 587      */
 588 } prog_section_statement_t;
 589
 590 typedef struct {
 591     /*
 592      * The types:
 593      * 0 = ev_void
 594      * 1 = ev_string
 595      * 2 = ev_float
 596      * 3 = ev_vector
 597      * 4 = ev_entity
 598      * 5 = ev_field
 599      * 6 = ev_function
 600      * 7 = ev_pointer -- engine only
 601      * 8 = ev_bad     -- engine only
 602      */
 603     uint16_t type;
 604     uint16_t offset;
 605     uint32_t name;
 606 } prog_section_both_t;
 607
 608 typedef prog_section_both_t prog_section_def_t;
 609 typedef prog_section_both_t prog_section_field_t;
 610
 611 /* this is ORed to the type */
 612 #define DEF_SAVEGLOBAL (1<<15)
 613 #define DEF_TYPEMASK   ((1<<15)-1)
 614
 615 typedef struct {
 616     int32_t   entry;      /* in statement table for instructions  */
 617     uint32_t  firstlocal; /* First local in local table           */
 618     uint32_t  locals;     /* Total ints of params + locals        */
 619     uint32_t  profile;    /* Always zero (engine uses this)       */
 620     uint32_t  name;       /* name of function in string table     */
 621     uint32_t  file;       /* file of the source file              */
 622     int32_t   nargs;      /* number of arguments                  */
 623     uint8_t   argsize[8]; /* size of arguments (keep 8 always?)   */
 624 } prog_section_function_t;
 625
 626 /*
 627  * Instructions
 628  * These are the external instructions supported by the interperter
 629  * this is what things compile to (from the C code).
 630  */
 631 enum {
 632     INSTR_DONE,
 633     INSTR_MUL_F,
 634     INSTR_MUL_V,
 635     INSTR_MUL_FV, /* NOTE: the float operands must NOT be at the same locations: A != C */
 636     INSTR_MUL_VF, /* and here: B != C */
 637     INSTR_DIV_F,
 638     INSTR_ADD_F,
 639     INSTR_ADD_V,
 640     INSTR_SUB_F,
 641     INSTR_SUB_V,
 642     INSTR_EQ_F,
 643     INSTR_EQ_V,
 644     INSTR_EQ_S,
 645     INSTR_EQ_E,
 646     INSTR_EQ_FNC,
 647     INSTR_NE_F,
 648     INSTR_NE_V,
 649     INSTR_NE_S,
 650     INSTR_NE_E,
 651     INSTR_NE_FNC,
 652     INSTR_LE,
 653     INSTR_GE,
 654     INSTR_LT,
 655     INSTR_GT,
 656     INSTR_LOAD_F,
 657     INSTR_LOAD_V,
 658     INSTR_LOAD_S,
 659     INSTR_LOAD_ENT,
 660     INSTR_LOAD_FLD,
 661     INSTR_LOAD_FNC,
 662     INSTR_ADDRESS,
 663     INSTR_STORE_F,
 664     INSTR_STORE_V,
 665     INSTR_STORE_S,
 666     INSTR_STORE_ENT,
 667     INSTR_STORE_FLD,
 668     INSTR_STORE_FNC,
 669     INSTR_STOREP_F,
 670     INSTR_STOREP_V,
 671     INSTR_STOREP_S,
 672     INSTR_STOREP_ENT,
 673     INSTR_STOREP_FLD,
 674     INSTR_STOREP_FNC,
 675     INSTR_RETURN,
 676     INSTR_NOT_F,
 677     INSTR_NOT_V,
 678     INSTR_NOT_S,
 679     INSTR_NOT_ENT,
 680     INSTR_NOT_FNC,
 681     INSTR_IF,
 682     INSTR_IFNOT,
 683     INSTR_CALL0,
 684     INSTR_CALL1,
 685     INSTR_CALL2,
 686     INSTR_CALL3,
 687     INSTR_CALL4,
 688     INSTR_CALL5,
 689     INSTR_CALL6,
 690     INSTR_CALL7,
 691     INSTR_CALL8,
 692     INSTR_STATE,
 693     INSTR_GOTO,
 694     INSTR_AND,
 695     INSTR_OR,
 696     INSTR_BITAND,
 697     INSTR_BITOR,
 698
 699     /*
 700      * Virtual instructions used by the IR
 701      * Keep at the end!
 702      */
 703     VINSTR_END,
 704     VINSTR_PHI,
 705     VINSTR_JUMP,
 706     VINSTR_COND,
 707     /* A never returning CALL.
 708      * Creating this causes IR blocks to be marked as 'final'.
 709      * No-Return-Call
 710      */
 711     VINSTR_NRCALL
 712 };
 713
 714 /* TODO: elide */
 715 extern const char *util_instr_str[VINSTR_END];
 716
 717
 718 typedef float    qcfloat_t;
 719 typedef int32_t  qcint_t;
 720 typedef uint32_t qcuint_t;
 721
 722 typedef struct {
 723     prog_section_statement_t *statements;
 724     int                      *linenums;
 725     prog_section_def_t       *defs;
 726     prog_section_field_t     *fields;
 727     prog_section_function_t  *functions;
 728     int                      *globals;
 729     char                     *chars;
 730     uint16_t                  crc;
 731     uint32_t                  entfields;
 732     ht                        string_cache;
 733     qcint_t                   string_cached_empty;
 734 } code_t;
 735
 736 /*
 737  * code_write          -- writes out the compiled file
 738  * code_init           -- prepares the code file
 739  * code_genstrin       -- generates string for code
 740  * code_alloc_field    -- allocated a field
 741  * code_push_statement -- keeps statements and linenumbers together
 742  * code_pop_statement  -- keeps statements and linenumbers together
 743  */
 744 bool      code_write         (code_t *, const char *filename, const char *lno);
 745 GMQCC_WARN
 746 code_t   *code_init          (void);
 747 void      code_cleanup       (code_t *);
 748 uint32_t  code_genstring     (code_t *, const char *string);
 749 qcint_t   code_alloc_field   (code_t *, size_t qcsize);
 750 void      code_push_statement(code_t *, prog_section_statement_t *stmt, int linenum);
 751 void      code_pop_statement (code_t *);
 752
 753 /*
 754  * A shallow copy of a lex_file to remember where which ast node
 755  * came from.
 756  */
 757 typedef struct {
 758     const char *file;
 759     size_t      line;
 760     size_t      column;
 761 } lex_ctx_t;
 762
 763 /*===================================================================*/
 764 /*============================ con.c ================================*/
 765 /*===================================================================*/
 766 enum {
 767     CON_BLACK   = 30,
 768     CON_RED,
 769     CON_GREEN,
 770     CON_BROWN,
 771     CON_BLUE,
 772     CON_MAGENTA,
 773     CON_CYAN ,
 774     CON_WHITE
 775 };
 776
 777 /* message level */
 778 enum {
 779     LVL_MSG,
 780     LVL_WARNING,
 781     LVL_ERROR
 782 };
 783
 784 FILE *con_default_out(void);
 785 FILE *con_default_err(void);
 786
 787 void con_vprintmsg (int level, const char *name, size_t line, size_t column, const char *msgtype, const char *msg, va_list ap);
 788 void con_printmsg  (int level, const char *name, size_t line, size_t column, const char *msgtype, const char *msg, ...);
 789 void con_cvprintmsg(lex_ctx_t ctx, int lvl, const char *msgtype, const char *msg, va_list ap);
 790 void con_cprintmsg (lex_ctx_t ctx, int lvl, const char *msgtype, const char *msg, ...);
 791
 792 void con_close (void);
 793 void con_init  (void);
 794 void con_reset (void);
 795 void con_color (int);
 796 int  con_change(const char *, const char *);
 797 int  con_verr  (const char *, va_list);
 798 int  con_vout  (const char *, va_list);
 799 int  con_err   (const char *, ...);
 800 int  con_out   (const char *, ...);
 801
 802 /* error/warning interface */
 803 extern size_t compile_errors;
 804 extern size_t compile_Werrors;
 805 extern size_t compile_warnings;
 806
 807 void /********/ compile_error   (lex_ctx_t ctx, /*LVL_ERROR*/ const char *msg, ...);
 808 void /********/ vcompile_error  (lex_ctx_t ctx, /*LVL_ERROR*/ const char *msg, va_list ap);
 809 bool GMQCC_WARN compile_warning (lex_ctx_t ctx, int warntype, const char *fmt, ...);
 810 bool GMQCC_WARN vcompile_warning(lex_ctx_t ctx, int warntype, const char *fmt, va_list ap);
 811 void            compile_show_werrors(void);
 812
 813 /*===================================================================*/
 814 /*============================= ir.c ================================*/
 815 /*===================================================================*/
 816
 817 enum store_types {
 818     store_global,
 819     store_local,  /* local, assignable for now, should get promoted later */
 820     store_param,  /* parameters, they are locals with a fixed position */
 821     store_value,  /* unassignable */
 822     store_return  /* unassignable, at OFS_RETURN */
 823 };
 824
 825 typedef struct {
 826     qcfloat_t x, y, z;
 827 } vec3_t;
 828
 829 /*===================================================================*/
 830 /*============================= exec.c ==============================*/
 831 /*===================================================================*/
 832
 833 /* TODO: cleanup */
 834 /*
 835  * Darkplaces has (or will have) a 64 bit prog loader
 836  * where the 32 bit qc program is autoconverted on load.
 837  * Since we may want to support that as well, let's redefine
 838  * float and int here.
 839  */
 840 typedef union {
 841     qcint_t   _int;
 842     qcint_t    string;
 843     qcint_t    function;
 844     qcint_t    edict;
 845     qcfloat_t _float;
 846     qcfloat_t vector[3];
 847     qcint_t   ivector[3];
 848 } qcany_t;
 849
 850 typedef char qcfloat_t_size_is_correct [sizeof(qcfloat_t) == 4 ?1:-1];
 851 typedef char qcint_t_size_is_correct   [sizeof(qcint_t)   == 4 ?1:-1];
 852
 853 enum {
 854     VMERR_OK,
 855     VMERR_TEMPSTRING_ALLOC,
 856     VMERR_END
 857 };
 858
 859 #define VM_JUMPS_DEFAULT 1000000
 860
 861 /* execute-flags */
 862 #define VMXF_DEFAULT 0x0000     /* default flags - nothing */
 863 #define VMXF_TRACE   0x0001     /* trace: print statements before executing */
 864 #define VMXF_PROFILE 0x0002     /* profile: increment the profile counters */
 865
 866 struct qc_program_s;
 867 typedef int (*prog_builtin_t)(struct qc_program_s *prog);
 868
 869 typedef struct {
 870     qcint_t                    stmt;
 871     size_t                   localsp;
 872     prog_section_function_t *function;
 873 } qc_exec_stack_t;
 874
 875 typedef struct qc_program_s {
 876     char                    *filename;
 877     prog_section_statement_t *code;
 878     prog_section_def_t       *defs;
 879     prog_section_def_t       *fields;
 880     prog_section_function_t  *functions;
 881     char                    *strings;
 882     qcint_t                   *globals;
 883     qcint_t                   *entitydata;
 884     bool                    *entitypool;
 885
 886     const char*             *function_stack;
 887
 888     uint16_t crc16;
 889
 890     size_t tempstring_start;
 891     size_t tempstring_at;
 892
 893     qcint_t  vmerror;
 894
 895     size_t *profile;
 896
 897     prog_builtin_t *builtins;
 898     size_t          builtins_count;
 899
 900     /* size_t ip; */
 901     qcint_t  entities;
 902     size_t entityfields;
 903     bool   allowworldwrites;
 904
 905     qcint_t         *localstack;
 906     qc_exec_stack_t *stack;
 907     size_t statement;
 908
 909     size_t xflags;
 910
 911     int    argc; /* current arg count for debugging */
 912 } qc_program_t;
 913
 914 qc_program_t*       prog_load      (const char *filename, bool ignoreversion);
 915 void                prog_delete    (qc_program_t *prog);
 916 bool                prog_exec      (qc_program_t *prog, prog_section_function_t *func, size_t flags, long maxjumps);
 917 const char*         prog_getstring (qc_program_t *prog, qcint_t str);
 918 prog_section_def_t* prog_entfield  (qc_program_t *prog, qcint_t off);
 919 prog_section_def_t* prog_getdef    (qc_program_t *prog, qcint_t off);
 920 qcany_t*            prog_getedict  (qc_program_t *prog, qcint_t e);
 921 qcint_t               prog_tempstring(qc_program_t *prog, const char *_str);
 922
 923
 924 /*===================================================================*/
 925 /*===================== parser.c commandline ========================*/
 926 /*===================================================================*/
 927 struct parser_s;
 928 struct parser_s *parser_create        (void);
 929 bool             parser_compile_file  (struct parser_s *parser, const char *);
 930 bool             parser_compile_string(struct parser_s *parser, const char *, const char *, size_t);
 931 bool             parser_finish        (struct parser_s *parser, const char *);
 932 void             parser_cleanup       (struct parser_s *parser);
 933
 934 /*===================================================================*/
 935 /*====================== ftepp.c commandline ========================*/
 936 /*===================================================================*/
 937 struct ftepp_s;
 938 struct ftepp_s *ftepp_create           (void);
 939 bool            ftepp_preprocess_file  (struct ftepp_s *ftepp, const char *filename);
 940 bool            ftepp_preprocess_string(struct ftepp_s *ftepp, const char *name, const char *str);
 941 void            ftepp_finish           (struct ftepp_s *ftepp);
 942 const char     *ftepp_get              (struct ftepp_s *ftepp);
 943 void            ftepp_flush            (struct ftepp_s *ftepp);
 944 void            ftepp_add_define       (struct ftepp_s *ftepp, const char *source, const char *name);
 945 void            ftepp_add_macro        (struct ftepp_s *ftepp, const char *name,   const char *value);
 946
 947 /*===================================================================*/
 948 /*======================= main.c commandline ========================*/
 949 /*===================================================================*/
 950
 951 #if 1
 952 /* Helpers to allow for a whole lot of flags. Otherwise we'd limit
 953  * to 32 or 64 -f options...
 954  */
 955 typedef struct {
 956     size_t  idx; /* index into an array of 32 bit words */
 957     uint8_t bit; /* bit index for the 8 bit group idx points to */
 958 } longbit;
 959 #define LONGBIT(bit) { ((bit)/32), ((bit)%32) }
 960 #define LONGBIT_SET(B, I) ((B).idx = (I)/32, (B).bit = ((I)%32))
 961 #else
 962 typedef uint32_t longbit;
 963 #define LONGBIT(bit) (bit)
 964 #define LONGBIT_SET(B, I) ((B) = (I))
 965 #endif
 966
 967 /*===================================================================*/
 968 /*=========================== utf8lib.c =============================*/
 969 /*===================================================================*/
 970 typedef uint32_t uchar_t;
 971
 972 bool    u8_analyze (const char *_s, size_t *_start, size_t *_len, uchar_t *_ch, size_t _maxlen);
 973 size_t  u8_strlen  (const char*);
 974 size_t  u8_strnlen (const char*, size_t);
 975 uchar_t u8_getchar (const char*, const char**);
 976 uchar_t u8_getnchar(const char*, const char**, size_t);
 977 int     u8_fromchar(uchar_t w,   char *to,     size_t maxlen);
 978
 979 /*===================================================================*/
 980 /*============================= opts.c ==============================*/
 981 /*===================================================================*/
 982 typedef struct {
 983     const char *name;
 984     longbit     bit;
 985 } opts_flag_def_t;
 986
 987 bool opts_setflag  (const char *, bool);
 988 bool opts_setwarn  (const char *, bool);
 989 bool opts_setwerror(const char *, bool);
 990 bool opts_setoptim (const char *, bool);
 991
 992 void opts_init         (const char *, int, size_t);
 993 void opts_set          (uint32_t   *, size_t, bool);
 994 void opts_setoptimlevel(unsigned int);
 995 void opts_ini_init     (const char *);
 996
 997 /* Saner flag handling */
 998 void opts_backup_non_Wall(void);
 999 void opts_restore_non_Wall(void);
1000 void opts_backup_non_Werror_all(void);
1001 void opts_restore_non_Werror_all(void);
1002
1003
1004 enum {
1005 # define GMQCC_TYPE_FLAGS
1006 # define GMQCC_DEFINE_FLAG(X) X,
1007 #  include "opts.def"
1008     COUNT_FLAGS
1009 };
1010
1011 enum {
1012 # define GMQCC_TYPE_WARNS
1013 # define GMQCC_DEFINE_FLAG(X) WARN_##X,
1014 #  include "opts.def"
1015     COUNT_WARNINGS
1016 };
1017
1018 enum {
1019 # define GMQCC_TYPE_OPTIMIZATIONS
1020 # define GMQCC_DEFINE_FLAG(NAME, MIN_O) OPTIM_##NAME,
1021 #  include "opts.def"
1022     COUNT_OPTIMIZATIONS
1023 };
1024
1025 enum {
1026 #   define GMQCC_TYPE_OPTIONS
1027 #   define GMQCC_DEFINE_FLAG(X) OPTION_##X,
1028 #   include "opts.def"
1029     OPTION_COUNT
1030 };
1031
1032 extern const opts_flag_def_t opts_flag_list[COUNT_FLAGS+1];
1033 extern const opts_flag_def_t opts_warn_list[COUNT_WARNINGS+1];
1034 extern const opts_flag_def_t opts_opt_list[COUNT_OPTIMIZATIONS+1];
1035 extern const unsigned int    opts_opt_oflag[COUNT_OPTIMIZATIONS+1];
1036 extern unsigned int          opts_optimizationcount[COUNT_OPTIMIZATIONS];
1037
1038 /* other options: */
1039 typedef enum {
1040     COMPILER_QCC,     /* circa  QuakeC */
1041     COMPILER_FTEQCC,  /* fteqcc QuakeC */
1042     COMPILER_QCCX,    /* qccx   QuakeC */
1043     COMPILER_GMQCC    /* this   QuakeC */
1044 } opts_std_t;
1045
1046 typedef union {
1047     bool     B;
1048     uint16_t U16;
1049     uint32_t U32;
1050     char    *STR;
1051 } opt_value_t;
1052
1053
1054 typedef struct {
1055     opt_value_t  options      [OPTION_COUNT];
1056     uint32_t     flags        [1 + (COUNT_FLAGS         / 32)];
1057     uint32_t     warn         [1 + (COUNT_WARNINGS      / 32)];
1058     uint32_t     werror       [1 + (COUNT_WARNINGS      / 32)];
1059     uint32_t     warn_backup  [1 + (COUNT_WARNINGS      / 32)];
1060     uint32_t     werror_backup[1 + (COUNT_WARNINGS      / 32)];
1061     uint32_t     optimization [1 + (COUNT_OPTIMIZATIONS / 32)];
1062     bool         optimizeoff; /* True when -O0 */
1063 } opts_cmd_t;
1064
1065 extern opts_cmd_t opts;
1066
1067 #define OPTS_GENERIC(f,i)    (!! (((f)[(i)/32]) & (1<< (unsigned)((i)%32))))
1068 #define OPTS_FLAG(i)         OPTS_GENERIC(opts.flags,        (i))
1069 #define OPTS_WARN(i)         OPTS_GENERIC(opts.warn,         (i))
1070 #define OPTS_WERROR(i)       OPTS_GENERIC(opts.werror,       (i))
1071 #define OPTS_OPTIMIZATION(i) OPTS_GENERIC(opts.optimization, (i))
1072 #define OPTS_OPTION_BOOL(X) (opts.options[X].B)
1073 #define OPTS_OPTION_U16(X)  (opts.options[X].U16)
1074 #define OPTS_OPTION_U32(X)  (opts.options[X].U32)
1075 #define OPTS_OPTION_STR(X)  (opts.options[X].STR)
1076
1077 #endif /*! GMQCC_HDR */