]> git.xonotic.org Git - xonotic/gmqcc.git/blobdiff - gmqcc.h
This should be the tag
[xonotic/gmqcc.git] / gmqcc.h
diff --git a/gmqcc.h b/gmqcc.h
index 8171da37f60e5c966d5dfcd0f9f2ce36d1cb1eb1..ff74f45163d098c4e33c1f4684b32201ac7dae5c 100644 (file)
--- a/gmqcc.h
+++ b/gmqcc.h
@@ -1,6 +1,7 @@
 /*
- * Copyright (C) 2012
- *     Dale Weiler, Wolfgang Bumiller
+ * Copyright (C) 2012, 2013
+ *     Dale Weiler
+ *     Wolfgang Bumiller
  *
  * Permission is hereby granted, free of charge, to any person obtaining a copy of
  * this software and associated documentation files (the "Software"), to deal in
  */
 #ifndef GMQCC_HDR
 #define GMQCC_HDR
-#include <limits.h>
-#include <stdlib.h>
-#include <string.h>
-#include <stdio.h>
 #include <stdarg.h>
-#include <ctype.h>
+#include <stdio.h> /* TODO: remove this */
 
 /*
  * Disable some over protective warnings in visual studio because fixing them is a waste
  * of my time.
  */
 #ifdef _MSC_VER
-#      pragma warning(disable : 4244 ) /* conversion from 'int' to 'float', possible loss of data */
-#      pragma warning(disable : 4018 ) /* signed/unsigned mismatch                                */
-#      pragma warning(disable : 4996 ) /* This function or variable may be unsafe                 */
-#      pragma warning(disable : 4700 ) /* uninitialized local variable used                       */
-#endif
+#   pragma warning(disable : 4244 ) /* conversion from 'int' to 'float', possible loss of data */
+#endif /*! _MSC_VER */
 
 #define GMQCC_VERSION_MAJOR 0
-#define GMQCC_VERSION_MINOR 2
+#define GMQCC_VERSION_MINOR 3
 #define GMQCC_VERSION_PATCH 0
 #define GMQCC_VERSION_BUILD(J,N,P) (((J)<<16)|((N)<<8)|(P))
 #define GMQCC_VERSION \
     GMQCC_VERSION_BUILD(GMQCC_VERSION_MAJOR, GMQCC_VERSION_MINOR, GMQCC_VERSION_PATCH)
+/* Undefine the following on a release-tag: */
+/*#define GMQCC_VERSION_TYPE_DEVEL*/
+
+/* Full version string in case we need it */
+#ifdef GMQCC_VERSION_TYPE_DEVEL
+#    ifdef GMQCC_GITINFO
+#        define GMQCC_DEV_VERSION_STRING "git build: " GMQCC_GITINFO "\n"
+#    elif defined(GMQCC_VERSION_TYPE_DEVEL)
+#        define GMQCC_DEV_VERSION_STRING "development build\n"
+#    else
+#        define GMQCC_DEV_VERSION_STRING
+#    endif /*! GMQCC_GITINGO */
+#else
+#    define GMQCC_DEV_VERSION_STRING
+#endif
+
+#define GMQCC_STRINGIFY(x) #x
+#define GMQCC_IND_STRING(x) GMQCC_STRINGIFY(x)
+#define GMQCC_FULL_VERSION_STRING \
+"GMQCC " \
+GMQCC_IND_STRING(GMQCC_VERSION_MAJOR) "." \
+GMQCC_IND_STRING(GMQCC_VERSION_MINOR) "." \
+GMQCC_IND_STRING(GMQCC_VERSION_PATCH) \
+" Built " __DATE__ " " __TIME__ \
+"\n" GMQCC_DEV_VERSION_STRING
 
 /*
- * We cannoy rely on C99 at all, since compilers like MSVC
+ * We cannot rely on C99 at all, since compilers like MSVC
  * simply don't support it.  We define our own boolean type
  * as a result (since we cannot include <stdbool.h>). For
  * compilers that are in 1999 mode (C99 compliant) we can use
 #ifndef __cplusplus
 #   ifdef  false
 #       undef  false
-#   endif /* !false */
+#   endif /*false */
 #   ifdef  true
 #       undef true
-#   endif /* !true  */
-#   define false (0)
-#   define true  (1)
+#   endif /*true  */
+#   define false (unsigned)(0)
+#   define true  (unsigned)(1)
 #   ifdef __STDC_VERSION__
 #       if __STDC_VERSION__ < 199901L && __GNUC__ < 3
             typedef int  bool;
 #       else
             typedef _Bool bool;
-#       endif
+#       endif /*! __STDC_VERSION__ < 199901L && __GNUC__ < 3 */
 #   else
         typedef int bool;
-#   endif /* !__STDC_VERSION__ */
-#endif    /* !__cplusplus      */
+#   endif /*__STDC_VERSION__ */
+#endif /*! __cplusplus      */
 
 /*
  * Of some functions which are generated we want to make sure
  */
 #if defined(__GNUC__) || defined(__CLANG__)
 #   define GMQCC_WARN __attribute__((warn_unused_result))
+#   define GMQCC_USED __attribute__((used))
 #else
 #   define GMQCC_WARN
-#endif
-/*
- * This is a hack to silent clang regarding empty
- * body if statements.
- */
-#define GMQCC_SUPPRESS_EMPTY_BODY do { } while (0)
+#   define GMQCC_USED
+#endif /*! defined(__GNUC__) || defined (__CLANG__) */
 
 /*
  * Inline is not supported in < C90, however some compilers
 #               define GMQCC_INLINE
 #           else
 #               define GMQCC_INLINE __attribute__ ((always_inline))
-#           endif
+#           endif /*! __GNUC__ < 2 */
 #       else
 #           define GMQCC_INLINE
-#       endif
+#       endif /*! defined(__GNUC__) || defined (__CLANG__) */
 #    else
 #       define GMQCC_INLINE inline
-#    endif
+#    endif /*! __STDC_VERSION < 199901L */
 /*
  * Visual studio has __forcinline we can use.  So lets use that
  * I suspect it also has just __inline of some sort, but our use
  * of inline is correct (not guessed), WE WANT IT TO BE INLINE
  */
-#elseif defined(_MSC_VER)
+#elif defined(_MSC_VER)
 #    define GMQCC_INLINE __forceinline
 #else
 #    define GMQCC_INLINE
-#endif /* !__STDC_VERSION__ */
+#endif /*__STDC_VERSION__ */
 
 /*
  * noreturn is present in GCC and clang
 #    define GMQCC_NORETURN __attribute__ ((noreturn))
 #else
 #    define GMQCC_NORETURN
-#endif
+#endif /*! (defined(__GNUC__) && __GNUC__ >= 2) || defined (__CLANG__) */
 
-/*
- * stdint.h and inttypes.h -less subset
- * for systems that don't have it, which we must
- * assume is all systems. (int8_t not required)
- */
-#if   CHAR_MIN  == -128
-    typedef unsigned char  uint8_t; /* same as below */
-#elif SCHAR_MIN == -128
-    typedef unsigned char  uint8_t; /* same as above */
-#endif
-#if   SHRT_MAX  == 0x7FFF
-    typedef short          int16_t;
-    typedef unsigned short uint16_t;
-#elif INT_MAX   == 0x7FFF
-    typedef int            int16_t;
-    typedef unsigned int   uint16_t;
-#endif
-#if   INT_MAX   == 0x7FFFFFFF
-    typedef int            int32_t;
-    typedef unsigned int   uint32_t;
-#elif LONG_MAX  == 0x7FFFFFFF
-    typedef long           int32_t;
-    typedef unsigned long  uint32_t;
+#if (defined(__GNUC__)) || defined(__CLANG__)
+#   define GMQCC_LIKELY(X)   __builtin_expect((X), 1)
+#   define GMQCC_UNLIKELY(X) __builtin_expect((X), 0)
+#else
+#   define GMQCC_LIKELY(X)   (X)
+#   define GMQCC_UNLIKELY(X) (X)
 #endif
 
+#define GMQCC_ARRAY_COUNT(X) (sizeof(X) / sizeof((X)[0]))
 
-#if defined(__GNUC__) || defined (__CLANG__)
-       typedef int              int64_t  __attribute__((__mode__(__DI__)));
-       typedef unsigned int     uint64_t __attribute__((__mode__(__DI__)));
-#elif defined(_MSC_VER)
-       typedef __int64          int64_t;
-       typedef unsigned __int64 uint64_t;
+#ifndef _MSC_VER
+#   include <stdint.h>
 #else
+    typedef unsigned __int8  uint8_t;
+    typedef unsigned __int16 uint16_t;
+    typedef unsigned __int32 uint32_t;
+    typedef unsigned __int64 uint64_t;
+
+    typedef __int16          int16_t;
+    typedef __int32          int32_t;
+    typedef __int64          int64_t;
+#endif /*! _MSC_VER */
+
+/*
+ * Very roboust way at determining endianess at compile time: this handles
+ * almost every possible situation.  Otherwise a runtime check has to be
+ * performed.
+ */
+#define GMQCC_BYTE_ORDER_LITTLE 1234
+#define GMQCC_BYTE_ORDER_BIG    4321
+
+#if defined (__GNUC__) || defined (__GNU_LIBRARY__)
+#   if defined (__FreeBSD__) || defined (__OpenBSD__)
+#       include <sys/endian.h>
+#   elif defined (BSD) && (BSD >= 199103) || defined (__DJGPP__) || defined (__CYGWIN32__)
+#       include <machine/endian.h>
+#   elif defined (__APPLE__)
+#       if defined (__BIG_ENDIAN__) && !defined(BIG_ENDIAN)
+#           define BIG_ENDIAN
+#       elif defined (__LITTLE_ENDIAN__) && !defined (LITTLE_ENDIAN)
+#           define LITTLE_ENDIAN
+#       endif /*! defined (__BIG_ENDIAN__) && !defined(BIG_ENDIAN) */
+#   elif !defined (__MINGW32__)
+#       include <endian.h>
+#       if !defined (__BEOS__)
+#           include <byteswap.h>
+#       endif /*! !definde (__BEOS__) */
+#   endif /*! defined (__FreeBSD__) || defined (__OpenBSD__) */
+#endif /*! defined (__GNUC__) || defined (__GNU_LIBRARY__) */
+#if !defined(PLATFORM_BYTE_ORDER)
+#   if defined (LITTLE_ENDIAN) || defined (BIG_ENDIAN)
+#       if defined (LITTLE_ENDIAN) && !defined(BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (LITTLE_ENDIAN) && defined (BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (BYTE_ORDER) && (BYTE_ORDER == LITTLE_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (BYTE_ORDER) && (BYTE_ORDER == BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif /*! defined (LITTLE_ENDIAN) && !defined(BIG_ENDIAN) */
+#   elif defined (_LITTLE_ENDIAN) || defined (_BIG_ENDIAN)
+#       if defined (_LITTLE_ENDIAN) && !defined(_BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (_LITTLE_ENDIAN) && defined (_BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _LITTLE_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif /*! defined (_LITTLE_ENDIAN) && !defined(_BIG_ENDIAN) */
+#   elif defined (__LITTLE_ENDIAN__) || defined (__BIG_ENDIAN__)
+#       if defined (__LITTLE_ENDIAN__) && !defined (__BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (__LITTLE_ENDIAN__) && defined (__BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __LITTLE_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif /*! defined (__LITTLE_ENDIAN__) && !defined (__BIG_ENDIAN__) */
+#   endif /*! defined(LITTLE_ENDIAN) || defined (BIG_ENDIAN) */
+#endif /*! !defined(PLATFORM_BYTE_ORDER) */
+#if !defined (PLATFORM_BYTE_ORDER)
+#   if   defined (__alpha__) || defined (__alpha)    || defined (i386)       || \
+         defined (__i386__)  || defined (_M_I86)     || defined (_M_IX86)    || \
+         defined (__OS2__)   || defined (sun386)     || defined (__TURBOC__) || \
+         defined (vax)       || defined (vms)        || defined (VMS)        || \
+         defined (__VMS)     || defined (__x86_64__) || defined (_M_IA64)    || \
+         defined (_M_X64)    || defined (__i386)     || defined (__x86_64)
+#       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#   elif defined (AMIGA)     || defined (applec)     || defined (__AS400__)  || \
+         defined (_CRAY)     || defined (__hppa)     || defined (__hp9000)   || \
+         defined (ibm370)    || defined (mc68000)    || defined (m68k)       || \
+         defined (__MRC__)   || defined (__MVS__)    || defined (__MWERKS__) || \
+         defined (sparc)     || defined (__sparc)    || defined (SYMANTEC_C) || \
+         defined (__TANDEM)  || defined (THINK_C)    || defined (__VMCMS__)  || \
+         defined (__PPC__)   || defined (__PPC)      || defined (PPC)
+#       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#   else
+#       define PLATFORM_BYTE_ORDER -1
+#   endif
+#endif /*! !defined (PLATFORM_BYTE_ORDER) */
+
+/*
+ * On windows systems where we're not compiling with MING32 we need a
+ * little extra help on dependinces for implementing our own dirent.h
+ * in fs.c.
+ */
+#if defined(_WIN32) && !defined(__MINGW32__)
+#   define _WIN32_LEAN_AND_MEAN
+#   include <windows.h>
+#   include <io.h>
+#   include <fcntl.h>
+
+    struct dirent {
+        long               d_ino;
+        unsigned short     d_reclen;
+        unsigned short     d_namlen;
+        char               d_name[FILENAME_MAX];
+    };
+
+    typedef struct {
+        struct _finddata_t dd_dta;
+        struct dirent      dd_dir;
+        long               dd_handle;
+        int                dd_stat;
+        char               dd_name[1];
+    } DIR;
     /*
-    * Incorrectly size the types so static assertions below will
-    * fail.  There is no valid way to get a 64bit type at this point
-    * without making assumptions of too many things.
-    */
-    typedef struct { char _fail : 0; } int64_t;
-    typedef struct { char _fail : 0; } uint64_t;
-#endif
-#ifdef _LP64 /* long pointer == 64 */
-    typedef unsigned long  uintptr_t;
-    typedef long           intptr_t;
+     * Visual studio also lacks S_ISDIR for sys/stat.h, so we emulate this as well
+     * which is not hard at all.
+     */
+#    ifdef S_ISDIR
+#        undef  S_ISDIR
+#    endif /*! S_ISDIR */
+#   define S_ISDIR(X) ((X)&_S_IFDIR)
 #else
-    typedef unsigned int   uintptr_t;
-    typedef int            intptr_t;
-#endif
-/* Ensure type sizes are correct: */
-typedef char uint8_size_is_correct  [sizeof(uint8_t)  == 1?1:-1];
-typedef char uint16_size_is_correct [sizeof(uint16_t) == 2?1:-1];
-typedef char uint32_size_is_correct [sizeof(uint32_t) == 4?1:-1];
-typedef char uint64_size_is_correct [sizeof(uint64_t) == 8?1:-1];
-typedef char int16_size_if_correct  [sizeof(int16_t)  == 2?1:-1];
-typedef char int32_size_is_correct  [sizeof(int32_t)  == 4?1:-1];
-typedef char int64_size_is_correct  [sizeof(int64_t)  >= 8?1:-1];
-/* intptr_t / uintptr_t correct size check */
-typedef char uintptr_size_is_correct[sizeof(intptr_t) == sizeof(int*)?1:-1];
-typedef char intptr_size_is_correct [sizeof(uintptr_t)== sizeof(int*)?1:-1];
+#   include <dirent.h>
+#endif /*! _WIN32 && !defined(__MINGW32__) */
+
+/*===================================================================*/
+/*=========================== stat.c ================================*/
+/*===================================================================*/
+void  stat_info          (void);
+char *stat_mem_strdup    (const char *, size_t,         const char *, bool);
+void *stat_mem_reallocate(void *,       size_t, size_t, const char *);
+void  stat_mem_deallocate(void *);
+void *stat_mem_allocate  (size_t, size_t, const char *);
+
+#define mem_a(SIZE)              stat_mem_allocate  ((SIZE), __LINE__, __FILE__)
+#define mem_d(PTRN)              stat_mem_deallocate((void*)(PTRN))
+#define mem_r(PTRN, SIZE)        stat_mem_reallocate((void*)(PTRN), (SIZE), __LINE__, __FILE__)
+#define mem_af(SIZE, FILE, LINE) stat_mem_allocate  ((SIZE), (LINE), (FILE))
+
+/* TODO: rename to mem variations */
+#define util_strdup(SRC)         stat_mem_strdup((char*)(SRC), __LINE__, __FILE__, false)
+#define util_strdupe(SRC)        stat_mem_strdup((char*)(SRC), __LINE__, __FILE__, true)
 
 /*===================================================================*/
 /*=========================== util.c ================================*/
 /*===================================================================*/
-FILE *util_fopen(const char *filename, const char *mode);
 
-void *util_memory_a      (size_t,       unsigned int, const char *);
-void  util_memory_d      (void       *, unsigned int, const char *);
-void *util_memory_r      (void       *, size_t,       unsigned int, const char *);
-void  util_meminfo       ();
+/*
+ * Microsoft implements against the spec versions of ctype.h. Which
+ * means what ever the current set locale is will render the actual
+ * results of say isalpha('A') wrong for what ever retarded locale
+ * is used. Simalerly these are also implemented inefficently on
+ * some toolchains and end up becoming actual library calls. Perhaps
+ * this is why tools like yacc provide their own? Regardless implementing
+ * these as functions is equally as silly, the call overhead is not
+ * justified when this could happen on every character from an input
+ * stream. We provide our own as macros for absolute inlinability.
+ */
+#define util_isalpha(a) ((((unsigned)(a)|32)-'a') < 26)
+#define util_isdigit(a) (((unsigned)(a)-'0') < 10)
+#define util_islower(a) (((unsigned)(a)-'a') < 26)
+#define util_isupper(a) (((unsigned)(a)-'A') < 26)
+#define util_isprint(a) (((unsigned)(a)-0x20) < 0x5F)
+#define util_isspace(a) (((a) >= 9 && (a) <= 13) || (a) == ' ')
 
 bool  util_filexists     (const char *);
 bool  util_strupper      (const char *);
 bool  util_strdigit      (const char *);
-bool  util_strncmpexact  (const char *, const char *, size_t);
-char *util_strdup        (const char *);
-char *util_strrq         (const char *);
-char *util_strrnl        (const char *);
-char *util_strsws        (const char *);
-char *util_strchp        (const char *, const char *);
 void  util_debug         (const char *, const char *, ...);
-int   util_getline       (char **, size_t *, FILE *);
-void  util_endianswap    (void *,  int, int);
+void  util_endianswap    (void *,  size_t, unsigned int);
 
-size_t util_strtocmd    (const char *, char *, size_t);
-size_t util_strtononcmd (const char *, char *, size_t);
+size_t util_strtocmd         (const char *, char *, size_t);
+size_t util_strtononcmd      (const char *, char *, size_t);
+size_t util_optimizationtostr(const char *, char *, size_t);
 
 uint16_t util_crc16(uint16_t crc, const char *data, size_t len);
-uint32_t util_crc32(uint32_t crc, const char *data, size_t len);
 
-#ifdef NOTRACK
-#    define mem_a(x)    malloc (x)
-#    define mem_d(x)    free   (x)
-#    define mem_r(x, n) realloc(x, n)
-#else
-#    define mem_a(x)    util_memory_a((x), __LINE__, __FILE__)
-#    define mem_d(x)    util_memory_d((x), __LINE__, __FILE__)
-#    define mem_r(x, n) util_memory_r((x), (n), __LINE__, __FILE__)
-#endif
+void     util_seed(uint32_t);
+uint32_t util_rand(void);
 
 /*
- * TODO: make these safer to use.  Currently this only works on
- * x86 and x86_64, some systems will likely not like this. Such
- * as BE systems.
+ * String functions (formatting, copying, concatenating, errors). These are wrapped
+ * to use the MSVC _safe_ versions when using MSVC, plus some implementations of
+ * these are non-conformant or don't exist such as asprintf and snprintf, which are
+ * not supported in C90, but do exist in C99.
  */
-#define FLT2INT(Y) *((int32_t*)&(Y))
-#define INT2FLT(Y) *((float  *)&(Y))
-
-/* New flexible vector implementation from Dale */
-#define _vec_raw(A) (((size_t*)(void*)(A)) - 2)
-#define _vec_beg(A) (_vec_raw(A)[0])
-#define _vec_end(A) (_vec_raw(A)[1])
-#define _vec_needsgrow(A,N) ((!(A)) || (_vec_end(A) + (N) >= _vec_beg(A)))
-#define _vec_mightgrow(A,N) (_vec_needsgrow((A), (N)) ? (void)_vec_forcegrow((A),(N)) : (void)0)
-#define _vec_forcegrow(A,N) _util_vec_grow(((void**)&(A)), (N), sizeof(*(A)))
-#define _vec_remove(A,S,I,N) (memmove((char*)(A)+(I)*(S),(char*)(A)+((I)+(N))*(S),(S)*(vec_size(A)-(I)-(N))), _vec_end(A)-=(N))
+int         util_vasprintf(char **ret, const char *fmt, va_list);
+int         util_asprintf (char **ret, const char *fmt, ...);
+int         util_snprintf (char *src,  size_t bytes, const char *format, ...);
+char       *util_strcat   (char *dest, const char *src);
+char       *util_strncpy  (char *dest, const char *src, size_t num);
+const char *util_strerror (int num);
+
+/*
+ * A flexible vector implementation: all vector pointers contain some
+ * data about themselfs exactly - sizeof(vector_t) behind the pointer
+ * this data is represented in the structure below.  Doing this allows
+ * us to use the array [] to access individual elements from the vector
+ * opposed to using set/get methods.
+ */
+typedef struct {
+    size_t  allocated;
+    size_t  used;
+
+    /* can be extended now! whoot */
+} vector_t;
+
+/* hidden interface */
 void _util_vec_grow(void **a, size_t i, size_t s);
+#define GMQCC_VEC_WILLGROW(X,Y) ( \
+    ((!(X) || vec_meta(X)->used + Y >= vec_meta(X)->allocated)) ? \
+        (void)_util_vec_grow(((void**)&(X)), (Y), sizeof(*(X))) : \
+        (void)0                                                   \
+)
+
 /* exposed interface */
-#define vec_free(A)          ((A) ? (mem_d((void*)_vec_raw(A)), (A) = NULL) : 0)
-#define vec_push(A,V)        (_vec_mightgrow((A),1), (A)[_vec_end(A)++] = (V))
-#define vec_size(A)          ((A) ? _vec_end(A) : 0)
-#define vec_add(A,N)         (_vec_mightgrow((A),(N)), _vec_end(A)+=(N), &(A)[_vec_end(A)-(N)])
-#define vec_last(A)          ((A)[_vec_end(A)-1])
-#define vec_append(A,N,S)    memcpy(vec_add((A), (N)), (S), N * sizeof(*(S)))
-#define vec_remove(A,I,N)    _vec_remove((A), sizeof(*(A)), (I), (N))
-#define vec_pop(A)           vec_remove((A), _vec_end(A)-1, 1)
-/* these are supposed to NOT reallocate */
-#define vec_shrinkto(A,N)    (_vec_end(A) = (N))
-#define vec_shrinkby(A,N)    (_vec_end(A) -= (N))
-
-typedef struct hash_table_t {
+#define vec_meta(A)       (((vector_t*)((void*)A)) - 1)
+#define vec_free(A)       ((void)((A) ? (mem_d((void*)vec_meta(A)), (A) = NULL) : 0))
+#define vec_push(A,V)     (GMQCC_VEC_WILLGROW((A),1), (A)[vec_meta(A)->used++] = (V))
+#define vec_size(A)       ((A) ? vec_meta(A)->used : 0)
+#define vec_add(A,N)      (GMQCC_VEC_WILLGROW((A),(N)), vec_meta(A)->used += (N), &(A)[vec_meta(A)->used-(N)])
+#define vec_last(A)       ((A)[vec_meta(A)->used - 1])
+#define vec_pop(A)        ((void)(vec_meta(A)->used -= 1))
+#define vec_shrinkto(A,N) ((void)(vec_meta(A)->used  = (N)))
+#define vec_shrinkby(A,N) ((void)(vec_meta(A)->used -= (N)))
+#define vec_append(A,N,S) ((void)(memcpy(vec_add((A), (N)), (S), (N) * sizeof(*(S)))))
+#define vec_remove(A,I,N) ((void)(memmove((A)+(I),(A)+((I)+(N)),sizeof(*(A))*(vec_meta(A)->used-(I)-(N))),vec_meta(A)->used-=(N)))
+
+typedef struct correct_trie_s {
+    void                  *value;
+    struct correct_trie_s *entries;
+} correct_trie_t;
+
+correct_trie_t* correct_trie_new(void);
+
+typedef struct hash_table_s {
     size_t                size;
     struct hash_node_t **table;
 } hash_table_t, *ht;
 
 /*
  * hashtable implementation:
- * 
+ *
+ * Note:
+ *      This was designed for pointers:  you manage the life of the object yourself
+ *      if you do use this for non-pointers please be warned that the object may not
+ *      be valid if the duration of it exceeds (i.e on stack).  So you need to allocate
+ *      yourself, or put those in global scope to ensure duration is for the whole
+ *      runtime.
+ *
  * util_htnew(size)                             -- to make a new hashtable
  * util_htset(table, key, value, sizeof(value)) -- to set something in the table
  * util_htget(table, key)                       -- to get something from the table
  * util_htdel(table)                            -- to delete the table
- * 
+ *
  * example of use:
- * 
+ *
  * ht    foo  = util_htnew(1024);
  * int   data = 100;
  * char *test = "hello world\n";
- * util_htset(foo, "foo", (void*)&data, sizeof(int));
- * util_gtset(foo, "bar", (void*)test,  strlen(test));
- * 
+ * util_htset(foo, "foo", (void*)&data);
+ * util_gtset(foo, "bar", (void*)test);
+ *
  * printf("foo: %d, bar %s",
  *     *((int *)util_htget(foo, "foo")),
  *      ((char*)util_htget(foo, "bar"))
  * );
- * 
+ *
  * util_htdel(foo);
  */
-hash_table_t *util_htnew(size_t size);
-void          util_htset(hash_table_t *ht, const char *key, void *value, size_t size);
-void         *util_htget(hash_table_t *ht, const char *key);
-void          util_htdel(hash_table_t *ht);
+hash_table_t *util_htnew (size_t size);
+void          util_htrem (hash_table_t *ht, void (*callback)(void *data));
+void          util_htset (hash_table_t *ht, const char *key, void *value);
+void          util_htdel (hash_table_t *ht);
+size_t        util_hthash(hash_table_t *ht, const char *key);
+void          util_htseth(hash_table_t *ht, const char *key, size_t hash, void *value);
+void          util_htrmh (hash_table_t *ht, const char *key, size_t bin, void (*cb)(void*));
+void          util_htrm  (hash_table_t *ht, const char *key, void (*cb)(void*));
+
+void         *util_htget (hash_table_t *ht, const char *key);
+void         *util_htgeth(hash_table_t *ht, const char *key, size_t hash);
+
+/*===================================================================*/
+/*============================ file.c ===============================*/
+/*===================================================================*/
+/* file handling */
+void           fs_file_close  (FILE *);
+int            fs_file_error  (FILE *);
+int            fs_file_getc   (FILE *);
+int            fs_file_printf (FILE *, const char *, ...);
+int            fs_file_puts   (FILE *, const char *);
+int            fs_file_seek   (FILE *, long int, int);
+long int       fs_file_tell   (FILE *);
+
+size_t         fs_file_read   (void *,        size_t, size_t, FILE *);
+size_t         fs_file_write  (const void *,  size_t, size_t, FILE *);
+
+FILE          *fs_file_open   (const char *, const char *);
+int            fs_file_getline(char  **, size_t *, FILE *);
+
+/* directory handling */
+int            fs_dir_make    (const char *);
+DIR           *fs_dir_open    (const char *);
+int            fs_dir_close   (DIR *);
+struct dirent *fs_dir_read    (DIR *);
+
+
+/*===================================================================*/
+/*=========================== correct.c =============================*/
+/*===================================================================*/
+typedef struct {
+    char   ***edits;
+    size_t  **lens;
+} correction_t;
+
+void  correct_del (correct_trie_t*, size_t **);
+void  correct_add (correct_trie_t*, size_t ***, const char *);
+char *correct_str (correction_t *, correct_trie_t*, const char *);
+void  correct_init(correction_t *);
+void  correct_free(correction_t *);
+
 /*===================================================================*/
 /*=========================== code.c ================================*/
 /*===================================================================*/
@@ -314,43 +505,51 @@ enum {
     TYPE_UNION    ,
     TYPE_ARRAY    ,
 
+    TYPE_NIL      , /* it's its own type / untyped */
+    TYPE_NOEXPR   , /* simply invalid in expressions */
+
     TYPE_COUNT
 };
 
-extern const char *type_name[TYPE_COUNT];
+/* const/var qualifiers */
+#define CV_NONE   0
+#define CV_CONST  1
+#define CV_VAR   -1
+#define CV_WRONG  0x8000 /* magic number to help parsing */
+
+extern const char    *type_name        [TYPE_COUNT];
+extern const uint16_t type_store_instr [TYPE_COUNT];
+extern const uint16_t field_store_instr[TYPE_COUNT];
 
-extern size_t type_sizeof[TYPE_COUNT];
-extern uint16_t type_store_instr[TYPE_COUNT];
-extern uint16_t field_store_instr[TYPE_COUNT];
-/* could use type_store_instr + INSTR_STOREP_F - INSTR_STORE_F
+/*
+ * could use type_store_instr + INSTR_STOREP_F - INSTR_STORE_F
  * but this breaks when TYPE_INTEGER is added, since with the enhanced
  * instruction set, the old ones are left untouched, thus the _I instructions
  * are at a seperate place.
  */
-extern uint16_t type_storep_instr[TYPE_COUNT];
-/* other useful lists */
-extern uint16_t type_eq_instr[TYPE_COUNT];
-extern uint16_t type_ne_instr[TYPE_COUNT];
-extern uint16_t type_not_instr[TYPE_COUNT];
+extern const uint16_t type_storep_instr[TYPE_COUNT];
+extern const uint16_t type_eq_instr    [TYPE_COUNT];
+extern const uint16_t type_ne_instr    [TYPE_COUNT];
+extern const uint16_t type_not_instr   [TYPE_COUNT];
 
 typedef struct {
     uint32_t offset;      /* Offset in file of where data begins  */
     uint32_t length;      /* Length of section (how many of)      */
-} prog_section;
+} prog_section_t;
 
 typedef struct {
-    uint32_t     version;      /* Program version (6)     */
-    uint16_t     crc16;        /* What is this?           */
-    uint16_t     skip;         /* see propsal.txt         */
-
-    prog_section statements;   /* prog_section_statement  */
-    prog_section defs;         /* prog_section_def        */
-    prog_section fields;       /* prog_section_field      */
-    prog_section functions;    /* prog_section_function   */
-    prog_section strings;      /* What is this?           */
-    prog_section globals;      /* What is this?           */
-    uint32_t     entfield;     /* Number of entity fields */
-} prog_header;
+    uint32_t       version;      /* Program version (6)     */
+    uint16_t       crc16;
+    uint16_t       skip;
+
+    prog_section_t statements;   /* prog_section_statement  */
+    prog_section_t defs;         /* prog_section_def        */
+    prog_section_t fields;       /* prog_section_field      */
+    prog_section_t functions;    /* prog_section_function   */
+    prog_section_t strings;
+    prog_section_t globals;
+    uint32_t       entfield;     /* Number of entity fields */
+} prog_header_t;
 
 /*
  * Each paramater incerements by 3 since vector types hold
@@ -395,10 +594,11 @@ typedef struct {
      * But this one is more sane to work with, and the
      * type sizes are guranteed.
      */
-} prog_section_statement;
+} prog_section_statement_t;
 
 typedef struct {
-    /* The types:
+    /*
+     * The types:
      * 0 = ev_void
      * 1 = ev_string
      * 2 = ev_float
@@ -412,9 +612,10 @@ typedef struct {
     uint16_t type;
     uint16_t offset;
     uint32_t name;
-} prog_section_both;
-typedef prog_section_both prog_section_def;
-typedef prog_section_both prog_section_field;
+} prog_section_both_t;
+
+typedef prog_section_both_t prog_section_def_t;
+typedef prog_section_both_t prog_section_field_t;
 
 /* this is ORed to the type */
 #define DEF_SAVEGLOBAL (1<<15)
@@ -427,9 +628,9 @@ typedef struct {
     uint32_t  profile;    /* Always zero (engine uses this)       */
     uint32_t  name;       /* name of function in string table     */
     uint32_t  file;       /* file of the source file              */
-    uint32_t  nargs;      /* number of arguments                  */
+    int32_t   nargs;      /* number of arguments                  */
     uint8_t   argsize[8]; /* size of arguments (keep 8 always?)   */
-} prog_section_function;
+} prog_section_function_t;
 
 /*
  * Instructions
@@ -504,42 +705,69 @@ enum {
     INSTR_BITAND,
     INSTR_BITOR,
 
-    /*
-     * Virtual instructions used by the assembler
-     * keep at the end but before virtual instructions
-     * for the IR below.
-     */
-    AINSTR_END,
-
     /*
      * Virtual instructions used by the IR
      * Keep at the end!
      */
+    VINSTR_END,
     VINSTR_PHI,
     VINSTR_JUMP,
-    VINSTR_COND
+    VINSTR_COND,
+    /* A never returning CALL.
+     * Creating this causes IR blocks to be marked as 'final'.
+     * No-Return-Call
+     */
+    VINSTR_NRCALL
 };
 
-extern prog_section_statement *code_statements;
-extern prog_section_def       *code_defs;
-extern prog_section_field     *code_fields;
-extern prog_section_function  *code_functions;
-extern int                    *code_globals;
-extern char                   *code_chars;
-extern uint16_t code_crc;
+/* TODO: elide */
+extern const char *util_instr_str[VINSTR_END];
 
-typedef float   qcfloat;
-typedef int32_t qcint;
+
+typedef float    qcfloat_t;
+typedef int32_t  qcint_t;
+typedef uint32_t qcuint_t;
+
+typedef struct {
+    prog_section_statement_t *statements;
+    int                      *linenums;
+    prog_section_def_t       *defs;
+    prog_section_field_t     *fields;
+    prog_section_function_t  *functions;
+    int                      *globals;
+    char                     *chars;
+    uint16_t                  crc;
+    uint32_t                  entfields;
+    ht                        string_cache;
+    qcint_t                   string_cached_empty;
+} code_t;
 
 /*
- * code_write -- writes out the compiled file
- * code_init  -- prepares the code file
+ * code_write          -- writes out the compiled file
+ * code_init           -- prepares the code file
+ * code_genstrin       -- generates string for code
+ * code_alloc_field    -- allocated a field
+ * code_push_statement -- keeps statements and linenumbers together
+ * code_pop_statement  -- keeps statements and linenumbers together
  */
-bool     code_write       (const char *filename);
-void     code_init        ();
-uint32_t code_genstring   (const char *string);
-uint32_t code_cachedstring(const char *string);
-qcint    code_alloc_field (size_t qcsize);
+bool      code_write         (code_t *, const char *filename, const char *lno);
+GMQCC_WARN
+code_t   *code_init          (void);
+void      code_cleanup       (code_t *);
+uint32_t  code_genstring     (code_t *, const char *string);
+qcint_t   code_alloc_field   (code_t *, size_t qcsize);
+void      code_push_statement(code_t *, prog_section_statement_t *stmt, int linenum);
+void      code_pop_statement (code_t *);
+
+/*
+ * A shallow copy of a lex_file to remember where which ast node
+ * came from.
+ */
+typedef struct {
+    const char *file;
+    size_t      line;
+    size_t      column;
+} lex_ctx_t;
 
 /*===================================================================*/
 /*============================ con.c ================================*/
@@ -562,99 +790,35 @@ enum {
     LVL_ERROR
 };
 
+FILE *con_default_out(void);
+FILE *con_default_err(void);
+
+void con_vprintmsg (int level, const char *name, size_t line, size_t column, const char *msgtype, const char *msg, va_list ap);
+void con_printmsg  (int level, const char *name, size_t line, size_t column, const char *msgtype, const char *msg, ...);
+void con_cvprintmsg(lex_ctx_t ctx, int lvl, const char *msgtype, const char *msg, va_list ap);
+void con_cprintmsg (lex_ctx_t ctx, int lvl, const char *msgtype, const char *msg, ...);
+
+void con_close (void);
+void con_init  (void);
+void con_reset (void);
+void con_color (int);
+int  con_change(const char *, const char *);
+int  con_verr  (const char *, va_list);
+int  con_vout  (const char *, va_list);
+int  con_err   (const char *, ...);
+int  con_out   (const char *, ...);
+
+/* error/warning interface */
+extern size_t compile_errors;
+extern size_t compile_Werrors;
+extern size_t compile_warnings;
+
+void /********/ compile_error   (lex_ctx_t ctx, /*LVL_ERROR*/ const char *msg, ...);
+void /********/ vcompile_error  (lex_ctx_t ctx, /*LVL_ERROR*/ const char *msg, va_list ap);
+bool GMQCC_WARN compile_warning (lex_ctx_t ctx, int warntype, const char *fmt, ...);
+bool GMQCC_WARN vcompile_warning(lex_ctx_t ctx, int warntype, const char *fmt, va_list ap);
+void            compile_show_werrors(void);
 
-void con_vprintmsg (int level, const char *name, size_t line, const char *msgtype, const char *msg, va_list ap);
-void con_printmsg  (int level, const char *name, size_t line, const char *msgtype, const char *msg, ...);
-void con_cvprintmsg(void *ctx, int lvl, const char *msgtype, const char *msg, va_list ap);
-void con_cprintmsg (void *ctx, int lvl, const char *msgtype, const char *msg, ...);
-
-void con_close();
-void con_color(int state);
-void con_init ();
-void con_reset();
-int  con_change(const char *out, const char *err);
-int  con_verr  (const char *fmt, va_list va);
-int  con_vout  (const char *fmt, va_list va);
-int  con_err   (const char *fmt, ...);
-int  con_out   (const char *fmt, ...);
-
-/*===================================================================*/
-/*========================= assembler.c =============================*/
-/*===================================================================*/
-static const struct {
-    const char  *m; /* menomic     */
-    const size_t o; /* operands    */
-    const size_t l; /* menomic len */
-} asm_instr[] = {
-    { "DONE"      , 1, 4 },
-    { "MUL_F"     , 3, 5 },
-    { "MUL_V"     , 3, 5 },
-    { "MUL_FV"    , 3, 6 },
-    { "MUL_VF"    , 3, 6 },
-    { "DIV"       , 0, 3 },
-    { "ADD_F"     , 3, 5 },
-    { "ADD_V"     , 3, 5 },
-    { "SUB_F"     , 3, 5 },
-    { "SUB_V"     , 3, 5 },
-    { "EQ_F"      , 0, 4 },
-    { "EQ_V"      , 0, 4 },
-    { "EQ_S"      , 0, 4 },
-    { "EQ_E"      , 0, 4 },
-    { "EQ_FNC"    , 0, 6 },
-    { "NE_F"      , 0, 4 },
-    { "NE_V"      , 0, 4 },
-    { "NE_S"      , 0, 4 },
-    { "NE_E"      , 0, 4 },
-    { "NE_FNC"    , 0, 6 },
-    { "LE"        , 0, 2 },
-    { "GE"        , 0, 2 },
-    { "LT"        , 0, 2 },
-    { "GT"        , 0, 2 },
-    { "FIELD_F"   , 0, 7 },
-    { "FIELD_V"   , 0, 7 },
-    { "FIELD_S"   , 0, 7 },
-    { "FIELD_ENT" , 0, 9 },
-    { "FIELD_FLD" , 0, 9 },
-    { "FIELD_FNC" , 0, 9 },
-    { "ADDRESS"   , 0, 7 },
-    { "STORE_F"   , 0, 7 },
-    { "STORE_V"   , 0, 7 },
-    { "STORE_S"   , 0, 7 },
-    { "STORE_ENT" , 0, 9 },
-    { "STORE_FLD" , 0, 9 },
-    { "STORE_FNC" , 0, 9 },
-    { "STOREP_F"  , 0, 8 },
-    { "STOREP_V"  , 0, 8 },
-    { "STOREP_S"  , 0, 8 },
-    { "STOREP_ENT", 0, 10},
-    { "STOREP_FLD", 0, 10},
-    { "STOREP_FNC", 0, 10},
-    { "RETURN"    , 0, 6 },
-    { "NOT_F"     , 0, 5 },
-    { "NOT_V"     , 0, 5 },
-    { "NOT_S"     , 0, 5 },
-    { "NOT_ENT"   , 0, 7 },
-    { "NOT_FNC"   , 0, 7 },
-    { "IF"        , 0, 2 },
-    { "IFNOT"     , 0, 5 },
-    { "CALL0"     , 1, 5 },
-    { "CALL1"     , 2, 5 },
-    { "CALL2"     , 3, 5 },
-    { "CALL3"     , 4, 5 },
-    { "CALL4"     , 5, 5 },
-    { "CALL5"     , 6, 5 },
-    { "CALL6"     , 7, 5 },
-    { "CALL7"     , 8, 5 },
-    { "CALL8"     , 9, 5 },
-    { "STATE"     , 0, 5 },
-    { "GOTO"      , 0, 4 },
-    { "AND"       , 0, 3 },
-    { "OR"        , 0, 2 },
-    { "BITAND"    , 0, 6 },
-    { "BITOR"     , 0, 5 },
-
-    { "END"       , 0, 3 } /* virtual assembler instruction */
-};
 /*===================================================================*/
 /*============================= ir.c ================================*/
 /*===================================================================*/
@@ -668,49 +832,36 @@ enum store_types {
 };
 
 typedef struct {
-    qcfloat x, y, z;
-} vector;
-
-vector  vec3_add  (vector, vector);
-vector  vec3_sub  (vector, vector);
-qcfloat vec3_mulvv(vector, vector);
-vector  vec3_mulvf(vector, float);
-
-/*
- * A shallow copy of a lex_file to remember where which ast node
- * came from.
- */
-typedef struct {
-    const char *file;
-    size_t      line;
-} lex_ctx;
+    qcfloat_t x, y, z;
+} vec3_t;
 
 /*===================================================================*/
 /*============================= exec.c ==============================*/
 /*===================================================================*/
 
-/* darkplaces has (or will have) a 64 bit prog loader
+/* TODO: cleanup */
+/*
+ * Darkplaces has (or will have) a 64 bit prog loader
  * where the 32 bit qc program is autoconverted on load.
  * Since we may want to support that as well, let's redefine
  * float and int here.
  */
 typedef union {
-    qcint   _int;
-    qcint    string;
-    qcint    function;
-    qcint    edict;
-    qcfloat _float;
-    qcfloat vector[3];
-    qcint   ivector[3];
-} qcany;
-
-typedef char qcfloat_size_is_correct [sizeof(qcfloat) == 4 ?1:-1];
-typedef char qcint_size_is_correct   [sizeof(qcint)   == 4 ?1:-1];
+    qcint_t   _int;
+    qcint_t    string;
+    qcint_t    function;
+    qcint_t    edict;
+    qcfloat_t _float;
+    qcfloat_t vector[3];
+    qcint_t   ivector[3];
+} qcany_t;
+
+typedef char qcfloat_t_size_is_correct [sizeof(qcfloat_t) == 4 ?1:-1];
+typedef char qcint_t_size_is_correct   [sizeof(qcint_t)   == 4 ?1:-1];
 
 enum {
     VMERR_OK,
     VMERR_TEMPSTRING_ALLOC,
-
     VMERR_END
 };
 
@@ -722,127 +873,149 @@ enum {
 #define VMXF_PROFILE 0x0002     /* profile: increment the profile counters */
 
 struct qc_program_s;
-
-typedef int (*prog_builtin)(struct qc_program_s *prog);
+typedef int (*prog_builtin_t)(struct qc_program_s *prog);
 
 typedef struct {
-    qcint                  stmt;
-    size_t                 localsp;
-    prog_section_function *function;
-} qc_exec_stack;
+    qcint_t                    stmt;
+    size_t                   localsp;
+    prog_section_function_t *function;
+} qc_exec_stack_t;
 
 typedef struct qc_program_s {
-    char           *filename;
-
-    prog_section_statement *code;
-    prog_section_def       *defs;
-    prog_section_def       *fields;
-    prog_section_function  *functions;
-    char                   *strings;
-    qcint                  *globals;
-    qcint                  *entitydata;
-    bool                   *entitypool;
-
-    const char*            *function_stack;
+    char                    *filename;
+    prog_section_statement_t *code;
+    prog_section_def_t       *defs;
+    prog_section_def_t       *fields;
+    prog_section_function_t  *functions;
+    char                    *strings;
+    qcint_t                   *globals;
+    qcint_t                   *entitydata;
+    bool                    *entitypool;
+
+    const char*             *function_stack;
 
     uint16_t crc16;
 
     size_t tempstring_start;
     size_t tempstring_at;
 
-    qcint  vmerror;
+    qcint_t  vmerror;
 
     size_t *profile;
 
-    prog_builtin *builtins;
-    size_t        builtins_count;
+    prog_builtin_t *builtins;
+    size_t          builtins_count;
 
     /* size_t ip; */
-    qcint  entities;
+    qcint_t  entities;
     size_t entityfields;
     bool   allowworldwrites;
 
-    qcint         *localstack;
-    qc_exec_stack *stack;
+    qcint_t         *localstack;
+    qc_exec_stack_t *stack;
     size_t statement;
 
     size_t xflags;
 
     int    argc; /* current arg count for debugging */
-} qc_program;
-
-qc_program* prog_load(const char *filename);
-void        prog_delete(qc_program *prog);
+} qc_program_t;
 
-bool prog_exec(qc_program *prog, prog_section_function *func, size_t flags, long maxjumps);
-
-char*             prog_getstring (qc_program *prog, qcint str);
-prog_section_def* prog_entfield  (qc_program *prog, qcint off);
-prog_section_def* prog_getdef    (qc_program *prog, qcint off);
-qcany*            prog_getedict  (qc_program *prog, qcint e);
-qcint             prog_tempstring(qc_program *prog, const char *_str);
+qc_program_t*       prog_load      (const char *filename, bool ignoreversion);
+void                prog_delete    (qc_program_t *prog);
+bool                prog_exec      (qc_program_t *prog, prog_section_function_t *func, size_t flags, long maxjumps);
+const char*         prog_getstring (qc_program_t *prog, qcint_t str);
+prog_section_def_t* prog_entfield  (qc_program_t *prog, qcint_t off);
+prog_section_def_t* prog_getdef    (qc_program_t *prog, qcint_t off);
+qcany_t*            prog_getedict  (qc_program_t *prog, qcint_t e);
+qcint_t               prog_tempstring(qc_program_t *prog, const char *_str);
 
 
 /*===================================================================*/
 /*===================== parser.c commandline ========================*/
 /*===================================================================*/
-
-bool parser_init          ();
-bool parser_compile_file  (const char *filename);
-bool parser_compile_string(const char *name, const char *str);
-bool parser_finish        (const char *output);
-void parser_cleanup       ();
-/* There's really no need to strlen() preprocessed files */
-bool parser_compile_string_len(const char *name, const char *str, size_t len);
+struct parser_s;
+struct parser_s *parser_create        (void);
+bool             parser_compile_file  (struct parser_s *parser, const char *);
+bool             parser_compile_string(struct parser_s *parser, const char *, const char *, size_t);
+bool             parser_finish        (struct parser_s *parser, const char *);
+void             parser_cleanup       (struct parser_s *parser);
 
 /*===================================================================*/
 /*====================== ftepp.c commandline ========================*/
 /*===================================================================*/
-bool ftepp_init             ();
-bool ftepp_preprocess_file  (const char *filename);
-bool ftepp_preprocess_string(const char *name, const char *str);
-void ftepp_finish           ();
-const char *ftepp_get       ();
-void ftepp_flush            ();
+struct ftepp_s;
+struct ftepp_s *ftepp_create           (void);
+bool            ftepp_preprocess_file  (struct ftepp_s *ftepp, const char *filename);
+bool            ftepp_preprocess_string(struct ftepp_s *ftepp, const char *name, const char *str);
+void            ftepp_finish           (struct ftepp_s *ftepp);
+const char     *ftepp_get              (struct ftepp_s *ftepp);
+void            ftepp_flush            (struct ftepp_s *ftepp);
+void            ftepp_add_define       (struct ftepp_s *ftepp, const char *source, const char *name);
+void            ftepp_add_macro        (struct ftepp_s *ftepp, const char *name,   const char *value);
 
 /*===================================================================*/
 /*======================= main.c commandline ========================*/
 /*===================================================================*/
 
-#if 0
+#if 1
 /* Helpers to allow for a whole lot of flags. Otherwise we'd limit
  * to 32 or 64 -f options...
  */
 typedef struct {
     size_t  idx; /* index into an array of 32 bit words */
-    uint8_t bit; /* index _into_ the 32 bit word, thus just uint8 */
+    uint8_t bit; /* bit index for the 8 bit group idx points to */
 } longbit;
 #define LONGBIT(bit) { ((bit)/32), ((bit)%32) }
+#define LONGBIT_SET(B, I) ((B).idx = (I)/32, (B).bit = ((I)%32))
 #else
 typedef uint32_t longbit;
 #define LONGBIT(bit) (bit)
+#define LONGBIT_SET(B, I) ((B) = (I))
 #endif
 
-/* Used to store the list of flags with names */
+/*===================================================================*/
+/*=========================== utf8lib.c =============================*/
+/*===================================================================*/
+typedef uint32_t uchar_t;
+
+bool    u8_analyze (const char *_s, size_t *_start, size_t *_len, uchar_t *_ch, size_t _maxlen);
+size_t  u8_strlen  (const char*);
+size_t  u8_strnlen (const char*, size_t);
+uchar_t u8_getchar (const char*, const char**);
+uchar_t u8_getnchar(const char*, const char**, size_t);
+int     u8_fromchar(uchar_t w,   char *to,     size_t maxlen);
+
+/*===================================================================*/
+/*============================= opts.c ==============================*/
+/*===================================================================*/
 typedef struct {
     const char *name;
-    longbit    bit;
-} opts_flag_def;
+    longbit     bit;
+} opts_flag_def_t;
+
+bool opts_setflag  (const char *, bool);
+bool opts_setwarn  (const char *, bool);
+bool opts_setwerror(const char *, bool);
+bool opts_setoptim (const char *, bool);
+
+void opts_init         (const char *, int, size_t);
+void opts_set          (uint32_t   *, size_t, bool);
+void opts_setoptimlevel(unsigned int);
+void opts_ini_init     (const char *);
+
+/* Saner flag handling */
+void opts_backup_non_Wall(void);
+void opts_restore_non_Wall(void);
+void opts_backup_non_Werror_all(void);
+void opts_restore_non_Werror_all(void);
+
 
-/*===================================================================*/
-/* list of -f flags, like -fdarkplaces-string-table-bug */
 enum {
 # define GMQCC_TYPE_FLAGS
 # define GMQCC_DEFINE_FLAG(X) X,
 #  include "opts.def"
     COUNT_FLAGS
 };
-static const opts_flag_def opts_flag_list[] = {
-# define GMQCC_TYPE_FLAGS
-# define GMQCC_DEFINE_FLAG(X) { #X, LONGBIT(X) },
-#  include "opts.def"
-    { NULL, LONGBIT(0) }
-};
 
 enum {
 # define GMQCC_TYPE_WARNS
@@ -850,37 +1023,64 @@ enum {
 #  include "opts.def"
     COUNT_WARNINGS
 };
-static const opts_flag_def opts_warn_list[] = {
-# define GMQCC_TYPE_WARNS
-# define GMQCC_DEFINE_FLAG(X) { #X, LONGBIT(WARN_##X) },
+
+enum {
+# define GMQCC_TYPE_OPTIMIZATIONS
+# define GMQCC_DEFINE_FLAG(NAME, MIN_O) OPTIM_##NAME,
 #  include "opts.def"
-    { NULL, LONGBIT(0) }
+    COUNT_OPTIMIZATIONS
 };
 
-/* other options: */
 enum {
+#   define GMQCC_TYPE_OPTIONS
+#   define GMQCC_DEFINE_FLAG(X) OPTION_##X,
+#   include "opts.def"
+    OPTION_COUNT
+};
+
+extern const opts_flag_def_t opts_flag_list[COUNT_FLAGS+1];
+extern const opts_flag_def_t opts_warn_list[COUNT_WARNINGS+1];
+extern const opts_flag_def_t opts_opt_list[COUNT_OPTIMIZATIONS+1];
+extern const unsigned int    opts_opt_oflag[COUNT_OPTIMIZATIONS+1];
+extern unsigned int          opts_optimizationcount[COUNT_OPTIMIZATIONS];
+
+/* other options: */
+typedef enum {
     COMPILER_QCC,     /* circa  QuakeC */
     COMPILER_FTEQCC,  /* fteqcc QuakeC */
     COMPILER_QCCX,    /* qccx   QuakeC */
     COMPILER_GMQCC    /* this   QuakeC */
-};
-extern uint32_t    opts_O;      /* -Ox */
-extern const char *opts_output; /* -o file */
-extern int         opts_standard;
-extern bool        opts_debug;
-extern bool        opts_memchk;
-extern bool        opts_dumpfin;
-extern bool        opts_dump;
-extern bool        opts_werror;
-extern bool        opts_forcecrc;
-extern uint16_t    opts_forced_crc;
-extern bool        opts_pp_only;
-extern size_t      opts_max_array_size;
+} opts_std_t;
 
-/*===================================================================*/
-#define OPTS_FLAG(i) (!! (opts_flags[(i)/32] & (1<< ((i)%32))))
-extern uint32_t opts_flags[1 + (COUNT_FLAGS / 32)];
-#define OPTS_WARN(i) (!! (opts_warn[(i)/32] & (1<< ((i)%32))))
-extern uint32_t opts_warn[1 + (COUNT_WARNINGS / 32)];
+typedef union {
+    bool     B;
+    uint16_t U16;
+    uint32_t U32;
+    char    *STR;
+} opt_value_t;
 
-#endif
+
+typedef struct {
+    opt_value_t  options      [OPTION_COUNT];
+    uint32_t     flags        [1 + (COUNT_FLAGS         / 32)];
+    uint32_t     warn         [1 + (COUNT_WARNINGS      / 32)];
+    uint32_t     werror       [1 + (COUNT_WARNINGS      / 32)];
+    uint32_t     warn_backup  [1 + (COUNT_WARNINGS      / 32)];
+    uint32_t     werror_backup[1 + (COUNT_WARNINGS      / 32)];
+    uint32_t     optimization [1 + (COUNT_OPTIMIZATIONS / 32)];
+    bool         optimizeoff; /* True when -O0 */
+} opts_cmd_t;
+
+extern opts_cmd_t opts;
+
+#define OPTS_GENERIC(f,i)    (!! (((f)[(i)/32]) & (1<< (unsigned)((i)%32))))
+#define OPTS_FLAG(i)         OPTS_GENERIC(opts.flags,        (i))
+#define OPTS_WARN(i)         OPTS_GENERIC(opts.warn,         (i))
+#define OPTS_WERROR(i)       OPTS_GENERIC(opts.werror,       (i))
+#define OPTS_OPTIMIZATION(i) OPTS_GENERIC(opts.optimization, (i))
+#define OPTS_OPTION_BOOL(X) (opts.options[X].B)
+#define OPTS_OPTION_U16(X)  (opts.options[X].U16)
+#define OPTS_OPTION_U32(X)  (opts.options[X].U32)
+#define OPTS_OPTION_STR(X)  (opts.options[X].STR)
+
+#endif /*! GMQCC_HDR */