]> git.xonotic.org Git - xonotic/gmqcc.git/blobdiff - gmqcc.h
-fbail-on-werror option
[xonotic/gmqcc.git] / gmqcc.h
diff --git a/gmqcc.h b/gmqcc.h
index ef1841f713f73948bad62a805dfbb80618a4831e..9dc184657ccbb2a810dd7185bb0710d65a68ebe9 100644 (file)
--- a/gmqcc.h
+++ b/gmqcc.h
@@ -1,6 +1,7 @@
 /*
  * Copyright (C) 2012
- *     Dale Weiler, Wolfgang Bumiller
+ *     Dale Weiler
+ *     Wolfgang Bumiller
  *
  * Permission is hereby granted, free of charge, to any person obtaining a copy of
  * this software and associated documentation files (the "Software"), to deal in
@@ -25,8 +26,8 @@
 #include <limits.h>
 #include <stdlib.h>
 #include <string.h>
-#include <stdio.h>
 #include <stdarg.h>
+#include <stdio.h>
 #include <ctype.h>
 
 /*
  * of my time.
  */
 #ifdef _MSC_VER
-#      pragma warning(disable : 4244 ) /* conversion from 'int' to 'float', possible loss of data */
-#      pragma warning(disable : 4018 ) /* signed/unsigned mismatch                                */
-#      pragma warning(disable : 4996 ) /* This function or variable may be unsafe                 */
-#      pragma warning(disable : 4700 ) /* uninitialized local variable used                       */
+#   pragma warning(disable : 4244 ) /* conversion from 'int' to 'float', possible loss of data */
+#   pragma warning(disable : 4018 ) /* signed/unsigned mismatch                                */
 #endif
 
 #define GMQCC_VERSION_MAJOR 0
-#define GMQCC_VERSION_MINOR 1
+#define GMQCC_VERSION_MINOR 3
 #define GMQCC_VERSION_PATCH 0
 #define GMQCC_VERSION_BUILD(J,N,P) (((J)<<16)|((N)<<8)|(P))
 #define GMQCC_VERSION \
@@ -75,6 +74,8 @@
 #   endif /* !__STDC_VERSION__ */
 #endif    /* !__cplusplus      */
 
+
+
 /*
  * Of some functions which are generated we want to make sure
  * that the result isn't ignored. To find such function calls,
 #    else
 #       define GMQCC_INLINE inline
 #    endif
+/*
+ * Visual studio has __forcinline we can use.  So lets use that
+ * I suspect it also has just __inline of some sort, but our use
+ * of inline is correct (not guessed), WE WANT IT TO BE INLINE
+ */
+#elif defined(_MSC_VER)
+#    define GMQCC_INLINE __forceinline
 #else
 #    define GMQCC_INLINE
 #endif /* !__STDC_VERSION__ */
 #    define GMQCC_NORETURN
 #endif
 
+#ifndef _MSC_VER
+#   include <stdint.h>
+#else
+    typedef unsigned __int8  uint8_t;
+    typedef unsigned __int16 uint16_t;
+    typedef unsigned __int32 uint32_t;
+    typedef unsigned __int64 uint64_t;
+
+    typedef __int16          int16_t;
+    typedef __int32          int32_t;
+    typedef __int64          int64_t;
+#endif
+
+/* 
+ *windows makes these prefixed because they're C99
+ * TODO: utility versions that are type-safe and not
+ * just plain textual subsitution.
+ */
+#ifdef _MSC_VER
+#    define snprintf(X, Y, Z, ...) _snprintf(X, Y, Z, __VA_ARGS__)
+    /* strtof doesn't exist -> strtod does though :) */
+#    define strtof(X, Y)          (float)(strtod(X, Y))
+#endif
+
 /*
- * stdint.h and inttypes.h -less subset
- * for systems that don't have it, which we must
- * assume is all systems. (int8_t not required)
+ * Very roboust way at determining endianess at compile time: this handles
+ * almost every possible situation.  Otherwise a runtime check has to be
+ * performed.
  */
-#if   CHAR_MIN  == -128
-    typedef unsigned char  uint8_t; /* same as below */
-#elif SCHAR_MIN == -128
-    typedef unsigned char  uint8_t; /* same as above */
+#define GMQCC_BYTE_ORDER_LITTLE 1234
+#define GMQCC_BYTE_ORDER_BIG    4321
+
+#if defined (__GNUC__) || defined (__GNU_LIBRARY__)
+#   if defined (__FreeBSD__) || defined (__OpenBSD__)
+#       include <sys/endian.h>
+#   elif defined (BSD) && (BSD >= 199103) || defined (__DJGPP__) || defined (__CYGWIN32__)
+#       include <machine/endiane.h>
+#   elif defined (__APPLE__)
+#       if defined (__BIG_ENDIAN__) && !defined(BIG_ENDIAN)
+#           define BIG_ENDIAN
+#       elif defined (__LITTLE_ENDIAN__) && !defined (LITTLE_ENDIAN)
+#           define LITTLE_ENDIAN
+#       endif
+#   elif !defined (__MINGW32__)
+#       include <endian.h>
+#       if !defined (__BEOS__)
+#           include <byteswap.h>
+#       endif
+#   endif
 #endif
-#if   SHRT_MAX  == 0x7FFF
-    typedef short          int16_t;
-    typedef unsigned short uint16_t;
-#elif INT_MAX   == 0x7FFF
-    typedef int            int16_t;
-    typedef unsigned int   uint16_t;
+#if !defined(PLATFORM_BYTE_ORDER)
+#   if defined (LITTLE_ENDIAN) || defined (BIG_ENDIAN)
+#       if defined (LITTLE_ENDIAN) && !defined(BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (LITTLE_ENDIAN) && defined (BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (BYTE_ORDER) && (BYTE_ORDER == LITTLE_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (BYTE_ORDER) && (BYTE_ORDER == BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif
+#   elif defined (_LITTLE_ENDIAN) || defined (_BIG_ENDIAN)
+#       if defined (_LITTLE_ENDIAN) && !defined(_BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (_LITTLE_ENDIAN) && defined (_BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _LITTLE_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (_BYTE_ORDER) && (_BYTE_ORDER == _BIG_ENDIAN)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif
+#   elif defined (__LITTLE_ENDIAN__) || defined (__BIG_ENDIAN__)
+#       if defined (__LITTLE_ENDIAN__) && !defined (__BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif !defined (__LITTLE_ENDIAN__) && defined (__BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __LITTLE_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#       elif defined (__BYTE_ORDER__) && (__BYTE_ORDER__ == __BIG_ENDIAN__)
+#           define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#       endif
+#   endif
 #endif
-#if   INT_MAX   == 0x7FFFFFFF
-    typedef int            int32_t;
-    typedef unsigned int   uint32_t;
-#elif LONG_MAX  == 0x7FFFFFFF
-    typedef long           int32_t;
-    typedef unsigned long  uint32_t;
+#if !defined (PLATFORM_BYTE_ORDER)
+#   if   defined (__alpha__) || defined (__alpha)    || defined (i386)       || \
+         defined (__i386__)  || defined (_M_I86)     || defined (_M_IX86)    || \
+         defined (__OS2__)   || defined (sun386)     || defined (__TURBOC__) || \
+         defined (vax)       || defined (vms)        || defined (VMS)        || \
+         defined (__VMS)     || defined (__x86_64__) || defined (_M_IA64)    || \
+         defined (_M_X64)    || defined (__i386)     || defined (__x86_64)
+#       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_LITTLE
+#   elif defined (AMIGA)     || defined (applec)     || defined (__AS400__)  || \
+         defined (_CRAY)     || defined (__hppa)     || defined (__hp9000)   || \
+         defined (ibm370)    || defined (mc68000)    || defined (m68k)       || \
+         defined (__MRC__)   || defined (__MVS__)    || defined (__MWERKS__) || \
+         defined (sparc)     || defined (__sparc)    || defined (SYMANTEC_C) || \
+         defined (__TANDEM)  || defined (THINK_C)    || defined (__VMCMS__)  || \
+         defined (__PPC__)   || defined (__PPC)      || defined (PPC)
+#       define PLATFORM_BYTE_ORDER GMQCC_BYTE_ORDER_BIG
+#   else
+#       define PLATFORM_BYTE_ORDER -1
+#   endif
 #endif
 
 
-#if defined(__GNUC__) || defined (__CLANG__)
-       typedef int          int64_t  __attribute__((__mode__(__DI__)));
-       typedef unsigned int uint64_t __attribute__((__mode__(__DI__)));
-#elif defined(_MSC_VER)
-       typedef __int64          int64_t;
-       typedef unsigned __int64 uint64_t;
-#else
-    /*
-    * Incoorectly size the types so static assertions below will
-    * fail.  There is no valid way to get a 64bit type at this point
-    * without making assumptions of too many things.
-    */
-    typedef struct { char _fail : 0; } int64_t;
-    typedef struct { char _fail : 0; } uint64_t;
-#endif
-#ifdef _LP64 /* long pointer == 64 */
-    typedef unsigned long  uintptr_t;
-    typedef long           intptr_t;
-#else
-    typedef unsigned int   uintptr_t;
-    typedef int            intptr_t;
-#endif
-/* Ensure type sizes are correct: */
-typedef char uint8_size_is_correct  [sizeof(uint8_t)  == 1?1:-1];
-typedef char uint16_size_is_correct [sizeof(uint16_t) == 2?1:-1];
-typedef char uint32_size_is_correct [sizeof(uint32_t) == 4?1:-1];
-typedef char uint64_size_is_correct [sizeof(uint64_t) == 8?1:-1];
-typedef char int16_size_if_correct  [sizeof(int16_t)  == 2?1:-1];
-typedef char int32_size_is_correct  [sizeof(int32_t)  == 4?1:-1];
-typedef char int64_size_is_correct  [sizeof(int64_t)  >= 8?1:-1];
-/* intptr_t / uintptr_t correct size check */
-typedef char uintptr_size_is_correct[sizeof(intptr_t) == sizeof(int*)?1:-1];
-typedef char intptr_size_is_correct [sizeof(uintptr_t)== sizeof(int*)?1:-1];
 
 /*===================================================================*/
 /*=========================== util.c ================================*/
 /*===================================================================*/
-FILE *util_fopen(const char *filename, const char *mode);
-
-void *util_memory_a      (unsigned int, unsigned int, const char *);
+void *util_memory_a      (size_t,       unsigned int, const char *);
 void  util_memory_d      (void       *, unsigned int, const char *);
+void *util_memory_r      (void       *, size_t,       unsigned int, const char *);
 void  util_meminfo       ();
 
+bool  util_filexists     (const char *);
 bool  util_strupper      (const char *);
 bool  util_strdigit      (const char *);
-bool  util_strncmpexact  (const char *, const char *, size_t);
 char *util_strdup        (const char *);
-char *util_strrq         (const char *);
-char *util_strrnl        (const char *);
-char *util_strsws        (const char *);
-char *util_strchp        (const char *, const char *);
 void  util_debug         (const char *, const char *, ...);
-int   util_getline       (char **, size_t *, FILE *);
-void  util_endianswap    (void *,  int, int);
+void  util_endianswap    (void *,  size_t, unsigned int);
 
 size_t util_strtocmd    (const char *, char *, size_t);
 size_t util_strtononcmd (const char *, char *, size_t);
 
 uint16_t util_crc16(uint16_t crc, const char *data, size_t len);
-uint32_t util_crc32(uint32_t crc, const char *data, size_t len);
+
+void     util_seed(uint32_t);
+uint32_t util_rand();
 
 #ifdef NOTRACK
-#    define mem_a(x) malloc(x)
-#    define mem_d(x) free  (x)
+#    define mem_a(x)    malloc (x)
+#    define mem_d(x)    free   ((void*)x)
+#    define mem_r(x, n) realloc((void*)x, n)
 #else
-#    define mem_a(x) util_memory_a((x), __LINE__, __FILE__)
-#    define mem_d(x) util_memory_d((x), __LINE__, __FILE__)
+#    define mem_a(x)    util_memory_a((x), __LINE__, __FILE__)
+#    define mem_d(x)    util_memory_d((void*)(x),      __LINE__, __FILE__)
+#    define mem_r(x, n) util_memory_r((void*)(x), (n), __LINE__, __FILE__)
 #endif
 
 /*
- * TODO: make these safer to use.  Currently this only works on
- * x86 and x86_64, some systems will likely not like this. Such
- * as BE systems.
+ * A flexible vector implementation: all vector pointers contain some
+ * data about themselfs exactly - sizeof(vector_t) behind the pointer
+ * this data is represented in the structure below.  Doing this allows
+ * us to use the array [] to access individual elements from the vector
+ * opposed to using set/get methods.
+ */     
+typedef struct {
+    size_t  allocated;
+    size_t  used;
+
+    /* can be extended now! whoot */
+} vector_t;
+
+/* hidden interface */
+void _util_vec_grow(void **a, size_t i, size_t s);
+#define GMQCC_VEC_WILLGROW(X,Y) ( \
+    ((!(X) || vec_meta(X)->used + Y >= vec_meta(X)->allocated)) ? \
+        (void)_util_vec_grow(((void**)&(X)), (Y), sizeof(*(X))) : \
+        (void)0                                                   \
+)
+
+/* exposed interface */
+#define vec_meta(A)       (((vector_t*)(A)) - 1)
+#define vec_free(A)       ((A) ? (mem_d((void*)vec_meta(A)), (A) = NULL) : 0)
+#define vec_push(A,V)     (GMQCC_VEC_WILLGROW((A),1), (A)[vec_meta(A)->used++] = (V))
+#define vec_size(A)       ((A) ? vec_meta(A)->used : 0)
+#define vec_add(A,N)      (GMQCC_VEC_WILLGROW((A),(N)), vec_meta(A)->used += (N), &(A)[vec_meta(A)->used-(N)])
+#define vec_last(A)       ((A)[vec_meta(A)->used - 1])
+#define vec_pop(A)        (vec_meta(A)->used -= 1)
+#define vec_shrinkto(A,N) (vec_meta(A)->used  = (N))
+#define vec_shrinkby(A,N) (vec_meta(A)->used -= (N))
+#define vec_append(A,N,S) memcpy(vec_add((A), (N)), (S), (N) * sizeof(*(S)))
+#define vec_upload(X,Y,S) memcpy(vec_add((X), (S) * sizeof(*(Y))), (Y), (S) * sizeof(*(Y)))
+#define vec_remove(A,I,N) memmove((A)+(I),(A)+((I)+(N)),sizeof(*(A))*(vec_meta(A)->used-(I)-(N))),vec_meta(A)->used-=(N)
+
+typedef struct hash_table_t {
+    size_t                size;
+    struct hash_node_t **table;
+} hash_table_t, *ht;
+
+/*
+ * hashtable implementation:
+ *
+ * Note:
+ *      This was designed for pointers:  you manage the life of the object yourself
+ *      if you do use this for non-pointers please be warned that the object may not
+ *      be valid if the duration of it exceeds (i.e on stack).  So you need to allocate
+ *      yourself, or put those in global scope to ensure duration is for the whole
+ *      runtime.
+ *
+ * util_htnew(size)                             -- to make a new hashtable
+ * util_htset(table, key, value, sizeof(value)) -- to set something in the table
+ * util_htget(table, key)                       -- to get something from the table
+ * util_htdel(table)                            -- to delete the table
+ *
+ * example of use:
+ *
+ * ht    foo  = util_htnew(1024);
+ * int   data = 100;
+ * char *test = "hello world\n";
+ * util_htset(foo, "foo", (void*)&data);
+ * util_gtset(foo, "bar", (void*)test);
+ *
+ * printf("foo: %d, bar %s",
+ *     *((int *)util_htget(foo, "foo")),
+ *      ((char*)util_htget(foo, "bar"))
+ * );
+ *
+ * util_htdel(foo);
  */
-#define FLT2INT(Y) *((int32_t*)&(Y))
-#define INT2FLT(Y) *((float  *)&(Y))
-
-/* Builds vector type (usefull for inside structures) */
-#define VECTOR_SNAP(X,Y) X ## Y
-#define VECTOR_FILL(X,Y) VECTOR_SNAP(X,Y)
-#define VECTOR_TYPE(T,N)                                        \
-    T*     N##_data      = NULL;                                \
-    long   N##_elements  = 0;                                   \
-    long   N##_allocated = 0
-/* Builds vector add */
-#define VECTOR_CORE(T,N)                                        \
-    int    N##_add(T element) {                                 \
-        void *temp = NULL;                                      \
-        if (N##_elements == N##_allocated) {                    \
-            if (N##_allocated == 0) {                           \
-                N##_allocated = 12;                             \
-            } else {                                            \
-                N##_allocated *= 2;                             \
-            }                                                   \
-            if  (!(temp = mem_a(N##_allocated * sizeof(T)))) {  \
-                mem_d(temp);                                    \
-                return -1;                                      \
-            }                                                   \
-            memcpy(temp, N##_data, (N##_elements * sizeof(T))); \
-            mem_d(N##_data);                                    \
-            N##_data = (T*)temp;                                \
-        }                                                       \
-        N##_data[N##_elements] = element;                       \
-        return   N##_elements++;                                \
-    }                                                           \
-    int N##_put(T* elements, size_t len) {                      \
-        len     --;                                             \
-        elements--;                                             \
-        while (N##_add(*++elements) != -1 && len--);            \
-        return N##_elements;                                    \
-    }                                                           \
-    typedef char VECTOR_FILL(extra_semicolon_##N,__COUNTER__)
-#define VECTOR_PROT(T,N)                                        \
-    extern T*     N##_data     ;                                \
-    extern long   N##_elements ;                                \
-    extern long   N##_allocated;                                \
-    int           N##_add(T);                                   \
-    int           N##_put(T *, size_t)
-#define VECTOR_MAKE(T,N) \
-    VECTOR_TYPE(T,N);    \
-    VECTOR_CORE(T,N)
+hash_table_t *util_htnew (size_t size);
+void          util_htset (hash_table_t *ht, const char *key, void *value);
+void          util_htdel (hash_table_t *ht);
+size_t        util_hthash(hash_table_t *ht, const char *key);
+void          util_htseth(hash_table_t *ht, const char *key, size_t hash, void *value);
+
+void         *util_htget (hash_table_t *ht, const char *key);
+void         *util_htgeth(hash_table_t *ht, const char *key, size_t hash);
+/*===================================================================*/
+/*============================ file.c ===============================*/
+/*===================================================================*/
+GMQCC_INLINE void    file_close  (FILE *);
+GMQCC_INLINE int     file_error  (FILE *);
+GMQCC_INLINE int     file_getc   (FILE *);
+GMQCC_INLINE int     file_printf (FILE *, const char *, ...);
+GMQCC_INLINE int     file_puts   (FILE *, const char *);
+GMQCC_INLINE int     file_seek   (FILE *, long int, int);
+
+GMQCC_INLINE size_t  file_read   (void *,        size_t, size_t, FILE *);
+GMQCC_INLINE size_t  file_write  (const void *,  size_t, size_t, FILE *);
+
+GMQCC_INLINE FILE   *file_open   (const char *, const char *);
+/*NOINLINE*/ int     file_getline(char  **, size_t *, FILE *);
+
 
 /*===================================================================*/
 /*=========================== code.c ================================*/
 /*===================================================================*/
 
+/* TODO: cleanup */
 /* Note: if you change the order, fix type_sizeof in ir.c */
 enum {
     TYPE_VOID     ,
@@ -297,20 +393,26 @@ enum {
     TYPE_COUNT
 };
 
-extern const char *type_name[TYPE_COUNT];
+/* const/var qualifiers */
+#define CV_NONE   0
+#define CV_CONST  1
+#define CV_VAR   -1
+#define CV_WRONG  0x8000 /* magic number to help parsing */
+
+extern const char *type_name        [TYPE_COUNT];
+extern uint16_t    type_store_instr [TYPE_COUNT];
+extern uint16_t    field_store_instr[TYPE_COUNT];
 
-extern size_t type_sizeof[TYPE_COUNT];
-extern uint16_t type_store_instr[TYPE_COUNT];
-extern uint16_t field_store_instr[TYPE_COUNT];
-/* could use type_store_instr + INSTR_STOREP_F - INSTR_STORE_F
+/*
+ * could use type_store_instr + INSTR_STOREP_F - INSTR_STORE_F
  * but this breaks when TYPE_INTEGER is added, since with the enhanced
  * instruction set, the old ones are left untouched, thus the _I instructions
  * are at a seperate place.
  */
 extern uint16_t type_storep_instr[TYPE_COUNT];
-/* other useful lists */
-extern uint16_t type_eq_instr[TYPE_COUNT];
-extern uint16_t type_ne_instr[TYPE_COUNT];
+extern uint16_t type_eq_instr    [TYPE_COUNT];
+extern uint16_t type_ne_instr    [TYPE_COUNT];
+extern uint16_t type_not_instr   [TYPE_COUNT];
 
 typedef struct {
     uint32_t offset;      /* Offset in file of where data begins  */
@@ -319,15 +421,15 @@ typedef struct {
 
 typedef struct {
     uint32_t     version;      /* Program version (6)     */
-    uint16_t     crc16;        /* What is this?           */
-    uint16_t     skip;         /* see propsal.txt         */
+    uint16_t     crc16;
+    uint16_t     skip;
 
     prog_section statements;   /* prog_section_statement  */
     prog_section defs;         /* prog_section_def        */
     prog_section fields;       /* prog_section_field      */
     prog_section functions;    /* prog_section_function   */
-    prog_section strings;      /* What is this?           */
-    prog_section globals;      /* What is this?           */
+    prog_section strings;
+    prog_section globals;
     uint32_t     entfield;     /* Number of entity fields */
 } prog_header;
 
@@ -377,7 +479,8 @@ typedef struct {
 } prog_section_statement;
 
 typedef struct {
-    /* The types:
+    /*
+     * The types:
      * 0 = ev_void
      * 1 = ev_string
      * 2 = ev_float
@@ -392,6 +495,7 @@ typedef struct {
     uint16_t offset;
     uint32_t name;
 } prog_section_both;
+
 typedef prog_section_both prog_section_def;
 typedef prog_section_both prog_section_field;
 
@@ -406,7 +510,7 @@ typedef struct {
     uint32_t  profile;    /* Always zero (engine uses this)       */
     uint32_t  name;       /* name of function in string table     */
     uint32_t  file;       /* file of the source file              */
-    uint32_t  nargs;      /* number of arguments                  */
+    int32_t   nargs;      /* number of arguments                  */
     uint8_t   argsize[8]; /* size of arguments (keep 8 always?)   */
 } prog_section_function;
 
@@ -496,29 +600,25 @@ enum {
      */
     VINSTR_PHI,
     VINSTR_JUMP,
-    VINSTR_COND
+    VINSTR_COND,
+    /* A never returning CALL.
+     * Creating this causes IR blocks to be marked as 'final'.
+     * No-Return-Call
+     */
+    VINSTR_NRCALL
 };
 
-/*
- * The symbols below are created by the following
- * expanded macros:
- *
- * VECTOR_MAKE(prog_section_statement, code_statements);
- * VECTOR_MAKE(prog_section_def,       code_defs      );
- * VECTOR_MAKE(prog_section_field,     code_fields    );
- * VECTOR_MAKE(prog_section_function,  code_functions );
- * VECTOR_MAKE(int,                    code_globals   );
- * VECTOR_MAKE(char,                   code_chars     );
- */
-VECTOR_PROT(prog_section_statement, code_statements);
-VECTOR_PROT(prog_section_statement, code_statements);
-VECTOR_PROT(prog_section_def,       code_defs      );
-VECTOR_PROT(prog_section_field,     code_fields    );
-VECTOR_PROT(prog_section_function,  code_functions );
-VECTOR_PROT(int,                    code_globals   );
-VECTOR_PROT(char,                   code_chars     );
+/* TODO: cleanup this mess */
+extern prog_section_statement *code_statements;
+extern int                    *code_linenums;
+extern prog_section_def       *code_defs;
+extern prog_section_field     *code_fields;
+extern prog_section_function  *code_functions;
+extern int                    *code_globals;
+extern char                   *code_chars;
 extern uint16_t code_crc;
 
+/* uhh? */
 typedef float   qcfloat;
 typedef int32_t qcint;
 
@@ -526,15 +626,78 @@ typedef int32_t qcint;
  * code_write -- writes out the compiled file
  * code_init  -- prepares the code file
  */
-bool     code_write       (const char *filename);
+bool     code_write       (const char *filename, const char *lno);
 void     code_init        ();
 uint32_t code_genstring   (const char *string);
-uint32_t code_cachedstring(const char *string);
 qcint    code_alloc_field (size_t qcsize);
 
+/* this function is used to keep statements and linenumbers together */
+void     code_push_statement(prog_section_statement *stmt, int linenum);
+void     code_pop_statement();
+
+/*
+ * A shallow copy of a lex_file to remember where which ast node
+ * came from.
+ */
+typedef struct {
+    const char *file;
+    size_t      line;
+} lex_ctx;
+
+/*===================================================================*/
+/*============================ con.c ================================*/
+/*===================================================================*/
+enum {
+    CON_BLACK   = 30,
+    CON_RED,
+    CON_GREEN,
+    CON_BROWN,
+    CON_BLUE,
+    CON_MAGENTA,
+    CON_CYAN ,
+    CON_WHITE
+};
+
+/* message level */
+enum {
+    LVL_MSG,
+    LVL_WARNING,
+    LVL_ERROR
+};
+
+FILE *con_default_out();
+FILE *con_default_err();
+
+void con_vprintmsg (int level, const char *name, size_t line, const char *msgtype, const char *msg, va_list ap);
+void con_printmsg  (int level, const char *name, size_t line, const char *msgtype, const char *msg, ...);
+void con_cvprintmsg(void *ctx, int lvl, const char *msgtype, const char *msg, va_list ap);
+void con_cprintmsg (void *ctx, int lvl, const char *msgtype, const char *msg, ...);
+
+void con_close ();
+void con_init  ();
+void con_reset ();
+void con_color (int);
+int  con_change(const char *, const char *);
+int  con_verr  (const char *, va_list);
+int  con_vout  (const char *, va_list);
+int  con_err   (const char *, ...);
+int  con_out   (const char *, ...);
+
+/* error/warning interface */
+extern size_t compile_errors;
+extern size_t compile_Werrors;
+extern size_t compile_warnings;
+
+void /********/ compile_error   (lex_ctx ctx, /*LVL_ERROR*/ const char *msg, ...);
+void /********/ vcompile_error  (lex_ctx ctx, /*LVL_ERROR*/ const char *msg, va_list ap);
+bool GMQCC_WARN compile_warning (lex_ctx ctx, int warntype, const char *fmt, ...);
+bool GMQCC_WARN vcompile_warning(lex_ctx ctx, int warntype, const char *fmt, va_list ap);
+void            compile_show_werrors();
+
 /*===================================================================*/
 /*========================= assembler.c =============================*/
 /*===================================================================*/
+/* TODO: remove this ... */
 static const struct {
     const char  *m; /* menomic     */
     const size_t o; /* operands    */
@@ -609,188 +772,9 @@ static const struct {
 
     { "END"       , 0, 3 } /* virtual assembler instruction */
 };
-
-void asm_init (const char *, FILE **);
-void asm_close(FILE *);
-void asm_parse(FILE *);
 /*===================================================================*/
-/*============================= ast.c ===============================*/
+/*============================= ir.c ================================*/
 /*===================================================================*/
-#define MEM_VECTOR_PROTO(Towner, Tmem, mem)                   \
-    bool GMQCC_WARN Towner##_##mem##_add(Towner*, Tmem);      \
-    bool GMQCC_WARN Towner##_##mem##_remove(Towner*, size_t)
-
-#define MEM_VECTOR_PROTO_ALL(Towner, Tmem, mem)                    \
-    MEM_VECTOR_PROTO(Towner, Tmem, mem);                           \
-    bool GMQCC_WARN Towner##_##mem##_find(Towner*, Tmem, size_t*); \
-    void Towner##_##mem##_clear(Towner*)
-
-#define MEM_VECTOR_MAKE(Twhat, name) \
-    Twhat  *name;                    \
-    size_t name##_count;             \
-    size_t name##_alloc
-
-#define MEM_VEC_FUN_ADD(Tself, Twhat, mem)                           \
-bool GMQCC_WARN Tself##_##mem##_add(Tself *self, Twhat f)            \
-{                                                                    \
-    Twhat *reall;                                                    \
-    if (self->mem##_count == self->mem##_alloc) {                    \
-        if (!self->mem##_alloc) {                                    \
-            self->mem##_alloc = 16;                                  \
-        } else {                                                     \
-            self->mem##_alloc *= 2;                                  \
-        }                                                            \
-        reall = (Twhat*)mem_a(sizeof(Twhat) * self->mem##_alloc);    \
-        if (!reall) {                                                \
-            return false;                                            \
-        }                                                            \
-        memcpy(reall, self->mem, sizeof(Twhat) * self->mem##_count); \
-        mem_d(self->mem);                                            \
-        self->mem = reall;                                           \
-    }                                                                \
-    self->mem[self->mem##_count++] = f;                              \
-    return true;                                                     \
-}
-
-#define MEM_VEC_FUN_REMOVE(Tself, Twhat, mem)                        \
-bool GMQCC_WARN Tself##_##mem##_remove(Tself *self, size_t idx)      \
-{                                                                    \
-    size_t i;                                                        \
-    Twhat *reall;                                                    \
-    if (idx >= self->mem##_count) {                                  \
-        return true; /* huh... */                                    \
-    }                                                                \
-    for (i = idx; i < self->mem##_count-1; ++i) {                    \
-        self->mem[i] = self->mem[i+1];                               \
-    }                                                                \
-    self->mem##_count--;                                             \
-    if (self->mem##_count < self->mem##_count/2) {                   \
-        self->mem##_alloc /= 2;                                      \
-        reall = (Twhat*)mem_a(sizeof(Twhat) * self->mem##_count);    \
-        if (!reall) {                                                \
-            return false;                                            \
-        }                                                            \
-        memcpy(reall, self->mem, sizeof(Twhat) * self->mem##_count); \
-        mem_d(self->mem);                                            \
-        self->mem = reall;                                           \
-    }                                                                \
-    return true;                                                     \
-}
-
-#define MEM_VEC_FUN_FIND(Tself, Twhat, mem)                     \
-bool GMQCC_WARN Tself##_##mem##_find(Tself *self, Twhat obj, size_t *idx) \
-{                                                               \
-    size_t i;                                                   \
-    for (i = 0; i < self->mem##_count; ++i) {                   \
-        if (self->mem[i] == obj) {                              \
-            if (idx) {                                          \
-                *idx = i;                                       \
-            }                                                   \
-            return true;                                        \
-        }                                                       \
-    }                                                           \
-    return false;                                               \
-}
-
-#define MEM_VEC_FUN_APPEND(Tself, Twhat, mem)                        \
-bool GMQCC_WARN Tself##_##mem##_append(Tself *s, Twhat *p, size_t c) \
-{                                                                    \
-    Twhat *reall;                                                    \
-    size_t oldalloc;                                                 \
-    if (s->mem##_count+c > s->mem##_alloc) {                         \
-        if (!s->mem##_alloc) {                                       \
-            s->mem##_alloc = c < 16 ? 16 : c;                        \
-            s->mem = (Twhat*)mem_a(sizeof(Twhat) * s->mem##_alloc);  \
-        } else {                                                     \
-            oldalloc = s->mem##_alloc;                               \
-            s->mem##_alloc *= 2;                                     \
-            if (s->mem##_count+c >= s->mem##_alloc) {                \
-                s->mem##_alloc = s->mem##_count+c;                   \
-            }                                                        \
-            reall = (Twhat*)mem_a(sizeof(Twhat) * s->mem##_alloc);   \
-            if (!reall) {                                            \
-                s->mem##_alloc = oldalloc;                           \
-                return false;                                        \
-            }                                                        \
-            memcpy(reall, s->mem, sizeof(Twhat) * s->mem##_count);   \
-            mem_d(s->mem);                                           \
-            s->mem = reall;                                          \
-        }                                                            \
-    }                                                                \
-    memcpy(&s->mem[s->mem##_count], p, c*sizeof(*p));                \
-    s->mem##_count += c;                                             \
-    return true;                                                     \
-}
-
-#define MEM_VEC_FUN_RESIZE(Tself, Twhat, mem)                    \
-bool GMQCC_WARN Tself##_##mem##_resize(Tself *s, size_t c)       \
-{                                                                \
-    Twhat *reall;                                                \
-    if (c > s->mem##_alloc) {                                    \
-        reall = (Twhat*)mem_a(sizeof(Twhat) * c);                \
-        if (!reall) { return false; }                            \
-        memcpy(reall, s->mem, sizeof(Twhat) * s->mem##_count);   \
-        s->mem##_alloc = c;                                      \
-        s->mem##_count = c;                                      \
-        mem_d(s->mem);                                           \
-        s->mem = reall;                                          \
-        return true;                                             \
-    }                                                            \
-    s->mem##_count = c;                                          \
-    if (c < (s->mem##_alloc / 2)) {                              \
-        reall = (Twhat*)mem_a(sizeof(Twhat) * c);                \
-        if (!reall) { return false; }                            \
-        memcpy(reall, s->mem, sizeof(Twhat) * c);                \
-        mem_d(s->mem);                                           \
-        s->mem = reall;                                          \
-        s->mem##_alloc = c;                                      \
-    }                                                            \
-    return true;                                                 \
-}
-
-#define MEM_VEC_FUN_CLEAR(Tself, mem)   \
-void Tself##_##mem##_clear(Tself *self) \
-{                                       \
-    if (!self->mem)                     \
-        return;                         \
-    mem_d((void*) self->mem);           \
-    self->mem = NULL;                   \
-    self->mem##_count = 0;              \
-    self->mem##_alloc = 0;              \
-}
-
-#define MEM_VECTOR_CLEAR(owner, mem)  \
-    if ((owner)->mem)                 \
-        mem_d((void*)((owner)->mem)); \
-    (owner)->mem = NULL;              \
-    (owner)->mem##_count = 0;         \
-    (owner)->mem##_alloc = 0
-
-#define MEM_VECTOR_INIT(owner, mem) \
-{                                   \
-    (owner)->mem = NULL;            \
-    (owner)->mem##_count = 0;       \
-    (owner)->mem##_alloc = 0;       \
-}
-
-#define MEM_VECTOR_MOVE(from, mem, to, tm)   \
-{                                            \
-    (to)->tm = (from)->mem;                  \
-    (to)->tm##_count = (from)->mem##_count;  \
-    (to)->tm##_alloc = (from)->mem##_alloc;  \
-    (from)->mem = NULL;                      \
-    (from)->mem##_count = 0;                 \
-    (from)->mem##_alloc = 0;                 \
-}
-
-#define MEM_VEC_FUNCTIONS(Tself, Twhat, mem) \
-MEM_VEC_FUN_REMOVE(Tself, Twhat, mem)        \
-MEM_VEC_FUN_ADD(Tself, Twhat, mem)
-
-#define MEM_VEC_FUNCTIONS_ALL(Tself, Twhat, mem) \
-MEM_VEC_FUNCTIONS(Tself, Twhat, mem)             \
-MEM_VEC_FUN_CLEAR(Tself, mem)                    \
-MEM_VEC_FUN_FIND(Tself, Twhat, mem)
 
 enum store_types {
     store_global,
@@ -809,20 +793,13 @@ vector  vec3_sub  (vector, vector);
 qcfloat vec3_mulvv(vector, vector);
 vector  vec3_mulvf(vector, float);
 
-/*
- * A shallow copy of a lex_file to remember where which ast node
- * came from.
- */
-typedef struct {
-    const char *file;
-    size_t      line;
-} lex_ctx;
-
 /*===================================================================*/
 /*============================= exec.c ==============================*/
 /*===================================================================*/
 
-/* darkplaces has (or will have) a 64 bit prog loader
+/* TODO: cleanup */
+/*
+ * Darkplaces has (or will have) a 64 bit prog loader
  * where the 32 bit qc program is autoconverted on load.
  * Since we may want to support that as well, let's redefine
  * float and int here.
@@ -867,16 +844,16 @@ typedef struct {
 typedef struct qc_program_s {
     char           *filename;
 
-    MEM_VECTOR_MAKE(prog_section_statement, code);
-    MEM_VECTOR_MAKE(prog_section_def,       defs);
-    MEM_VECTOR_MAKE(prog_section_def,       fields);
-    MEM_VECTOR_MAKE(prog_section_function,  functions);
-    MEM_VECTOR_MAKE(char,                   strings);
-    MEM_VECTOR_MAKE(qcint,                  globals);
-    MEM_VECTOR_MAKE(qcint,                  entitydata);
-    MEM_VECTOR_MAKE(bool,                   entitypool);
+    prog_section_statement *code;
+    prog_section_def       *defs;
+    prog_section_def       *fields;
+    prog_section_function  *functions;
+    char                   *strings;
+    qcint                  *globals;
+    qcint                  *entitydata;
+    bool                   *entitypool;
 
-    MEM_VECTOR_MAKE(const char*,            function_stack);
+    const char*            *function_stack;
 
     uint16_t crc16;
 
@@ -885,17 +862,18 @@ typedef struct qc_program_s {
 
     qcint  vmerror;
 
-    MEM_VECTOR_MAKE(size_t, profile);
+    size_t *profile;
 
-    MEM_VECTOR_MAKE(prog_builtin, builtins);
+    prog_builtin *builtins;
+    size_t        builtins_count;
 
     /* size_t ip; */
     qcint  entities;
     size_t entityfields;
     bool   allowworldwrites;
 
-    MEM_VECTOR_MAKE(qcint,         localstack);
-    MEM_VECTOR_MAKE(qc_exec_stack, stack);
+    qcint         *localstack;
+    qc_exec_stack *stack;
     size_t statement;
 
     size_t xflags;
@@ -914,68 +892,79 @@ prog_section_def* prog_getdef    (qc_program *prog, qcint off);
 qcany*            prog_getedict  (qc_program *prog, qcint e);
 qcint             prog_tempstring(qc_program *prog, const char *_str);
 
+
 /*===================================================================*/
-/*===================== error.c message printer =====================*/
+/*===================== parser.c commandline ========================*/
 /*===================================================================*/
 
-#ifndef WIN32
-enum {
-    CON_BLACK   = 30,
-    CON_RED,
-    CON_GREEN,
-    CON_BROWN,
-    CON_BLUE,
-    CON_MAGENTA,
-    CON_CYAN ,
-    CON_WHITE
-};
-#endif
-enum {
-    LVL_MSG,
-    LVL_WARNING,
-    LVL_ERROR
-};
-
-void vprintmsg (int level, const char *name, size_t line, const char *msgtype, const char *msg, va_list ap);
-void printmsg  (int level, const char *name, size_t line, const char *msgtype, const char *msg, ...);
-void cvprintmsg(lex_ctx ctx, int lvl, const char *msgtype, const char *msg, va_list ap);
-void cprintmsg (lex_ctx ctx, int lvl, const char *msgtype, const char *msg, ...);
+bool parser_init          ();
+bool parser_compile_file  (const char *);
+bool parser_compile_string(const char *, const char *, size_t);
+bool parser_finish        (const char *);
+void parser_cleanup       ();
 
 /*===================================================================*/
-/*===================== parser.c commandline ========================*/
+/*====================== ftepp.c commandline ========================*/
 /*===================================================================*/
-
-bool parser_init   ();
-bool parser_compile(const char *filename);
-bool parser_finish (const char *output);
-void parser_cleanup();
+bool        ftepp_init             ();
+bool        ftepp_preprocess_file  (const char *filename);
+bool        ftepp_preprocess_string(const char *name, const char *str);
+void        ftepp_finish           ();
+const char *ftepp_get              ();
+void        ftepp_flush            ();
+void        ftepp_add_define       (const char *source, const char *name);
+void        ftepp_add_macro        (const char *name,   const char *value);
 
 /*===================================================================*/
 /*======================= main.c commandline ========================*/
 /*===================================================================*/
 
-#if 0
+#if 1
 /* Helpers to allow for a whole lot of flags. Otherwise we'd limit
  * to 32 or 64 -f options...
  */
 typedef struct {
     size_t  idx; /* index into an array of 32 bit words */
-    uint8_t bit; /* index _into_ the 32 bit word, thus just uint8 */
+    uint8_t bit; /* bit index for the 8 bit group idx points to */
 } longbit;
 #define LONGBIT(bit) { ((bit)/32), ((bit)%32) }
+#define LONGBIT_SET(B, I) ((B).idx = (I)/32, (B).bit = ((I)%32))
 #else
 typedef uint32_t longbit;
 #define LONGBIT(bit) (bit)
+#define LONGBIT_SET(B, I) ((B) = (I))
 #endif
 
-/* Used to store the list of flags with names */
+/*===================================================================*/
+/*=========================== utf8lib.c =============================*/
+/*===================================================================*/
+typedef uint32_t uchar_t;
+
+bool    u8_analyze (const char *_s, size_t *_start, size_t *_len, uchar_t *_ch, size_t _maxlen);
+size_t  u8_strlen  (const char*);
+size_t  u8_strnlen (const char*, size_t);
+uchar_t u8_getchar (const char*, const char**);
+uchar_t u8_getnchar(const char*, const char**, size_t);
+int     u8_fromchar(uchar_t w,   char *to,     size_t maxlen);
+
+/*===================================================================*/
+/*============================= opts.c ==============================*/
+/*===================================================================*/
 typedef struct {
     const char *name;
-    longbit    bit;
+    longbit     bit;
 } opts_flag_def;
 
-/*===================================================================*/
-/* list of -f flags, like -fdarkplaces-string-table-bug */
+bool opts_setflag  (const char *, bool);
+bool opts_setwarn  (const char *, bool);
+bool opts_setwerror(const char *, bool);
+bool opts_setoptim (const char *, bool);
+
+void opts_init         (const char *, int, size_t);
+void opts_set          (uint32_t   *, size_t, bool);
+void opts_setoptimlevel(unsigned int);
+void opts_ini_init     (const char *);
+
 enum {
 # define GMQCC_TYPE_FLAGS
 # define GMQCC_DEFINE_FLAG(X) X,
@@ -1002,29 +991,61 @@ static const opts_flag_def opts_warn_list[] = {
     { NULL, LONGBIT(0) }
 };
 
-/* other options: */
 enum {
+# define GMQCC_TYPE_OPTIMIZATIONS
+# define GMQCC_DEFINE_FLAG(NAME, MIN_O) OPTIM_##NAME,
+#  include "opts.def"
+    COUNT_OPTIMIZATIONS
+};
+static const opts_flag_def opts_opt_list[] = {
+# define GMQCC_TYPE_OPTIMIZATIONS
+# define GMQCC_DEFINE_FLAG(NAME, MIN_O) { #NAME, LONGBIT(OPTIM_##NAME) },
+#  include "opts.def"
+    { NULL, LONGBIT(0) }
+};
+static const unsigned int opts_opt_oflag[] = {
+# define GMQCC_TYPE_OPTIMIZATIONS
+# define GMQCC_DEFINE_FLAG(NAME, MIN_O) MIN_O,
+#  include "opts.def"
+    0
+};
+extern unsigned int opts_optimizationcount[COUNT_OPTIMIZATIONS];
+
+/* other options: */
+typedef enum {
     COMPILER_QCC,     /* circa  QuakeC */
     COMPILER_FTEQCC,  /* fteqcc QuakeC */
     COMPILER_QCCX,    /* qccx   QuakeC */
     COMPILER_GMQCC    /* this   QuakeC */
-};
-extern uint32_t    opts_O;      /* -Ox */
-extern const char *opts_output; /* -o file */
-extern int         opts_standard;
-extern bool        opts_debug;
-extern bool        opts_memchk;
-extern bool        opts_dump;
-extern bool        opts_werror;
-extern bool        opts_forcecrc;
-extern uint16_t    opts_forced_crc;
-extern bool        opts_pp_only;
-extern size_t      opts_max_array_size;
+} opts_std_t;
 
-/*===================================================================*/
-#define OPTS_FLAG(i) (!! (opts_flags[(i)/32] & (1<< ((i)%32))))
-extern uint32_t opts_flags[1 + (COUNT_FLAGS / 32)];
-#define OPTS_WARN(i) (!! (opts_warn[(i)/32] & (1<< ((i)%32))))
-extern uint32_t opts_warn[1 + (COUNT_WARNINGS / 32)];
+/* TODO: cleanup this */
+typedef struct {
+    uint32_t    O;              /* -Ox           */
+    const char *output;         /* -o file       */
+    bool        quiet;          /* -q --quiet    */
+    bool        g;              /* -g            */
+    opts_std_t  standard;       /* -std=         */
+    bool        debug;          /* -debug        */
+    bool        memchk;         /* -memchk       */
+    bool        dumpfin;        /* -dumpfin      */
+    bool        dump;           /* -dump         */
+    bool        forcecrc;       /* --force-crc=  */
+    uint16_t    forced_crc;     /* --force-crc=  */
+    bool        pp_only;        /* -E            */
+    size_t      max_array_size; /* --max-array=  */
+
+    uint32_t flags       [1 + (COUNT_FLAGS         / 32)];
+    uint32_t warn        [1 + (COUNT_WARNINGS      / 32)];
+    uint32_t werror      [1 + (COUNT_WARNINGS      / 32)];
+    uint32_t optimization[1 + (COUNT_OPTIMIZATIONS / 32)];
+} opts_cmd_t;
+
+extern opts_cmd_t opts;
+
+#define OPTS_FLAG(i)         (!! (opts.flags       [(i)/32] & (1<< ((i)%32))))
+#define OPTS_WARN(i)         (!! (opts.warn        [(i)/32] & (1<< ((i)%32))))
+#define OPTS_WERROR(i)       (!! (opts.werror      [(i)/32] & (1<< ((i)%32))))
+#define OPTS_OPTIMIZATION(i) (!! (opts.optimization[(i)/32] & (1<< ((i)%32))))
 
 #endif