util.c

   1 /*
   2  * Copyright (C) 2012, 2013
   3  *     Dale Weiler
   4  *     Wolfgang Bumiller
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy of
   7  * this software and associated documentation files (the "Software"), to deal in
   8  * the Software without restriction, including without limitation the rights to
   9  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
  10  * of the Software, and to permit persons to whom the Software is furnished to do
  11  * so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #include <stdarg.h>
  25 #include <errno.h>
  26 #include "gmqcc.h"
  27
  28 /* TODO: remove globals ... */
  29 static uint64_t mem_ab = 0;
  30 static uint64_t mem_db = 0;
  31 static uint64_t mem_at = 0;
  32 static uint64_t mem_dt = 0;
  33 static uint64_t mem_pk = 0;
  34 static uint64_t mem_hw = 0;
  35
  36 struct memblock_t {
  37     const char  *file;
  38     unsigned int line;
  39     size_t       byte;
  40     struct memblock_t *next;
  41     struct memblock_t *prev;
  42 };
  43
  44 #define PEAK_MEM             \
  45     do {                     \
  46         if (mem_hw > mem_pk) \
  47             mem_pk = mem_hw; \
  48     } while (0)
  49
  50 static struct memblock_t *mem_start = NULL;
  51
  52 void *util_memory_a(size_t byte, unsigned int line, const char *file) {
  53     struct memblock_t *info = (struct memblock_t*)malloc(sizeof(struct memblock_t) + byte);
  54     void              *data = (void*)(info+1);
  55     if (!info) return NULL;
  56     info->line = line;
  57     info->byte = byte;
  58     info->file = file;
  59     info->prev = NULL;
  60     info->next = mem_start;
  61     if (mem_start)
  62         mem_start->prev = info;
  63     mem_start = info;
  64
  65     mem_at++;
  66     mem_ab += info->byte;
  67     mem_hw += info->byte;
  68
  69     PEAK_MEM;
  70
  71     return data;
  72 }
  73
  74 void util_memory_d(void *ptrn) {
  75     struct memblock_t *info = NULL;
  76
  77     if (!ptrn) return;
  78     info = ((struct memblock_t*)ptrn - 1);
  79
  80     mem_db += info->byte;
  81     mem_hw -= info->byte;
  82     mem_dt++;
  83
  84     if (info->prev)
  85         info->prev->next = info->next;
  86     if (info->next)
  87         info->next->prev = info->prev;
  88     if (info == mem_start)
  89         mem_start = info->next;
  90
  91     free(info);
  92 }
  93
  94 void *util_memory_r(void *ptrn, size_t byte, unsigned int line, const char *file) {
  95     struct memblock_t *oldinfo = NULL;
  96
  97     struct memblock_t *newinfo;
  98
  99     if (!ptrn)
 100         return util_memory_a(byte, line, file);
 101     if (!byte) {
 102         util_memory_d(ptrn);
 103         return NULL;
 104     }
 105
 106     oldinfo = ((struct memblock_t*)ptrn - 1);
 107     newinfo = ((struct memblock_t*)malloc(sizeof(struct memblock_t) + byte));
 108
 109     /* new data */
 110     if (!newinfo) {
 111         util_memory_d(oldinfo+1);
 112         return NULL;
 113     }
 114
 115     /* copy old */
 116     memcpy(newinfo+1, oldinfo+1, oldinfo->byte);
 117
 118     /* free old */
 119     if (oldinfo->prev)
 120         oldinfo->prev->next = oldinfo->next;
 121     if (oldinfo->next)
 122         oldinfo->next->prev = oldinfo->prev;
 123     if (oldinfo == mem_start)
 124         mem_start = oldinfo->next;
 125
 126     /* fill info */
 127     newinfo->line = line;
 128     newinfo->byte = byte;
 129     newinfo->file = file;
 130     newinfo->prev = NULL;
 131     newinfo->next = mem_start;
 132     if (mem_start)
 133         mem_start->prev = newinfo;
 134     mem_start = newinfo;
 135
 136     mem_ab -= oldinfo->byte;
 137     mem_hw -= oldinfo->byte;
 138     mem_ab += newinfo->byte;
 139     mem_hw += newinfo->byte;
 140
 141     PEAK_MEM;
 142
 143     free(oldinfo);
 144
 145     return newinfo+1;
 146 }
 147
 148 static void util_dumpmem(struct memblock_t *memory, uint16_t cols) {
 149     uint32_t i, j;
 150     for (i = 0; i < memory->byte + ((memory->byte % cols) ? (cols - memory->byte % cols) : 0); i++) {
 151         if (i % cols == 0)    con_out("    0x%06X: ", i);
 152         if (i < memory->byte) con_out("%02X "   , 0xFF & ((char*)(memory + 1))[i]);
 153         else                  con_out("    ");
 154
 155         if ((uint16_t)(i % cols) == (cols - 1)) {
 156             for (j = i - (cols - 1); j <= i; j++) {
 157                 con_out("%c",
 158                     (j >= memory->byte)
 159                         ? ' '
 160                         : (isprint(((char*)(memory + 1))[j]))
 161                             ? 0xFF & ((char*)(memory + 1)) [j]
 162                             : '.'
 163                 );
 164             }
 165             con_out("\n");
 166         }
 167     }
 168 }
 169
 170 /*
 171  * The following is a VERY tight, efficent, hashtable for integer
 172  * values and keys, and for nothing more. We could make our existing
 173  * hashtable support type-genericness through a void * pointer but,
 174  * ideally that would make things more complicated. We also don't need
 175  * that much of a bloat for something as basic as this.
 176  */
 177 typedef struct {
 178     size_t key;
 179     size_t value;
 180 } size_entry_t;
 181 #define ST_SIZE 1024
 182
 183 typedef size_entry_t **size_table_t;
 184
 185 size_table_t util_st_new() {
 186     return (size_table_t)memset(
 187         mem_a(sizeof(size_entry_t*) * ST_SIZE),
 188         0, ST_SIZE * sizeof(size_entry_t*)
 189     );
 190 }
 191 void util_st_del(size_table_t table) {
 192     size_t i = 0;
 193     for (; i < ST_SIZE; i++) if(table[i]) mem_d(table[i]);
 194     mem_d(table);
 195 }
 196 size_entry_t *util_st_get(size_table_t table, size_t key) {
 197     size_t hash = (key % ST_SIZE);
 198     while (table[hash] && table[hash]->key != key)
 199         hash = (hash + 1) % ST_SIZE;
 200     return table[hash];
 201 }
 202 void util_st_put(size_table_t table, size_t key, size_t value) {
 203     size_t hash = (key % ST_SIZE);
 204     while (table[hash] && table[hash]->key != key)
 205         hash = (hash + 1) % ST_SIZE;
 206     table[hash]        = (size_entry_t*)mem_a(sizeof(size_entry_t));
 207     table[hash]->key   = key;
 208     table[hash]->value = value;
 209 }
 210
 211 static uint64_t      strdups           = 0;
 212 static uint64_t      vectors           = 0;
 213 static uint64_t      vector_sizes      = 0;
 214 static uint64_t      hashtables        = 0;
 215 static uint64_t      hashtable_sizes   = 0;
 216 static size_table_t  vector_usage      = NULL;
 217 static size_table_t  hashtable_usage   = NULL;
 218
 219 void util_meminfo() {
 220     struct memblock_t *info;
 221
 222     if (OPTS_OPTION_BOOL(OPTION_DEBUG)) {
 223         for (info = mem_start; info; info = info->next) {
 224             con_out("lost: %u (bytes) at %s:%u\n",
 225                 info->byte,
 226                 info->file,
 227                 info->line);
 228
 229             util_dumpmem(info, OPTS_OPTION_U16(OPTION_MEMDUMPCOLS));
 230         }
 231     }
 232
 233     if (OPTS_OPTION_BOOL(OPTION_DEBUG) ||
 234         OPTS_OPTION_BOOL(OPTION_MEMCHK)) {
 235         con_out("Memory information:\n\
 236             Total allocations:   %llu\n\
 237             Total deallocations: %llu\n\
 238             Total allocated:     %f (MB)\n\
 239             Total deallocated:   %f (MB)\n\
 240             Total peak memory:   %f (MB)\n\
 241             Total leaked memory: %f (MB) in %llu allocations\n",
 242                 mem_at,
 243                 mem_dt,
 244                 (float)(mem_ab)           / 1048576.0f,
 245                 (float)(mem_db)           / 1048576.0f,
 246                 (float)(mem_pk)           / 1048576.0f,
 247                 (float)(mem_ab -  mem_db) / 1048576.0f,
 248
 249                 /* could be more clever */
 250                 (mem_at -  mem_dt)
 251         );
 252     }
 253
 254     if (OPTS_OPTION_BOOL(OPTION_STATISTICS) ||
 255         OPTS_OPTION_BOOL(OPTION_MEMCHK)) {
 256         size_t   i         = 0;
 257         size_t   e         = 1;
 258         uint64_t vectormem = 0;
 259
 260         con_out("\nAdditional Statistics:\n\
 261             Total vectors allocated:      %llu\n\
 262             Total string duplicates:      %llu\n\
 263             Total hashtables allocated:   %llu\n\
 264             Total unique vector sizes:    %llu\n",
 265             vectors,
 266             strdups,
 267             hashtables,
 268             vector_sizes
 269         );
 270
 271         for (; i < ST_SIZE; i++) {
 272             size_entry_t *entry;
 273
 274             if (!(entry = vector_usage[i]))
 275                 continue;
 276
 277             con_out("                %2u| # of %4u byte vectors: %u\n",
 278                 (unsigned)e,
 279                 (unsigned)entry->key,
 280                 (unsigned)entry->value
 281             );
 282             e++;
 283
 284             vectormem += entry->key * entry->value;
 285         }
 286
 287         con_out("\
 288             Total unique hashtable sizes: %llu\n",
 289             hashtable_sizes
 290         );
 291
 292         for (i = 0, e = 1; i < ST_SIZE; i++) {
 293             size_entry_t *entry;
 294
 295             if (!(entry = hashtable_usage[i]))
 296                 continue;
 297
 298             con_out("                %2u| # of %4u element hashtables: %u\n",
 299                 (unsigned)e,
 300                 (unsigned)entry->key,
 301                 (unsigned)entry->value
 302             );
 303             e++;
 304         }
 305
 306         con_out("            Total vector memory:          %f (MB)\n",
 307             (float)(vectormem) / 1048576.0f
 308         );
 309     }
 310
 311     if (vector_usage)
 312         util_st_del(vector_usage);
 313     if (hashtable_usage)
 314         util_st_del(hashtable_usage);
 315 }
 316
 317 /*
 318  * Some string utility functions, because strdup uses malloc, and we want
 319  * to track all memory (without replacing malloc).
 320  */
 321 char *_util_Estrdup(const char *s, const char *file, size_t line) {
 322     size_t  len = 0;
 323     char   *ptr = NULL;
 324
 325     /* in case of -DNOTRACK */
 326     (void)file;
 327     (void)line;
 328
 329     if (!s)
 330         return NULL;
 331
 332     if ((len = strlen(s)) && (ptr = (char*)mem_af(len+1, line, file))) {
 333         memcpy(ptr, s, len);
 334         ptr[len] = '\0';
 335     }
 336     strdups++;
 337     return ptr;
 338 }
 339
 340 char *_util_Estrdup_empty(const char *s, const char *file, size_t line) {
 341     size_t  len = 0;
 342     char   *ptr = NULL;
 343
 344     /* in case of -DNOTRACK */
 345     (void)file;
 346     (void)line;
 347
 348     if (!s)
 349         return NULL;
 350
 351     len = strlen(s);
 352     if ((ptr = (char*)mem_af(len+1, line, file))) {
 353         memcpy(ptr, s, len);
 354         ptr[len] = '\0';
 355     }
 356     strdups++;
 357     return ptr;
 358 }
 359
 360 void util_debug(const char *area, const char *ms, ...) {
 361     va_list  va;
 362     if (!OPTS_OPTION_BOOL(OPTION_DEBUG))
 363         return;
 364
 365     if (!strcmp(area, "MEM") && !OPTS_OPTION_BOOL(OPTION_MEMCHK))
 366         return;
 367
 368     va_start(va, ms);
 369     con_out ("[%s] ", area);
 370     con_vout(ms, va);
 371     va_end  (va);
 372 }
 373
 374 /*
 375  * only required if big endian .. otherwise no need to swap
 376  * data.
 377  */
 378 #if PLATFORM_BYTE_ORDER == GMQCC_BYTE_ORDER_BIG
 379     static GMQCC_INLINE void util_swap16(uint16_t *d, size_t l) {
 380         while (l--) {
 381             d[l] = (d[l] << 8) | (d[l] >> 8);
 382         }
 383     }
 384
 385     static GMQCC_INLINE void util_swap32(uint32_t *d, size_t l) {
 386         while (l--) {
 387             uint32_t v;
 388             v = ((d[l] << 8) & 0xFF00FF00) | ((d[l] >> 8) & 0x00FF00FF);
 389             d[l] = (v << 16) | (v >> 16);
 390         }
 391     }
 392
 393     /* Some strange system doesn't like constants that big, AND doesn't recognize an ULL suffix
 394      * so let's go the safe way
 395      */
 396     static GMQCC_INLINE void util_swap64(uint32_t *d, size_t l) {
 397         /*
 398         while (l--) {
 399             uint64_t v;
 400             v = ((d[l] << 8) & 0xFF00FF00FF00FF00) | ((d[l] >> 8) & 0x00FF00FF00FF00FF);
 401             v = ((v << 16) & 0xFFFF0000FFFF0000) | ((v >> 16) & 0x0000FFFF0000FFFF);
 402             d[l] = (v << 32) | (v >> 32);
 403         }
 404         */
 405         size_t i;
 406         for (i = 0; i < l; i += 2) {
 407             uint32_t v1 = d[i];
 408             d[i] = d[i+1];
 409             d[i+1] = v1;
 410             util_swap32(d+i, 2);
 411         }
 412     }
 413 #endif
 414
 415 void util_endianswap(void *_data, size_t length, unsigned int typesize) {
 416 #   if PLATFORM_BYTE_ORDER == -1 /* runtime check */
 417     if (*((char*)&typesize))
 418         return;
 419 #else
 420     /* prevent unused warnings */
 421     (void) _data;
 422     (void) length;
 423     (void) typesize;
 424
 425 #   if PLATFORM_BYTE_ORDER == GMQCC_BYTE_ORDER_LITTLE
 426         return;
 427 #   else
 428         switch (typesize) {
 429             case 1: return;
 430             case 2:
 431                 util_swap16((uint16_t*)_data, length>>1);
 432                 return;
 433             case 4:
 434                 util_swap32((uint32_t*)_data, length>>2);
 435                 return;
 436             case 8:
 437                 util_swap64((uint32_t*)_data, length>>3);
 438                 return;
 439
 440             default: exit(EXIT_FAILURE); /* please blow the fuck up! */
 441         }
 442 #   endif
 443 #endif
 444 }
 445
 446 /*
 447  * CRC algorithms vary in the width of the polynomial, the value of said polynomial,
 448  * the initial value used for the register, weather the bits of each byte are reflected
 449  * before being processed, weather the algorithm itself feeds input bytes through the
 450  * register or XORs them with a byte from one end and then straight into the table, as
 451  * well as (but not limited to the idea of reflected versions) where the final register
 452  * value becomes reversed, and finally weather the value itself is used to XOR the final
 453  * register value.  AS such you can already imagine how painfully annoying CRCs are,
 454  * of course we stand to target Quake, which expects it's certian set of rules for proper
 455  * calculation of a CRC.
 456  *
 457  * In most traditional CRC algorithms on uses a reflected table driven method where a value
 458  * or register is reflected if it's bits are swapped around it's center.  For example:
 459  * take the bits 0101 is the 4-bit reflection of 1010, and respectfully 0011 would be the
 460  * reflection of 1100. Quake however expects a NON-Reflected CRC on the output, but still
 461  * requires a final XOR on the values (0xFFFF and 0x0000) this is a standard CCITT CRC-16
 462  * which I respectfully as a programmer don't agree with.
 463  *
 464  * So now you know what we target, and why we target it, despite how unsettling it may seem
 465  * but those are what Quake seems to request.
 466  */
 467
 468 static const uint16_t util_crc16_table[] = {
 469     0x0000,     0x1021,     0x2042,     0x3063,     0x4084,     0x50A5,
 470     0x60C6,     0x70E7,     0x8108,     0x9129,     0xA14A,     0xB16B,
 471     0xC18C,     0xD1AD,     0xE1CE,     0xF1EF,     0x1231,     0x0210,
 472     0x3273,     0x2252,     0x52B5,     0x4294,     0x72F7,     0x62D6,
 473     0x9339,     0x8318,     0xB37B,     0xA35A,     0xD3BD,     0xC39C,
 474     0xF3FF,     0xE3DE,     0x2462,     0x3443,     0x0420,     0x1401,
 475     0x64E6,     0x74C7,     0x44A4,     0x5485,     0xA56A,     0xB54B,
 476     0x8528,     0x9509,     0xE5EE,     0xF5CF,     0xC5AC,     0xD58D,
 477     0x3653,     0x2672,     0x1611,     0x0630,     0x76D7,     0x66F6,
 478     0x5695,     0x46B4,     0xB75B,     0xA77A,     0x9719,     0x8738,
 479     0xF7DF,     0xE7FE,     0xD79D,     0xC7BC,     0x48C4,     0x58E5,
 480     0x6886,     0x78A7,     0x0840,     0x1861,     0x2802,     0x3823,
 481     0xC9CC,     0xD9ED,     0xE98E,     0xF9AF,     0x8948,     0x9969,
 482     0xA90A,     0xB92B,     0x5AF5,     0x4AD4,     0x7AB7,     0x6A96,
 483     0x1A71,     0x0A50,     0x3A33,     0x2A12,     0xDBFD,     0xCBDC,
 484     0xFBBF,     0xEB9E,     0x9B79,     0x8B58,     0xBB3B,     0xAB1A,
 485     0x6CA6,     0x7C87,     0x4CE4,     0x5CC5,     0x2C22,     0x3C03,
 486     0x0C60,     0x1C41,     0xEDAE,     0xFD8F,     0xCDEC,     0xDDCD,
 487     0xAD2A,     0xBD0B,     0x8D68,     0x9D49,     0x7E97,     0x6EB6,
 488     0x5ED5,     0x4EF4,     0x3E13,     0x2E32,     0x1E51,     0x0E70,
 489     0xFF9F,     0xEFBE,     0xDFDD,     0xCFFC,     0xBF1B,     0xAF3A,
 490     0x9F59,     0x8F78,     0x9188,     0x81A9,     0xB1CA,     0xA1EB,
 491     0xD10C,     0xC12D,     0xF14E,     0xE16F,     0x1080,     0x00A1,
 492     0x30C2,     0x20E3,     0x5004,     0x4025,     0x7046,     0x6067,
 493     0x83B9,     0x9398,     0xA3FB,     0xB3DA,     0xC33D,     0xD31C,
 494     0xE37F,     0xF35E,     0x02B1,     0x1290,     0x22F3,     0x32D2,
 495     0x4235,     0x5214,     0x6277,     0x7256,     0xB5EA,     0xA5CB,
 496     0x95A8,     0x8589,     0xF56E,     0xE54F,     0xD52C,     0xC50D,
 497     0x34E2,     0x24C3,     0x14A0,     0x0481,     0x7466,     0x6447,
 498     0x5424,     0x4405,     0xA7DB,     0xB7FA,     0x8799,     0x97B8,
 499     0xE75F,     0xF77E,     0xC71D,     0xD73C,     0x26D3,     0x36F2,
 500     0x0691,     0x16B0,     0x6657,     0x7676,     0x4615,     0x5634,
 501     0xD94C,     0xC96D,     0xF90E,     0xE92F,     0x99C8,     0x89E9,
 502     0xB98A,     0xA9AB,     0x5844,     0x4865,     0x7806,     0x6827,
 503     0x18C0,     0x08E1,     0x3882,     0x28A3,     0xCB7D,     0xDB5C,
 504     0xEB3F,     0xFB1E,     0x8BF9,     0x9BD8,     0xABBB,     0xBB9A,
 505     0x4A75,     0x5A54,     0x6A37,     0x7A16,     0x0AF1,     0x1AD0,
 506     0x2AB3,     0x3A92,     0xFD2E,     0xED0F,     0xDD6C,     0xCD4D,
 507     0xBDAA,     0xAD8B,     0x9DE8,     0x8DC9,     0x7C26,     0x6C07,
 508     0x5C64,     0x4C45,     0x3CA2,     0x2C83,     0x1CE0,     0x0CC1,
 509     0xEF1F,     0xFF3E,     0xCF5D,     0xDF7C,     0xAF9B,     0xBFBA,
 510     0x8FD9,     0x9FF8,     0x6E17,     0x7E36,     0x4E55,     0x5E74,
 511     0x2E93,     0x3EB2,     0x0ED1,     0x1EF0
 512 };
 513
 514 /* Non - Reflected */
 515 uint16_t util_crc16(uint16_t current, const char *k, size_t len) {
 516     register uint16_t h = current;
 517     for (; len; --len, ++k)
 518         h = util_crc16_table[(h>>8)^((unsigned char)*k)]^(h<<8);
 519     return h;
 520 }
 521 /* Reflective Varation (for reference) */
 522 #if 0
 523 uint16_t util_crc16(const char *k, int len, const short clamp) {
 524     register uint16_t h= (uint16_t)0xFFFFFFFF;
 525     for (; len; --len, ++k)
 526         h = util_crc16_table[(h^((unsigned char)*k))&0xFF]^(h>>8);
 527     return (~h)%clamp;
 528 }
 529 #endif
 530
 531 size_t util_strtocmd(const char *in, char *out, size_t outsz) {
 532     size_t sz = 1;
 533     for (; *in && sz < outsz; ++in, ++out, ++sz)
 534         *out = (*in == '-') ? '_' : (isalpha(*in) && !isupper(*in)) ? *in + 'A' - 'a': *in;
 535     *out = 0;
 536     return sz-1;
 537 }
 538
 539 size_t util_strtononcmd(const char *in, char *out, size_t outsz) {
 540     size_t sz = 1;
 541     for (; *in && sz < outsz; ++in, ++out, ++sz)
 542         *out = (*in == '_') ? '-' : (isalpha(*in) && isupper(*in)) ? *in + 'a' - 'A' : *in;
 543     *out = 0;
 544     return sz-1;
 545 }
 546
 547 /* TODO: rewrite ... when I redo the ve cleanup */
 548 void _util_vec_grow(void **a, size_t i, size_t s) {
 549     vector_t     *d = vec_meta(*a);
 550     size_t        m = 0;
 551     size_entry_t *e = NULL;
 552     void         *p = NULL;
 553
 554     if (*a) {
 555         m = 2 * d->allocated + i;
 556         p = mem_r(d, s * m + sizeof(vector_t));
 557     } else {
 558         m = i + 1;
 559         p = mem_a(s * m + sizeof(vector_t));
 560         ((vector_t*)p)->used = 0;
 561         vectors++;
 562     }
 563
 564     if (!vector_usage)
 565         vector_usage = util_st_new();
 566
 567     if ((e = util_st_get(vector_usage, s))) {
 568         e->value ++;
 569     } else {
 570         util_st_put(vector_usage, s, 1); /* start off with 1 */
 571         vector_sizes++;
 572     }
 573
 574     *a = (vector_t*)p + 1;
 575     vec_meta(*a)->allocated = m;
 576 }
 577
 578 /*
 579  * Hash table for generic data, based on dynamic memory allocations
 580  * all around.  This is the internal interface, please look for
 581  * EXPOSED INTERFACE comment below
 582  */
 583 typedef struct hash_node_t {
 584     char               *key;   /* the key for this node in table */
 585     void               *value; /* pointer to the data as void*   */
 586     struct hash_node_t *next;  /* next node (linked list)        */
 587 } hash_node_t;
 588
 589 GMQCC_INLINE size_t util_hthash(hash_table_t *ht, const char *key) {
 590     const uint32_t       mix   = 0x5BD1E995;
 591     const uint32_t       rot   = 24;
 592     size_t               size  = strlen(key);
 593     uint32_t             hash  = 0x1EF0 /* LICRC TAB */  ^ size;
 594     uint32_t             alias = 0;
 595     const unsigned char *data  = (const unsigned char*)key;
 596
 597     while (size >= 4) {
 598         alias  = (data[0] | (data[1] << 8) | (data[2] << 16) | (data[3] << 24));
 599         alias *= mix;
 600         alias ^= alias >> rot;
 601         alias *= mix;
 602
 603         hash  *= mix;
 604         hash  ^= alias;
 605
 606         data += 4;
 607         size -= 4;
 608     }
 609
 610     switch (size) {
 611         case 3: hash ^= data[2] << 16;
 612         case 2: hash ^= data[1] << 8;
 613         case 1: hash ^= data[0];
 614                 hash *= mix;
 615     }
 616
 617     hash ^= hash >> 13;
 618     hash *= mix;
 619     hash ^= hash >> 15;
 620
 621     return (size_t) (hash % ht->size);
 622 }
 623
 624 static hash_node_t *_util_htnewpair(const char *key, void *value) {
 625     hash_node_t *node;
 626     if (!(node = (hash_node_t*)mem_a(sizeof(hash_node_t))))
 627         return NULL;
 628
 629     if (!(node->key = util_strdupe(key))) {
 630         mem_d(node);
 631         return NULL;
 632     }
 633
 634     node->value = value;
 635     node->next  = NULL;
 636
 637     return node;
 638 }
 639
 640 /*
 641  * EXPOSED INTERFACE for the hashtable implementation
 642  * util_htnew(size)                             -- to make a new hashtable
 643  * util_htset(table, key, value, sizeof(value)) -- to set something in the table
 644  * util_htget(table, key)                       -- to get something from the table
 645  * util_htdel(table)                            -- to delete the table
 646  */
 647 hash_table_t *util_htnew(size_t size) {
 648     hash_table_t *hashtable = NULL;
 649     size_entry_t *find;
 650
 651     if (size < 1)
 652         return NULL;
 653
 654     if (!hashtable_usage)
 655         hashtable_usage = util_st_new();
 656
 657     if (!(hashtable = (hash_table_t*)mem_a(sizeof(hash_table_t))))
 658         return NULL;
 659
 660     if (!(hashtable->table = (hash_node_t**)mem_a(sizeof(hash_node_t*) * size))) {
 661         mem_d(hashtable);
 662         return NULL;
 663     }
 664
 665     if ((find = util_st_get(hashtable_usage, size)))
 666         find->value++;
 667     else {
 668         hashtable_sizes++;
 669         util_st_put(hashtable_usage, size, 1);
 670     }
 671
 672     hashtable->size = size;
 673     memset(hashtable->table, 0, sizeof(hash_node_t*) * size);
 674
 675     hashtables++;
 676     return hashtable;
 677 }
 678
 679 void util_htseth(hash_table_t *ht, const char *key, size_t bin, void *value) {
 680     hash_node_t *newnode = NULL;
 681     hash_node_t *next    = NULL;
 682     hash_node_t *last    = NULL;
 683
 684     next = ht->table[bin];
 685
 686     while (next && next->key && strcmp(key, next->key) > 0)
 687         last = next, next = next->next;
 688
 689     /* already in table, do a replace */
 690     if (next && next->key && strcmp(key, next->key) == 0) {
 691         next->value = value;
 692     } else {
 693         /* not found, grow a pair man :P */
 694         newnode = _util_htnewpair(key, value);
 695         if (next == ht->table[bin]) {
 696             newnode->next  = next;
 697             ht->table[bin] = newnode;
 698         } else if (!next) {
 699             last->next = newnode;
 700         } else {
 701             newnode->next = next;
 702             last->next = newnode;
 703         }
 704     }
 705 }
 706
 707 void util_htset(hash_table_t *ht, const char *key, void *value) {
 708     util_htseth(ht, key, util_hthash(ht, key), value);
 709 }
 710
 711 void *util_htgeth(hash_table_t *ht, const char *key, size_t bin) {
 712     hash_node_t *pair = ht->table[bin];
 713
 714     while (pair && pair->key && strcmp(key, pair->key) > 0)
 715         pair = pair->next;
 716
 717     if (!pair || !pair->key || strcmp(key, pair->key) != 0)
 718         return NULL;
 719
 720     return pair->value;
 721 }
 722
 723 void *util_htget(hash_table_t *ht, const char *key) {
 724     return util_htgeth(ht, key, util_hthash(ht, key));
 725 }
 726
 727 void *code_util_str_htgeth(hash_table_t *ht, const char *key, size_t bin) {
 728     hash_node_t *pair;
 729     size_t len, keylen;
 730     int cmp;
 731
 732     keylen = strlen(key);
 733
 734     pair = ht->table[bin];
 735     while (pair && pair->key) {
 736         len = strlen(pair->key);
 737         if (len < keylen) {
 738             pair = pair->next;
 739             continue;
 740         }
 741         if (keylen == len) {
 742             cmp = strcmp(key, pair->key);
 743             if (cmp == 0)
 744                 return pair->value;
 745             if (cmp < 0)
 746                 return NULL;
 747             pair = pair->next;
 748             continue;
 749         }
 750         cmp = strcmp(key, pair->key + len - keylen);
 751         if (cmp == 0) {
 752             uintptr_t up = (uintptr_t)pair->value;
 753             up += len - keylen;
 754             return (void*)up;
 755         }
 756         pair = pair->next;
 757     }
 758     return NULL;
 759 }
 760
 761 /*
 762  * Free all allocated data in a hashtable, this is quite the amount
 763  * of work.
 764  */
 765 void util_htrem(hash_table_t *ht, void (*callback)(void *data)) {
 766     size_t i = 0;
 767     for (; i < ht->size; i++) {
 768         hash_node_t *n = ht->table[i];
 769         hash_node_t *p;
 770
 771         /* free in list */
 772         while (n) {
 773             if (n->key)
 774                 mem_d(n->key);
 775             if (callback)
 776                 callback(n->value);
 777             p = n;
 778             n = n->next;
 779             mem_d(p);
 780         }
 781
 782     }
 783     /* free table */
 784     mem_d(ht->table);
 785     mem_d(ht);
 786 }
 787
 788 void util_htrmh(hash_table_t *ht, const char *key, size_t bin, void (*cb)(void*)) {
 789     hash_node_t **pair = &ht->table[bin];
 790     hash_node_t *tmp;
 791
 792     while (*pair && (*pair)->key && strcmp(key, (*pair)->key) > 0)
 793         pair = &(*pair)->next;
 794
 795     tmp = *pair;
 796     if (!tmp || !tmp->key || strcmp(key, tmp->key) != 0)
 797         return;
 798
 799     if (cb)
 800         (*cb)(tmp->value);
 801
 802     *pair = tmp->next;
 803     mem_d(tmp->key);
 804     mem_d(tmp);
 805 }
 806
 807 void util_htrm(hash_table_t *ht, const char *key, void (*cb)(void*)) {
 808     util_htrmh(ht, key, util_hthash(ht, key), cb);
 809 }
 810
 811 void util_htdel(hash_table_t *ht) {
 812     util_htrem(ht, NULL);
 813 }
 814
 815 /*
 816  * Portable implementation of vasprintf/asprintf. Assumes vsnprintf
 817  * exists, otherwise compiler error.
 818  *
 819  * TODO: fix for MSVC ....
 820  */
 821 int util_vasprintf(char **dat, const char *fmt, va_list args) {
 822     int   ret;
 823     int   len;
 824     char *tmp = NULL;
 825
 826     /*
 827      * For visuals tido _vsnprintf doesn't tell you the length of a
 828      * formatted string if it overflows. However there is a MSVC
 829      * intrinsic (which is documented wrong) called _vcsprintf which
 830      * will return the required amount to allocate.
 831      */
 832     #ifdef _MSC_VER
 833         if ((len = _vscprintf(fmt, args)) < 0) {
 834             *dat = NULL;
 835             return -1;
 836         }
 837
 838         tmp = (char*)mem_a(len + 1);
 839         if ((ret = _vsnprintf_s(tmp, len+1, len+1, fmt, args)) != len) {
 840             mem_d(tmp);
 841             *dat = NULL;
 842             return -1;
 843         }
 844         *dat = tmp;
 845         return len;
 846     #else
 847         /*
 848          * For everything else we have a decent conformint vsnprintf that
 849          * returns the number of bytes needed.  We give it a try though on
 850          * a short buffer, since efficently speaking, it could be nice to
 851          * above a second vsnprintf call.
 852          */
 853         char    buf[128];
 854         va_list cpy;
 855         va_copy(cpy, args);
 856         len = vsnprintf(buf, sizeof(buf), fmt, cpy);
 857         va_end (cpy);
 858
 859         if (len < (int)sizeof(buf)) {
 860             *dat = util_strdup(buf);
 861             return len;
 862         }
 863
 864         /* not large enough ... */
 865         tmp = (char*)mem_a(len + 1);
 866         if ((ret = vsnprintf(tmp, len + 1, fmt, args)) != len) {
 867             mem_d(tmp);
 868             *dat = NULL;
 869             return -1;
 870         }
 871
 872         *dat = tmp;
 873         return len;
 874     #endif
 875 }
 876 int util_asprintf(char **ret, const char *fmt, ...) {
 877     va_list  args;
 878     int      read;
 879     va_start(args, fmt);
 880     read = util_vasprintf(ret, fmt, args);
 881     va_end  (args);
 882
 883     return read;
 884 }
 885
 886 /*
 887  * These are various re-implementations (wrapping the real ones) of
 888  * string functions that MSVC consideres unsafe. We wrap these up and
 889  * use the safe varations on MSVC.
 890  */
 891 #ifdef _MSC_VER
 892     static char **util_strerror_allocated() {
 893         static char **data = NULL;
 894         return data;
 895     }
 896
 897     static void util_strerror_cleanup(void) {
 898         size_t i;
 899         char  **data = util_strerror_allocated();
 900         for (i = 0; i < vec_size(data); i++)
 901             mem_d(data[i]);
 902         vec_free(data);
 903     }
 904
 905     const char *util_strerror(int num) {
 906         char         *allocated = NULL;
 907         static bool   install   = false;
 908         static size_t tries     = 0;
 909         char        **vector    = util_strerror_allocated();
 910
 911         /* try installing cleanup handler */
 912         while (!install) {
 913             if (tries == 32)
 914                 return "(unknown)";
 915
 916             install = !atexit(&util_strerror_cleanup);
 917             tries ++;
 918         }
 919
 920         allocated = (char*)mem_a(4096); /* A page must be enough */
 921         strerror_s(allocated, 4096, num);
 922
 923         vec_push(vector, allocated);
 924         return (const char *)allocated;
 925     }
 926
 927     int util_snprintf(char *src, size_t bytes, const char *format, ...) {
 928         int      rt;
 929         va_list  va;
 930         va_start(va, format);
 931
 932         rt = vsprintf_s(src, bytes, format, va);
 933         va_end  (va);
 934
 935         return rt;
 936     }
 937
 938     char *util_strcat(char *dest, const char *src) {
 939         strcat_s(dest, strlen(src), src);
 940         return dest;
 941     }
 942
 943     char *util_strncpy(char *dest, const char *src, size_t num) {
 944         strncpy_s(dest, num, src, num);
 945         return dest;
 946     }
 947 #else
 948     const char *util_strerror(int num) {
 949         return strerror(num);
 950     }
 951
 952     int util_snprintf(char *src, size_t bytes, const char *format, ...) {
 953         int      rt;
 954         va_list  va;
 955         va_start(va, format);
 956         rt = vsnprintf(src, bytes, format, va);
 957         va_end  (va);
 958
 959         return rt;
 960     }
 961
 962     char *util_strcat(char *dest, const char *src) {
 963         return strcat(dest, src);
 964     }
 965
 966     char *util_strncpy(char *dest, const char *src, size_t num) {
 967         return strncpy(dest, src, num);
 968     }
 969
 970 #endif /*! _MSC_VER */
 971
 972 /*
 973  * Implementation of the Mersenne twister PRNG (pseudo random numer
 974  * generator).  Implementation of MT19937.  Has a period of 2^19937-1
 975  * which is a Mersenne Prime (hence the name).
 976  *
 977  * Implemented from specification and original paper:
 978  * http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/ARTICLES/mt.pdf
 979  *
 980  * This code is placed in the public domain by me personally
 981  * (Dale Weiler, a.k.a graphitemaster).
 982  */
 983
 984 #define MT_SIZE    624
 985 #define MT_PERIOD  397
 986 #define MT_SPACE   (MT_SIZE - MT_PERIOD)
 987
 988 static uint32_t mt_state[MT_SIZE];
 989 static size_t   mt_index = 0;
 990
 991 static GMQCC_INLINE void mt_generate() {
 992     /*
 993      * The loop has been unrolled here: the original paper and implemenation
 994      * Called for the following code:
 995      * for (register unsigned i = 0; i < MT_SIZE; ++i) {
 996      *     register uint32_t load;
 997      *     load  = (0x80000000 & mt_state[i])                 // most  significant 32nd bit
 998      *     load |= (0x7FFFFFFF & mt_state[(i + 1) % MT_SIZE]) // least significant 31nd bit
 999      *
1000      *     mt_state[i] = mt_state[(i + MT_PERIOD) % MT_SIZE] ^ (load >> 1);
1001      *
1002      *     if (load & 1) mt_state[i] ^= 0x9908B0DF;
1003      * }
1004      *
1005      * This essentially is a waste: we have two modulus operations, and
1006      * a branch that is executed every iteration from [0, MT_SIZE).
1007      *
1008      * Please see: http://www.quadibloc.com/crypto/co4814.htm for more
1009      * information on how this clever trick works.
1010      */
1011     static const uint32_t matrix[2] = {
1012         0x00000000,
1013         0x9908B0Df
1014     };
1015     /*
1016      * This register gives up a little more speed by instructing the compiler
1017      * to force these into CPU registers (they're counters for indexing mt_state
1018      * which we can force the compiler to generate prefetch instructions for)
1019      */
1020     register uint32_t y;
1021     register uint32_t i;
1022
1023     /*
1024      * Said loop has been unrolled for MT_SPACE (226 iterations), opposed
1025      * to [0, MT_SIZE)  (634 iterations).
1026      */
1027     for (i = 0; i < MT_SPACE; ++i) {
1028         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFF & mt_state[i + 1]);
1029         mt_state[i] = mt_state[i + MT_PERIOD] ^ (y >> 1) ^ matrix[y & 1];
1030
1031         i ++; /* loop unroll */
1032
1033         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFF & mt_state[i + 1]);
1034         mt_state[i] = mt_state[i + MT_PERIOD] ^ (y >> 1) ^ matrix[y & 1];
1035     }
1036
1037     /*
1038      * collapsing the walls unrolled (evenly dividing 396 [632-227 = 396
1039      * = 2*2*3*3*11])
1040      */
1041     i = MT_SPACE;
1042     while (i < MT_SIZE - 1) {
1043         /*
1044          * We expand this 11 times .. manually, no macros are required
1045          * here. This all fits in the CPU cache.
1046          */
1047         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1048         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1049         ++i;
1050         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1051         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1052         ++i;
1053         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1054         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1055         ++i;
1056         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1057         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1058         ++i;
1059         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1060         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1061         ++i;
1062         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1063         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1064         ++i;
1065         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1066         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1067         ++i;
1068         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1069         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1070         ++i;
1071         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1072         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1073         ++i;
1074         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1075         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1076         ++i;
1077         y           = (0x80000000 & mt_state[i]) | (0x7FFFFFFF & mt_state[i + 1]);
1078         mt_state[i] = mt_state[i - MT_SPACE] ^ (y >> 1) ^ matrix[y & 1];
1079         ++i;
1080     }
1081
1082     /* i = mt_state[623] */
1083     y                     = (0x80000000 & mt_state[MT_SIZE - 1]) | (0x7FFFFFFF & mt_state[MT_SIZE - 1]);
1084     mt_state[MT_SIZE - 1] = mt_state[MT_PERIOD - 1] ^ (y >> 1) ^ matrix[y & 1];
1085 }
1086
1087 void util_seed(uint32_t value) {
1088     /*
1089      * We seed the mt_state with a LCG (linear congruential generator)
1090      * We're operating exactly on exactly m=32, so there is no need to
1091      * use modulus.
1092      *
1093      * The multipler of choice is 0x6C07865, also knows as the Borosh-
1094      * Niederreiter multipler used for modulus 2^32.  More can be read
1095      * about this in Knuth's TAOCP Volume 2, page 106.
1096      *
1097      * If you don't own TAOCP something is wrong with you :-) .. so I
1098      * also provided a link to the original paper by Borosh and
1099      * Niederreiter.  It's called "Optional Multipliers for PRNG by The
1100      * Linear Congruential Method" (1983).
1101      * http://en.wikipedia.org/wiki/Linear_congruential_generator
1102      *
1103      * From said page, it says the following:
1104      * "A common Mersenne twister implementation, interestingly enough
1105      *  used an LCG to generate seed data."
1106      *
1107      * Remarks:
1108      * The data we're operating on is 32-bits for the mt_state array, so
1109      * there is no masking required with 0xFFFFFFFF
1110      */
1111     register size_t i;
1112
1113     mt_state[0] = value;
1114     for (i = 1; i < MT_SIZE; ++i)
1115         mt_state[i] = 0x6C078965 * (mt_state[i - 1] ^ mt_state[i - 1] >> 30) + i;
1116 }
1117
1118 uint32_t util_rand() {
1119     register uint32_t y;
1120
1121     /*
1122      * This is inlined with any sane compiler (I checked)
1123      * for some reason though, SubC seems to be generating invalid
1124      * code when it inlines this.
1125      */
1126     if (!mt_index)
1127         mt_generate();
1128
1129     y = mt_state[mt_index];
1130
1131     /* Standard tempering */
1132     y ^= y >> 11;              /* +7 */
1133     y ^= y << 7  & 0x9D2C5680; /* +4 */
1134     y ^= y << 15 & 0xEFC60000; /* -4 */
1135     y ^= y >> 18;              /* -7 */
1136
1137     if(++mt_index == MT_SIZE)
1138          mt_index = 0;
1139
1140     return y;
1141 }