]> git.xonotic.org Git - xonotic/gmqcc.git/blobdiff - test.c
Update .travis.yml
[xonotic/gmqcc.git] / test.c
diff --git a/test.c b/test.c
index d3132e25c342f807529630552c4480d406a11c47..fdf3777f4f0af16363a5f6170ab2749742240f16 100644 (file)
--- a/test.c
+++ b/test.c
@@ -162,8 +162,13 @@ static int task_pclose(FILE **handles) {
         char    *cmd  = NULL;
         popen_t *open = (popen_t*)mem_a(sizeof(popen_t));
 
+#ifndef _MSC_VER
         tmpnam(open->name_err);
         tmpnam(open->name_out);
+#else
+        tmpnam_s(open->name_err, L_tmpnam);
+        tmpnam_s(open->name_out, L_tmpnam);
+#endif
 
         (void)mode; /* excluded */
 
@@ -179,7 +184,7 @@ static int task_pclose(FILE **handles) {
         return open->handles;
     }
 
-    static void task_pclose(FILE **files) {
+    static int task_pclose(FILE **files) {
         popen_t *open = ((popen_t*)files);
         fs_file_close(files[1]);
         fs_file_close(files[2]);
@@ -187,7 +192,11 @@ static int task_pclose(FILE **handles) {
         remove(open->name_out);
 
         mem_d(open);
+
+        return EXIT_SUCCESS;
     }
+#   define popen _popen
+#   define pclose _pclose
 #endif /*! _WIN32 */
 
 #define TASK_COMPILE    0
@@ -436,9 +445,6 @@ static bool task_template_parse(const char *file, task_template_t *tmpl, FILE *f
                     goto failure;
                 }
 
-                if (value && (*value == ' ' || *value == '\t'))
-                    value++;
-
                 /*
                  * Value will contain a newline character at the end, we need to strip
                  * this otherwise kaboom, seriously, kaboom :P
@@ -615,17 +621,17 @@ failure:
     return NULL;
 }
 
-static void task_template_destroy(task_template_t **tmpl) {
+static void task_template_destroy(task_template_t *tmpl) {
     if (!tmpl)
         return;
 
-    if ((*tmpl)->description)    mem_d((*tmpl)->description);
-    if ((*tmpl)->proceduretype)  mem_d((*tmpl)->proceduretype);
-    if ((*tmpl)->compileflags)   mem_d((*tmpl)->compileflags);
-    if ((*tmpl)->executeflags)   mem_d((*tmpl)->executeflags);
-    if ((*tmpl)->sourcefile)     mem_d((*tmpl)->sourcefile);
-    if ((*tmpl)->rulesfile)      mem_d((*tmpl)->rulesfile);
-    if ((*tmpl)->testflags)      mem_d((*tmpl)->testflags);
+    if (tmpl->description)    mem_d(tmpl->description);
+    if (tmpl->proceduretype)  mem_d(tmpl->proceduretype);
+    if (tmpl->compileflags)   mem_d(tmpl->compileflags);
+    if (tmpl->executeflags)   mem_d(tmpl->executeflags);
+    if (tmpl->sourcefile)     mem_d(tmpl->sourcefile);
+    if (tmpl->rulesfile)      mem_d(tmpl->rulesfile);
+    if (tmpl->testflags)      mem_d(tmpl->testflags);
 
     /*
      * Delete all allocated string for task tmpl then destroy the
@@ -633,18 +639,18 @@ static void task_template_destroy(task_template_t **tmpl) {
      */
     {
         size_t i = 0;
-        for (; i < vec_size((*tmpl)->comparematch); i++)
-            mem_d((*tmpl)->comparematch[i]);
+        for (; i < vec_size(tmpl->comparematch); i++)
+            mem_d(tmpl->comparematch[i]);
 
-        vec_free((*tmpl)->comparematch);
+        vec_free(tmpl->comparematch);
     }
 
     /*
      * Nullify all the template members otherwise NULL comparision
      * checks will fail if tmpl pointer is reused.
      */
-    mem_d((*tmpl)->tempfilename);
-    mem_d(*tmpl);
+    mem_d(tmpl->tempfilename);
+    mem_d(tmpl);
 }
 
 /*
@@ -677,7 +683,7 @@ static bool task_propagate(const char *curdir, size_t *pad, const char *defs) {
     char           **directories = NULL;
     char            *claim = util_strdup(curdir);
     size_t           i;
-    
+
     vec_push(directories, claim);
     dir = fs_dir_open(claim);
 
@@ -709,7 +715,7 @@ static bool task_propagate(const char *curdir, size_t *pad, const char *defs) {
      */
     for (i = 0; i < vec_size(directories); i++) {
         dir = fs_dir_open(directories[i]);
-        
+
         while ((files = fs_dir_read(dir))) {
             util_snprintf(buffer, sizeof(buffer), "%s/%s", directories[i], files->d_name);
             if (stat(buffer, &directory) == -1) {
@@ -730,7 +736,6 @@ static bool task_propagate(const char *curdir, size_t *pad, const char *defs) {
                 char            *qcflags = NULL;
                 task_t           task;
 
-                util_debug("TEST", "compiling task template: %s/%s\n", directories[i], files->d_name);
                 found ++;
                 if (!tmpl) {
                     con_err("error compiling task template: %s\n", files->d_name);
@@ -841,8 +846,6 @@ static bool task_propagate(const char *curdir, size_t *pad, const char *defs) {
                     continue;
                 }
 
-                util_debug("TEST", "executing test: `%s` [%s]\n", tmpl->description, buf);
-
                 /*
                  * Open up some file desciptors for logging the stdout/stderr
                  * to our own.
@@ -864,17 +867,12 @@ static bool task_propagate(const char *curdir, size_t *pad, const char *defs) {
                 vec_push(task_tasks, task);
             }
         }
-        
+
         fs_dir_close(dir);
         mem_d(directories[i]); /* free claimed memory */
     }
     vec_free(directories);
 
-    util_debug("TEST", "compiled %d task template files out of %d\n",
-        vec_size(task_tasks),
-        found
-    );
-
     return success;
 }
 
@@ -897,8 +895,6 @@ static void task_precleanup(const char *curdir) {
             util_snprintf(buffer, sizeof(buffer), "%s/%s", curdir, files->d_name);
             if (remove(buffer))
                 con_err("error removing temporary file: %s\n", buffer);
-            else
-                util_debug("TEST", "removed temporary file: %s\n", buffer);
         }
     }
 
@@ -917,7 +913,6 @@ static void task_destroy(void) {
          * Close any open handles to files or processes here.  It's mighty
          * annoying to have to do all this cleanup work.
          */
-        if (task_tasks[i].runhandles) task_pclose(task_tasks[i].runhandles);
         if (task_tasks[i].stdoutlog)  fs_file_close (task_tasks[i].stdoutlog);
         if (task_tasks[i].stderrlog)  fs_file_close (task_tasks[i].stderrlog);
 
@@ -929,12 +924,8 @@ static void task_destroy(void) {
         if (task_tasks[i].compiled || !strcmp(task_tasks[i].tmpl->proceduretype, "-fail")) {
             if (remove(task_tasks[i].stdoutlogfile))
                 con_err("error removing stdout log file: %s\n", task_tasks[i].stdoutlogfile);
-            else
-                util_debug("TEST", "removed stdout log file: %s\n", task_tasks[i].stdoutlogfile);
             if (remove(task_tasks[i].stderrlogfile))
                 con_err("error removing stderr log file: %s\n", task_tasks[i].stderrlogfile);
-            else
-                util_debug("TEST", "removed stderr log file: %s\n", task_tasks[i].stderrlogfile);
 
             (void)!remove(task_tasks[i].tmpl->tempfilename);
         }
@@ -943,7 +934,7 @@ static void task_destroy(void) {
         mem_d(task_tasks[i].stdoutlogfile);
         mem_d(task_tasks[i].stderrlogfile);
 
-        task_template_destroy(&task_tasks[i].tmpl);
+        task_template_destroy(task_tasks[i].tmpl);
     }
     vec_free(task_tasks);
 }
@@ -957,10 +948,11 @@ static void task_destroy(void) {
 static bool task_trymatch(size_t i, char ***line) {
     bool             success = true;
     bool             process = true;
+    int              retval  = EXIT_SUCCESS;
     FILE            *execute;
     char             buffer[4096];
     task_template_t *tmpl = task_tasks[i].tmpl;
-    
+
     memset  (buffer,0,sizeof(buffer));
 
     if (!strcmp(tmpl->proceduretype, "-execute")) {
@@ -981,11 +973,6 @@ static bool task_trymatch(size_t i, char ***line) {
             );
         }
 
-        util_debug("TEST", "executing qcvm: `%s` [%s]\n",
-            tmpl->description,
-            buffer
-        );
-
         execute = popen(buffer, "r");
         if (!execute)
             return false;
@@ -1006,7 +993,7 @@ static bool task_trymatch(size_t i, char ***line) {
          */
         if (!(execute = fs_file_open(task_tasks[i].stderrlogfile, "r")))
             return false;
-        
+
         process = false;
     }
 
@@ -1018,7 +1005,7 @@ static bool task_trymatch(size_t i, char ***line) {
         char  *data    = NULL;
         size_t size    = 0;
         size_t compare = 0;
-        
+
         while (fs_file_getline(&data, &size, execute) != EOF) {
             if (!strcmp(data, "No main function found\n")) {
                 con_err("test failure: `%s` (No main function found) [%s]\n",
@@ -1038,7 +1025,7 @@ static bool task_trymatch(size_t i, char ***line) {
              */
             if  (strrchr(data, '\n'))
                 *strrchr(data, '\n') = '\0';
-                
+
             /*
              * We remove the file/directory and stuff from the error
              * match messages when testing diagnostics.
@@ -1054,10 +1041,11 @@ static bool task_trymatch(size_t i, char ***line) {
             }
 
             /*
-             * If data is just null now, that means the line was an empty
-             * one and for that, we just ignore it.
+             * We need to ignore null lines for when -pp is used (preprocessor), since
+             * the preprocessor is likely to create empty newlines in certain macro
+             * instantations, otherwise it's in the wrong nature to ignore empty newlines.
              */
-            if (!*data)
+            if (!strcmp(tmpl->proceduretype, "-pp") && !*data)
                 continue;
 
             if (vec_size(tmpl->comparematch) > compare) {
@@ -1078,16 +1066,20 @@ static bool task_trymatch(size_t i, char ***line) {
             data = NULL;
             size = 0;
         }
+
+        if (compare != vec_size(tmpl->comparematch))
+            success = false;
+
         mem_d(data);
         data = NULL;
     }
 
     if (process)
-        pclose(execute);
+        retval = pclose(execute);
     else
         fs_file_close(execute);
 
-    return success;
+    return success && retval == EXIT_SUCCESS;
 }
 
 static const char *task_type(task_template_t *tmpl) {
@@ -1127,12 +1119,11 @@ static size_t task_schedualize(size_t *pad) {
 
         con_out("test #%u %*s", i + 1, strlen(space[0]) - strlen(space[1]), "");
 
-        util_debug("TEST", "executing task: %d: %s\n", i, task_tasks[i].tmpl->description);
         /*
          * Generate a task from thin air if it requires execution in
          * the QCVM.
          */
-         
+
         /* diagnostic is not executed, but compare tested instead, like preproessor */
         execute = !! (!strcmp(task_tasks[i].tmpl->proceduretype, "-execute")) ||
                      (!strcmp(task_tasks[i].tmpl->proceduretype, "-pp"))      ||
@@ -1186,6 +1177,18 @@ static size_t task_schedualize(size_t *pad) {
             continue;
         }
 
+        if (task_pclose(task_tasks[i].runhandles) != EXIT_SUCCESS && strcmp(task_tasks[i].tmpl->proceduretype, "-fail")) {
+            con_out("failure:   `%s` %*s %*s\n",
+                task_tasks[i].tmpl->description,
+                (pad[0] + pad[1] - strlen(task_tasks[i].tmpl->description)) + (strlen(task_tasks[i].tmpl->rulesfile) - pad[1]),
+                task_tasks[i].tmpl->rulesfile,
+                (pad[1] + pad[2] - strlen(task_tasks[i].tmpl->rulesfile)) + (strlen("(compiler didn't return exit success)") - pad[2]),
+                "(compiler didn't return exit success)"
+            );
+            failed++;
+            continue;
+        }
+
         if (!execute) {
             con_out("succeeded: `%s` %*s %*s\n",
                 task_tasks[i].tmpl->description,
@@ -1263,7 +1266,7 @@ static size_t task_schedualize(size_t *pad) {
             failed++;
             continue;
         }
-        
+
         for (j = 0; j < vec_size(match); j++)
             mem_d(match[j]);
         vec_free(match);
@@ -1412,6 +1415,5 @@ int main(int argc, char **argv) {
     succeed = test_perform("tests", defs);
     stat_info();
 
-
     return (succeed) ? EXIT_SUCCESS : EXIT_FAILURE;
 }