src/babel.c

   1 /*
   2  * viking -- GPS Data and Topo Analyzer, Explorer, and Manager
   3  *
   4  * Copyright (C) 2003-2005, Evan Battaglia <gtoevan@gmx.net>
   5  * Copyright (C) 2006, Quy Tonthat <qtonthat@gmail.com>
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  20  *
  21  */
  22
  23 /**
  24  * SECTION:babel
  25  * @short_description: running external programs and redirecting to TRWLayers.
  26  *
  27  * GPSBabel may not be necessary for everything -- for instance,
  28  *   use a_babel_convert_from_shellcommand() with input_file_type == %NULL
  29  *   for an external program that outputs GPX.
  30  */
  31
  32 #ifdef HAVE_CONFIG_H
  33 #include "config.h"
  34 #endif
  35
  36 #include "viking.h"
  37 #include "gpx.h"
  38 #include "babel.h"
  39 #include <stdio.h>
  40 #ifdef HAVE_SYS_WAIT_H
  41 #include <sys/wait.h>
  42 #endif
  43 #ifdef HAVE_UNISTD_H
  44 #include <unistd.h>
  45 #endif
  46 #include <string.h>
  47 #include <glib.h>
  48 #include <glib/gstdio.h>
  49
  50 /* TODO in the future we could have support for other shells (change command strings), or not use a shell at all */
  51 #define BASH_LOCATION "/bin/bash"
  52
  53 /**
  54  * Path to gpsbabel
  55  */
  56 static gchar *gpsbabel_loc = NULL;
  57
  58 /**
  59  * Path to unbuffer
  60  */
  61 static gchar *unbuffer_loc = NULL;
  62
  63 /**
  64  * List of file formats supported by gpsbabel.
  65  */
  66 GList *a_babel_file_list;
  67
  68 /**
  69  * List of device supported by gpsbabel.
  70  */
  71 GList *a_babel_device_list;
  72
  73 /**
  74  * a_babel_convert:
  75  * @vt:        The TRW layer to modify. All data will be deleted, and replaced by what gpsbabel outputs.
  76  * @babelargs: A string containing gpsbabel command line filter options. No file types or names should
  77  *             be specified.
  78  * @cb:        A callback function.
  79  *
  80  * This function modifies data in a trw layer using gpsbabel filters.  This routine is synchronous;
  81  * that is, it will block the calling program until the conversion is done. To avoid blocking, call
  82  * this routine from a worker thread.
  83  *
  84  * Returns: %TRUE on success
  85  */
  86 gboolean a_babel_convert( VikTrwLayer *vt, const char *babelargs, BabelStatusFunc cb, gpointer user_data )
  87 {
  88   int fd_src;
  89   FILE *f;
  90   gchar *name_src = NULL;
  91   gboolean ret = FALSE;
  92   gchar *bargs = g_strconcat(babelargs, " -i gpx", NULL);
  93
  94   if ((fd_src = g_file_open_tmp("tmp-viking.XXXXXX", &name_src, NULL)) >= 0) {
  95     f = fdopen(fd_src, "w");
  96     a_gpx_write_file(vt, f);
  97     fclose(f);
  98     f = NULL;
  99     ret = a_babel_convert_from ( vt, bargs, name_src, cb, user_data );
 100     g_remove(name_src);
 101     g_free(name_src);
 102   }
 103
 104   g_free(bargs);
 105   return ret;
 106 }
 107
 108 #ifdef WINDOWS
 109 static gboolean babel_general_convert( BabelStatusFunc cb, gchar **args, gpointer user_data )
 110 {
 111   gboolean ret;
 112   FILE *f;
 113   gchar *cmd;
 114   gchar **args2;
 115
 116   STARTUPINFO si;
 117   PROCESS_INFORMATION pi;
 118
 119   ZeroMemory( &si, sizeof(si) );
 120   ZeroMemory( &pi, sizeof(pi) );
 121   si.cb = sizeof(si);
 122   si.dwFlags = STARTF_USESHOWWINDOW;
 123   si.wShowWindow = SW_HIDE;
 124
 125   cmd = g_strjoinv( " ", args);
 126   args2 = g_strsplit(cmd, "\\", 0);
 127   g_free(cmd);
 128   cmd = g_strjoinv( "\\\\", args2);
 129   g_free(args2);
 130   args2 = g_strsplit(cmd, "/", 0);
 131   g_free(cmd);
 132   cmd = g_strjoinv( "\\\\", args2);
 133
 134   if( !CreateProcess(
 135              NULL,                   // No module name (use command line).
 136         (LPTSTR)cmd,           // Command line.
 137         NULL,                   // Process handle not inheritable.
 138         NULL,                   // Thread handle not inheritable.
 139         FALSE,                  // Set handle inheritance to FALSE.
 140         0,                      // No creation flags.
 141         NULL,                   // Use parent's environment block.
 142         NULL,                   // Use parent's starting directory.
 143         &si,                    // Pointer to STARTUPINFO structure.
 144         &pi )                   // Pointer to PROCESS_INFORMATION structure.
 145     ){
 146     g_error ( "CreateProcess failed" );
 147     ret = FALSE;
 148   }
 149   else {
 150     WaitForSingleObject(pi.hProcess, INFINITE);
 151     WaitForSingleObject(pi.hThread, INFINITE);
 152
 153     CloseHandle(pi.hThread);
 154     CloseHandle(pi.hProcess);
 155
 156     if ( cb )
 157       cb(BABEL_DONE, NULL, user_data);
 158
 159     ret = TRUE;
 160   }
 161
 162   g_strfreev( args2 );
 163   g_free( cmd );
 164
 165   return ret;
 166 }
 167 /* Windows */
 168 #else
 169 /* Posix */
 170 static gboolean babel_general_convert( BabelStatusFunc cb, gchar **args, gpointer user_data )
 171 {
 172   gboolean ret = FALSE;
 173   GPid pid;
 174   GError *error = NULL;
 175   gint babel_stdout;
 176
 177   if (!g_spawn_async_with_pipes (NULL, args, NULL, 0, NULL, NULL, &pid, NULL, &babel_stdout, NULL, &error)) {
 178     g_error("Async command failed: %s", error->message);
 179     g_error_free(error);
 180     ret = FALSE;
 181   } else {
 182
 183     gchar line[512];
 184     FILE *diag;
 185     diag = fdopen(babel_stdout, "r");
 186     setvbuf(diag, NULL, _IONBF, 0);
 187
 188     while (fgets(line, sizeof(line), diag)) {
 189       if ( cb )
 190         cb(BABEL_DIAG_OUTPUT, line, user_data);
 191     }
 192     if ( cb )
 193       cb(BABEL_DONE, NULL, user_data);
 194     fclose(diag);
 195     diag = NULL;
 196     waitpid(pid, NULL, 0);
 197     g_spawn_close_pid(pid);
 198
 199     ret = TRUE;
 200   }
 201
 202   return ret;
 203 }
 204 #endif /* Posix */
 205
 206 /**
 207  * babel_general_convert_from:
 208  * @vtl: The TrackWaypoint Layer to save the data into
 209  *   If it is null it signifies that no data is to be processed,
 210  *    however the gpsbabel command is still ran as it can be for non-data related options eg:
 211  *    for use with the power off command - 'command_off'
 212  * @cb: callback that is run upon new data from STDOUT (?)
 213  *     (TODO: STDERR would be nice since we usually redirect STDOUT)
 214  * @user_data: passed along to cb
 215  *
 216  * Runs args[0] with the arguments and uses the GPX module
 217  * to import the GPX data into layer vt. Assumes that upon
 218  * running the command, the data will appear in the (usually
 219  * temporary) file name_dst.
 220  *
 221  * Returns: %TRUE on success
 222  */
 223 static gboolean babel_general_convert_from( VikTrwLayer *vt, BabelStatusFunc cb, gchar **args, const gchar *name_dst, gpointer user_data )
 224 {
 225   gboolean ret = FALSE;
 226   FILE *f = NULL;
 227
 228   if (babel_general_convert(cb, args, user_data)) {
 229
 230     /* No data actually required but still need to have run gpsbabel anyway
 231        - eg using the device power command_off */
 232     if ( vt == NULL )
 233       return TRUE;
 234
 235     f = g_fopen(name_dst, "r");
 236     if (f) {
 237       ret = a_gpx_read_file ( vt, f );
 238       fclose(f);
 239       f = NULL;
 240     }
 241   }
 242
 243   return ret;
 244 }
 245
 246 /**
 247  * a_babel_convert_from:
 248  * @vt:        The TRW layer to place data into. Duplicate items will be overwritten.
 249  * @babelargs: A string containing gpsbabel command line options. In addition to any filters, this string
 250  *             must include the input file type (-i) option.
 251  * @cb:        Optional callback function. Same usage as in a_babel_convert().
 252  *
 253  * Loads data into a trw layer from a file, using gpsbabel.  This routine is synchronous;
 254  * that is, it will block the calling program until the conversion is done. To avoid blocking, call
 255  * this routine from a worker thread.
 256  *
 257  * Returns: %TRUE on success
 258  */
 259 gboolean a_babel_convert_from( VikTrwLayer *vt, const char *babelargs, const char *from, BabelStatusFunc cb, gpointer user_data )
 260 {
 261   int i,j;
 262   int fd_dst;
 263   gchar *name_dst = NULL;
 264   gboolean ret = FALSE;
 265   gchar *args[64];
 266
 267   if ((fd_dst = g_file_open_tmp("tmp-viking.XXXXXX", &name_dst, NULL)) >= 0) {
 268     close(fd_dst);
 269
 270     if (gpsbabel_loc ) {
 271       gchar **sub_args = g_strsplit(babelargs, " ", 0);
 272
 273       i = 0;
 274       if (unbuffer_loc)
 275         args[i++] = unbuffer_loc;
 276       args[i++] = gpsbabel_loc;
 277       for (j = 0; sub_args[j]; j++) {
 278         /* some version of gpsbabel can not take extra blank arg */
 279         if (sub_args[j][0] != '\0')
 280           args[i++] = sub_args[j];
 281       }
 282       args[i++] = "-o";
 283       args[i++] = "gpx";
 284       args[i++] = "-f";
 285       args[i++] = (char *)from;
 286       args[i++] = "-F";
 287       args[i++] = name_dst;
 288       args[i] = NULL;
 289
 290       ret = babel_general_convert_from ( vt, cb, args, name_dst, user_data );
 291
 292       g_strfreev(sub_args);
 293     } else
 294       g_error("gpsbabel not found in PATH");
 295     g_remove(name_dst);
 296     g_free(name_dst);
 297   }
 298
 299   return ret;
 300 }
 301
 302 /**
 303  * a_babel_convert_from_shellcommand:
 304  *
 305  * Runs the input command in a shell (bash) and optionally uses GPSBabel to convert from input_file_type.
 306  * If input_file_type is %NULL, doesn't use GPSBabel. Input must be GPX (or Geocaching *.loc)
 307  *
 308  * Uses babel_general_convert_from() to actually run the command. This function
 309  * prepares the command and temporary file, and sets up the arguments for bash.
 310  */
 311 gboolean a_babel_convert_from_shellcommand ( VikTrwLayer *vt, const char *input_cmd, const char *input_file_type, BabelStatusFunc cb, gpointer user_data )
 312 {
 313   int fd_dst;
 314   gchar *name_dst = NULL;
 315   gboolean ret = FALSE;
 316   gchar **args;
 317
 318   if ((fd_dst = g_file_open_tmp("tmp-viking.XXXXXX", &name_dst, NULL)) >= 0) {
 319     gchar *shell_command;
 320     if ( input_file_type )
 321       shell_command = g_strdup_printf("%s | %s -i %s -f - -o gpx -F %s",
 322         input_cmd, gpsbabel_loc, input_file_type, name_dst);
 323     else
 324       shell_command = g_strdup_printf("%s > %s", input_cmd, name_dst);
 325
 326     g_debug("%s: %s", __FUNCTION__, shell_command);
 327     close(fd_dst);
 328
 329     args = g_malloc(sizeof(gchar *)*4);
 330     args[0] = BASH_LOCATION;
 331     args[1] = "-c";
 332     args[2] = shell_command;
 333     args[3] = NULL;
 334
 335     ret = babel_general_convert_from ( vt, cb, args, name_dst, user_data );
 336     g_free ( args );
 337     g_free ( shell_command );
 338     g_remove(name_dst);
 339     g_free(name_dst);
 340   }
 341
 342   return ret;
 343 }
 344
 345 gboolean a_babel_convert_from_url ( VikTrwLayer *vt, const char *url, const char *input_type, BabelStatusFunc cb, gpointer user_data )
 346 {
 347   static DownloadMapOptions options = { FALSE, FALSE, NULL, 0, a_check_kml_file};
 348   gint fd_src;
 349   int fetch_ret;
 350   gboolean ret = FALSE;
 351   gchar *name_src = NULL;
 352   gchar *babelargs = NULL;
 353
 354   g_debug("%s: input_type=%s url=%s", __FUNCTION__, input_type, url);
 355
 356   if ((fd_src = g_file_open_tmp("tmp-viking.XXXXXX", &name_src, NULL)) >= 0) {
 357     close(fd_src);
 358     g_remove(name_src);
 359
 360     babelargs = g_strdup_printf(" -i %s", input_type);
 361
 362     fetch_ret = a_http_download_get_url(url, "", name_src, &options, NULL);
 363     if (fetch_ret == 0)
 364       ret = a_babel_convert_from( vt, babelargs, name_src, NULL, NULL);
 365
 366     g_remove(name_src);
 367     g_free(babelargs);
 368     g_free(name_src);
 369   }
 370
 371   return ret;
 372 }
 373
 374 static gboolean babel_general_convert_to( VikTrwLayer *vt, BabelStatusFunc cb, gchar **args, const gchar *name_src, gpointer user_data )
 375 {
 376   if (!a_file_export(vt, name_src, FILE_TYPE_GPX, NULL)) {
 377     g_error("Error exporting to %s", name_src);
 378     return FALSE;
 379   }
 380
 381   return babel_general_convert (cb, args, user_data);
 382 }
 383
 384 gboolean a_babel_convert_to( VikTrwLayer *vt, const char *babelargs, const char *to, BabelStatusFunc cb, gpointer user_data )
 385 {
 386   int i,j;
 387   int fd_src;
 388   gchar *name_src = NULL;
 389   gboolean ret = FALSE;
 390   gchar *args[64];
 391
 392   if ((fd_src = g_file_open_tmp("tmp-viking.XXXXXX", &name_src, NULL)) >= 0) {
 393     close(fd_src);
 394
 395     if (gpsbabel_loc ) {
 396       gchar **sub_args = g_strsplit(babelargs, " ", 0);
 397
 398       i = 0;
 399       if (unbuffer_loc)
 400         args[i++] = unbuffer_loc;
 401       args[i++] = gpsbabel_loc;
 402       args[i++] = "-i";
 403       args[i++] = "gpx";
 404       for (j = 0; sub_args[j]; j++)
 405         /* some version of gpsbabel can not take extra blank arg */
 406         if (sub_args[j][0] != '\0')
 407           args[i++] = sub_args[j];
 408       args[i++] = "-f";
 409       args[i++] = name_src;
 410       args[i++] = "-F";
 411       args[i++] = (char *)to;
 412       args[i] = NULL;
 413
 414       ret = babel_general_convert_to ( vt, cb, args, name_src, user_data );
 415
 416       g_strfreev(sub_args);
 417     } else
 418       g_error("gpsbabel not found in PATH");
 419     g_remove(name_src);
 420     g_free(name_src);
 421   }
 422
 423   return ret;
 424 }
 425
 426 static void set_mode(BabelMode mode, gchar *smode)
 427 {
 428   mode.waypointsRead  = smode[0] == 'r';
 429   mode.waypointsWrite = smode[1] == 'w';
 430   mode.tracksRead     = smode[2] == 'r';
 431   mode.tracksWrite    = smode[3] == 'w';
 432   mode.routesRead     = smode[4] == 'r';
 433   mode.routesWrite    = smode[5] == 'w';
 434 }
 435
 436 /**
 437  * load_feature:
 438  *
 439  * Load a single feature stored in the given line.
 440  */
 441 static void load_feature_parse_line (gchar *line)
 442 {
 443   gchar **tokens = g_strsplit ( line, "\t", 0 );
 444   if ( tokens != NULL
 445        && tokens[0] != NULL ) {
 446     if ( strcmp("serial", tokens[0]) == 0 ) {
 447       if ( tokens[1] != NULL
 448            && tokens[2] != NULL
 449            && tokens[3] != NULL
 450            && tokens[4] != NULL ) {
 451         BabelDevice *device = g_malloc ( sizeof (BabelDevice) );
 452         set_mode (device->mode, tokens[1]);
 453         device->name = g_strdup (tokens[2]);
 454         device->label = g_strdup (tokens[4]);
 455         a_babel_device_list = g_list_append (a_babel_device_list, device);
 456         g_debug ("New gpsbabel device: %s", device->name);
 457       } else {
 458         g_warning ( "Unexpected gpsbabel format string: %s", line);
 459       }
 460     } else if ( strcmp("file", tokens[0]) == 0 ) {
 461       if ( tokens[1] != NULL
 462            && tokens[2] != NULL
 463            && tokens[3] != NULL
 464            && tokens[4] != NULL ) {
 465         BabelFile *file = g_malloc ( sizeof (BabelFile) );
 466         set_mode (file->mode, tokens[1]);
 467         file->name = g_strdup (tokens[2]);
 468         file->ext = g_strdup (tokens[3]);
 469         file->label = g_strdup (tokens[4]);
 470         a_babel_file_list = g_list_append (a_babel_file_list, file);
 471         g_debug ("New gpsbabel file: %s", file->name);
 472       } else {
 473         g_warning ( "Unexpected gpsbabel format string: %s", line);
 474       }
 475     } /* else: ignore */
 476   } else {
 477     g_warning ( "Unexpected gpsbabel format string: %s", line);
 478   }
 479   g_strfreev ( tokens );
 480 }
 481
 482 static void load_feature_cb (BabelProgressCode code, gpointer line, gpointer user_data)
 483 {
 484   if (line != NULL)
 485     load_feature_parse_line (line);
 486 }
 487
 488 static gboolean load_feature ()
 489 {
 490   int i;
 491   gboolean ret = FALSE;
 492   gchar *args[4];
 493
 494   if ( gpsbabel_loc ) {
 495     i = 0;
 496     if ( unbuffer_loc )
 497       args[i++] = unbuffer_loc;
 498     args[i++] = gpsbabel_loc;
 499     args[i++] = "-^3";
 500     args[i] = NULL;
 501
 502     ret = babel_general_convert (load_feature_cb, args, NULL);
 503   } else
 504     g_error("gpsbabel not found in PATH");
 505
 506   return ret;
 507 }
 508
 509 void a_babel_init ()
 510 {
 511   /* TODO allow to set gpsbabel path via command line */
 512   gpsbabel_loc = g_find_program_in_path( "gpsbabel" );
 513   if ( !gpsbabel_loc )
 514     g_error( "gpsbabel not found in PATH" );
 515   unbuffer_loc = g_find_program_in_path( "unbuffer" );
 516   if ( !unbuffer_loc )
 517     g_warning( "unbuffer not found in PATH" );
 518
 519   load_feature ();
 520 }
 521
 522 void a_babel_uninit ()
 523 {
 524   g_free ( gpsbabel_loc );
 525   g_free ( unbuffer_loc );
 526
 527   if ( a_babel_file_list ) {
 528     GList *gl;
 529     for (gl = a_babel_file_list; gl != NULL; gl = g_list_next(gl)) {
 530       BabelFile *file = gl->data;
 531       g_free ( file->name );
 532       g_free ( file->ext );
 533       g_free ( file->label );
 534       g_free ( gl->data );
 535     }
 536     g_list_free ( a_babel_file_list );
 537   }
 538
 539   if ( a_babel_device_list ) {
 540     GList *gl;
 541     for (gl = a_babel_device_list; gl != NULL; gl = g_list_next(gl)) {
 542       BabelDevice *device = gl->data;
 543       g_free ( device->name );
 544       g_free ( device->label );
 545       g_free ( gl->data );
 546     }
 547     g_list_free ( a_babel_device_list );
 548   }
 549
 550 }