src/curl_download.c

   1 /*
   2  * viking -- GPS Data and Topo Analyzer, Explorer, and Manager
   3  *
   4  * Copyright (C) 2003-2005, Evan Battaglia <gtoevan@gmx.net>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  *
  20  */
  21
  22 #ifdef HAVE_CONFIG_H
  23 #include "config.h"
  24 #endif
  25
  26 #include <stdio.h>
  27
  28 #ifdef HAVE_UNISTD_H
  29 #include <unistd.h>
  30 #endif
  31
  32 #include <glib.h>
  33 #include <glib/gstdio.h>
  34 #include <glib/gi18n.h>
  35 #include <glib/gprintf.h>
  36 #include <gtk/gtk.h>
  37
  38 #include <curl/curl.h>
  39
  40 #include "background.h"
  41 #include "file.h"
  42 #include "globals.h"
  43 #include "curl_download.h"
  44
  45 gchar *curl_download_user_agent;
  46
  47 /*
  48  * Even if writing to FILE* is supported by libcurl by default,
  49  * it seems that it is non-portable (win32 DLL specific).
  50  *
  51  * So, we provide our own trivial CURLOPT_WRITEFUNCTION.
  52  */
  53 static size_t curl_write_func(void *ptr, size_t size, size_t nmemb, FILE *stream)
  54 {
  55   return fwrite(ptr, size, nmemb, stream);
  56 }
  57
  58 static size_t curl_get_etag_func(void *ptr, size_t size, size_t nmemb, gchar **stream)
  59 {
  60   size_t len = size*nmemb;
  61   char *str = g_strstr_len(ptr, len, "ETag:");
  62   if (str) {
  63     char *etag_str = str + strlen("ETag: ");
  64     char *end_str = g_strstr_len(etag_str, len, "\n");
  65     if (etag_str && end_str) {
  66       end_str = '\0';
  67       *stream = g_strndup(etag_str, len);
  68     }
  69   }
  70   return nmemb;
  71 }
  72
  73 static int curl_progress_func(void *clientp, double dltotal, double dlnow, double ultotal, double ulnow)
  74 {
  75   return a_background_testcancel(NULL);
  76 }
  77
  78 static gchar *get_cookie_file(gboolean init)
  79 {
  80   static gchar *cookie_file = NULL;
  81   static GMutex *mutex = NULL;
  82
  83   if (init) { /* to make sure  it's thread safe */
  84     mutex = g_mutex_new();
  85     static gchar *cookie_fn = "cookies.txt";
  86     const gchar *viking_dir = a_get_viking_dir();
  87     cookie_file = g_build_filename(viking_dir, cookie_fn, NULL);
  88     g_unlink(cookie_file);
  89     return NULL;
  90   }
  91
  92   g_assert(cookie_file != NULL);
  93
  94   g_mutex_lock(mutex);
  95   if (g_file_test(cookie_file, G_FILE_TEST_EXISTS) == FALSE) {  /* file not there */
  96     gchar * name_tmp = NULL;
  97     FILE * out_file = tmpfile();
  98     if (out_file == NULL) {
  99       // Something wrong with previous call (unsuported?)
 100       name_tmp = g_strdup_printf("%s.tmp", cookie_file);
 101       out_file = g_fopen(name_tmp, "w+b");
 102     }
 103     CURLcode res;
 104     CURL *curl = curl_easy_init();
 105     if (vik_verbose)
 106       curl_easy_setopt ( curl, CURLOPT_VERBOSE, 1 );
 107     curl_easy_setopt(curl, CURLOPT_URL, "http://maps.google.com/"); /* google.com sets "PREF" cookie */
 108     curl_easy_setopt ( curl, CURLOPT_WRITEDATA, out_file );
 109     curl_easy_setopt ( curl, CURLOPT_WRITEFUNCTION, curl_write_func);
 110     curl_easy_setopt(curl, CURLOPT_COOKIEJAR, cookie_file);
 111     res = curl_easy_perform(curl);
 112     if (res != CURLE_OK) {
 113       g_warning(_("%s() Curl perform failed: %s"), __PRETTY_FUNCTION__,
 114           curl_easy_strerror(res));
 115       g_unlink(cookie_file);
 116     }
 117     curl_easy_cleanup(curl);
 118     fclose(out_file);
 119     out_file = NULL;
 120     if (name_tmp != NULL) {
 121       g_remove(name_tmp);
 122       g_free(name_tmp);
 123       name_tmp = NULL;
 124     }
 125   }
 126   g_mutex_unlock(mutex);
 127
 128   return(cookie_file);
 129 }
 130
 131 /* This should to be called from main() to make sure thread safe */
 132 void curl_download_init()
 133 {
 134   curl_global_init(CURL_GLOBAL_ALL);
 135   get_cookie_file(TRUE);
 136   curl_download_user_agent = g_strdup_printf ("%s/%s %s", PACKAGE, VERSION, curl_version());
 137 }
 138
 139 int curl_download_uri ( const char *uri, FILE *f, DownloadMapOptions *options, DownloadFileOptions *file_options, void *handle )
 140 {
 141   CURL *curl;
 142   struct curl_slist *curl_send_headers = NULL;
 143   CURLcode res = CURLE_FAILED_INIT;
 144   const gchar *cookie_file;
 145
 146   g_debug("%s: uri=%s", __PRETTY_FUNCTION__, uri);
 147
 148   curl = handle ? handle : curl_easy_init ();
 149   if ( !curl ) {
 150     return DOWNLOAD_ERROR;
 151   }
 152   if (vik_verbose)
 153     curl_easy_setopt ( curl, CURLOPT_VERBOSE, 1 );
 154   curl_easy_setopt ( curl, CURLOPT_URL, uri );
 155   curl_easy_setopt ( curl, CURLOPT_WRITEDATA, f );
 156   curl_easy_setopt ( curl, CURLOPT_WRITEFUNCTION, curl_write_func);
 157   curl_easy_setopt ( curl, CURLOPT_NOPROGRESS, 0 );
 158   curl_easy_setopt ( curl, CURLOPT_PROGRESSDATA, NULL );
 159   curl_easy_setopt ( curl, CURLOPT_PROGRESSFUNCTION, curl_progress_func);
 160   if (options != NULL) {
 161     if(options->referer != NULL)
 162       curl_easy_setopt ( curl, CURLOPT_REFERER, options->referer);
 163     if(options->follow_location != 0) {
 164       curl_easy_setopt ( curl, CURLOPT_FOLLOWLOCATION, 1);
 165       curl_easy_setopt ( curl, CURLOPT_MAXREDIRS, options->follow_location);
 166     }
 167     if (file_options != NULL) {
 168       if(options->check_file_server_time && file_options->time_condition != 0) {
 169         /* if file exists, check against server if file is recent enough */
 170         curl_easy_setopt ( curl, CURLOPT_TIMECONDITION, CURL_TIMECOND_IFMODSINCE);
 171         curl_easy_setopt ( curl, CURLOPT_TIMEVALUE, file_options->time_condition);
 172       }
 173       if (options->use_etag) {
 174         if (file_options->etag != NULL) {
 175           /* add an header on the HTTP request */
 176           char str[50];
 177           g_snprintf(str, 50, "If-None-Match: %s", file_options->etag);
 178           curl_send_headers = curl_slist_append(curl_send_headers, str);
 179           curl_easy_setopt ( curl, CURLOPT_HTTPHEADER , curl_send_headers);
 180         }
 181         /* store the new etag from the server in an option value */
 182         curl_easy_setopt ( curl, CURLOPT_WRITEHEADER, &(file_options->new_etag));
 183         curl_easy_setopt ( curl, CURLOPT_HEADERFUNCTION, curl_get_etag_func);
 184       }
 185     }
 186   }
 187   curl_easy_setopt ( curl, CURLOPT_USERAGENT, curl_download_user_agent );
 188   if ((cookie_file = get_cookie_file(FALSE)) != NULL)
 189     curl_easy_setopt(curl, CURLOPT_COOKIEFILE, cookie_file);
 190   res = curl_easy_perform ( curl );
 191
 192   if (res == 0) {
 193     glong response;
 194     curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &response);
 195     if (response == 304) {         // 304 = Not Modified
 196       res = DOWNLOAD_NO_NEWER_FILE;
 197     } else if (response == 200 ||  // http: 200 = Ok
 198                response == 226) {  // ftp:  226 = sucess
 199       gdouble size;
 200       /* verify if curl sends us any data - this is a workaround on using CURLOPT_TIMECONDITION
 201          when the server has a (incorrect) time earlier than the time on the file we already have */
 202       curl_easy_getinfo(curl, CURLINFO_SIZE_DOWNLOAD, &size);
 203       if (size == 0)
 204         res = DOWNLOAD_ERROR;
 205       else
 206         res = DOWNLOAD_NO_ERROR;
 207     } else {
 208       g_warning("%s: http response: %ld for uri %s (time_condition = %ld)\n", __FUNCTION__, response, uri, file_options->time_condition);
 209       res = DOWNLOAD_ERROR;
 210     }
 211   } else {
 212     res = DOWNLOAD_ERROR;
 213   }
 214   if (!handle)
 215      curl_easy_cleanup ( curl );
 216   if (curl_send_headers)
 217     curl_slist_free_all(curl_send_headers);
 218   return res;
 219 }
 220
 221 int curl_download_get_url ( const char *hostname, const char *uri, FILE *f, DownloadMapOptions *options, gboolean ftp, DownloadFileOptions *file_options, void *handle )
 222 {
 223   int ret;
 224   gchar *full = NULL;
 225
 226   /* Compose the full url */
 227   full = g_strdup_printf ( "%s://%s%s", (ftp?"ftp":"http"), hostname, uri );
 228   ret = curl_download_uri ( full, f, options, file_options, handle );
 229   g_free ( full );
 230   full = NULL;
 231
 232   return ret;
 233 }
 234
 235 void * curl_download_handle_init ()
 236 {
 237   return curl_easy_init();
 238 }
 239
 240 void curl_download_handle_cleanup ( void *handle )
 241 {
 242   curl_easy_cleanup(handle);
 243 }