]> git.street.me.uk Git - andy/viking.git/blobdiff - src/download.c
Save bfilter values used for subsequent reuse in a session.
[andy/viking.git] / src / download.c
index e928a74b5c60be4f6539a6e5ca705e9c8d8cc1e6..9b1fe0f2b3f14ac2bc6d892f8353eb4f8e586d6d 100644 (file)
@@ -61,10 +61,12 @@ static gboolean check_file_first_line(FILE* f, gchar *patterns[])
   size_t nr;
 
   memset(buf, 0, sizeof(buf));
-  fgetpos(f, &pos);
+  if ( !fgetpos(f, &pos) )
+    return FALSE;
   rewind(f);
   nr = fread(buf, 1, sizeof(buf) - 1, f);
-  fsetpos(f, &pos);
+  if ( !fgetpos(f, &pos) )
+    return FALSE;
   for (bp = buf; (bp < (buf + sizeof(buf) - 1)) && (nr > (bp - buf)); bp++) {
     if (!(isspace(*bp)))
       break;
@@ -258,6 +260,106 @@ void a_try_decompress_file (gchar *name)
 #endif
 }
 
+#define VIKING_ETAG_XATTR "xattr::viking.etag"
+
+static gboolean get_etag_xattr(const char *fn, DownloadFileOptions *file_options)
+{
+  gboolean result = FALSE;
+  GFileInfo *fileinfo;
+  GFile *file;
+
+  file = g_file_new_for_path(fn);
+  fileinfo = g_file_query_info(file, VIKING_ETAG_XATTR, G_FILE_QUERY_INFO_NONE, NULL, NULL);
+  if (fileinfo) {
+    const char *etag = g_file_info_get_attribute_string(fileinfo, VIKING_ETAG_XATTR);
+    if (etag) {
+      file_options->etag = g_strdup(etag);
+      result = !!file_options->etag;
+    }
+    g_object_unref(fileinfo);
+  }
+  g_object_unref(file);
+
+  if (result)
+    g_debug("%s: Get etag (xattr) from %s: %s", __FUNCTION__, fn, file_options->etag);
+
+  return result;
+}
+
+static gboolean get_etag_file(const char *fn, DownloadFileOptions *file_options)
+{
+  gboolean result = FALSE;
+  gchar *etag_filename;
+
+  etag_filename = g_strdup_printf("%s.etag", fn);
+  if (etag_filename) {
+    result = g_file_get_contents(etag_filename, &file_options->etag, NULL, NULL);
+    g_free(etag_filename);
+  }
+
+  if (result)
+    g_debug("%s: Get etag (file) from %s: %s", __FUNCTION__, fn, file_options->etag);
+
+  return result;
+}
+
+static void get_etag(const char *fn, DownloadFileOptions *file_options)
+{
+  /* first try to get etag from xattr, then fall back to plain file  */
+  if (!get_etag_xattr(fn, file_options) && !get_etag_file(fn, file_options)) {
+    g_debug("%s: Failed to get etag from %s", __FUNCTION__, fn);
+    return;
+  }
+
+  /* check if etag is short enough */
+  if (strlen(file_options->etag) > 100) {
+    g_free(file_options->etag);
+    file_options->etag = NULL;
+  }
+
+  /* TODO: should check that etag is a valid string */
+}
+
+static gboolean set_etag_xattr(const char *fn, DownloadFileOptions *file_options)
+{
+  gboolean result = FALSE;
+  GFile *file;
+
+  file = g_file_new_for_path(fn);
+  result = g_file_set_attribute_string(file, VIKING_ETAG_XATTR, file_options->new_etag, G_FILE_QUERY_INFO_NONE, NULL, NULL);
+  g_object_unref(file);
+
+  if (result)
+    g_debug("%s: Set etag (xattr) on %s: %s", __FUNCTION__, fn, file_options->new_etag);
+
+  return result;
+}
+
+static gboolean set_etag_file(const char *fn, DownloadFileOptions *file_options)
+{
+  gboolean result = FALSE;
+  gchar *etag_filename;
+
+  etag_filename = g_strdup_printf("%s.etag", fn);
+  if (etag_filename) {
+    result = g_file_set_contents(etag_filename, file_options->new_etag, -1, NULL);
+    g_free(etag_filename);
+  }
+
+  if (result)
+    g_debug("%s: Set etag (file) on %s: %s", __FUNCTION__, fn, file_options->new_etag);
+
+  return result;
+}
+
+static void set_etag(const char *fn, const char *fntmp, DownloadFileOptions *file_options)
+{
+  /* first try to store etag in extended attribute, then fall back to plain file */
+  if (!set_etag_xattr(fntmp, file_options) && !set_etag_file(fn, file_options)) {
+    g_debug("%s: Failed to set etag on %s", __FUNCTION__, fn);
+  }
+}
+
 static DownloadResult_t download( const char *hostname, const char *uri, const char *fn, DownloadMapOptions *options, gboolean ftp, void *handle)
 {
   FILE *f;
@@ -278,35 +380,24 @@ static DownloadResult_t download( const char *hostname, const char *uri, const c
     time_t tile_age = a_preferences_get(VIKING_PREFERENCES_NAMESPACE "download_tile_age")->u;
     /* Get the modified time of this file */
     struct stat buf;
-    g_stat ( fn, &buf );
+    (void)g_stat ( fn, &buf );
     time_t file_time = buf.st_mtime;
     if ( (time(NULL) - file_time) < tile_age ) {
       /* File cache is too recent, so return */
       return DOWNLOAD_NOT_REQUIRED;
     }
 
-    if (options->check_file_server_time) {
+    if (options != NULL && options->check_file_server_time) {
       file_options.time_condition = file_time;
     }
-    if (options->use_etag) {
-      gchar *etag_filename = g_strdup_printf("%s.etag", fn);
-      gsize etag_length = 0;
-      g_file_get_contents (etag_filename, &(file_options.etag), &etag_length, NULL);
-      g_free (etag_filename);
-      etag_filename = NULL;
-
-      /* check if etag is short enough */
-      if (etag_length > 100) {
-        g_free(file_options.etag);
-        file_options.etag = NULL;
-      }
-
-      /* TODO: should check that etag is a valid string */
+    if (options != NULL && options->use_etag) {
+      get_etag(fn, &file_options);
     }
 
   } else {
     gchar *dir = g_path_get_dirname ( fn );
-    g_mkdir_with_parents ( dir , 0777 );
+    if ( g_mkdir_with_parents ( dir , 0777 ) != 0)
+      g_warning ("%s: Failed to mkdir %s", __FUNCTION__, dir );
     g_free ( dir );
   }
 
@@ -351,37 +442,35 @@ static DownloadResult_t download( const char *hostname, const char *uri, const c
   if (failure)
   {
     g_warning(_("Download error: %s"), fn);
-    g_remove ( tmpfilename );
+    if ( g_remove ( tmpfilename ) != 0 )
+      g_warning( ("Failed to remove: %s"), tmpfilename);
     unlock_file ( tmpfilename );
     g_free ( tmpfilename );
-    if (options->use_etag) {
+    if ( options != NULL && options->use_etag ) {
       g_free ( file_options.etag );
       g_free ( file_options.new_etag );
     }
     return result;
   }
 
-  if ( options->convert_file )
-         options->convert_file ( tmpfilename );
+  if (ret == CURL_DOWNLOAD_NO_NEWER_FILE)  {
+    (void)g_remove ( tmpfilename );
+     // update mtime of local copy
+     // Not security critical, thus potential Time of Check Time of Use race condition is not bad
+     // coverity[toctou]
+     if ( g_utime ( fn, NULL ) != 0 )
+       g_warning ( "%s couldn't set time on: %s", __FUNCTION__, fn );
+  } else {
+    if ( options != NULL && options->convert_file )
+      options->convert_file ( tmpfilename );
 
-  if (options->use_etag) {
-    if (file_options.new_etag) {
-      /* server returned an etag value */
-      gchar *etag_filename = g_strdup_printf("%s.etag", fn);
-      g_file_set_contents (etag_filename, file_options.new_etag, -1, NULL);
-      g_free (etag_filename);
-      etag_filename = NULL;
+    if ( options != NULL && options->use_etag ) {
+      if (file_options.new_etag) {
+        /* server returned an etag value */
+        set_etag(fn, tmpfilename, &file_options);
+      }
     }
-  }
 
-  if (ret == CURL_DOWNLOAD_NO_NEWER_FILE)  {
-    g_remove ( tmpfilename );
-#if GLIB_CHECK_VERSION(2,18,0)
-    g_utime ( fn, NULL ); /* update mtime of local copy */
-#else
-    utimes ( fn, NULL ); /* update mtime of local copy */
-#endif
-  } else {
      /* move completely-downloaded file to permanent location */
      if ( g_rename ( tmpfilename, fn ) )
         g_warning ("%s: file rename failed [%s] to [%s]", __FUNCTION__, tmpfilename, fn );
@@ -389,7 +478,7 @@ static DownloadResult_t download( const char *hostname, const char *uri, const c
   unlock_file ( tmpfilename );
   g_free ( tmpfilename );
 
-  if (options->use_etag) {
+  if ( options != NULL && options->use_etag ) {
     g_free ( file_options.etag );
     g_free ( file_options.new_etag );
   }
@@ -447,7 +536,7 @@ gchar *a_download_uri_to_tmp_file ( const gchar *uri, DownloadMapOptions *option
   if ( curl_download_uri ( uri, tmp_file, options, NULL, NULL ) ) {
     // error
     fclose ( tmp_file );
-    g_remove ( tmpname );
+    (void)g_remove ( tmpname );
     g_free ( tmpname );
     return NULL;
   }