fdroidserver/net.py

   1 #!/usr/bin/env python3
   2 #
   3 # net.py - part of the FDroid server tools
   4 # Copyright (C) 2015 Hans-Christoph Steiner <hans@eds.org>
   5 #
   6 # This program is free software: you can redistribute it and/or modify
   7 # it under the terms of the GNU Affero General Public License as published by
   8 # the Free Software Foundation, either version 3 of the License, or
   9 # (at your option) any later version.
  10 #
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU Affero General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU Affero General Public License
  17 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 import os
  20
  21 import requests
  22
  23
  24 def download_file(url, local_filename=None, dldir='tmp'):
  25     filename = url.split('/')[-1]
  26     if local_filename is None:
  27         local_filename = os.path.join(dldir, filename)
  28     # the stream=True parameter keeps memory usage low
  29     r = requests.get(url, stream=True, allow_redirects=True)
  30     r.raise_for_status()
  31     with open(local_filename, 'wb') as f:
  32         for chunk in r.iter_content(chunk_size=1024):
  33             if chunk:  # filter out keep-alive new chunks
  34                 f.write(chunk)
  35                 f.flush()
  36     return local_filename
  37
  38
  39 def http_get(url, etag=None):
  40     """
  41     Downloads the content from the given URL by making a GET request.
  42
  43     If an ETag is given, it will do a HEAD request first, to see if the content changed.
  44
  45     :param url: The URL to download from.
  46     :param etag: The last ETag to be used for the request (optional).
  47     :return: A tuple consisting of:
  48         - The raw content that was downloaded or None if it did not change
  49         - The new eTag as returned by the HTTP request
  50     """
  51     headers = {'User-Agent': 'F-Droid'}
  52     # TODO disable TLS Session IDs and TLS Session Tickets
  53     #      (plain text cookie visible to anyone who can see the network traffic)
  54     if etag:
  55         r = requests.head(url, headers=headers)
  56         r.raise_for_status()
  57         if 'ETag' in r.headers and etag == r.headers['ETag']:
  58             return None, etag
  59
  60     r = requests.get(url, headers=headers)
  61     r.raise_for_status()
  62
  63     new_etag = None
  64     if 'ETag' in r.headers:
  65         new_etag = r.headers['ETag']
  66
  67     return r.content, new_etag