jenkins-setup-build-environment

   1 #!/bin/bash
   2 #
   3 # runs here:
   4 # https://jenkins.debian.net/job/reproducible_setup_fdroid_build_environment
   5
   6 if [ `dirname $0` != "." ]; then
   7     echo "only run this script like ./`basename $0`"
   8     exit
   9 fi
  10
  11 if [ -z $WORKSPACE ]; then
  12     WORKSPACE=`pwd`
  13 fi
  14
  15 # make sure that no VirtualBox processes are left running
  16 cleanup_all() {
  17     set +e
  18     echo "$(date -u) - cleanup in progress..."
  19     ps auxww | grep -e VBox -e qemu
  20     virsh --connect qemu:///system list --all
  21     ls -hl /var/lib/libvirt/images
  22     cd $WORKSPACE/buildserver
  23     vagrant halt
  24     sleep 5
  25     killall VBoxHeadless
  26     sleep 5
  27     killall -9 VBoxHeadless
  28     echo "$(date -u) - cleanup done."
  29 }
  30 trap cleanup_all INT TERM EXIT
  31
  32 set -e
  33 set -x
  34
  35 # make sure we have the vagrant box image cached
  36 test -e ~/.cache/fdroidserver || mkdir -p ~/.cache/fdroidserver
  37 cd ~/.cache/fdroidserver
  38 wget --tries=1 --timeout=5 --continue https://f-droid.org/jessie64.box || true
  39 echo "de3e3c4a9c13e8c015e30edeea0f583b195d1ee8ff9ad4814e933bbfb560200f  jessie64.box" > jessie64.box.sha256
  40 sha256sum -c jessie64.box.sha256
  41
  42 # redirect homes to be in the git repo, so they'll get cleaned and reset
  43 export XDG_CONFIG_HOME=$WORKSPACE
  44 export VBOX_USER_HOME=$WORKSPACE/VirtualBox
  45 mkdir $VBOX_USER_HOME
  46 if which VBoxManage; then
  47     VBoxManage setproperty machinefolder $WORKSPACE/virtualbox.d
  48     VBoxManage setproperty logginglevel debug
  49 fi
  50 export VAGRANT_HOME=$WORKSPACE/vagrant.d
  51 mkdir $VAGRANT_HOME
  52
  53 # delete leftovers from previous run
  54 virsh -c qemu:///system undefine buildserver_default \
  55       --nvram --managed-save --remove-all-storage --snapshots-metadata || true
  56 virsh -c qemu:///system undefine builder_default \
  57       --nvram --managed-save --remove-all-storage --snapshots-metadata || true
  58 virsh -c qemu:///system vol-delete --pool default \
  59       /var/lib/libvirt/images/buildserver_vagrant_box_image_0.img || true
  60 virsh -c qemu:///system vol-delete --pool default \
  61       /var/lib/libvirt/images/jessie64_vagrant_box_image_0.img || true
  62 rm -rf "$WORKSPACE"/../*/.testfiles
  63
  64 cd $WORKSPACE
  65 echo "debian_mirror = 'https://deb.debian.org/debian/'" > $WORKSPACE/makebuildserver.config.py
  66 echo "boot_timeout = 1200" >> $WORKSPACE/makebuildserver.config.py
  67 echo "apt_package_cache = True" >> $WORKSPACE/makebuildserver.config.py
  68 echo "copy_caches_from_host = True" >> $WORKSPACE/makebuildserver.config.py
  69 echo "memory = 6144" >> $WORKSPACE/makebuildserver.config.py
  70 echo "cpus = 2" >> $WORKSPACE/makebuildserver.config.py
  71 ./makebuildserver -vv --clean
  72
  73 if [ -z "`vagrant box list | egrep '^buildserver\s+\((libvirt|virtualbox), [0-9]+\)$'`" ]; then
  74     vagrant box list
  75     echo "ERROR: buildserver box does not exist!"
  76     exit 1
  77 fi
  78
  79 # this can be handled in the jenkins job, or here:
  80 if [ -e fdroiddata ]; then
  81     cd fdroiddata
  82     while ! git fetch origin --tags --prune; do sleep 10; done
  83     git remote update -p
  84     git checkout master
  85     git reset --hard origin/master
  86     git clean -fdx
  87     cd ..
  88 else
  89     git clone --depth 1 https://gitlab.com/fdroid/fdroiddata.git fdroiddata
  90 fi
  91
  92 cd fdroiddata
  93 echo "build_server_always = True" > config.py
  94
  95 if [ -z $ANDROID_HOME ]; then
  96     if [ -e ~/.android/bashrc ]; then
  97         . ~/.android/bashrc
  98     else
  99         echo "ANDROID_HOME must be set!"
 100         exit 1
 101     fi
 102 fi
 103
 104 # if it can't build fdroid, then its really broken
 105 ../fdroid build --verbose --stop --latest org.fdroid.fdroid
 106 # Gradle, JNI, preassemble
 107 ../fdroid build --verbose --stop org.adaway:55
 108 # building old versions should still work
 109 ../fdroid build --verbose --stop org.fdroid.fdroid:96150
 110 # test OTA update ZIP build and publish
 111 ../fdroid build --verbose --stop org.fdroid.fdroid.privileged.ota:2070