chiark - git - mdw - profile/blob - bin/mdw-sbuild-server

   1 #! /bin/sh -e
   2 ###
   3 ### Build a Debian package on supported architectures
   4 ###
   5 ### (c) 2016 Mark Wooding
   6 ###
   7
   8 ###----- Licensing notice ---------------------------------------------------
   9 ###
  10 ### This program is free software; you can redistribute it and/or modify
  11 ### it under the terms of the GNU General Public License as published by
  12 ### the Free Software Foundation; either version 2 of the License, or
  13 ### (at your option) any later version.
  14 ###
  15 ### This program is distributed in the hope that it will be useful,
  16 ### but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 ### MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 ### GNU General Public License for more details.
  19 ###
  20 ### You should have received a copy of the GNU General Public License
  21 ### along with this program; if not, write to the Free Software Foundation,
  22 ### Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  23
  24 ###--------------------------------------------------------------------------
  25 ### Configuration.
  26
  27 unset buildroot default_targets parallel
  28 for i in \
  29   "/etc/mdw-sbuild.conf" \
  30   "${XDG_CONFIG_HOME-$HOME/.config}/mdw-sbuild.conf"
  31 do
  32   if [ -f "$i" ]; then . "$i"; fi
  33 done
  34 : ${buildroot=$HOME/build}
  35 : ${default_targets="wheezy-amd64 wheezy-i386"}
  36 : ${parallel=-j3}
  37 : ${DEB_BUILD_OPTIONS=parallel=4}; export DEB_BUILD_OPTIONS
  38
  39 ###--------------------------------------------------------------------------
  40 ### Some utilities.
  41
  42 prog=${0##*/}
  43
  44 fail () { echo >&2 "$prog: $*"; exit 1; }
  45 usage () { echo "usage: $prog [-ain] [-t TARGET] COMMAND [ARGUMENTS ...]"; }
  46 fail_usage () { usage >&2; exit 1; }
  47
  48 want_1 () {
  49   what=$1 pat=$2 type=$3; shift 3
  50   for i in "$@"; do
  51     [ $type "$i" ] || fail "$what not found: \`$i'"
  52   done
  53   case $# in
  54     1) ;;
  55     *) fail "expected exactly one $what matching \`$pat', but found $#" ;;
  56   esac
  57   echo "$1"
  58 }
  59
  60 ###--------------------------------------------------------------------------
  61 ### Parse options.
  62
  63 bogusp=nil archp=nil indepp=nil makeopts=""
  64 unset targets
  65
  66 while getopts "haint:" opt; do
  67   case $opt in
  68     h)
  69       usage
  70       cat <<EOF
  71
  72 Options:
  73         -h              Show this help text.
  74         -a              Build only architecture-dependent packages.
  75         -i              Build only architecture-neutral packages.
  76         -n              Don't actually do the build.
  77         -t TARGET       Build in TARGET build environment.
  78
  79 Commands available:
  80
  81         dir PROJECT/VERSION
  82                 Return a freshly-made directory for the source code to
  83                 go in.
  84
  85         build BUILDDIR
  86                 Build the package placed in BUILDDIR, which should contain
  87                 exactly one \`.dsc' file, and whatever source archive files
  88                 are necessary.
  89 EOF
  90       exit
  91       ;;
  92     a) archp=t ;;
  93     i) indepp=t ;;
  94     n) makeopts="${makeopts+$makeopts }-n" ;;
  95     t) targets="${targets+$targets }$OPTARG" ;;
  96     *) bogusp=nil ;;
  97   esac
  98 done
  99 shift $(( $OPTIND - 1 ))
 100
 101 case $bogusp in t) fail_usage ;; esac
 102 case $archp,$indepp in nil,nil) archp=t indepp=t ;; esac
 103 case ${targets+t} in t) ;; *) targets=$default_targets ;; esac
 104
 105 ###--------------------------------------------------------------------------
 106 ### Main work.
 107
 108 case "$#,$1" in
 109   0,*) fail_usage ;;
 110   *,*,*) fail "bad command name \`$1'" ;;
 111
 112   2,dir)
 113     ## dirname PROJECT/VERSION
 114
 115     ## Try to create a fresh build directory.
 116     dist=$2
 117     case "$dist" in */*/*) fail "bad distribution name \`$dist'" ;; esac
 118     proj=${dist%/*} ver=${dist#*/}
 119     cd "$buildroot"
 120     mkdir -p "$proj"
 121     cd "$proj"
 122     i=0
 123     winp=nil
 124     while [ $i -lt 50 ]; do
 125       i=$(( $i + 1 ))
 126
 127       ## Find a sequence number different from all of the existing builds of
 128       ## this version.
 129       nn=1
 130       for j in "$ver#"*; do
 131         case "$j" in "$ver#*") break ;; esac
 132         n=${j##*\#}
 133         if [ $nn -le $n ]; then nn=$(( $n + 1 )); fi
 134       done
 135
 136       ## Try to make the build directory.  This might not work if we're
 137       ## racing with another process, but that's why we're trying in a loop.
 138       if mkdir "$ver#$nn" >/dev/null 2>&1; then
 139         winp=t
 140         break
 141       fi
 142
 143       ## Make sure it actually failed because a directory appeared, rather
 144       ## than for some other reason.
 145       [ -e "$ver#$nn" ] || \
 146         fail "unexpectedly couldn't create \`$buildroot/$dist#$nn'"
 147     done
 148
 149     ## Make sure we actually succeeded.
 150     case $winp in t) ;; *) fail "failed to create build directory" ;; esac
 151
 152     ## Done.
 153     echo "$buildroot/$dist#$nn"
 154     ;;
 155
 156   *,dir)
 157     echo >&2 "usage: $prog dir PROJECT/VERSION"; exit 1 ;;
 158
 159   2,build)
 160     ## build BUILDDIR
 161
 162     ## Track down the build directory.
 163     builddir=$2
 164     cd "$builddir"
 165     dsc=$(want_1 "file" "*.dsc" -f *.dsc)
 166
 167     ## Figure out which targets need building.  If the `.dsc' file isn't
 168     ## telling, assume it needs building everywhere and let sbuild(1) sort
 169     ## out the mess.
 170     os=$(dpkg-architecture -qDEB_HOST_ARCH_OS)
 171     unset first rest; anyp=nil depp=nil allp=nil
 172     wantarchs=$(sed -n '/^[Aa]rchitecture:/ s/^[^:]*: *//p' "$dsc")
 173     : ${wantarchs:=any}
 174     unset buildarchs buildarchs_seen=:
 175
 176     ## Work through the available targets assigning builds to them.  This is
 177     ## actually a little tricky.
 178     for t in $targets; do
 179
 180       ## Dissect the target name.
 181       suite=${t%%-*} archs=${t#*-}
 182       case $archs in
 183         */*) target=${archs%/*} host=${archs#*/} ;;
 184         *) target=$archs host=$archs; t=$suite-$target/$host ;;
 185       esac
 186       case $buildarchs_seen in
 187         *:$target:*)
 188           ;;
 189         *)
 190           buildarchs=${buildarchs+$buildarchs }$target
 191           buildarchs_seen=$buildarchs_seen$target:
 192           ;;
 193       esac
 194
 195       ## Work through the architectures which we can build.
 196       for arch in $wantarchs; do
 197         case $arch in
 198           all)
 199             ## Package suitable for all architectures.
 200
 201             ## If we don't want to build architecture-neutral packages then
 202             ## there's nothing to do.
 203             case $indepp in nil) continue ;; esac
 204
 205             ## Pick this up if nobody has volunteered.  However, we should be
 206             ## ready to let some other architecture build this if it's going
 207             ## to build some architecture-dependent package too.
 208             case $anyp in nil) first=$t anyp=t allp=t ;; esac
 209             ;;
 210           *)
 211             ## There's at least one architecture-specific package.
 212
 213             ## If we don't want to build architecture-specific packages then
 214             ## there's nothing to do.
 215             case $archp in nil) continue ;; esac
 216
 217             ## If we can't build it then we shouldn't try.
 218             if ! dpkg-architecture -a"$os-$target" -i"$arch"; then
 219               continue
 220             fi
 221
 222             ## Decide whether we should take responsibility for the
 223             ## architecture-neutral packages.  If nobody's claimed them yet,
 224             ## or the previous claimant wasn't building architecture-specific
 225             ## packages, we should take over.
 226             case $depp in
 227               nil) first=$t depp=t anyp=t ;;
 228               t) rest="${rest+$rest }$t" ;;
 229             esac
 230             ;;
 231         esac
 232       done
 233     done
 234
 235     ## If we never found a match then we can't do anything.
 236     case $anyp in nil) echo "$prog: no packages to build"; exit 0 ;; esac
 237
 238     ## Figure out the right options to use.
 239     case $indepp in
 240       t) firstopt="--arch-all" ;;
 241       nil) firstopt="--no-arch-all" ;;
 242     esac
 243     case $archp in
 244       t) ;;
 245       nil) firstopt="$firstopt --debbuildopt=-A" ;;
 246     esac
 247
 248     ## Build a cheesy makefile to run these in parallel.
 249     cat >build.mk <<EOF
 250 ### -*-makefile-*-
 251 DSC = $dsc
 252 FIRST = $first
 253 REST = $rest
 254 sbuild-wrap = \\
 255         t=\$@; \\
 256         host=\$\${t\#\#*/} full=\$\${t%/*}; \\
 257         suite=\$\${full%%-*} target=\$\${full\#*-}; \\
 258         { echo started >build-status.\$\$full; \\
 259           sbuild \\
 260                 --dist=\$\$suite --build=\$\$host --host=\$\$target \\
 261                 --chroot=\$\$suite-\$\$host --verbose \$1 \$(DSC); \\
 262           rc=\$\$?; case \$\$rc in \\
 263             0) echo ok >build-status.\$\$full ;; \\
 264             *) echo failed rc=\$\$rc >build-status.\$\$full ;; \\
 265           esac; } | \\
 266         while IFS= read -r line; do \\
 267           printf "%s: %s\n" "\$\$full" "\$\$line"; \\
 268         done; \\
 269         read st _ <build-status.\$\$full && \\
 270         case \$\$st in ok) exit 0 ;; *) exit 1 ;; esac
 271 all: \$(FIRST) \$(REST)
 272 \$(FIRST):; \$(call sbuild-wrap,$firstopt)
 273 \$(REST):; \$(call sbuild-wrap,--no-arch-all)
 274 EOF
 275
 276     ## Make some marker files to say things are in progress.
 277     for i in $first $rest; do echo "starting" >build-status.${i%/*}; done
 278
 279     ## And we're ready to go.
 280     mkfifo pipeout
 281     cat pipeout& catpid=$!
 282     set +e; make -fbuild.mk $parallel $makeopts -k all >pipeout
 283     rc=$?; set -e
 284     wait $!
 285     rm build.mk pipeout build-status.*
 286     find . -maxdepth 1 -type l -exec rm {} \;
 287     exit $rc
 288     ;;
 289   build,*)
 290     echo >&2 "usage: $prog build BUILDDIR"; exit 1 ;;
 291
 292   *)
 293     fail "unknown command \`$1'"
 294     ;;
 295 esac
 296
 297 ###----- That's all, folks --------------------------------------------------