scripts/expire-iso8601

   1 #!/bin/bash
   2 set -e
   3                         usage () {
   4                         cat <<END
   5 usage:
   6   expire-iso8601 [<options>] <number>x<interval> [<number>x<interval> ...]
   7 options:
   8    -u<unitlen>  <interval> is measured in units of <unitlen> seconds
   9                    (default is 86400, so <interval> is in days)
  10    -s<slop>     allow kept items to be <slop> seconds shorter apart than
  11                    specified; default is 10% of <unitlen>
  12    -n           do not really delete
  13    -r           recursive removal (rm -r)
  14 example:
  15    /home/ian/junk/expire-iso8601 14x1 4x7
  16       uses units of 86400s (1 day) with a slop of 8640
  17       it keeps 14 daily items
  18        (that is 14 items, dated no less than 86400-8640 apart)
  19       and 4 weekly items
  20        (that is 4 items, dated no less than 7*86400-8640 apart)
  21       the 14 daily and 7 weekly items may be the same, or not
  22    There is no need to sort the list of <number>x<interval> pairs.
  23 exit status:
  24    0                   ok
  25    4                   rm failed
  26    8                   bad usage
  27    16                  catastrophic failure
  28 END
  29                         }
  30
  31 # Copyright 2006 Ian Jackson <ian@chiark.greenend.org.uk>
  32 #
  33 # This script and its documentation (if any) are free software; you
  34 # can redistribute it and/or modify them under the terms of the GNU
  35 # General Public License as published by the Free Software Foundation;
  36 # either version 3, or (at your option) any later version.
  37 #
  38 # chiark-named-conf and its manpage are distributed in the hope that
  39 # it will be useful, but WITHOUT ANY WARRANTY; without even the
  40 # implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR
  41 # PURPOSE.  See the GNU General Public License for more details.
  42 #
  43 # You should have received a copy of the GNU General Public License along
  44 # with this program; if not, consult the Free Software Foundation's
  45 # website at www.fsf.org, or the GNU Project website at www.gnu.org.
  46
  47
  48 trap 'exit 16' 0
  49 badusage () { echo >&2 "bad usage: $*"; usage >&2; trap '' 0; exit 8; }
  50
  51 #-------------------- argument parsing --------------------
  52
  53 alldigits () {
  54         [ "x${2##*[^0-9]}" = "x$2" ] || \
  55                 badusage "bad $1 \`$2'; must be all digits"
  56         [ "$2" ] || badusage "bad $2; must be nonempty"
  57         eval $1='$2'
  58 }
  59
  60 rm=rm
  61 recurse=''
  62 unit=86400
  63 slop=''
  64
  65 while [ $# -ge 1 ]; do
  66         arg=$1; shift
  67         case "$arg" in
  68         --|-)   break ;;
  69         --help) usage; exit 0 ;;
  70         --*)    badusage "unknown option $arg" ;;
  71         -*)
  72                 val=${arg#-?}
  73                 case "$arg" in
  74                 -n*)    rm=: ;;
  75                 -r*)    recurse=-r ;;
  76                 -u*)    alldigits unit "$val"; arg='' ;;
  77                 -s*)    alldigits slop "$val"; arg='' ;;
  78                 *)      badusage "unknown option ${1:0:2}" ;;
  79                 esac
  80                 arg=-${arg#-?}
  81                 if test "x$arg" != x-; then set -- "$arg" "$@"; fi
  82                 ;;
  83         *)      set "$arg" "$@"; break ;;
  84         esac
  85 done
  86
  87 [ $# -ge 1 ] || badusage 'too few arguments'
  88 [ "$slop" ] || slop=$(( $unit / 10 ))
  89
  90 for ni in "$@"; do
  91         case "$ni" in *x*);; *) badusage "bad <number>x<interval> $ni";; esac
  92         alldigits number "${ni%%x*}"
  93         alldigits interval "${ni#*x}"
  94 done
  95
  96 #-------------------- scanning the directory ----------
  97
  98 # We build in $l a list of the relevant filenames and the time_t's
  99 # they represent.
 100 #
 101 # Each entry in $l is $time_t/$filename, and the list is
 102 # newline-separated for the benefit of sort(1).
 103
 104 ls=0
 105 for cn in [0-9]*; do
 106         case "$cn" in
 107         ????-??-??)
 108                 conv="$cn";;
 109         ????-??-??T[0-2][0-9]+[0-9][0-9][0-9][0-9]|\
 110         ????-??-??T[0-2][0-9]:[0-6][0-9]+[0-9][0-9][0-9][0-9]|\
 111         ????-??-??T[0-2][0-9]:[0-6][0-9]:[0-6][0-9]+[0-9][0-9][0-9][0-9])
 112                 conv="${cn%T*} ${cn#*T}";;
 113         *)
 114                 echo >&2 "ignoring $cn"
 115                 continue;;
 116         esac
 117         cs=$(date -d "$conv" +%s)
 118         l="$cs/$cn
 119 $l"
 120 done
 121
 122 #-------------------- main computation --------------------
 123
 124 # We process each minimum/extent pair, to have it select a bunch of
 125 # versions to keep.  We annotate entries in $l: if we are keeping
 126 # an entry we prepend a colon; temporarily, if we are keeping an entry
 127 # because of this particular minimum/extent, we prepend a comma.
 128
 129 # For each minimum/extent pair we look at the list from most recent
 130 # to least recent,
 131 #   ie in order of increasing age
 132 #   ie in order of decreasing time_t
 133 # and each time we're more than min older than the last item we kept,
 134 # we mark the item to keep, until we have as many as we want.
 135 #
 136 # We build the new list (space-separated) in lnew.
 137
 138 l=$(sort -nr <<END
 139 $l
 140 END
 141 )
 142
 143 for ni in "$@"; do
 144         wantcount=${ni%x*}
 145
 146         div=1
 147
 148         while true; do
 149                 min=$(( (${ni#*x} * $unit) / $div - $slop ))
 150
 151                 ls=''
 152                 lnew=''
 153                 skipped=0
 154                 for ce in $l; do
 155                         cn=${ce#*/}; cl=${ce%%/*}
 156                         cs=${cl#,}; cs=${cs#:}
 157                         case $cl in ,*) ls=$cs; continue;; esac
 158                         if [ $wantcount != 0 ]; then
 159                                 if ! [ "$ls" ] || \
 160                                    [ $(( $ls - $cs )) -ge $min ]; then
 161                                         echo "keep (for $ni) $cn"
 162                                         ce=,$ce
 163                                         ls=$cs
 164                                         wantcount=$(( $wantcount - 1 ))
 165                                 else
 166                                         skipped=$(( $skipped+1 ))
 167                                 fi
 168                         fi
 169                         lnew="$lnew $ce"
 170                 done
 171                 l=$lnew
 172
 173                 if [ $wantcount = 0 ]; then break; fi
 174                 printf "%s" "insufficient (for $ni) by $wantcount"
 175                 if [ $skipped = 0 ]; then echo; break; fi
 176                 div=$(( $div * 2 ))
 177                 echo " shortening interval ${div}x"
 178         done
 179
 180         # s/([,:]+).*/:\1/g
 181         lnew=''
 182         for ce in $l; do
 183                 case $ce in ,*) ce=:${ce#,};; esac
 184                 case $ce in ::*) ce=${ce#:};; esac
 185                 lnew="$lnew $ce"
 186         done
 187         l=$lnew
 188 done
 189
 190 #-------------------- execution --------------------
 191
 192 trap '' 0
 193 exitstatus=0
 194
 195 nonbroken_echo () { (echo "$@"); }
 196 # While we have subprocesses, we have to avoid bash calling write(1,...)
 197 # because of a bug in bash (Debian #382798), so we arrange for a subshell
 198 # for each echo.
 199
 200 jobs=''
 201 for ce in $l; do
 202         case $ce in
 203         :*);;
 204         *)
 205                 cn=${ce#*/}
 206                 nonbroken_echo "expire $cn"
 207                 $rm $recurse -- $cn &
 208                 jobs="$jobs $!"
 209                 ;;
 210         esac
 211 done
 212
 213 if [ "$jobs" ]; then
 214         nonbroken_echo "all running"
 215 fi
 216
 217 for job in $jobs; do
 218         wait $job || exitstatus=4
 219 done
 220
 221 if [ $exitstatus = 0 ]; then
 222         echo "complete"
 223 else
 224         echo "complete, but problems deleting"
 225 fi
 226
 227 exit $exitstatus