chiark / gitweb /
@@ -1,4 +1,4 @@
[chiark-utils.git] / backup / full
index d3efa171894b752bb047f55049af0b6a47c3f7bb..02b5b0c60d89b41ba85a068335cf1e59af39dd5f 100755 (executable)
@@ -1,24 +1,56 @@
 #!/usr/bin/perl
+# full
+# Main backup script - does a full dump or execs increm.  Do NOT run directly!
+#
+# This file is part of chiark backup, a system for backing up GNU/Linux and
+# other UN*X-compatible machines, as used on chiark.greenend.org.uk.
+#
+# chiark backup is:
+#  Copyright (C) 1997-1998,2000-2001 Ian Jackson <ian@chiark.greenend.org.uk>
+#  Copyright (C) 1999 Peter Maydell <pmaydell@chiark.greenend.org.uk>
+#
+# This is free software; you can redistribute it and/or modify it under the
+# terms of the GNU General Public License as published by the Free Software
+# Foundation; either version 2, or (at your option) any later version.
+#
+# This is distributed in the hope that it will be useful, but WITHOUT ANY
+# WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
+# FOR A PARTICULAR PURPOSE.  See the GNU General Public License for more
+# details.
+#
+# You should have received a copy of the GNU General Public License along
+# with this program; if not, write to the Free Software Foundation, Inc.,
+# 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
 
 BEGIN {
-    $etc= '/etc/backup';
+    $etc= '/etc/chiark-backup';
     require "$etc/settings.pl";
     require 'backuplib.pl';
 }
 
 $|=1;
 
+# Check to see whether the tape.nn and fsys.nn files are sane.
+# checkallused checks that all the filesystems mounted are in fact
+# dumped in both full and incremental dumps.
+setstatus "FAILED configuration check";
 print "Configuration check ...\n" or die $!;
-system 'checkallused'; $? and die $?;
+system 'backup-checkallused'; $? and die $?;
 
 printdate();
 
+setstatus "FAILED reading TAPEID";
+# Try to read the tape ID from the tape into the file TAPEID
 unlink 'TAPEID';
+system "mt -f $tape rewind"; $? and die $?;
 system "mt -f $tape setblk $blocksizebytes"; $? and die $?;
 system "dd if=$tape bs=${blocksize}b count=10 | tar -b$blocksize -vvxf - TAPEID";
 
 setstatus "FAILED during startup";
 
+# We need some ID; if the tape has one already that takes precedence;
+# otherwise the user might have set a tape ID that this should be
+# by creating really-TAPEID.
 if (open T, "TAPEID") {
     unlink 'really-TAPEID';
 } elsif (open T, "really-TAPEID") {
@@ -26,6 +58,7 @@ if (open T, "TAPEID") {
     die "No TAPEID.\n";
 }
 
+# read the ID; it had better be a non-empty string of alphanumeric chars.
 chomp($tapeid= <T>);
 $tapeid =~ m/[^0-9a-zA-Z]/ and die "Bad TAPEID ($&).\n";
 $tapeid =~ m/[0-9a-zA-Z]/ or die "Empty TAPEID.\n";
@@ -33,6 +66,7 @@ close T;
 
 setstatus "FAILED at tape identity check";
 
+# We don't let the user overwrite the tape used for the last backup.
 if (open L, "last-tape") {
     chomp($lasttape= <L>);
     close L;
@@ -42,6 +76,24 @@ if (open L, "last-tape") {
 
 die "Tape $tapeid same as last time.\n" if $tapeid eq $lasttape;
 
+# $tapeid identifies the individual tape; $tapedesc is its current
+# identity and function, for printing in messages.  You can make these
+# namespaces the same if you like, or you can make the tape.<tapeid>
+# files be links to tape.<tapedesc> files.
+if (defined($tapedesc= readlink "$etc/tape.$tapeid")) {
+    $tapedesc =~ s/^.*\.//;
+    $tapedesc .= "($tapeid)";
+} else {
+    $tapedesc = $tapeid;
+}
+
+# Parse the appropriate tape.nn file.
+# Format is: empty lines and lines starting '#' are ignored. Trailing
+# whitespace is ignored. File must end with 'end' on a line by itself.
+# Either there should be a line 'incremental' to indicate that this is
+# a tape for incremental backups, or a pair of lines 'filesystems fsg'
+# and 'next tapeid', indicating that this tape is part of a full 
+# backup, containing the filesystem group fsg. 
 undef $fsys;
 open D, "$etc/tape.$tapeid" or die "Unknown tape $tapeid ($!).\n";
 for (;;) {
@@ -61,24 +113,25 @@ for (;;) {
 }
 close D or die $!;
 
+# Incremental backups are handled by increm, not us.
 if ($incremental) {
     die "incremental tape $tapeid has next or filesystems\n"
        if defined($next) || defined($fsys);
     print STDERR "Incremental tape $tapeid.\n\n";
     setstatus "FAILED during incremental startup";
-    exec "increm $tapeid";
+    exec "increm",$tapeid,$tapedesc;
     die $!;
 }
 
+# Read the filesystem group definition (file fsys.nnn)
 readfsys("$fsys");
 openlog();
 
-$doing= "dump of $fsys to tape $tapeid in drive $tape";
+$doing= "dump of $fsys to tape $tapedesc in drive $tape";
 print LOG "$doing:\n" or die $!;
 
-system "mt -f $tape rewind"; $? and die $?;
-system "mt -f $tape retension"; $? and die $?;
-
+setstatus "FAILED writing tape ID";
+# First write the tape ID to this tape.
 open T, ">TAPEID" or die $!;
 print T "$tapeid\n" or die $!;
 close T or die $!;
@@ -100,6 +153,17 @@ sub closepipes () {
     close(DUMPOW); close(TEEOW); close(BUFOW); close(FINDOW);
 }
 
+# work out a find option string that will exclude the required files    
+# Note that dump pays no attention to exclude options.
+$exclopt = '';
+foreach $exc (@excldir) {
+    $exclopt .= "-regex $exc -prune -o ";
+}
+foreach $exc (@excl) {
+    $exclopt .= "-regex $exc -o ";
+}
+
+# For each filesystem to be put on this tape:
 for $tf (@fsys) {
     printdate();
     pipe(FINDOR,FINDOW) or die $!;
@@ -107,14 +171,29 @@ for $tf (@fsys) {
     pipe(TEEOR,TEEOW) or die $!;
     pipe(BUFOR,BUFOW) or die $!;
     parsefsys();
+    
+    # We can back up via dump or cpio or zafio
     if ($tm eq 'dump') {
        $dumpcmd= "dump 0bfu $softblocksizekb - $atf";
        $dumpin= '</dev/null';
-    } else {
+    } elsif ($tm eq 'cpio') {
        startprocess '</dev/null','>&FINDOW',$rstr."find $atf -xdev -noleaf -print0";
        $dumpcmd= "cpio -Hustar -o0C$softblocksizebytes";
        $dumpin= '<&FINDOR';
+    } elsif ($tm eq 'zafio') {
+        # compress-each-file-then-archive using afio
+        startprocess '</dev/null','>&FINDOW',$rstr."find $atf -xdev -noleaf $exclopt -print";
+        # don't use verbose flag as this generates 2MB report emails :->
+        $dumpcmd = "afio -b $softblocksizebytes -Zo -";
+        $dumpin = '<&FINDOR';
+    } else {
+       die "unknown method $tm for $prefix:$atf\n";
     }
+    # This is a funky way of doing a pipeline which pays attention
+    # to the exit status of all the commands in the pipeline.
+    # It is roughly equivalent to:
+    #    md5sum <p >>this-md5sums
+    #    dump <$dumpin | tee p | writebuffer | dd >/dev/null
     startprocess '<p','>>this-md5sums','md5sum';
     startprocess $dumpin,'>&DUMPOW',$rstr.$dumpcmd;
     startprocess '<&DUMPOR','>&TEEOW','tee p';
@@ -125,17 +204,21 @@ for $tf (@fsys) {
     endprocesses();
 }
 
+# The backup should now be complete; verify it
+
 setstatus "FAILED during check";
 
+# Rewind the tape and skip the TAPEID record
 system "mt -f $tape rewind"; $? and die $?;
 system "mt -f $ntape fsf 1"; $? and die $?;
 
+# Check the md5sums match for each filesystem on the tape
 open S,"this-md5sums" or die $!;
 for $tf (@fsys) {
     printdate();
     chomp($orgsum= <S>);
     $orgsum =~ m/^[0-9a-fA-F]{32}$/i or die "orgsum \`$orgsum' ?";
-    chomp($csum= `readbuffer <$ntape | md5sum`);
+    chomp($csum= `dd if=$ntape ibs=$blocksizebytes | readbuffer | md5sum`);
     $orgsum eq $csum or die "MISMATCH $tf $csum $orgsum\n";
     print "checksum ok $csum\t$tf\n" or die $!;
     print LOG "checksum ok $csum\t$tf\n" or die $!;
@@ -145,15 +228,21 @@ system "mt -f $tape rewind"; $? and die $?;
 
 setstatus "FAILED during cleanup";
 
+# Write to some status files to indicate what the backup system
+# ought to do when next invoked.
+# reset incremental backup count to 1.
 open IAN,">increm-advance.new" or die $!;
 print IAN "1\n" or die $!;
 close IAN or die $!;
 
+# Next full backup is whatever the next link in the tape description
+# file says it ought to be.
 open TN,">next-full.new" or die $!;
 print TN "$next\n" or die $!;
 close TN or die $!;
 
 unlink 'last-tape','next-full';
+# We are the last tape to have been backed up
 rename 'TAPEID','last-tape' or die $!;
 rename 'this-md5sums',"md5sums.$fsys" or die $!;
 rename 'log',"log.$fsys" or die $!;
@@ -162,5 +251,5 @@ rename 'increm-advance.new',"increm-advance" or die $!;
 
 print "$doing completed.\nNext dump tape is $next.\n" or die $!;
 
-setstatus "Successful ($tapeid $fsys, next $next)";
+setstatus "Successful: $tapedesc $fsys, next $next";
 exit 0;