chiark / gitweb /
README: document trouble with tricky packages, and submodules
[nailing-cargo.git] / nailing-cargo
index ff658530a1b6c80c4c5f55c2b9a0c0fcea7636dc..c9ee071e3f578305207da6ba4440408434ff54cf 100755 (executable)
@@ -27,7 +27,11 @@ options:
   -h --help                       Print this message
   --doc --man --manual            Display complete manual (in w3m)
   --leave-nailed                  Leave the nailed Cargo.toml in place
-  --just-linkfarm | --clean-linkfarm | --keep-linkfarm (default)
+  -E | --edits-sources            Allow source edits (repeat: file creation)
+  -f | --force                    Override some warnings
+  --linkfarm[=no|shallow|git|full]        (default varies, usually "no")
+  --just-linkfarm | --clean-linkfarm | --keep-linkfarm (default is keep)
+  --[no-]preclean-build[=no|src|full]               (default is no)
   --just-run                      Run the command, don't do cargo stuff
   --no-nail                       Do not nail, just run the command.
   --no-cargo-lock-manip           Do not manipulate Cargo.lock.
@@ -49,6 +53,7 @@ use Cwd qw(realpath);
 our $base_path;
 our %archmap = (
     RPI => 'arm-unknown-linux-gnueabihf',
+    WASM => 'wasm32-unknown-unknown',
 );
 
 BEGIN {
@@ -94,6 +99,7 @@ our $online;
 our $just_linkfarm;
 our $leave_nailed;
 our $oot_clean;
+our $oot_preclean;
 our $do_nail=1;
 our $do_cargo_lock=1;
 our $do_lock=1;
@@ -101,16 +107,24 @@ our $linkfarm_depth;
 
 #
 our %subcmd_props = (
-# build (default)  =>[qw(                                        )],
-'generate-lockfile'=>[qw( lock-update !target        !target-dir )],
- update            =>[qw( lock-update !target online             )],
- fetch             =>[qw(                     online !target-dir )],
+# build (default)  =>[qw(                                                )],
+ fetch             =>[qw(                     online   !target-dir       )],
+ fmt               =>[qw( !locked     !target !offline !target-dir edits )],
+'generate-lockfile'=>[qw( lock-update !target          !target-dir       )],
+ init              =>[qw(                                        creates )],
+ metadata          =>[qw(                              !target-dir       )],
+ miri              =>[qw( !locked             !offline  linkfarm-shallow )],
+ publish           =>[qw(                     !offline  linkfarm-gitclean )],
+ update            =>[qw( lock-update !target online                     )],
+ upgrades          =>[qw( !locked                      !target-dir       )],
                    );
 
-our @subcmd_xprops = qw(!manifest-path !offline !locked);
+our @subcmd_xprops = qw(!manifest-path);
 
 our @configs;
 our $verbose=1;
+our $force=0;
+our $forced=0;
 our ($noact,$dump);
 our $target;
 
@@ -126,6 +140,17 @@ sub show_manual () {
   die "$self: exec sh failed: $!";
 }
 
+sub forceable_warning ($) {
+  my ($m) = @_;
+  print STDERR "$self: *WARNING*: $m\n";
+  if ($force) {
+    print STDERR "$self: continuing because of --force...\n" unless $forced++;
+    return;
+  } else {
+    die "$self: Stopping due to warning (override with -f | --force)\n";
+  }
+}
+
 sub read_or_enoent ($) {
   my ($fn) = @_;
   if (!open R, '<', $fn) {
@@ -517,11 +542,12 @@ sub calculate () {
     my ($toml, $mf_org_subdir) = @{ $manifests{$mf} };
     foreach my $deps (get_dependency_tables $toml) {
       next unless $deps;
-      foreach my $p (keys %packagemap) {
-       my $info = $deps->{$p};
-       next unless defined $info;
+      foreach my $dep_key (keys %$deps) {
+       my $info = $deps->{$dep_key};
+       my $p = (ref $info ? $info->{package} : undef) // $dep_key;
+       next unless defined $packagemap{$p};
        next if $packagemap{$p}[1] eq $mf_org_subdir;
-       $deps->{$p} = $info = { } unless ref $info;
+       $deps->{$dep_key} = $info = { } unless ref $info; # was just version
        my $oldpath = $info->{path};
        delete $info->{version};
        my $newpath = $worksphere.'/'.$packagemap{$p}[0];
@@ -568,8 +594,26 @@ sub addargs () {
   $online //= 1 if subcmd_p('online');
   $online //= 0;
 
+  if (($linkfarm_depth//'') eq 'copy-edit-all') {
+    $oot_preclean //= 'src';
+    if ($oot_preclean !~ m/^(?:src|full)$/) {
+      forceable_warning
+ "-EE specified, but also --preclean=no; will probably leave your source tree full of junk";
+    }
+  }
+
+  if (subcmd_p('linkfarm-gitclean')) {
+    $linkfarm_depth //= 'git';
+    $oot_preclean //= 'src';
+  }
+
   $cargo_lock_update //= subcmd_p('lock-update');
-  $linkfarm_depth //= $cargo_lock_update ? 'shallow' : '';
+  $linkfarm_depth //=
+    subcmd_p('linkfarm-shallow') ? 'shallow' :
+    $cargo_lock_update           ? 'shallow' :
+    '';
+
+  $oot_preclean //= 'no';
 
   our @add;
 
@@ -594,6 +638,14 @@ sub addargs () {
 
   push @add, "--offline" unless $online || subcmd_p('!offline');
 
+  if (subcmd_p('creates') && $linkfarm_depth !~ m/^copy-edit-all/) {
+    forceable_warning
+ "this subcommand expects to create new source files; you probably want to specify --edits-sources twice aka -EE (which is not the default even now, for safety reasons)";
+  } elsif (subcmd_p('edits') && $linkfarm_depth !~ m/^copy-edit/) {
+    forceable_warning
+ "this subcommand expects to edit the source code; you probably want to specify --edits-sources aka -E (which is not the default even now, for safety reasons)";
+  }
+
   push @args_preface, @add if $pass_options;
   die if grep { m/ / } @add;
   $ENV{NAILINGCARGO_CARGO_OPTIONS} = "@add";
@@ -621,6 +673,11 @@ sub oot_massage_cmdline () {
         bld="$1"; shift; sd="$1"; shift; src="$1"; shift;  
         cd "$bld"; mkdir -p -- "$sd"; cd "$sd";
 END_BOTH
+    if ($oot_preclean ne 'no') {
+      $pre.= "find . -maxdepth 1 ! -path .";
+      $pre.= " ! -path ./target" if $oot_preclean ne 'full';
+      $pre.= " -print0 | xargs -0r rm -r --;"
+    }
     if ($linkfarm_depth eq 'shallow') {
       $pre.= <<'END_SHALLOW';
        clean () { find -lname "$src/*" -print0 | xargs -0r rm --; }; clean;
@@ -656,7 +713,7 @@ END_FILES_FULL
                symlink "$src/$_", "$_" or die "$_ $!";
        ' "$src";
 END_DEEP
-    } elsif ($linkfarm_depth eq 'copy-edit') {
+    } elsif ($linkfarm_depth =~ m/^copy-edit/) {
       $pre .= <<'END_COPY_EDIT';
        find -lname "$src/*" -print0 | xargs -0r rm --;
         (set -e; cd "$src"; git ls-files -c -z |
@@ -665,8 +722,17 @@ END_DEEP
           (set -e; cd "$src"; git ls-files -c -z) | xargs -0r rm -f --;
         };
 END_COPY_EDIT
-      $post .= <<'END_COPY_EDIT_BUNDLE';
+      if ($linkfarm_depth eq 'copy-edit-all') {
+        $post .= <<'END_COPY_EDIT_GENFILES_ALL';
+        find -xdev \( \( -name .git -o -path ./target -o -path ./nailing-cargo-update.tar \) -prune \) -o
+              \( -type l -o -type f \) -print0 |
+END_COPY_EDIT_GENFILES_ALL
+      } else {
+        $post .= <<'END_COPY_EDIT_GENFILES_GIT';
         (set -e; cd "$src"; git ls-files -c -z) |
+END_COPY_EDIT_GENFILES_GIT
+      }
+      $post .= <<'END_COPY_EDIT_BUNDLE';
         cpio -Hustar -o0 --quiet >"nailing-cargo-update.tar";
 END_COPY_EDIT_BUNDLE
     } else {
@@ -877,12 +943,22 @@ sub invoke () {
 }
 
 sub files_return_after_update () {
-  if ($linkfarm_depth eq 'copy-edit') {
-    system qw(sh -ec), <<'END', 'x', "$build_absdir";
+  if ($linkfarm_depth =~ m/^copy-edit/) {
+    my $tar_source_opts;
+    my $tar_stdin;
+    if ($linkfarm_depth eq 'copy-edit-all') {
+      $tar_source_opts = '--null --files-from=-';
+      $tar_stdin = <<'END_GIT_FILES';
       git ls-files -c -z | \
+END_GIT_FILES
+    } else {
+      $tar_source_opts = '--anchored --exclude=.git --exclude="*/.git" --exclude=target --exclude=nailing-cargo-update.tar';
+      $tar_stdin = '';
+    }
+    system qw(sh -ec), $tar_stdin . <<'END', 'x', "$build_absdir";
       tar -x --keep-newer-files --no-same-permissions --no-same-owner \
         --no-acls --no-selinux --no-xattrs --warning=no-ignore-newer \
-        -Hustar --null --files-from=- --force-local \
+        -Hustar $tar_source_opts --force-local \
         -f "$1/nailing-cargo-update.tar"
 END
   } elsif ($do_cargo_lock && $cargo_lock_update && !$just_linkfarm) {
@@ -955,6 +1031,11 @@ sub parse_args () {
     $not_a_nailing_opt->() unless m{^-};
     $not_a_nailing_opt->() if $_ eq '--';
 
+    my $edits_sources = sub {
+      $linkfarm_depth =
+       ($linkfarm_depth//'') eq 'copy-edit' ? 'copy-edit-all' : 'copy-edit';
+    };
+
     if ($_ eq '---') { # usage 2 or 3
       if (!@ARGV) {
        die "$self: --- must be followed by build command\n" unless $noact;
@@ -982,6 +1063,8 @@ sub parse_args () {
          $verbose=0;
        } elsif (s{^-n}{-}) {
          $noact++;
+       } elsif (s{^-f}{-}) {
+         $force++;
        } elsif (s{^-s(.+)}{-}s) {
          $cargo_subcmd = $1;
        } elsif (s{^-([uU])}{-}) {
@@ -990,6 +1073,8 @@ sub parse_args () {
          $pass_options = $1=~m/[a-z]/;
        } elsif (s{^-D}{-}) {
          $dump++;
+       } elsif (s{^-E}{-}) {
+         $edits_sources->();
        } elsif (s{^-T(.+)}{-}s) {
          $target = $1;
        } elsif (s{^-([oO])}{-}) {
@@ -1009,21 +1094,27 @@ sub parse_args () {
       $online = $1 eq 'on';
     } elsif (m{^--just-linkfarm(?:=(shallow|git|full))?$}) {
       $just_linkfarm = 1;
-      $linkfarm_depth = 1 if $1;
+      $linkfarm_depth = $1 if $1;
       $cargo_lock_update= 1; # will set $linkfarm_detph to 1 by default
     } elsif (m{^--linkfarm(?:=(no|shallow|git|full))?$}) {
       $linkfarm_depth = $1 || 'git';
     } elsif (m{^--edits?-sources?$}) {
-      $linkfarm_depth = 'copy-edit';
+      $edits_sources->();
+    } elsif (m{^--force$}) {
+      $force++;
     } elsif (m{^--just-run$}) {
       $do_nail = $do_cargo_lock = $do_lock = 0;
     } elsif (m{^--(clean|keep)-linkfarm$}) {
       $oot_clean = $1 eq 'clean';
-    } elsif (m{^--(no)?-nail$}) {
+    } elsif (m{^--(no-)?preclean-build$}) {
+      $oot_preclean = $1 ? 'no' : 'src';
+    } elsif (m{^--preclean-build=(no|src|full)$}) {
+      $oot_preclean = $1;
+    } elsif (m{^--(no-)?nail$}) {
       $do_nail = !$1;
-    } elsif (m{^--(no)?-cargo-lock-manip$}) {
+    } elsif (m{^--(no-)?cargo-lock-manip$}) {
       $do_cargo_lock = !$1;
-    } elsif (m{^--(no)?-concurrency-lock$}) {
+    } elsif (m{^--(no-)?concurrency-lock$}) {
       $do_lock = !$1;
     } elsif (m{^--leave-nailed$}) {
       $leave_nailed = 1;
@@ -1052,7 +1143,7 @@ sub parse_args () {
   if ($is_cargo) {
     @args_preface = shift @ARGV;
     while (defined($_ = shift @ARGV)) {
-      if (!m{^-}) { unshift @ARGV, $_; last; }
+      if (!m{^-|^\+}) { unshift @ARGV, $_; last; }
       if ($_ eq '--') { last; }
       push @args_preface, $_;
     }
@@ -1100,7 +1191,11 @@ if ($dump) {
                           subdir => $subdir,
                           oot_dir => $oot_dir,
                           oot_absdir => $oot_absdir,
-                          build_absdir => $build_absdir });
+                          build_absdir => $build_absdir,
+                          linkfarm_depth => $linkfarm_depth,
+                          oot_preclean => $oot_preclean,
+                          force => $force,,
+                          forced => $forced,});
   ' or die $@;
 }