chiark / gitweb /
README: document trouble with tricky packages, and submodules
[nailing-cargo.git] / nailing-cargo
index 72abb09f9573c844615615a86da85c4502cbe061..c9ee071e3f578305207da6ba4440408434ff54cf 100755 (executable)
@@ -1,20 +1,65 @@
 #!/usr/bin/perl -w
 # nailing-cargo: wrapper to use unpublished local crates
 # SPDX-License-Identifier: AGPL-3.0-or-later
+our $usage = <<'END';
+
+usages:
+
+  nailing-cargo <nailing-opts> <cargo-opts> [--] <subcmd>...
+  nailing-cargo <nailing-opts> --- <cargo> <cargo-opts> [--] <subcmd>...
+  nailing-cargo <nailing-opts> --- [--] <build-command>...
+
+options:
+
+  -v  Increase verbosity.  (Default is 1)
+  -q  Set verbosity to 0
+  -D  Increase amount of debugging dump.
+  -n  "No action": stop after writing Cargo.toml.nailing~
+      everywhere, and do not run any build command
+
+  -c  Do add cargo command line options      } default is add if
+  -C  Do not add cargo command line options  }  command is cargo
+
+  -o --online                     -O --offline
+  -u --cargo-lock-update          -U --no-cargo-lock-update
+
+  -T<arch>  --target=<arch>       Specify target architecture
+  -h --help                       Print this message
+  --doc --man --manual            Display complete manual (in w3m)
+  --leave-nailed                  Leave the nailed Cargo.toml in place
+  -E | --edits-sources            Allow source edits (repeat: file creation)
+  -f | --force                    Override some warnings
+  --linkfarm[=no|shallow|git|full]        (default varies, usually "no")
+  --just-linkfarm | --clean-linkfarm | --keep-linkfarm (default is keep)
+  --[no-]preclean-build[=no|src|full]               (default is no)
+  --just-run                      Run the command, don't do cargo stuff
+  --no-nail                       Do not nail, just run the command.
+  --no-cargo-lock-manip           Do not manipulate Cargo.lock.
+  --no-concurrency-lock           Do not take the concurrency lock.
+
+  -s<subcommand>                  Treat command as `cargo <subcommand>`
+  --subcommand-props=<prop>,...   Override command props (see docs)
+
+END
 
 our $self;
 
 use strict;
 use POSIX;
 use Types::Serialiser;
+use File::Glob qw(bsd_glob GLOB_ERR GLOB_BRACE GLOB_NOMAGIC);
+use Cwd qw(realpath);
 
+our $base_path;
 our %archmap = (
     RPI => 'arm-unknown-linux-gnueabihf',
+    WASM => 'wasm32-unknown-unknown',
 );
 
 BEGIN {
   $self = $0;  $self =~ s{^.*/(?=.)}{};
   my $deref = $0;
+  our $base_path;
   while ($deref =~ m{^/}) {
     my $link = readlink $deref;
     if (!defined $link) {
@@ -22,6 +67,7 @@ BEGIN {
        or die "$self: checking our script location $deref: $!\n";
       $deref =~ s{/[^/]+$}{}
        or die "$self: unexpected script path: $deref\n";
+      $base_path = $deref;
       unshift @INC, $deref."/TOML-Tiny/lib";
       last;
     }
@@ -50,22 +96,61 @@ our $alt_cargo_lock;
 our $cargo_lock_update;
 our $pass_options;
 our $online;
+our $just_linkfarm;
+our $leave_nailed;
+our $oot_clean;
+our $oot_preclean;
+our $do_nail=1;
+our $do_cargo_lock=1;
+our $do_lock=1;
+our $linkfarm_depth;
 
 #
 our %subcmd_props = (
-# build (default)  =>[qw(                                        )],
-'generate-lockfile'=>[qw( lock-update !target        !target-dir )],
- update            =>[qw( lock-update !target online             )],
- fetch             =>[qw(                     online !target-dir )],
+# build (default)  =>[qw(                                                )],
+ fetch             =>[qw(                     online   !target-dir       )],
+ fmt               =>[qw( !locked     !target !offline !target-dir edits )],
+'generate-lockfile'=>[qw( lock-update !target          !target-dir       )],
+ init              =>[qw(                                        creates )],
+ metadata          =>[qw(                              !target-dir       )],
+ miri              =>[qw( !locked             !offline  linkfarm-shallow )],
+ publish           =>[qw(                     !offline  linkfarm-gitclean )],
+ update            =>[qw( lock-update !target online                     )],
+ upgrades          =>[qw( !locked                      !target-dir       )],
                    );
 
-our @subcmd_xprops = qw(!manifest-path !offline !locked);
+our @subcmd_xprops = qw(!manifest-path);
 
 our @configs;
 our $verbose=1;
+our $force=0;
+our $forced=0;
 our ($noact,$dump);
 our $target;
 
+sub print_usage () {
+  print $usage or die $!;
+  exit 0;
+}
+
+sub show_manual () {
+  my $manual = ($base_path // '.').'/README.md';
+  stat $manual or die "$self: manual not found at $manual: $!\n";;
+  exec 'sh','-ec', 'pandoc -- "$1" 2>&1 | w3m -T text/html', '--', $manual;
+  die "$self: exec sh failed: $!";
+}
+
+sub forceable_warning ($) {
+  my ($m) = @_;
+  print STDERR "$self: *WARNING*: $m\n";
+  if ($force) {
+    print STDERR "$self: continuing because of --force...\n" unless $forced++;
+    return;
+  } else {
+    die "$self: Stopping due to warning (override with -f | --force)\n";
+  }
+}
+
 sub read_or_enoent ($) {
   my ($fn) = @_;
   if (!open R, '<', $fn) {
@@ -125,6 +210,8 @@ sub same_file ($$) {
 }
 
 sub takelock () {
+  return unless $do_lock;
+
   for (;;) {
     open LOCK, ">", $lockfile or die "$self: open/create $lockfile: $!\n";
     flock LOCK, LOCK_EX or die "$self: lock $lockfile: $!\n";
@@ -237,6 +324,24 @@ sub readnail () {
   unshift @configs, $nail;
 }
 
+sub get_dependency_tables ($) {
+  my ($toml) = @_;
+  my @keys = qw(dependencies build-dependencies dev-dependencies);
+  my @r;
+  my $process = sub {
+    my ($node) = @_;
+    foreach my $k (@keys) {
+      my $deps = $node->{$k};
+      push @r, $deps if $deps;
+    }
+  };
+  $process->($toml);
+  foreach my $target_node (values %{ $toml->{target} // { } }) {
+    $process->($target_node);
+  }
+  @r;
+}
+
 our @alt_cargo_lock_stat;
 
 sub consider_alt_cargo_lock () {
@@ -244,6 +349,8 @@ sub consider_alt_cargo_lock () {
   # User should *either* have Cargo.lock in .gitignore,
   # or expect to commit Cargo.lock.example ($alt_cargo_lock)
 
+  return unless $do_cargo_lock;
+
   $alt_cargo_lock = (cfg_uc @ck);
 
   my $force = 0;
@@ -272,88 +379,184 @@ sub consider_alt_cargo_lock () {
 }
 
 our $oot_dir;      # oot.dir or "Build"
+our $oot_absdir;
 
 sub consider_oot () {
   $oot_dir = cfgs qw(oot dir);
   my $use = cfgs qw(oot use);
   unless (defined($oot_dir) || defined($use) ||
          defined(cfg_uc qw(oot user))) {
-    die "$self: specified --cargo-lock-update but not out-of-tree build!\n"
-      if $cargo_lock_update;
-    $cargo_lock_update=0;
     return;
   }
   if (($use//'') eq 'disable') {
     $oot_dir = undef;
     return;
   }
+  $oot_clean //= cfg_bool qw(oot clean);
   $oot_dir //= 'Build';
+  $oot_absdir = ($oot_dir !~ m{^/} ? "$worksphere/" : ""). $oot_dir;
 }
 
 our %manifests;
 our %packagemap;
+our %workspaces;
+our @queued_paths;
 
-sub read_manifest ($) {
-  my ($subdir) = @_;
+sub read_manifest ($$$) {
+  my ($subdir, $org_subdir, $why) = @_;
   my $manifest = "../$subdir/Cargo.toml";
   print STDERR "$self: reading $manifest...\n" if $verbose>=4;
   if (defined $manifests{$manifest}) {
     print STDERR
- "$self: warning: $subdir: specified more than once!\n";
+ "$self: warning: $subdir: specified more than once!".
+ " (ignoring $why)\n";
     return undef;
   }
   foreach my $try ("$manifest.unnailed", "$manifest") {
-    my $toml = toml_or_enoent($try, "package manifest") // next;
+    my $toml = toml_or_enoent($try, "manifest, in $why") // next;
+    my $ws = $toml->{workspace};
+    if ($ws) {
+      queue_workspace_members($subdir, $org_subdir, $ws, "$subdir, $why");
+    }
     my $p = $toml->{package}{name};
-    if (!defined $p) {
+    if (!defined $p and !defined $ws) {
       print STDERR
- "$self: warning: $subdir: missing package.name in $try, ignoring\n";
+ "$self: warning: $subdir, $why: missing package.name in $try, ignoring\n";
       next;
     }
-    $manifests{$manifest} = $toml;
-    return $p;
+    $manifests{$manifest} = [ $toml, $org_subdir ] if $p;
+    foreach my $dep (get_dependency_tables $toml) {
+      next unless defined $dep->{path};
+      queue_referenced_path($dep->{path}, $org_subdir,
+                           "dependency of $subdir, $why");
+    }
+    return ($p, $ws);
   }
   return undef;
 }
 
+sub queue_workspace_members ($$) {
+  my ($subdir, $org_subdir, $ws_toml, $what) = @_;
+  # We need to (more or less) reimplement the cargo workspace
+  # membership algorithm (see the "workspaces" section of the cargo
+  # reference).  How tiresome.
+  #
+  # It's not quite the same for us because we aren't interested in
+  # whether cargo thinks things are "in the workspace".  But we do
+  # need to do the automatic discover.
+
+  my @include = @{ $ws_toml->{members} // [ ] };
+  my $exclude = $ws_toml->{exclude} // [ ];
+
+  my @exclude = map {
+    s/[^*?0-9a-zA-Z_]/\\$&/g;
+    s/\?/./g;
+    s/\*/.*/g;
+  } @$exclude;
+
+  foreach my $spec (@include) {
+    if ($spec =~ m{^/}) {
+      print STDERR
+       "$self: warning: absolute workspace member $spec in $what (not nailing, but cargo will probably use it)\n";
+      next;
+    }
+    my $spec_glob = "../$subdir/$spec";
+    my $globflags = GLOB_ERR|GLOB_BRACE|GLOB_NOMAGIC;
+    foreach my $globent (bsd_glob($spec_glob, $globflags)) {
+      next if grep { $globent =~ m{^$_$} } @exclude;
+      queue_referenced_path($globent, $org_subdir,
+                           "member of workspace $what");
+    }
+  }
+}
+
+sub queue_referenced_path ($$$) {
+  my ($spec_path, $org_subdir, $why) = @_;
+  open REALPATH, "-|",
+    qw(realpath), "--relative-to=../$org_subdir", "--", $spec_path
+    or die "$self: fork/pipe/exec for realpath(1)\n";
+  my $rel_path = do { local $/=undef; <REALPATH>; };
+  $?=0; $!=0;
+  my $r = close(REALPATH);
+  die "$self: reap realpath: $!\n" if $!;
+  if (!chomp($rel_path) or $?) {
+    print STDERR
+ "$self: warning: failed to determine realpath for $spec_path in $org_subdir (exit code $?)\n";
+    return;
+  }
+  if ($rel_path =~ m{^\.\./} or $rel_path eq '..') {
+    print STDERR
+      "$self: warning: $spec_path ($why) points outside $org_subdir, not following so not nailing (although cargo probably will follow it)\n";
+    return;
+  }
+
+  my $q_subdir = "$org_subdir/$rel_path";
+  print STDERR "$self: making a note to look at $q_subdir, $why)\n"
+    if $verbose >= 4;
+
+  push @queued_paths, [ "$q_subdir", $org_subdir, $why ];
+}
+
 sub readorigs () {
+  # We (and our callees) populate %packagemap and %manifest, so if we
+  # don't run, they remain empty and nothing is nailed.
+  return unless $do_nail;
+
   foreach my $p (keys %{ $nail->{packages} }) {
     my $v = $nail->{packages}{$p};
     my $subdir = ref($v) ? $v->{subdir} : $v;
-    my $gotpackage = read_manifest($subdir) // '<nothing!>';
+    my ($gotpackage, $ws) = read_manifest($subdir, $subdir, "from [packages]");
+    $gotpackage //= '<nothing!>';
     if ($gotpackage ne $p) {
       print STDERR
  "$self: warning: honouring Cargo.nail packages.$subdir=$p even though $subdir contains package $gotpackage!\n";
     }
     die if defined $packagemap{$p};
-    $packagemap{$p} = $subdir;
+    $packagemap{$p} = [ $subdir, $subdir ];
   }
   foreach my $subdir (@{ $nail->{subdirs} }) {
-    my $gotpackage = read_manifest($subdir);
+    my ($gotpackage,$ws) = read_manifest($subdir, $subdir, "from [subdirs]");
     if (!defined $gotpackage) {
       print STDERR
- "$self: warning: ignoring subdir $subdir which has no Cargo.toml\n";
+ "$self: warning: ignoring subdir $subdir which has no (suitable) Cargo.toml\n"
+        unless $ws;
       next;
     }
-    $packagemap{$gotpackage} //= $subdir;
+    $packagemap{$gotpackage} //= [ $subdir, $subdir ];
+  }
+  while (my ($subdir, $org_subdir, $why) = @{ shift @queued_paths or [] }) {
+    next if $manifests{"../$subdir/Cargo.toml"};
+    my ($gotpackage, $ws) = read_manifest($subdir, $org_subdir, $why);
+    next unless $gotpackage;
+    $packagemap{$gotpackage} //= [ $subdir, $org_subdir ];
   }
 }
 
 sub calculate () {
   foreach my $p (sort keys %packagemap) {
-    print STDERR "$self: package $p in $packagemap{$p}\n" if $verbose>=2;
+    print STDERR "$self: package $p in $packagemap{$p}[0]\n" if $verbose>=2;
   }
   foreach my $mf (keys %manifests) {
-    my $toml = $manifests{$mf};
-    foreach my $k (qw(dependencies build-dependencies dev-dependencies)) {
-      my $deps = $toml->{$k};
+    die "internal error" unless $do_nail; # belt and braces
+
+    my ($toml, $mf_org_subdir) = @{ $manifests{$mf} };
+    foreach my $deps (get_dependency_tables $toml) {
       next unless $deps;
-      foreach my $p (keys %packagemap) {
-       my $info = $deps->{$p};
-       next unless defined $info;
-       $deps->{$p} = $info = { } unless ref $info;
+      foreach my $dep_key (keys %$deps) {
+       my $info = $deps->{$dep_key};
+       my $p = (ref $info ? $info->{package} : undef) // $dep_key;
+       next unless defined $packagemap{$p};
+       next if $packagemap{$p}[1] eq $mf_org_subdir;
+       $deps->{$dep_key} = $info = { } unless ref $info; # was just version
+       my $oldpath = $info->{path};
        delete $info->{version};
-       $info->{path} = $worksphere.'/'.$packagemap{$p};
+       my $newpath = $worksphere.'/'.$packagemap{$p}[0];
+       print STDERR "in $mf set $p path=$newpath (was ".
+         ($oldpath // '<unset>').")\n"
+         if $verbose >= 4;
+       $info->{path} = $newpath;
+       delete $info->{git};
+       delete $info->{branch};
       }
     }
     my $nailing = "$mf.nailing~";
@@ -365,16 +568,59 @@ sub calculate () {
 }
 
 sub addargs () {
-  $online = 1 if subcmd_p('online');
-  $online //= cfg_bool qw(misc online);
+  if ($just_linkfarm) {
+    die "$self: --just-linkfarm but not doing out-of-tree builds!\n"
+      unless defined $oot_dir;
+    @ARGV = ();
+    return;
+  }
+
+  if (!defined $online) {
+    $_ = cfg_uc qw(misc online);
+    if (!defined $_) {
+    } elsif (Types::Serialiser::is_bool $_) {
+      $online = $_;
+    } elsif (ref $_) {
+    } elsif (m/^a/) {
+      $online = undef;
+    } elsif (m/^[1ty]/) { # allow booleanish strings
+      $online = 1;        # for less user frustration
+    } elsif (m/^[0fn]/) {
+      $online = 0;
+    } else {
+      badcfg qw(misc online), "expected boolean or 'auto', found '$_'";
+    }
+  }
+  $online //= 1 if subcmd_p('online');
   $online //= 0;
 
+  if (($linkfarm_depth//'') eq 'copy-edit-all') {
+    $oot_preclean //= 'src';
+    if ($oot_preclean !~ m/^(?:src|full)$/) {
+      forceable_warning
+ "-EE specified, but also --preclean=no; will probably leave your source tree full of junk";
+    }
+  }
+
+  if (subcmd_p('linkfarm-gitclean')) {
+    $linkfarm_depth //= 'git';
+    $oot_preclean //= 'src';
+  }
+
   $cargo_lock_update //= subcmd_p('lock-update');
+  $linkfarm_depth //=
+    subcmd_p('linkfarm-shallow') ? 'shallow' :
+    $cargo_lock_update           ? 'shallow' :
+    '';
+
+  $oot_preclean //= 'no';
 
   our @add;
 
   if (!$cargo_lock_update) {
     push @add, qw(--locked) unless subcmd_p('!locked');
+  }
+  if ($linkfarm_depth eq '') {
     if (defined($oot_dir) && !subcmd_p('!manifest-path')) {
       my $cargotoml = "${src_absdir}/Cargo.toml";
       push @args_preface, "--manifest-path=$cargotoml" if $pass_options;
@@ -392,6 +638,14 @@ sub addargs () {
 
   push @add, "--offline" unless $online || subcmd_p('!offline');
 
+  if (subcmd_p('creates') && $linkfarm_depth !~ m/^copy-edit-all/) {
+    forceable_warning
+ "this subcommand expects to create new source files; you probably want to specify --edits-sources twice aka -EE (which is not the default even now, for safety reasons)";
+  } elsif (subcmd_p('edits') && $linkfarm_depth !~ m/^copy-edit/) {
+    forceable_warning
+ "this subcommand expects to edit the source code; you probably want to specify --edits-sources aka -E (which is not the default even now, for safety reasons)";
+  }
+
   push @args_preface, @add if $pass_options;
   die if grep { m/ / } @add;
   $ENV{NAILINGCARGO_CARGO_OPTIONS} = "@add";
@@ -399,7 +653,6 @@ sub addargs () {
   unshift @ARGV, @args_preface;
 }
 
-our $oot_absdir;
 our $build_absdir; # .../Build/<subdir>
 
 sub oot_massage_cmdline () {
@@ -407,34 +660,93 @@ sub oot_massage_cmdline () {
 
   my $use = cfgs qw(oot use);
   $use // die "$self: out-of-tree build, but \`oot.use' not configured\n";
-  $oot_absdir = ($oot_dir !~ m{^/} ? "$worksphere/" : ""). $oot_dir;
   $build_absdir = "$oot_absdir/$subdir";
 
-  my ($pre,$post);
+  my ($pre,$post) = ('','');
   my @xargs;
-  if (!$cargo_lock_update) {
+  if ($linkfarm_depth eq '') {
     push @xargs, $build_absdir;
     ($pre, $post) = ('cd "$1"; shift; ', '');
   } else {
     push @xargs, $oot_absdir, $subdir, $src_absdir;
-    $pre =  <<'END';
-        cd "$1"; shift;
-        mkdir -p -- "$1"; cd "$1"; shift;
-        cp -- "$1"/Cargo.toml
-END
-    $pre .= <<'ENDLK' if stat_exists 'Cargo.lock', 'working cargo lockfile';
-              "$1"/Cargo.lock
+    $pre = <<'END_BOTH';
+        bld="$1"; shift; sd="$1"; shift; src="$1"; shift;  
+        cd "$bld"; mkdir -p -- "$sd"; cd "$sd";
+END_BOTH
+    if ($oot_preclean ne 'no') {
+      $pre.= "find . -maxdepth 1 ! -path .";
+      $pre.= " ! -path ./target" if $oot_preclean ne 'full';
+      $pre.= " -print0 | xargs -0r rm -r --;"
+    }
+    if ($linkfarm_depth eq 'shallow') {
+      $pre.= <<'END_SHALLOW';
+       clean () { find -lname "$src/*" -print0 | xargs -0r rm --; }; clean;
+       find "$src" -maxdepth 1 \! -name Cargo.lock -print0 |
+       xargs -0r sh -ec 'for f in "$@"; do
+               rm -rf "${f##*/}";
+               ln -sf -- "$f" .;
+       done';
+END_SHALLOW
+    } elsif ($linkfarm_depth =~ /full|git/) {
+      $pre .= <<'END_EITHER_DEEP_DIRS';
+       clean () { find -follow -lname "$src/*" -print0 | xargs -0r rm --; };
+       (set -e; cd "$src"; find . \! -name Cargo.lock \! \( -name .git -prune \) \! -path . \! -name .git -type d -print0) |
+       xargs -0r sh -ec 'for f in "$@"; do
+               rm -f "$f" 2>/dev/null ||:;
+               mkdir -p "$f";
+       done' x;
+END_EITHER_DEEP_DIRS
+      if ($linkfarm_depth eq 'git') {
+       $pre .= <<'END_FILES_GIT'
+        (set -e; cd "$src"; git ls-files --exclude-standard -co -z) |
+END_FILES_GIT
+      } elsif ($linkfarm_depth eq 'full') {
+       $pre .= <<'END_FILES_FULL'
+       (set -e; cd "$src"; find . \! -name Cargo.lock \! \( -name .git -prune \) \! -type d -print0) |
+END_FILES_FULL
+      }
+      $pre .= <<'END_DEEP';
+       perl -0 -ne '
+               BEGIN { $src=shift @ARGV; }
+               next if (readlink "$_"//"") eq "$src/$_";
+               unlink "$_";
+               symlink "$src/$_", "$_" or die "$_ $!";
+       ' "$src";
+END_DEEP
+    } elsif ($linkfarm_depth =~ m/^copy-edit/) {
+      $pre .= <<'END_COPY_EDIT';
+       find -lname "$src/*" -print0 | xargs -0r rm --;
+        (set -e; cd "$src"; git ls-files -c -z |
+        cpio --quiet -p0m --no-preserve-owner -u --make-directories "$bld/$sd");
+       clean () {
+          (set -e; cd "$src"; git ls-files -c -z) | xargs -0r rm -f --;
+        };
+END_COPY_EDIT
+      if ($linkfarm_depth eq 'copy-edit-all') {
+        $post .= <<'END_COPY_EDIT_GENFILES_ALL';
+        find -xdev \( \( -name .git -o -path ./target -o -path ./nailing-cargo-update.tar \) -prune \) -o
+              \( -type l -o -type f \) -print0 |
+END_COPY_EDIT_GENFILES_ALL
+      } else {
+        $post .= <<'END_COPY_EDIT_GENFILES_GIT';
+        (set -e; cd "$src"; git ls-files -c -z) |
+END_COPY_EDIT_GENFILES_GIT
+      }
+      $post .= <<'END_COPY_EDIT_BUNDLE';
+        cpio -Hustar -o0 --quiet >"nailing-cargo-update.tar";
+END_COPY_EDIT_BUNDLE
+    } else {
+       die "$linkfarm_depth ?";
+    }
+    $pre .= <<'ENDLK' if $do_cargo_lock;
+       if test -e Cargo.lock; then
+         rm -f Cargo.lock;
+          cp -- "$src"/Cargo.lock .;
+        fi;
 ENDLK
-    $pre .= <<'ENDCP';
-                              .;
-ENDCP
-    $pre .= <<'ENDPRE';
-        shift;
-        mkdir -p src; >src/lib.rs; >build.rs
-ENDPRE
-    $post = <<'ENDPOST';
-        rm -r src Cargo.toml build.rs;
-ENDPOST
+    $post .= <<'ENDCLEAN' if $oot_clean && !$just_linkfarm;
+        clean;
+ENDCLEAN
   }
   my $addpath = (cfg_uc qw(oot path_add)) //
     $use eq 'really' ? Types::Serialiser::true : Types::Serialiser::false;
@@ -501,7 +813,7 @@ END
 }
 
 sub setenvs () {
-  $ENV{CARGO_MANIFEST_DIR} = $src_absdir;
+  $ENV{CARGO_MANIFEST_DIR} = $src_absdir unless $linkfarm_depth;
   $ENV{NAILINGCARGO_MANIFEST_DIR} = $src_absdir;
   $ENV{NAILINGCARGO_WORKSPHERE}   = $worksphere;
   $ENV{NAILINGCARGO_BUILDSPHERE}  = $oot_absdir;
@@ -521,6 +833,16 @@ END {
   }
 }
 
+sub consider_directories () {
+  return unless defined $oot_dir;
+  my $bsubdir = "../$oot_dir/$subdir";
+  return if stat $bsubdir;
+  die "$0: build directory $bsubdir inaccessible\n"
+    unless $!==ENOENT;
+  return if $cargo_lock_update; # will make it
+  die "$0: build directory $bsubdir does not exist, and not in Cargo.lock update mode!\n";
+}
+
 our $cleanup_cargo_lock;
 sub makebackups () {
   foreach my $mf (keys %manifests) {
@@ -529,6 +851,7 @@ sub makebackups () {
   }
 
   if (defined($alt_cargo_lock)) {
+    die 'internal error' unless $do_cargo_lock;
     if (@alt_cargo_lock_stat) {
       print STDERR "$self: using alt_cargo_lock `$alt_cargo_lock'..."
        if $verbose>=3;
@@ -597,7 +920,7 @@ sub install () {
     print STDERR "$self: nailed $mf\n" if $verbose>=3;
   }
 
-  if (@our_unfound_stab) {
+  if (@our_unfound_stab && $do_nail) {
     print STDERR
  "$self: *WARNING* cwd is not in Cargo.nail thbough it has Cargo.toml!\n";
   }
@@ -619,8 +942,26 @@ sub invoke () {
   }
 }
 
-sub cargo_lock_update_after () {
-  if ($cargo_lock_update) {
+sub files_return_after_update () {
+  if ($linkfarm_depth =~ m/^copy-edit/) {
+    my $tar_source_opts;
+    my $tar_stdin;
+    if ($linkfarm_depth eq 'copy-edit-all') {
+      $tar_source_opts = '--null --files-from=-';
+      $tar_stdin = <<'END_GIT_FILES';
+      git ls-files -c -z | \
+END_GIT_FILES
+    } else {
+      $tar_source_opts = '--anchored --exclude=.git --exclude="*/.git" --exclude=target --exclude=nailing-cargo-update.tar';
+      $tar_stdin = '';
+    }
+    system qw(sh -ec), $tar_stdin . <<'END', 'x', "$build_absdir";
+      tar -x --keep-newer-files --no-same-permissions --no-same-owner \
+        --no-acls --no-selinux --no-xattrs --warning=no-ignore-newer \
+        -Hustar $tar_source_opts --force-local \
+        -f "$1/nailing-cargo-update.tar"
+END
+  } elsif ($do_cargo_lock && $cargo_lock_update && !$just_linkfarm) {
     # avoids importing File::Copy and the error handling is about as good
     $!=0; $?=0;
     my $r= system qw(cp --), "$build_absdir/Cargo.lock", "Cargo.lock";
@@ -639,7 +980,7 @@ sub uninstall1 ($$) {
 sub unaltcargolock ($) {
   my ($enoentok) = @_;
   return unless $cleanup_cargo_lock;
-  die 'internal error!' unless defined $alt_cargo_lock;
+  die 'internal error!' unless $do_cargo_lock && defined $alt_cargo_lock;
 
   # we ignore $enoentok because we don't know if one was supposed to
   # have been created.
@@ -671,7 +1012,11 @@ sub parse_args () {
   #    $is_cargo==0   <build-command>...
 
  OPTS: for (;;) {
-    @ARGV or die "$self: need cargo subcommand\n";
+    if (!@ARGV) {
+      die "$self: need cargo subcommand\n"
+       unless $noact || $just_linkfarm;;
+      push @ARGV, "CARGO-SUBCOMMAND"; # dummy, user may see it
+    }
 
     $_ = shift @ARGV;
     my $orgopt = $_;
@@ -686,8 +1031,16 @@ sub parse_args () {
     $not_a_nailing_opt->() unless m{^-};
     $not_a_nailing_opt->() if $_ eq '--';
 
+    my $edits_sources = sub {
+      $linkfarm_depth =
+       ($linkfarm_depth//'') eq 'copy-edit' ? 'copy-edit-all' : 'copy-edit';
+    };
+
     if ($_ eq '---') { # usage 2 or 3
-      die "$self: --- must be followed by build command\n" unless @ARGV;
+      if (!@ARGV) {
+       die "$self: --- must be followed by build command\n" unless $noact;
+       push @ARGV, 'BUILD-COMMAND';
+      }
       if ($ARGV[0] eq '--') { # usage 3
        shift;
        $is_cargo = 0;
@@ -702,18 +1055,26 @@ sub parse_args () {
     }
     if (m{^-[^-]}) {
       while (m{^-.}) {
-       if (s{^-v}{-}) {
+       if (s{^-h}{-}) {
+         print_usage();
+       } elsif (s{^-v}{-}) {
          $verbose++;
        } elsif (s{^-q}{-}) {
          $verbose=0;
        } elsif (s{^-n}{-}) {
          $noact++;
+       } elsif (s{^-f}{-}) {
+         $force++;
        } elsif (s{^-s(.+)}{-}s) {
          $cargo_subcmd = $1;
+       } elsif (s{^-([uU])}{-}) {
+         $cargo_lock_update = $1=~m/[a-z]/;
        } elsif (s{^-([cC])}{-}) {
          $pass_options = $1=~m/[a-z]/;
        } elsif (s{^-D}{-}) {
          $dump++;
+       } elsif (s{^-E}{-}) {
+         $edits_sources->();
        } elsif (s{^-T(.+)}{-}s) {
          $target = $1;
        } elsif (s{^-([oO])}{-}) {
@@ -723,10 +1084,40 @@ sub parse_args () {
          $not_a_nailing_opt->();
        }
       }
+    } elsif (s{^--help$}{}) {
+      print_usage();
+    } elsif (s{^--(?:doc|man|manual)?$}{}) {
+      show_manual();
     } elsif (s{^--target=}{}) {
       $target = $_;
     } elsif (m{^--(on|off)line$}) {
       $online = $1 eq 'on';
+    } elsif (m{^--just-linkfarm(?:=(shallow|git|full))?$}) {
+      $just_linkfarm = 1;
+      $linkfarm_depth = $1 if $1;
+      $cargo_lock_update= 1; # will set $linkfarm_detph to 1 by default
+    } elsif (m{^--linkfarm(?:=(no|shallow|git|full))?$}) {
+      $linkfarm_depth = $1 || 'git';
+    } elsif (m{^--edits?-sources?$}) {
+      $edits_sources->();
+    } elsif (m{^--force$}) {
+      $force++;
+    } elsif (m{^--just-run$}) {
+      $do_nail = $do_cargo_lock = $do_lock = 0;
+    } elsif (m{^--(clean|keep)-linkfarm$}) {
+      $oot_clean = $1 eq 'clean';
+    } elsif (m{^--(no-)?preclean-build$}) {
+      $oot_preclean = $1 ? 'no' : 'src';
+    } elsif (m{^--preclean-build=(no|src|full)$}) {
+      $oot_preclean = $1;
+    } elsif (m{^--(no-)?nail$}) {
+      $do_nail = !$1;
+    } elsif (m{^--(no-)?cargo-lock-manip$}) {
+      $do_cargo_lock = !$1;
+    } elsif (m{^--(no-)?concurrency-lock$}) {
+      $do_lock = !$1;
+    } elsif (m{^--leave-nailed$}) {
+      $leave_nailed = 1;
     } elsif (s{^--subcommand-props=}{}) {
       my @props = split /\,/, $_;
       our %subcmd_prop_ok;
@@ -752,7 +1143,7 @@ sub parse_args () {
   if ($is_cargo) {
     @args_preface = shift @ARGV;
     while (defined($_ = shift @ARGV)) {
-      if (!m{^-}) { unshift @ARGV, $_; last; }
+      if (!m{^-|^\+}) { unshift @ARGV, $_; last; }
       if ($_ eq '--') { last; }
       push @args_preface, $_;
     }
@@ -778,13 +1169,14 @@ sub parse_args () {
 
 parse_args();
 loadconfigs();
-takelock();
 readnail();
+takelock();
 consider_alt_cargo_lock();
 consider_oot();
 readorigs();
 calculate();
 addargs();
+consider_directories();
 our @display_cmd = @ARGV;
 oot_massage_cmdline();
 setenvs();
@@ -799,29 +1191,34 @@ if ($dump) {
                           subdir => $subdir,
                           oot_dir => $oot_dir,
                           oot_absdir => $oot_absdir,
-                          build_absdir => $build_absdir });
+                          build_absdir => $build_absdir,
+                          linkfarm_depth => $linkfarm_depth,
+                          oot_preclean => $oot_preclean,
+                          force => $force,,
+                          forced => $forced,});
   ' or die $@;
 }
 
 exit 0 if $noact;
 
-$want_uninstall = 1;
+$want_uninstall = !$leave_nailed;
 makebackups();
 install();
 
 printf STDERR "$self: nailed (%s manifests, %s packages)%s\n",
   (scalar keys %manifests), (scalar keys %packagemap),
   (defined($alt_cargo_lock) and ", using `$alt_cargo_lock'")
-  if $verbose;
+  if $verbose && $do_nail;
 
 print STDERR "$self: invoking: @display_cmd\n" if $verbose;
 my $estatus = invoke();
 
-cargo_lock_update_after();
+files_return_after_update();
 
-uninstall();
+uninstall() unless $leave_nailed;
 $want_uninstall = 0;
 
-print STDERR "$self: unnailed.  status $estatus.\n" if $verbose;
+print STDERR "$self: ".($do_nail ? "unnailed" : "finished")
+             .".  status $estatus.\n" if $verbose;
 
 exit $estatus;