import: introduce new mini-daemon systemd-importd, and make machinectl a client to it

The old "systemd-import" binary is now an internal tool. We still use it
as asynchronous backend for systemd-importd. Since the import tool might
require some IO and CPU resources (due to qcow2 explosion, and
decompression), and because we might want to run it with more minimal
priviliges we still keep it around as the worker binary to execute as
child process of importd.

machinectl now has verbs for pulling down images, cancelling them and
listing them.

impot: minor cleanups

log: add new log output mode, that prints to console, but prefixes with syslog priority

This is useful when we execute our own programs, reading output from its
STDERR, and want to retain priority information.

networkd: plug lldp leak

network: dhcp - split out dhcp_identifier_set_{iaid,duid_en} from dhcp6-client

This will also be used in dhcp4-client.

network: dhcp - split out the duid structure into a new header file

We will use the same in both dhcp4 and dhcp6.

update TODO

import: simplify dkr importer, by making use of generic import-job logic, used by the raw and tar importers

This gets us progress output as well xz/bzip2 support.

import: minor cleanups for the tar and raw importers

build: Add parallel-tests automake option

We use PY_LOG_COMPILER in Makefile.am for running *.py tests, which requires
automake's parallel test runner. This has only been the default from 1.13 on.
As we only require automake 1.11, add it as an option explicitly.

sysv-generator: Replace Provides: symlinks with real units

Since commit b7e7184 the SysV generator creates symlinks for all "Provides:" in
the LSB header. However, this is too greedy; there are cases where the
creation of a unit .service file fails because of an already existing
symlink with the same name:

 - Backup files such as /etc/init.d/foo.bak still have "Provides: foo", and
   thus get a foo.service -> foo.bak.service link. foo.bak would not be enabled
   in rcN.d/, but we (deliberately) create units for all executables in init.d/
   so that a manual "systemctl start" works. If foo.bak is processed before,
   the symlink already exists.

 - init.d/bar has "Provides: foo", while there also is a real init.d/foo. The
   former would create a link foo.service -> bar.service, while the latter
   would fail to create the real foo.service.

If we encounter an existing symlink, just remove it before writing a real unit.

Note that two init.d scripts "foo" and "bar" which both provide the same name
"common" already work. The first processed init script wins and creates the
"common.service" symlink, and the second just fails to create the symlink
again. Thus create an additional test case for this to ensure that it keeps
working sensibly.

https://bugs.debian.org/775404

systemd-sysv-generator test: test scripts with hidden suffixes

We don't expect any unit generated from temporary package manager, swap, and
similar files.

util: Add some missing hidden_file() suffixes

dpkg itself also uses *.dpkg-dist, while .dpkg-{bak,backup,remove} are being
used by dpkg-maintscript-helper.

sysv-generator: Handle .sh suffixes when translating Provides:

When deciding whether the provided name equals the file name in
sysv_translate_facility(), also consider them equal if the file name has a
".sh" suffix.

This was uncovered by commit b7e7184 which then created a symlink
"<name>.service" to itself for ".sh" suffixed init.d scripts.

For additional robustness, refuse to create symlinks to itself in add_alias().

Add test case which reproduces the bug.

https://bugs.debian.org/775889

update TODO

import: support downloading bzip2-encoded images

This way, we can import CoreOS images unmodified.

journal: Fix syslog forwarding without CAP_SYS_ADMIN

In case CAP_SYS_ADMIN is missing (like in containers), one cannot fake pid in
struct ucred (uid/gid are fine if CAP_SETUID/CAP_SETGID are present).

Ensure that journald will try again to forward the messages to syslog without
faking the SCM_CREDENTIALS pid (which isn't guaranteed to succeed anyway, since
it also does the same thing if the process has already exited).

With this patch, journald will no longer silently discard messages
that are supposed to be sent to syslog in these situations.

https://bugs.debian.org/775067

zsh-completion: Do not interpret escape sequences in _filter_units_by_property

This makes all functions that rely on _filter_units_by_property() (like
_systemctl_{stop,kill,try_restart}) work with unit names that contain backslash
escaped sequences (like automount units with spaces that are escaped to
"\x20").

systemd-sysv-generator test: fix enabled check

Fix hardcoded "foo.service", test for the actual unit parameter.

systemd-sysv-generator test: don't parse symlinks

Generated services which are symlinks should be tested/handled differently from
files, so ignore them in run_generator()'s result parsing.

test: add integration test for systemd-sysv-generator

This covers the general functionality as well as regression tests for recent
fixes like commits b7e718 and 1ed0c19.

import: also add verification support to tar importer

import: make verification code generic, in preparation for using it pull-tar

import: improve logging

import: show download speed while downloading

import: add image verification using gpg

This also adds an initial keyring for the verification, that contains
Ubuntu's and Fedora's key. We should probably add more entries sooner or
later.

test: eliminate shell wrapper for Python test

Use the parallel test runner's TEST_EXTENSIONS/*_LOG_COMPILER feature
(https://www.gnu.org/software/automake/manual/html_node/Parallel-Test-Harness.html)
to run *.py tests through $(PYTHON), and only if we have python
available/enabled.

This eliminates the need of having shell wrappers, thus drop
test/rules-test.sh.

test: simplify rules-test.sh wrapper

Drop globbing of rules/*.rules in the rules-test.sh wrapper and move that logic
into the actual test rule-syntax-check.py. This can still be called with
individual rules files, but when being called without arguments it will now
process all top_builddir/rules/*.rules.

Preparation for dropping the shell wrappers altogether.

nspawn: work around kernel bug with partition table probing on loopback devices

When we set up a loopback device with partition probing, the udev
"change" event about the configured device is first passed on to
userspace, only the the in-kernel partition prober is started. Since
partition probing fails with EBUSY when somebody has the device open,
the probing frequently fails since udev starts probing/opening the
device as soon as it gets the notification about it, and it might do so
earlier than the kernel probing.

This patch adds a (hopefully temporary) work-around for this, that
compares the number of probed partitions of the kernel with those of
blkid and synchronously asks for reprobing until the numebrs are in
sync.

This really deserves a proper kernel fix.

import: add a couple of additional suffixes to remove from raw images

import: make image verification optional

sd-dhcp6-client: Remove unnecessary debug printout

import: add a simple scheme for validating the SHA256 sums of downloaded raw files

import: be less aggressive when allocating memory for downloaded payload

import: improve logging a bit

import: port pull-raw to helper tools implemented for pull-tar

This allows us to reuse a lot more code, and simplify pull-raw
drastically.

import: add support for pulling raw tar balls as containers

Ubuntu provides their cloud images optionally as tarball, hence also
support downloading those.

util: make http url validity checks more generic, and move them to util.c

test: Use configured Python

Don't hardcode "python" or /usr/bin/python, but use the configured $(PYTHON).

test/rule-syntax-check.py: Fix for Python 3

Make this work with both Python 2 and 3.

networkd: fix a typo in networkd-wait-online-manager.

subscibe->subscribe

man: add networkctl(1)

man: use one description of --no-legend

nspawn: add ipvlan support

networkd: netdev - add ipvlan support

systemctl: do not show dots with --plain

Plain implies a ... "plain" output.

Also do not say "No jobs" with --no-legend. We skip
reporting the number of jobs with --no-legend if there
are any, and 0 is also a number, and should be skipped.

nspawn: support dissecting GPT images that contain only a single generic linux partition

This should allow running Ubuntu UEFI GPT Images with nspawn,
unmodified.

import: clarify when we are unpacking the qcow2 device

inspawn: wait until udev has probed a loopback device before making us of it

import: make sure don't leak the LZMA context

machined: refer to the disk space allocated for an image to "usage" rather than "size"

After all, it's closer to the "du"-reported value than to the file
sizes...

qcow2: when dissecting qcow2, use btrfs clone ioctls for reflinking blocks to target

import: when downloading raw files, show simple progress reports

import: simplify the code a bit

import-raw: when downloading raw images, generate sparse files if we can

import-raw: set NOCOW flag on all raw images we create

systemctl: fix import-environment description, trim help to 80 cols

journalctl: trim --help to fit in 80 columns

Terminals tend to be 80 columns wide by default, and the help
text is only supposed to be a terse reminder anyway.

https://bugzilla.redhat.com/show_bug.cgi?id=1183771

cgroup: fix typo

Move DEFINE_TRIVIAL_CLEANUP_FUNC to macro.h

This remove the need for various header files to include the
(relatively heavyweight) util.h.

Add initialization helper for file_handle_union

man: reindent tmpfiles.d(5)

Reindent to 2 spaces, use more markup.

man: mention "wheel" and "adm" in journalctl(1)

https://bugs.freedesktop.org/show_bug.cgi?id=70866

man: reindent journalctl(1)

Reindent with two spaces, use non-breaking spaces, add <literal> tags.

bus: drop systemd.kdbus_attach_flags_mask= cmdline

There is no reason to provide our own attach_flags_mask. We can simply
rely on kdbus.attach_flags_mask= which is read by the kernel *and* kmod.
If it's set, we assume the user wants to override our setting, so we
simply skip setting it.

core: write kdbus.attach_flags_mask only on real boot

The kernel module system is not namespaced, so no container should ever
modify global options. Make sure we set the kdbus attach_flags_mask only
on a real boot as PID1.

libudev: fix check for too long packet

Don't use recvmsg(2) return value to check for too long packets
(it doesn't work) but MSG_TRUNC flag.

(David: add parantheses around condition)

util: replace RUN_WITH_LOCALE with extended locale functions

There were two callers, one can use strtod_l() and the other strptime_l().

(David: fix up commit-msg and coding-style)

timesyncd: consider too long packets as invalid

If the received NTP message from server didn't fit to our buffer, either
it is doing something nasty or we don't know the protocol. Consider the
packet as invalid.

(David: add parantheses around conditional)

bus-proxy: don't pretend everyone is root

While it's a lovely scenario, it's probably not really useful. Fix our
GetConnectionUnixUser() to return the actual 'euid' which we asked for,
not the possible uninitialized 'uid'.

Revert "test-exec: do not skip all the tests"

This reverts commit 68e68ca8106e7cd874682ae425843b48579c6539. We *need*
root access to create cgroups. The only exception is if it is run from
within a cgroup with "Delegate=yes". However, this is not always true and
we really shouldn't rely on this.

If your terminal runs from within a systemd --user instance, you're fine.
Everyone else is not (like running from ssh, VTs, and so on..).

bus: fix SD_BUS_CREDS_AUGMENT on kdbus queries

If we set SD_BUS_CREDS_AUGMENT, we *need* the PID from the kernel so we
can lookup further information from /proc. However, we *must* set
SD_BUS_CREDS_PIDS in "mask", otherwise, our creds-collector will never
actually copy the pid into "sd_bus_creds". Fix this, so
SD_BUS_CREDS_AUGMENT works even if SD_BUS_CREDS_PID is not specified by
the caller.

bus: fix typo

Fix comment typo and clarify that this is not about privileges but can
have rather arbitrary reasons.

bus: use EUID over UID and fix unix-creds

Whenever a process performs an action on an object, the kernel uses the
EUID of the process to do permission checks and to apply on any newly
created objects. The UID of a process is only used if someone *ELSE* acts
on the process. That is, the UID of a process defines who owns the
process, the EUID defines what privileges are used by this process when
performing an action.

Process limits, on the other hand, are always applied to the real UID, not
the effective UID. This is, because a process has a user object linked,
which always corresponds to its UID. A process never has a user object
linked for its EUID. Thus, accounting (and limits) is always done on the
real UID.

This commit fixes all sd-bus users to use the EUID when performing
privilege checks and alike. Furthermore, it fixes unix-creds to be parsed
as EUID, not UID (as the kernel always takes the EUID on UDS). Anyone
using UID (eg., to do user-accounting) has to fall back to the EUID as UDS
does not transmit the UID.

bus-proxy: fake all UIDs/GIDs, not just the real UID/GID

Make sure we tell the kernel to fake all UIDs/GIDs. Otherwise, the remote
side has no chance of querying our effective UID (which is usually what
they're interested in).

bus-proxy: fix bus-uid tracking

We need to implicitly allow HELLO from users with the same uid as the bus.
Fix the bus-uid tracking to use the original uid, not the uid after
privilege-dropping.

logind: hide 'self' links if not available

If the caller does not run in a session/seat or has no tracked user, hide
the /org/freedesktop/login1/.../self links in introspection data.
Otherwise, "busctl tree org.freedesktop.login1" tries to query those nodes
even though it cant.

bus-proxy: don't print error-messages if we check multiple dests

If we test the policy against multiple destination names, we really should
not print warnings if one of the names results in DENY. Instead, pass the
whole array of names to the policy and let it deal with it.

bus-proxy: implement org.freedesktop.DBus.ReloadConfig()

Make sure to reload our xml policy configuration if requested via the bus.

bus-proxy: fix indentation

Fix whitespace indentation.

bus-proxy: drop privileges if run as root

We cannot use "User=" in unit-files if we want to retain privileges. So
make bus-proxy.c explicitly drop privileges. However, only do that if
we're root, as there is no need to drop it on the user-bus.

bus-proxy: share policy between threads

This implements a shared policy cache with read-write locks. We no longer
parse the XML policy in each thread.

This will allow us to easily implement ReloadConfig().

build: move stdio-bridge into $PATH

Make sure stdio-bridge can be found in $PATH. Otherwise, "xyzctl -H"
fails.

hwdb: restore comments about MSI devices

Some time ago 95-keymap.rules was replaced by
60-keyboard.hwdb. Original comments for MSI laptops (that were in
95-keymap.rules) were removed, but I think they are important for
understanding what's going on.

https://bugs.freedesktop.org/show_bug.cgi?id=88412

bus-proxy: set custom thread names

Set thread-names to "p$PIDu$UID" and suffix with '*' if truncated. This
helps debugging bus-proxy issues if we want to figure out which
connections are currently open.

bus-proxy: turn into multi-threaded daemon

Instead of using Accept=true and running one proxy for each connection, we
now run one proxy-daemon with a thread per connection. This will enable us
to share resources like policies in the future.

missing: add macros for OFD locks

remove unneeded libgen.h includes

Grammar changes to catalog

random-seed: avoid errors when we cannot write random-seed file

When we call 'systemd-random-seed load' with a read-only /var/lib/systemd,
the cleanup code (which rewrites the random-seed file) will fail and exit.

Arguably, if the filesystem is read-only and the random-seed file exists
then this will be possibly be quite bad for entroy on subsequent reboots
but it should still not make the unit fail.

bus-proxy: bring back systemd-stdio-bridge

Now that we want to make bus-proxy multi-threaded, we have to bring back
the systemd-stdio-bridge for our TCP use-cases.

bus-proxy: extract proxy into Proxy object

Move all the proxy code into a "struct Proxy" object that can be used
from multiple binaries.

We now dropped SMACK as we have to refactor it to work properly. We can
introduce it later on.

bus-proxy: refactor bus-creation

Move local and destination bus creation into a helper function. This
further reduces the line count of main().

update TODO

import: support importing qcow2 images

With this change the import tool will now unpack qcow2 images into
normal raw disk images, suitable for usage with nspawn.

This allows has the benefit of also allowing importing Ubuntu Cloud
images for usage with nspawn.

import: support downloading .xz compressed images

That way we can download fedora cloud raw images as-is and decompress
them on-the-fly.

build-sys: add libsystemd-fw where needed

build-sys: add missing HAVE_LIBIPTC

hwbd: add click angle for the Logitech M325

This device has 18 stops per rotation == 20 degree angle. Advertised as
"Micro-precise scrolling"

os-release: Add PRIVACY_POLICY_URL