dhcp-identifier: create IAID even if no udev device can be found

This is useful for testing.

networkd: Introduce ip6gre and ip6gretap

This patch introduces ipv6 gre and gretap.

test:

ip6gre.netdev:
[NetDev]
Name=ip6gretap
Kind=ip6gretap

[Tunnel]
Local=2a00:ffde:4567:edde::4987
Remote=2001:473:fece:cafe::5179

ip6gre.network:
[Match]
Name=eno16777736

[Network]
Tunnel=ip6gretap

ip link

6: ip6gre@eno16777736: <POINTOPOINT,NOARP> mtu 1448 qdisc noop state
DOWN mode DEFAULT group default
    link/gre6 2a:00:ff:de:45:67:ed:de:00:00:00:00:00:00:49:87 peer
20:01:04:73:fe:ce:ca:fe:00:00:00:00:00:00:51:79

networkd: Introduce IP6 tunnel

This patch enables networkd to create IP6 tunnels

example conf:

ipip6.netdev:
[NetDev]
Name=ipip6-tunnel
Kind=ip6tnl

[Tunnel]
Mode=ip4ipv6
Local=2a00:ffde:4567:edde::4987
Remote=2001:473:fece:cafe::5179

ipip6.network
[Match]
Name=wlan0

[Network]
Tunnel=ipip6-tunnel

23: ipip6-tunnel@wlan0: <POINTOPOINT,NOARP> mtu 1452 qdisc noop state
DOWN mode DEFAULT group default
    link/tunnel6 2a00:ffde:4567:edde::4987 peer 2001:473:fece:cafe::5179

networkd: introduce gretap

This patch introdeces gretap to networkd

update TODO

importd: run daemon at minimal capabilities

cgroup-show: don't hit assert, when the extra pids array is empty

importd: fix path to download binary

import: lock tar into its own private network namespace

That way it cannot get access to the network

import: drop all capabilities when invoking tar

update TODO

import: only define the _to_string() enum mapping function, thus making gcc shut up

import: now that the worker binary is called "systemd-pull" we can shorten the verbs

Atfer all "systemd-pull pull-tar" is unnecessarily redundant, over
"systemd-pull tar"...

importd: try to minimize confusion by renaming "systemd-import" binary to "systemd-pull"

This way "systemd-importd" is the daemon that uses "systemd-pull" as
backend worker.

machinectl: when downloading an image, clarify that C-c will not cancel the download, but continue it in the background

machinectl: minor simplification

machinectl: parse verify setting client-side

importd: minor log improvements

import: make the user verficiation keyring override the vendor keyring, instead of extending it

This way the user has the ability to remove keys from the
vendor-supplied keyring if he intends so.

logind: fix sd_eviocrevoke ioctl call

If the third argument is non-null, the kernel will always error out with
EINVAL and devices won't get revoked.

Reported-by: Benjamin Tissoires <benjamin.tissoires@gmail.com>
Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

machinectl: various minor updates to the --help text

import: rename --verify=sum to --verify=checksum

This is how we call it internally, and also a bit more descriptive.

man: document new download magic

import: add org.freedesktop.import1.policy.in to POTFILES.in

https://bugs.freedesktop.org/show_bug.cgi?id=88705

kbd-model-map: add more mappings for Slovak, Lithuanian, and Khmer

https://bugs.freedesktop.org/show_bug.cgi?id=88545

Use eurlatgr as the example console font

See https://fedoraproject.org/wiki/Changes/NewDefaultConsoleFont

https://bugzilla.redhat.com/show_bug.cgi?id=1182529

sysv-generator: only allow regular files in enumerate_sysv()

Otherwise, if the directory contains other directories we fail
at fopen in load_sysv() with EISDIR.

build: export symbols to integrate mainloops

TODO: tmpfiles

shared/acl-util: add mask only when needed, always add base ACLs

For ACLs to be valid, a set of entries for user, group, and other
must be always present. Always add those entries.

While at it, only add the mask ACL if it is actually required, i.e.
when at least on ACL for non-owner group or user exists.

tmpfiles: use ACL magic on journal directories

tmpfiles: implement augmenting of existing ACLs

This is much more useful in practice (equivalent to setfacl -m).

tmpfiles: make t and a globby, add their recursive versions T and A

For types which adapt existing files it is generally more useful to accept
globs.

In analogy to z and Z, add recursive versions using uppercase letters.

Technically, making a accept globs is backwards incompatible, but in
practice it probably isn't yet widely used and we can assume that most
people don't create files with wildcards in names.

Functions which are used as callbacks, but not directly on items, are
renamed not to have "item_" prefix.

tmpfiles: make recursive operation generic

tmpfiles: add 'a' type to set ACLs

tmpfiles: attach an array of items to each path

The data structure used by tmpfiles is changed: instead of hashmaps
mapping {path → Item*} we now have hashmaps containing
{path -> ItemArray}, where ItemArray contains a pointer
to an array of Items.

For current code it doesn't matter much, but when we add new types it
is easier to simply add a new Item for a given path, then to coalesce
multiple lines into one Item.

In the future, this change will also make it possible to remember the
file and line where each Item originates, and use that in reporting
errors. Currently this is not possible, since each Item can be created
from multiple lines.

tmpfiles: make sure not to concatenate non-absolute path

If the path is absolute was only checked later.
Also do not check if path if absolute if we just
specified it starting with a slash.

tmpfiles: detect all combinations of + and !

The same algorithm as with - and @ in ExecStart= is used.

tmpfiles: simplification

Certain conditions were checked more than once. Warning message
is improved.

catalog: update pt_BR translation

Brazilian Portuguese update for CATALOG patch, according to commit
2057124e7910c4cab7e53d26e0c3749d326ae2bb ("Grammar changes to catalog")

https://bugs.freedesktop.org/show_bug.cgi?id=88588

shared/cgroup-show: simplify show_pid_array()

int[] should not be used as pid_t[], even if happens to be same thing.
Also deduplicating in a quadratic loop right before sorting is unnecessary.
Remove custom greedy_realloc implementation.

Assorted format fixes

Types used for pids and uids in various interfaces are unpredictable.
Too bad.

Fix some format strings for enums, they are signed

shared/util: use signed printf format for PIDs

gcc 5 started warning about this.

update TODO

import: introduce new mini-daemon systemd-importd, and make machinectl a client to it

The old "systemd-import" binary is now an internal tool. We still use it
as asynchronous backend for systemd-importd. Since the import tool might
require some IO and CPU resources (due to qcow2 explosion, and
decompression), and because we might want to run it with more minimal
priviliges we still keep it around as the worker binary to execute as
child process of importd.

machinectl now has verbs for pulling down images, cancelling them and
listing them.

impot: minor cleanups

log: add new log output mode, that prints to console, but prefixes with syslog priority

This is useful when we execute our own programs, reading output from its
STDERR, and want to retain priority information.

networkd: plug lldp leak

network: dhcp - split out dhcp_identifier_set_{iaid,duid_en} from dhcp6-client

This will also be used in dhcp4-client.

network: dhcp - split out the duid structure into a new header file

We will use the same in both dhcp4 and dhcp6.

update TODO

import: simplify dkr importer, by making use of generic import-job logic, used by the raw and tar importers

This gets us progress output as well xz/bzip2 support.

import: minor cleanups for the tar and raw importers

build: Add parallel-tests automake option

We use PY_LOG_COMPILER in Makefile.am for running *.py tests, which requires
automake's parallel test runner. This has only been the default from 1.13 on.
As we only require automake 1.11, add it as an option explicitly.

sysv-generator: Replace Provides: symlinks with real units

Since commit b7e7184 the SysV generator creates symlinks for all "Provides:" in
the LSB header. However, this is too greedy; there are cases where the
creation of a unit .service file fails because of an already existing
symlink with the same name:

 - Backup files such as /etc/init.d/foo.bak still have "Provides: foo", and
   thus get a foo.service -> foo.bak.service link. foo.bak would not be enabled
   in rcN.d/, but we (deliberately) create units for all executables in init.d/
   so that a manual "systemctl start" works. If foo.bak is processed before,
   the symlink already exists.

 - init.d/bar has "Provides: foo", while there also is a real init.d/foo. The
   former would create a link foo.service -> bar.service, while the latter
   would fail to create the real foo.service.

If we encounter an existing symlink, just remove it before writing a real unit.

Note that two init.d scripts "foo" and "bar" which both provide the same name
"common" already work. The first processed init script wins and creates the
"common.service" symlink, and the second just fails to create the symlink
again. Thus create an additional test case for this to ensure that it keeps
working sensibly.

https://bugs.debian.org/775404

systemd-sysv-generator test: test scripts with hidden suffixes

We don't expect any unit generated from temporary package manager, swap, and
similar files.

util: Add some missing hidden_file() suffixes

dpkg itself also uses *.dpkg-dist, while .dpkg-{bak,backup,remove} are being
used by dpkg-maintscript-helper.

sysv-generator: Handle .sh suffixes when translating Provides:

When deciding whether the provided name equals the file name in
sysv_translate_facility(), also consider them equal if the file name has a
".sh" suffix.

This was uncovered by commit b7e7184 which then created a symlink
"<name>.service" to itself for ".sh" suffixed init.d scripts.

For additional robustness, refuse to create symlinks to itself in add_alias().

Add test case which reproduces the bug.

https://bugs.debian.org/775889

update TODO

import: support downloading bzip2-encoded images

This way, we can import CoreOS images unmodified.

journal: Fix syslog forwarding without CAP_SYS_ADMIN

In case CAP_SYS_ADMIN is missing (like in containers), one cannot fake pid in
struct ucred (uid/gid are fine if CAP_SETUID/CAP_SETGID are present).

Ensure that journald will try again to forward the messages to syslog without
faking the SCM_CREDENTIALS pid (which isn't guaranteed to succeed anyway, since
it also does the same thing if the process has already exited).

With this patch, journald will no longer silently discard messages
that are supposed to be sent to syslog in these situations.

https://bugs.debian.org/775067

zsh-completion: Do not interpret escape sequences in _filter_units_by_property

This makes all functions that rely on _filter_units_by_property() (like
_systemctl_{stop,kill,try_restart}) work with unit names that contain backslash
escaped sequences (like automount units with spaces that are escaped to
"\x20").

systemd-sysv-generator test: fix enabled check

Fix hardcoded "foo.service", test for the actual unit parameter.

systemd-sysv-generator test: don't parse symlinks

Generated services which are symlinks should be tested/handled differently from
files, so ignore them in run_generator()'s result parsing.

test: add integration test for systemd-sysv-generator

This covers the general functionality as well as regression tests for recent
fixes like commits b7e718 and 1ed0c19.

import: also add verification support to tar importer

import: make verification code generic, in preparation for using it pull-tar

import: improve logging

import: show download speed while downloading

import: add image verification using gpg

This also adds an initial keyring for the verification, that contains
Ubuntu's and Fedora's key. We should probably add more entries sooner or
later.

test: eliminate shell wrapper for Python test

Use the parallel test runner's TEST_EXTENSIONS/*_LOG_COMPILER feature
(https://www.gnu.org/software/automake/manual/html_node/Parallel-Test-Harness.html)
to run *.py tests through $(PYTHON), and only if we have python
available/enabled.

This eliminates the need of having shell wrappers, thus drop
test/rules-test.sh.

test: simplify rules-test.sh wrapper

Drop globbing of rules/*.rules in the rules-test.sh wrapper and move that logic
into the actual test rule-syntax-check.py. This can still be called with
individual rules files, but when being called without arguments it will now
process all top_builddir/rules/*.rules.

Preparation for dropping the shell wrappers altogether.

nspawn: work around kernel bug with partition table probing on loopback devices

When we set up a loopback device with partition probing, the udev
"change" event about the configured device is first passed on to
userspace, only the the in-kernel partition prober is started. Since
partition probing fails with EBUSY when somebody has the device open,
the probing frequently fails since udev starts probing/opening the
device as soon as it gets the notification about it, and it might do so
earlier than the kernel probing.

This patch adds a (hopefully temporary) work-around for this, that
compares the number of probed partitions of the kernel with those of
blkid and synchronously asks for reprobing until the numebrs are in
sync.

This really deserves a proper kernel fix.

import: add a couple of additional suffixes to remove from raw images

import: make image verification optional

sd-dhcp6-client: Remove unnecessary debug printout

import: add a simple scheme for validating the SHA256 sums of downloaded raw files

import: be less aggressive when allocating memory for downloaded payload

import: improve logging a bit

import: port pull-raw to helper tools implemented for pull-tar

This allows us to reuse a lot more code, and simplify pull-raw
drastically.

import: add support for pulling raw tar balls as containers

Ubuntu provides their cloud images optionally as tarball, hence also
support downloading those.

util: make http url validity checks more generic, and move them to util.c

test: Use configured Python

Don't hardcode "python" or /usr/bin/python, but use the configured $(PYTHON).

test/rule-syntax-check.py: Fix for Python 3

Make this work with both Python 2 and 3.

networkd: fix a typo in networkd-wait-online-manager.

subscibe->subscribe

man: add networkctl(1)

man: use one description of --no-legend

nspawn: add ipvlan support

networkd: netdev - add ipvlan support

systemctl: do not show dots with --plain

Plain implies a ... "plain" output.

Also do not say "No jobs" with --no-legend. We skip
reporting the number of jobs with --no-legend if there
are any, and 0 is also a number, and should be skipped.

nspawn: support dissecting GPT images that contain only a single generic linux partition

This should allow running Ubuntu UEFI GPT Images with nspawn,
unmodified.

import: clarify when we are unpacking the qcow2 device

inspawn: wait until udev has probed a loopback device before making us of it

import: make sure don't leak the LZMA context

machined: refer to the disk space allocated for an image to "usage" rather than "size"

After all, it's closer to the "du"-reported value than to the file
sizes...

qcow2: when dissecting qcow2, use btrfs clone ioctls for reflinking blocks to target

import: when downloading raw files, show simple progress reports

import: simplify the code a bit

import-raw: when downloading raw images, generate sparse files if we can