nspawn: when connected to pipes for stdin/stdout, pass them as-is to PID 1

Previously we always invoked the container PID 1 on /dev/console of the
container. With this change we do so only if nspawn was invoked
interactively (i.e. its stdin/stdout was connected to a TTY). In all other
cases we directly pass through the fds unmodified.

This has the benefit that nspawn can be added into shell pipelines.

https://bugs.freedesktop.org/show_bug.cgi?id=87732

systemd-boot: fix alignment of version in table

everywhere: remove configurability of sysv runlevel to target mapping

With this change runlevel 2, 3, 4 are mapped to multi-user.target for
good, and 5 to graphical.target. This was already the previous mapping
but is now no longer reconfigurable, but hard-coded into the core.

This should generally simplify things, but also fix one bug: the
sysv-generator previously generated symlinks to runlevel[2-5].target
units, which possibly weren't picked up if these aliases were otherwise
only referenced by the real names "multi-user.target" and
"graphical.target".

We keep compat aliases "runlevel[2345].target" arround for cases where
this target name is explicitly requested.

update TODO

run: if we fail to set a property assignment then really fail

nspawn: add support for --property= to set scope properties

This is similar to systemd-run's --property= setting.

shared: introduce cmsg_close_all() call

The call iterates through cmsg list and closes all fds passed via
SCM_RIGHTS.

This patch also ensures the call is used wherever appropriate, where we
might get spurious fds sent and we should better close them, then leave
them lying around.

systemctl: allow interactive authorization for all bus calls

Make use of the new sd_bus_set_allow_interactive_authorization() call to
globally enable interactive authorization. Also, turn on PK agent for
more calls.

This allows us to make use of the sd_bus_call_method() convencience
helper at more places.

systemctl: let's make use of FOREACH_STRING() where we can

core: rework policykit hookup

- Always issue selinux access check as early as possible, and PK check
  as late as possible.

- Introduce a new policykit action for altering environment

- Open most remaining bus calls to unprivileged clients via PK

po: Update German translation

Add mock fsck process

Add man page and references to it.

Add man page explaining the plymouth theme protocol, usage of the daemon
as well as the socket activation part.
Adapt existing fsck man page.

Add fsckd service and socket, retarget systemd-fsck

systemd-fsckd can be socket-activated by systemd-fsck process. Reflect that
in the different unit files.

Refresh po files

Also, add new plymouth fsckd translated strings in french.
Refreshed with "make update-po".

Translate fsckd messages for plymouth

For plymouth themes not supporting i18n (like .script), send translated
messages to display to user, which is equivalent to the sent machine
readable data.

Add gettext support

Connect to plymouth and support cancellation of in progress fsck

Try to connect and send to plymouth (if running) some checked report progress,
using direct plymouth protocole.

Update message is the following:
fsckd:<num_devices>:<progress>:<string>
* num_devices corresponds to the current number of devices being checked (int)
* progress corresponds to the current minimum percentage of all devices being
  checked (float, from 0 to 100)
* string is a translated message ready to be displayed by the plymouth theme
  displaying the information above. It can be overriden by plymouth themes
  supporting i18n.

Grab in fsckd plymouth watch key Control+C, and propagate this cancel request
to systemd-fsck which will terminate fsck.

Send a message to signal to user what key we are grabbing for fsck cancel.

Message is: fsckd-cancel-msg:<string>
Where string is a translated string ready to be displayed by the plymouth theme
indicating that Control+C can be used to cancel current checks. It can be
overriden (matching only fsckd-cancel-msg prefix) for themes supporting i18n.

systemd-fsck: always connect to systemd-fsckd

Remove the plymouth running or show-status checks from systemd-fsck. Instead,
always connect to systemd-fsckd socket, and let this one decide if we display
progress or not.

fsckd daemon for inter-fsckd communication

Add systemd-fsckd multiplexer which accepts multiple systemd-fsck
instances to connect to it and sends progress report. systemd-fsckd then
computes and writes to /dev/console the number of devices currently being
checked and the minimum fsck progress. This will be used for interactive
progress report and cancelling in plymouth.

systemd-fsckd stops on idle when no systemd-fsck is connected.

Make the necessary changes to systemd-fsck to connect to the systemd-fsckd
socket.

test: utf8 - fix utf16 tests on BE machines

gummiboot/sd-boot/systemd-boot: rename galore

What used to be gummiboot, was renamed sd-boot when it was merged into
systemd. Let's try to be a bit more consistent with the rest of systemd
and rename it again as follows:

The EFI bootloader is now called 'systemd-bootx64.efi', and its sources are in
'src/boot/efi/'. The drop-in directory where bootctl will find EFI loaders
is now /usr/lib/systemd/boot/efi/.

Makefile.am:efi_cflags compile with gcc v5

Set -std=gnu90 to let efibind.h define the standard types.

[tomegun: retyped the patch as the originl would not apply]

update TODO

logind: open up most bus calls for unpriviliged processes, using PolicyKit

Also, allow clients to alter their own objects without any further
priviliges. i.e. this allows clients to kill and lock their own sessions
without involving PK.

machinectl: issue all bus commands while allowing interactive auth

machined: open up most of machined's commands to unprivileged clients via PolicyKit

sd-bus: allow setting a per-connection default value for the "allow-interactive-authentication" message flag

Most of our client tools want to set this bit for all their method
calls, even though it defaults to off in sd-bus, and rightfully so.
Hence, to simplify thing, introduce a per sd_bus-object flag that sets
the default value for all messages created on the connection.

import: remove unused variable

machined: make "machinectl copy-to" and "machinectl copy-from" server side operations

This way, any bus client can make use of these calls.

machined: various simplifications

bus: sync with kdbus

Pull in new kdbus changes, namely:
 - EOVERFLOW is replaces by KDBUS_RECV_RETURN_DROPPED_MSGS
 - ENOMSG is merged with EAGAIN for consistency

bus: don't rely on static IDs in tests

We should never put any constraints on the IDs returned by the kernel. Use
sd_bus_get_unique_name() to retrieve the ID of a peer.

build-sys: add missing HAVE_GNUEFI condition

machined: move logic for bind mounting into containers from machinectl to machined

This extends the bus interface, adding BindMountMachine() for bind
mounting directories from the host into the container.

bootctl: add sd-boot support

sd-boot: add EFI boot manager and stub loader

tmpfiles: Fix parse_acl error message

parse_acl() returns the error instead of setting errno.

journal-remote: fix client_cert memory leak

Found by Valgrind while testing the previous memory leak fix.

journal-remote: fix certificate status memory leak

The output of gnutls_certificate_verification_status_print() needs to be
freed.

Noticed this while staring at verify_cert_authorized() to see what could
possibly confuse gcc5 on armv7hl to segfault during compilation.

update TODO

Revert "build-sys: re-add old symbols for abi compat"

This reverts commit 93a1e66efd4b0f4cda29c467d20d0f7510c0b3a8.

It broke the builds for Walters.
Kay hates it and "just knows" there are no actual users.

NEWS: typo fixes

Transpose args in strv_fnmatch() to be more oo

test-network: fix segfault with NULL dev_path/driver/type/name

update TODO

NEWS: fix typo

analyze: change behaviour of combined --to/from--pattern

We would require a match against all three: patterns specified
with --to, with --from, and as positional arguments to show an
edge. This does not seem useful. Let instead the positional args
behave like they were specified in both --to and --from, which is
fairly intuitive and should be more useful.

network-internal: chain matches with AND in net_match_config()

The test would treat the first non-empty set of matches in
match_paths, match_drivers, match_types, match_names as definitive
(essentially chaining them with OR). Make those tests instead match
like other tests and require all to pass if the set of patterns is
nonempty.

Add helper for fnmatch over strv

hwdb: Update database of Bluetooth company identifiers

timesync: Use UINT64_C for OFFSET_1900_1970

So it matches what the comment says in both 32 and 64 bit systems.

update TODO

build-sys: re-add old symbols for abi compat

For two releases those exported with version 183 by mistake, and then
they were fixed to have version 215 (015419c0df libudev: fix symbol
version for udev_queue_flush() and udev_queue_get_fd()). But that
breaks ABI compatibility for binaries compiled with udev from before
that commit. There most likely very few such binaries, if any, but as
a matter of principle we should export the old symbols too, in order
to keep full compatibility.

hwdb: update

sd-bus: add missing format attribute

update NEWS

hwdb: fix syntax

sd-bus: make sure we always serialize the reply cookie as 64bit on dbus2, and 32bit on dbus1

Revert "Revert "sd-bus: change serialization of kdbus messages to qualify in their entirety as gvariant objects""

This reverts commit 954871d8ba15911d014f76ed2c7a9492953cf39d.

po: Update German translation

https://bugs.freedesktop.org/show_bug.cgi?id=89154

hwdb: Microsoft Microsoft 3-Button Mouse

https://bugs.freedesktop.org/show_bug.cgi?id=89149

core: make RuntimeDirectory honor SELinux labels

https://bugzilla.redhat.com/show_bug.cgi?id=1192726

bus-proxy: be more verbose if messages cannot be forwarded

If we cannot forward messages, include information on the peer and message
just like the xml-policy does. This helps debugging such situations and
figuring out what exactly is going wrong.

bootchart: display each CPU utilization/wait

network: fix 'LinkLocal' -> 'LinkLocalAddressing' in network files

'LinkLocal' was renamed to 'LinkLocalAddressing' in:

    commit 56fd6bf795926409b087bce406ea851ad89f9fe8
    Author: Tom Gundersen <teg@jklm.no>
    Date:   Sat Feb 14 00:32:26 2015 +0100

        networkd: .network - rename LinkLocal to LinkLocalAddressing

..but apparently the network files were not updated. Fix this.

bus-proxy: don't fake data we don't have

UDS sockets transmit EUID+EGID only. Don't try to fake data we don't know!
Otherwise, this might be used to override user-limits by non-root setuid
programs (by faking UID==EUID).

Now that sd-bus is fixed to always use EUID even on UDS, we can safely set
all other UID/GID fields to INVALID.

util: use a shared lookup function for string tables

Macro DEFINE_STRING_TABLE_LOOKUP expands to a new function for each
of the almost 120 tables throghout the code.
Move the its implementation to a function (guaranteed to never be inlined),
and make the macro expand to an inlined function that calls this function.
This saves a few kilobytes from the systemd binary

(David: - fix coding-style
        - use 'ssize_t' to fix 32bit to 64bit propagation
        - use streq_ptr())

networkd: network - rename ipv6token parser

Too generic name.

networkd: .network - rename LinkLocal to LinkLocalAddressing

Makes it a bit less ambiguous.

man: systemd.network - document IPv6Token

sd-rtnl: add missing IFLA_INET6_ADDR_GEN_MODE definition

Add missing IFLA_INET6_ADDR_GEN_MODE definition so we can build with
kernel headers < 3.17

TODO

bus-proxy: ECONNRESET/ENOTCONN can hit us on every step, hence handle it on every step

bus-proxy: a few simplifications

sd-bus: initialize a few structs at time or declaration

bus-proxy: close each connection fd only once

After passing the fds over to the sd_bus object, we should forget them,
so that we don't close them a second time when the object goes away.

bus-proxy: also consider ENOTCONN a clean termination condition

Sometimes, when we try to reply to messages we don't check return
values. This means we might miss a ECONNRESET, and will get a ENOTCONN
on next command. Treat both the same hence.

exit-on-idle: only exit if actually idle

sd_event_wait() returning 0 usually means that it timed out, which means it must
have been idle. However, sd_event_wait() may return 0 in case an event was triggered
but it turned out there was nothing to do. Make the check for idle explicit to avoid
this edge-case.

bus-proxy: whenever we cannot forward a message, report this back to caller, but don't exit

Errors like EPERM from the kernel should certainly not be reason to
exit. Let's try to be defensive here, and try to continue on most send
errors, but possibly tell the sender about it.

bus-proxy: rename synthetic_reply_return_strv() to synthetic_reply_method_return_strv()

That way it matches more closely the nomenclature of our other
success reply calls.

bus-proxy: minor simplifications

sd-bus: export sd_bus_error_set_errnofv()

bus-proxy: no need to negate error codes, log_error_errno() already does it

bus-proxy: tell Coverity we don't care about these return values

bus-proxy: we don't pointlessly abbreviate function names

It's fine to abbreviate local variables, but it's not OK to abbreviate
function names needlessly. This is not an excercise in writing
unreadable code.

sd-bus: sync kdbus.h (ABI break)

Another slice logic rework in kdbus made KDBUS_ITEM_PAYLOAD_OFF items
relative to the message header again. Catch up with that in sd-bus.

units: turn on --network-veth by default for systemd-nspawn@.service

Given the recent improvements in networkd, it's probably the better
default now.

units: fix systemd-networkd.service in containers lacking CAP_NET_ADMIN

hwdb: update name databases

build-sys: already bump package version in preparation for next release

(don't misunderstand this, the release is still out quite a bit...)

build-sys: bump sonames in preparation for next release

NEWS: add contributors list

rules: simplify mmc RPMB handling

We don't actually want a by-path/ symlink for MMC RPMB devices, so just add
them to the blacklist. This will prevent creating wrong by-path links and
blkid'ing those.

rules: Fix by-path of mmc RPMB partitions and don't blkid them

Linux 3.10+ exposes RPMB (Replay Protected Memory Block) partitions of MMC
devices [1] ; trying to read them with blkid or other unspecific means will
cause kernel buffer I/O errors and timeouts. So don't run blkid on these.

Also ensure that /dev/disk/by-path creates proper symlinks and exposes the
-rpmb partition separately, instead of letting the "normal" partition symlink
point to the rpbm device (this is a race condition).

[1] http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=090d25fe224c0

https://launchpad.net/bugs/1333140

include <poll.h> instead of <sys/poll.h>

include-what-you-use automatically does this and it makes finding
unnecessary harder to spot. The only content of poll.h is a include
of sys/poll.h so should be harmless.

Add missing includes in header files

This fixes various issues found by globally reordering the include
sections of all .c files.

test-util: remove superfluous const

remove unused variable

exec: also evaluate working_directory_missing_ok when not applying chroots