bus: remarshal kdbus messages received from the kernel

If we receive an sd_bus_message from the kernel, m->kdbus will contain
additional items that cannot be used when sending a message. Therefore,
always remarshal the message if it is used again.

bus: drop redundant assignment

This assignment is already done in the parent context, no need to do it
again.

man: fix links to compressors

socket-util: refactor error handling in sockaddr_pretty

core: fix explanation of associativity

bus-proxy: complain only once about queue overflows

If the local peer does not dispatch its incoming queue, the bus-proxy will
slowly fill its outgoing queue. Once its full, it will continously
complain that it cannot forward its messages.

As it turns out, pulseaudio does have an idle background dbus connection
that is not integrated into any mainloop (and given that gdbus and
libdbus1 both support background shared connections, PA is probably not
the only example), therefore, the bus-proxy will loudly complain if it
cannot forward NameOwnerChanged events once the queue is full.

This commit makes the proxy track queue-state and complain only once the
queue runs full, not if it is already full.

A PA bug-report (and patch) has been filed, and other applications should
be fixed similarly. Hence, lets keep the error message, instead of
dropping it. It's unused resources we really want to get rid of, so
silencing the message does not really help (which is actually what
dbus-daemon does).

terminal/sysview: introduce SETTLE events

This introduces a new SYSVIEW_EVENT_SETTLE notification that is sent after
initial scanning via sysview is done. This is very handy to let the
application raise warnings in case requested resources are not found
during startup.

The SETTLE event is sent after systemd-logind and udev enumerations are
done. This event does in no way guarantee that a given resource is
available. All it does is notify the application that scanning is done!
You must not react to SETTLE if you don't have external synchronization
with the resource you're waiting for.

The main use-case for SETTLE is to run applications _inside_ of logind
sessions and startup sysview. You really want to make sure that the own
session you're running in was found during enumeration. If not, something
is seriously wrong.

console: fix error-code inversion

The error-code propagated via sysview is always negative. Avoid
multiplying by -1 before returning it. Otherwise, we will return >0
instead of <0, which will not be detected as error by sysview-core.

udev: add SYSCTL{} support

sysctl: move property handling to shared/

machine-id-setup: simplifications

machine-id-commit: simplifications

util: add rename_noreplace

renameat2() exists since Linux 3.15 but btrfs support for the flag
RENAME_NOREPLACE was added later.

This patch implements a fallback when renameat2() returns EINVAL.
EINVAL is the error returned when the filesystem does not support one of
the flags.

path-util: fix path_is_mount_point() for symlinks

path_is_mount_point() compares the mount_id of a directory and the
mount_id of the parent directory. When following symlinks, the function
to get the parent directory does not take the symlink into account.

/bin -> /usr/bin with /usr being a mountpoint:
mount_id of /bin with AT_SYMLINK_FOLLOW != mount_id of /

CODING_STYLE: mention casting of function invocations to (void)

bus-proxy: add support for "GetConnectionCredentials" method

GetConnectionCredentials method was added to dbus-1 specification
more than one year ago. This method should return "[...] as many
credentials as possible for the process connected to the server",
but at this moment only "UnixUserID", "LinuxSecurityLabel" and
"ProcessID" are defined by the specification. We should add support
for next credentials after extending dbus-1 spec.

tmpfiles: port to unquote_many_words()

shared: the btrfs quota field is called "referenced" not "referred"

update TODO

man: document "machinectl export-tar" and "export-raw"

add REMOTE_ADDR and REMOTE_PORT for Accept=yes

fsckd: clean up log messages

Avoid double logs printing. Not that we don't return
manager_update_global_progress() to the handler callback as if the console or
plymouth isn't available momentarily, we still desire to handle future
fd progress events if those are available again (like cancellation, reports…)

fsckd: Reduce the SAK window when writing to console

We don't want to keep /dev/console open all the time, but only open it when
needed, to avoid interfering with SAK.

Add type specifier for int

logs-show: fix check of loop_read_exact

just a typo fix

Introduce loop_read_exact helper

Usually when using loop_read(), we want to read the full buffer.
Add a helper that mirrors loop_write(), and returns 0 when full buffer
was read, and an error otherwise.

Use -ENODATA for the short read, to distinguish it from a read error.

efivars: itialize variable

Introduced a few commits ago.

bootchart: use _cleanup_

Add missing includes

audit.h uses uint32_t and bool.
log.h uses abs.

journalctl: unlink without checking with access first

It is more elegant to do this in one step.

Coverity complains about the TOCTOU difference, but it is not an
actual problem (CID #1237777).

journal: fix return code

Introduced in fa6ac76083b8ff.

Might be related to CID #1261724, but I don't know if coverity can
recurse this deep.

journal-file: update format string to remove cast

journal: align comments to make them more legible

libudev: add missing hunks

This should have been committed with
  udev_device_add_property - implicitly mark properties for saving to db

libudev: udev_device_read_db - drop unused argument

libudev: udev_device_add_property - implicitly mark properties for saving to db

Properties should only be saved to the db when added to the udev_device by udevd, and only if
the property does not start with a '.'. Make this implicit rather than expose the marking of
properties.

udev/libudev: event - move {OLD_,}INTERFACE handling from udevd to libudev

This should be internal to the library as it is only about reflecting the sysfs state in the udev_device.

libudev: private - make property_from_string_parse* static

man: document machinectl import-tar and import-raw

update TODO

udev: simplify event_queue_update() and add debug logging

This essentially replaces
  open("/run/udev/queue", O_WRONLY|O_CREAT|O_CLOEXEC|O_TRUNC|O_NOFOLLOW, 0444)
with
  open("/run/udev/queue", O_WRONLY|O_CREAT|O_CLOEXEC|O_NOCTTY, 0644),
which is ok for our purposes.

efivars: use greedy_realloc

efivars: use more _cleanup_

Also rename r to buf, since r is customarily reserved for the return value.

efivars: do binary and before converting to bool

I'm pretty sure that this is what was meant here.

efivars: rename last remaining err to r

efivars: modernization

Fix return value if unlink fails.

boot/efi: do not assign variable twice

If the highlighted line did not move outside of the visible
region, it should not be necessary to update idx_last.

CID #1287137, #1287138.

machinectl: remove unused variables

fsck: modernize error handling

fsck: use _cleanup_close_pair_ where appropriate

fsckd: make sure we free the connection event source before we close the connection fd

fsckd: don't allow unbounded numbers of clients

fsckd: make sure unprivileged clients cannot play games with fsckd

fsckd: free client event source before we close its fd

po: update French translation

Add strings for importd, following 587fec427c80b6c34dcf1d7570f891fcb652a7c5

fsck: rename functions to reflect some object orientation

Let's clean up the function naming scheme and put the object they
operate on first in the name, the way OO programming usually does it.

Also, let's make sure can properly destroy half-initialized Manager
objects.

fsck: don't read invalid data

fsckd: internaly check if a client already was cancelled

fsck: simplify client destruction logic

fsckd: rework plymouth connection management

- the even source should not be freed before the fd for it is closed

- read() returns an ssize_t and we need to handle it as such

- properly handle errors from read()

- reuse on_plymouth_disconnect() whenever we disconnect from plymouth,
  and rename it plymouth_disconnect hence()

fscd: fix error handling

fsck: no need for a temporary variable

fsckd: fix error handling when sending cancel request to fsck client

fsck: unify exit path for connect_plymouth()

fsck: use only a single exit code ternary operator

fsck: simplification

fsckd: the error code is actually returned in 'fd'

Also, we don't use {} for single-line if-blocks.

fsckd: simplify code a bit

fsckd: make use of safe_close()'s return value

man: document that ExecStartPre= is not the place to start long-running processes

build-sys: add one more Makefile symlink

importd: add API for exporting container/VM images

Also, expose it in machinectl.

udev: use inttypes.h types wherever appropriate

tree-wide: use _packed_ macro instead of raw gcc __attribute__

udevd: close race in udev settle

The udev-settle guarantees that udevd is no longer processing any of the
events casued by udev-trigger. The way this works is that it sends a
synchronous PING to udevd after udev-trigger has ran, and when that returns
it knows that udevd has started processing the events from udev-trigger.
udev-settle will then wait for the event queue to empty before returning.

However, there was a race here, as we would only update the /run state at
the beginning of the event loop, before reading out new events and before
processing the ping.

That means that if the first uevent arrived in the same event-loop iteration
as the PING, we would return the ping before updating the queue state in /run
(which would happen on the next iteration).

The race window here is tiny (as the /run state would probably get updated
before udev-settle got a chance to read /run), but still a possibility.

Fix the problem by updating the /run state as the last step before returning
the PING.

We must still update it at the beginning of the loop as well, otherwise we
risk being stuck in poll() with a stale state in /run.

Reported-by: Daniel Drake <drake@endlessm.com>

missing.h: add NDA_*

This is necessary to build with older kernel headers. NDA_VLAN was
introduced in v3.9 and NDA_PORT, NDA_VNI and NDA_IFINDEX in v3.10

Fix typos

po: update Russian translation - pluralize fsckd

Correctly pluralize strings for fsckd.

sd-journal: return error when we cannot open a file

Lack of this caused journalctl not to display a hint about missing groups
properly when the user lacks permissions.

journalctl: update hint now that we set ACL everywhere

po: update Russian translation - importd

Add strings for importd, by analogy with 1eb37584a8.

bus: fix leak in error path

CID #1271349.

systemctl: remove dead check

r could never be less than zero.

CID #1271350.

core/load-fragment: safe_close() protects errno

libsystemd-terminal: use at most LOG_ERR for XKB errors

XKB errors aren't *that* important.

Coverity complained that the same action is taken in multiple
branches, which is semi-valid, so is fixed too (CID #1256582).

login: fix copy-pasto in error path

CID #1256583.

nspawn: fix use-after-free and leak in error paths

CID #1257765.

core/dbus-manager: remove dead check

CID #1257766.

bus-util: remove stray errno assignment

networkctl: avoid leak if a field was specified twice

The input data would have to be borked, so this is unlikely to happen,
but since we have a nice helper function to do it properly... why not?

CID #1261390.

machine: do not rely on asprintf setting arg on error

Strictly speaking, the output variable is undefined if asprintf fails.
We use the return value not the arg everywhere, and should we do here.

v4l_id: use standard option parsing loop

Not terribly important, but the loop wasn't an actual loop,
making coverity unhappy.

CID #1261725.

shared/machine-pool: remove unnecessary check

CID #128739.

sysusers: do not reject users with already present /etc/shadow entries

This is needed to interoperate firstboot and sysusers. The former one is started
first, and it writes only /etc/shadow when it is told to set the root password.
It's better to relax checks here than to duplicate functionality in firstboot.

firstboot: set all spwd fields to -1 for consistency with sysusers

core: do not spawn jobs or touch other units during coldplugging

Because the order of coldplugging is not defined, we can reference a
not-yet-coldplugged unit and read its state while it has not yet been
set to a meaningful value.

This way, already active units may get started again.

We fix this by deferring such actions until all units have been at
least somehow coldplugged.

Fixes https://bugs.freedesktop.org/show_bug.cgi?id=88401

adjust for time spent in timedated even without dbus timestamp

it is trivial to fall back to our own timestamp

v2: use now()
v3: remove useless if ()
v4: add comment

po: update French translation

vconsole: match on vtcon events, not fbcon ones

I observe that upon loading of framebuffer drivers, I do not get the
desired system font, but the kernel-level defaults (usually
lib/fonts/font_8x16.c, but your mileage may vary depending on kernel
config and boot options).

The fbcon driver may be loaded at a time way before the first
framebuffer device is active, such that the vconsole setup helper
runs too early.

The existing rule is non-fitting. The going live of the fbcon kernel
component does not indicate the proper time at which to load the
visuals, which really ought to be done when a new vtcon object comes
into existence. (The font table is a per-vtcon property.)

login: make hold-off timeout configurable

This introduces 'HoldoffTimeoutSec' to logind.conf to make
IGNORE_LID_SWITCH_{SUSPEND,STARTUP}_USEC configurable.

Background: If an external monitor is connected, or if the system is
docked, we want to ignore LID events. This is required to support setups
where a laptop is used with external peripherals while the LID is closed.
However, this requires us to probe all hot-plugged devices before reacting
to LID events. But with modern buses like USB, the standards do not impose
any timeout on the slots, so we have no chance to know whether a given
slot is used or not. Hence, after resume and startup, we have to wait a
fixed timeout to give the kernel a chance to probe devices. Our timeout
has always been generous enough to support even the slowest devices.
However, a lot of people didn't use these features and wanted to disable
the hold-off timer. Now we provide a knob to do that.