networkd: link - log changes in some common link flags

networkd: link - use IFF_DORMANT instead of IFF_RUNNING

Should be no functional change, but avoids spurious log
messages when in operstate UNKNOWN and !IFF_LOWER_UP.

networkd: link - make debug logging a bit more readable

Drop leading zeros which will never be used when printing the link flags.

udev: link-config - treat any non-random mac address as persistent

The address may be already changed by other processes, or set
when creating the netdev from userspace.

sd-rtnl: log when queues are exhausted

cryptsetup: copy value, not key for (rd.)luks.key

Handle Unix domain socket connections from outside our namespace v2

This is a second attempt at 9754d56, reverted in 2f20a8e, because
I lost a 'break;' when moving chunks around.

networkd: order after udev kernel socket

Otherwise we will not be able to queuery whether devices are initialized on kdbus enabled systems.

networkd: manager - add a bit of debug output to udev ADD events

networkd: link - track interface renames

sd-rtnl: socet_read_message - make sure we only shrink the partial rqueue when processing multi-part message

network: implement masking of .link, .network and .netdev files

networkd: netdev - give up early when setting already set ifindex

We may receive RTM_NEWLINK messages with missing LINKINFO after the initial NEWLINK message,
don't bother verifying these, just drop out early after checking that the ifindex is not in conflict.

networkd: netdev - verify name of newlink messages

networkd: netdev - set predictable mac address when creating netdev

networkd: tie links to rtnl rather than udev

This essentially swaps the roles of rtnl and udev in networkd. After this
change libudev is only used for waiting for udev to initialize devices and
to get udev-specific information needed for some [Match] attributes.

This in particular simplifies the code in containers where udev is not really
useful, but also simplifies things and reduces round-trips in the non-container
case.

nss-myhostname: port to sd-rtnl

sd-rtnl: message - expose DUMP flag in the api

sd-rtnl: add multi-part message test

sd-rtnl: message - concatenate multi-part messages from different packets

sd-rtnl: message - don't put NULL message on rqueue

If nothing interesting was receieved we should not put anything on
the queue.

sd-rtnl: message - make room for all pending messages, not just the first

Also, don't actually read any of the message when peeking, just get its length.

Revert "Handle Unix domain socket connections from outside our namespace"

This reverts commit 9754d56e9b21bfe89fc18f47987d6bef491b8521.

It causes a crash in PID1:
  Apr 19 13:49:32 lon systemd[1]: Code should not be reached 'Unhandled socket type.'
                                  at src/core/socket.c:684, function instance_from_socket(). Aborting.
  Apr 19 13:49:32 lon systemd[1]: Caught <ABRT>, dumped core as pid 336.
  Apr 19 13:49:32 lon systemd[1]: Freezing execution.

tmpfiles: fix permissions on new journal files

When starting up journald on a new system, set the proper permissions on
the system.journal files, not only on the journal directory.

build-sys: do not try to build test-rtnl-manual w/o kmod

build-sys: add libkmod flags for test_rtnl_manual

core: minor typo fix

delta: do not use unicode chars in C locale

https://bugzilla.redhat.com/show_bug.cgi?id=1088418

install: create_symlink() check unlink() return value

create_symlink() do not check the return value of unlink(), this may
confuse the user.

Before the unlink() call we check the 'force' argument. If it is not set
we fail with -EEXIST, otherwise we unlink() the file, therefore the next
symlink() should not fail with -EEXIST (do not count races...).

However since callers may not have appropriate privileges to unlink()
the file we lose the -EPERM or any other errno code of unlink(), and
return the -EEXIST of the next symlink(). Fix this by checking unlink()
results.

Before:
$ systemctl --force --root=~/container-03 set-default multi-user.target
Failed to set default target: File exists

After:
$ systemctl --force --root=~/container-03 set-default multi-user.target
Failed to set default target: Permission denied

systemctl: allow to change the default target without the --force switch

Currently "systemctl set-default" will fail to change the default target
due to the 'default.target' being a symlink which is always the case.

To work around this, the user must specify the "--force" switch to be
able to overwrite the existing symlink.

This is clearly a regression that was introduced by commit  718db96199e
since it worked before without the "--force" switch and the man pages do
not mention that you need to specify it. It is expected that this is a
symlink.

So just explicity set the force flag to make it work again.

https://bugs.freedesktop.org/show_bug.cgi?id=76623

Reported-by: <code@progandy.de>

Handle Unix domain socket connections from outside our namespace

NixOS uses Unix domain sockets for certain host <-> container
interaction; i.e. the host connects to a socket visible in the
container's directory tree, where the container uses a .socket unit to
spawn the handler program on demand. This worked in systemd 203, but
in 212 fails with "foo.socket failed to queue service startup job
(Maybe the service file is missing or not a template unit?): No data
available".

The reason is that getpeercred() now returns ENODATA if it can't get
the PID of the client, which happens in this case because the client
is not in the same PID namespace. Since getpeercred() is only used to
generate the instance name, this patch simply handles ENODATA by
creating an instance name "<nr>-unknown".

[zj: reorder clauses and remove (unsigned long) casts.]

man: document relationship between RequiresMountsFor and noauto

https://bugzilla.redhat.com/show_bug.cgi?id=1088057

test-path-util: fix running with separate build dir

test-path-utils attempts to find itself, but if the binary is not
in current directory, the test would fail.

sysctl: replaces some slashes with dots

It turns out that plain sysctl understands a.b/c syntax to write to
/proc/sys/a/b.c. Support this for compatibility.

https://bugs.freedesktop.org/show_bug.cgi?id=77466

systemctl: add --recursive for list-timers

systemctl: add --recursive for list-sockets

bus-proxy: remove unused variable

cgls: avoid writing an unused value

silences a build-scan warning for the unused value in r

timedatectl: avoid using uninitialized var

sec is not set if have_time is false so avoid using it. have_time
was introduced in 9ff09bcb86fb125768667aca9bc0b10b1745370a but only
the first uses for sec were covered

Found with scan-build

man: fix typos in sd_event_new

networkd: link - make state changing logging a bit less verbose

sd-rtnl: message_addr - allow dumping of messages

sd-rtnl: socket_read - use a read buffer

Rather than allocating/freeing memory for each message read, keep a global read buffer
in the rtnl object. Also, rather than using a fixed size, peek at the pending message
header to get the message size and reallocate as necessary.

sd-rtnl: multi-part message - store as linked-list rather than independent messages

This means the API can stay the same as for single-part messages by simply passing the head message around. Unrefing
the head of the linked list unrefs the whole list.

sd-rtnl: message_addr - expose a few more getters

networkd: link - ignore missing MAC address from NEWLINK message

The kernel may broadcast such messages, simply discard them.

hwdb: PCI - include "primary" model string in subsystem model string

The data in the PCI ids file is randomly inconsistent. Many
subvendor model strings just describe the "product" where the
hardware is built into, not the hardware itself. This causes
some "Network Card Model Foo" to show up as "Laptop Model Bar".

Try to make the best out of this mess and concatenate both
strings to describe the hardware.

hwdb: update

util: ignore kernel errors reported via close(), unless it is EBADF

The kernel can return pretty much anything there, even though the fd is
closed. Let's not get confused by that.

udev: serialize/synchronize block device event handling with file locks

bus-proxy: when replying to bus calls set a synthetic serial number and patch the sender address

Otherwise old libdbus1 is confused and will not accept our replies.

bus: process AddMatch/RemoveMatch driver call in proxy

Previously, AddMatch/RemoveMatch calls where processed exclusively in
the proxy. That's racy however, since subscribing to a signal might not
complete before the signal is sent due to some subsequent method call.
Hence, in order to expose the same ordering guarantees as dbus1 process
the AddMatch/RemoveMatch calls from the proxy, so that they are
dispatched synchronously to all following messages, thus fixing the
race.

Ultimately, we should probabably dissolve the driver entirely into the
proxy, as it is purely a compatibility feature anyway...

man: explain that the timestamps on incoming kdbus messages are not necessarily monotonically increasing

update TODO

build-sys: add Makefile symlink

update TODO

man: add man page for sd_event_new()

udev: remove seqnum API and all assumptions about seqnums

The way the kernel namespaces have been implemented breaks assumptions
udev made regarding uevent sequence numbers. Creating devices in a
namespace "steals" uevents and its sequence numbers from the host. It
confuses the "udevadmin settle" logic, which might block until util a
timeout is reached, even when no uevent is pending.

Remove any assumptions about sequence numbers and deprecate libudev's
API exposing these numbers; none of that can reliably be used anymore
when namespaces are involved.

bash completion: fix __get_startable_units

path-util: also check for existence of binary when given absolute path

In contrast to a filename-only argument, find_binary() did not
actually check if an path exists, allowing the code to fail later on.
This was OK, but it seems nicer to treat both paths identically.

Also take advantage of path_make_absolute_cwd doing strdup() by itself
if necessary to simplify.

fsck: Search for fsck.type in PATH

Modifies find_binary() to accept NULL in the second argument.

fsck.type lookup logic moved to new fsck_exists() function, with a test.

hwdb: Update database of Bluetooth company identifiers

man: mention XDG_CONFIG_HOME in systemd.unit

build: if -fstack-protector-strong is available, use it.

core: Make sure a stamp file exists for all Persistent=true timers

If a persistent timer has no stamp file yet, it behaves just like a normal
timer until it runs for the first time. If the system is always shut down
while the timer is supposed to run, a stamp file is never created and
Peristent=true has no effect.

This patch fixes this by creating a stamp file with the current time
when the timer is first started.

journal: properly detect language specified in line

... it turns out that the duplicates in our own catalog were not real
duplicates, but translations.

journal: cleanup up error handling in update_catalog()

- Negative/positive errno mixup caused duplicates not to be detected properly.
  Now we get a warning about some duplicate entries in our own catalogs...
- Errors in update_catalog would be ignored, but they should not be.

test-dhcp-client: unref lease objects to make valgrind happy

Also unref client objects in test code, and initalize logging,
to DEBUG by default.

Unify GREEDY_REALLOC and GREEDY_REALLOC_T

greedy_realloc() and greedy_realloc0() now store the allocated
size as the count, not bytes.

Replace GREEDY_REALLOC uses with GREEDY_REALLOC_T everywhere,
and then rename GREEDY_REALLOC_T to GREEDY_REALLOC. It is just
too error-prone to have two slightly different macros which do the
same thing.

networkd: link - require both RUNNING and LOWER_UP before using link

Usually RUNNING implies LOWER_UP, but for drivers that don't support oper state, RUNNING can
also mean that the state is unknown. In that case we should just trust LOWER_UP directly.

networkd: wait for IFF_RUNNING rather than IFF_LOWER_UP

The interface is not fully ready until it enterns RUNNING. This was causing
problems with sending out DHCP messages before the interface was ready, so they
would get lost. In particular this affected DHCP INIT-REBOOT, as it relies on
the first package sent being successful (or it will fall back to a full reboot).

Also improve the logging a lot, to make future debugging of link state a lot
easier.

sd-dhcp-client: drop logging about T1/T2

These are redundant now that the REQUEST messages contain the same information.

sd-dhcp-client: improve logging

Specify what kind of REQUEST we send, and distinguish between REBOOT and START.
Also log stop reasons as strings rather than numbers.

sd-dhcp-client: use client_initialiez and client_restart for REBOOT

networkd: add an assert

This error should never happen, so replace the check with an assert. The check
was anyway broken due to an uninitialized return value.

Reported by Thomas Hindoe Paaboel Andersen <phomes@gmail.com>.

sd-dhcp-client: document message creation a bit more

Also reshuffle some code to make the correspondence with the RFC a bit more
obvious.

Small functional change: fail if we try to send a message from the wrong state.

sd-dhcp-client: assert that we can only create DISCOVER or REQUEST messages

sd-dhcp-client: rebind raw socket when resetting transaction id

As we are now filtering the raw socket based on the transaction id, we must
reset the BPF when we reset the transaction id.

sd-ipv4ll: Add an explicit stop state for IPv4LL

Add an explicit stop state for IPv4LL so that the user can stop the
IPv4LL client from the callback. When returning from the callback,
check also the stop state in order to halt any further protocol
processing.

sd-ipv4ll: Add reference counting for IPv4LL

Similar to DHCP, the IPv4LL library user can decide to free the LL
client any time the callback is called. Guard against freeing the
LL client in the callback by introducing proper reference counting.

Also update code using the IPv4LL library to properly handle a
returned NULL from the notify and stop functions if the IPv4LL
client was freed.

sd-dhcp-client: Add an explicit stop state for the DHCP client

Add an explicit stop state for the DHCP client so that the library
user can issue a stop at any time the callback has been called.
When returning from the callback, check also the stop state and
stop any further DHCP processing.

sd-dhcp-client: Add reference counting for DHCP

The DHCP library user can decide to free the DHCP client any time
the callback is called. After the callback has been called, other
computations may still be needed - the best example being a full
restart of the DHCP procedure in case of lease expiry.

Fix this by introducing proper reference counting. Properly handle
a returned NULL from the notify and stop functions if the DHCP
client was freed.

sd-dhcp-client: recevie_message - verify cmsg_len before reading

sd-rtnl: use SO_PASSCRED

This unifies the socket handling with other sd-* libraries.

bash completion: add -i/--image to nspawn

bus: catch up with kdbus changes (ABI break)

bus: update kdbus.h

timedated: ignore initial delta in history data

sd-rtnl: don't drop multi-part messages

We still only return the first message part in callback/synchronous calls.

sd-rtnl: use GREEDY_REALLOC for message queues

sd-dhcp-client: test - fix for jenkins

This test should have been updated when changing the magic cookie handling around.

Reported by Ken MacLeod.

nspawn: Fix erroneous OOM when building group list

change_uid_gid() never initialises sz which may cause greedy_realloc to
skip the initial buffer allocation.

cgls: fix running with -M option

systemd-machined doesn't store cgroup path in a state file anymore.
Let's figure it out from the scope.

login: add 'mir' to the list of session types

Add Mir to the list of session types. This is implemented for LightDM
in lp:~robert-ancell/lightdm/xdg-session-desktop [1].

[1] https://code.launchpad.net/~robert-ancell/lightdm/xdg-session-desktop/+merge/214108

(david: adjusted commit-header and fixed whitespace issues)

Document CONFIG_NET_NS as a required kernel option

Several units now utilize the PrivateNetwork parameter, which requires
network namespace support.

networkd: guard against NULL pointers

This should never be a problem, but better be safe than sorry.

sd-dhcp-client: include client id in debug messages

man: reword Persistent= description

I think it is easier to grok this way.

test-dhcp-client: style fixes

backlight: unify error messages