sd-dhcp-client: document message creation a bit more

Also reshuffle some code to make the correspondence with the RFC a bit more
obvious.

Small functional change: fail if we try to send a message from the wrong state.

sd-dhcp-client: assert that we can only create DISCOVER or REQUEST messages

sd-dhcp-client: rebind raw socket when resetting transaction id

As we are now filtering the raw socket based on the transaction id, we must
reset the BPF when we reset the transaction id.

sd-ipv4ll: Add an explicit stop state for IPv4LL

Add an explicit stop state for IPv4LL so that the user can stop the
IPv4LL client from the callback. When returning from the callback,
check also the stop state in order to halt any further protocol
processing.

sd-ipv4ll: Add reference counting for IPv4LL

Similar to DHCP, the IPv4LL library user can decide to free the LL
client any time the callback is called. Guard against freeing the
LL client in the callback by introducing proper reference counting.

Also update code using the IPv4LL library to properly handle a
returned NULL from the notify and stop functions if the IPv4LL
client was freed.

sd-dhcp-client: Add an explicit stop state for the DHCP client

Add an explicit stop state for the DHCP client so that the library
user can issue a stop at any time the callback has been called.
When returning from the callback, check also the stop state and
stop any further DHCP processing.

sd-dhcp-client: Add reference counting for DHCP

The DHCP library user can decide to free the DHCP client any time
the callback is called. After the callback has been called, other
computations may still be needed - the best example being a full
restart of the DHCP procedure in case of lease expiry.

Fix this by introducing proper reference counting. Properly handle
a returned NULL from the notify and stop functions if the DHCP
client was freed.

sd-dhcp-client: recevie_message - verify cmsg_len before reading

sd-rtnl: use SO_PASSCRED

This unifies the socket handling with other sd-* libraries.

bash completion: add -i/--image to nspawn

bus: catch up with kdbus changes (ABI break)

bus: update kdbus.h

timedated: ignore initial delta in history data

sd-rtnl: don't drop multi-part messages

We still only return the first message part in callback/synchronous calls.

sd-rtnl: use GREEDY_REALLOC for message queues

sd-dhcp-client: test - fix for jenkins

This test should have been updated when changing the magic cookie handling around.

Reported by Ken MacLeod.

nspawn: Fix erroneous OOM when building group list

change_uid_gid() never initialises sz which may cause greedy_realloc to
skip the initial buffer allocation.

cgls: fix running with -M option

systemd-machined doesn't store cgroup path in a state file anymore.
Let's figure it out from the scope.

login: add 'mir' to the list of session types

Add Mir to the list of session types. This is implemented for LightDM
in lp:~robert-ancell/lightdm/xdg-session-desktop [1].

[1] https://code.launchpad.net/~robert-ancell/lightdm/xdg-session-desktop/+merge/214108

(david: adjusted commit-header and fixed whitespace issues)

Document CONFIG_NET_NS as a required kernel option

Several units now utilize the PrivateNetwork parameter, which requires
network namespace support.

networkd: guard against NULL pointers

This should never be a problem, but better be safe than sorry.

sd-dhcp-client: include client id in debug messages

man: reword Persistent= description

I think it is easier to grok this way.

test-dhcp-client: style fixes

backlight: unify error messages

libsystemd-network: Speed up checksum computation using 64 bit integers

Improve the checksum computation by using 64 bit integers instead of the 16 bit
integers in the existing implementation. This change speeds up the computation
with approximately 78% both on 64 bit and 32 bit systems.

Please see RFC 1071 for details.

ipv4ll: use BPF on raw socket

This should significantly reduce spurious wakeups.

sd-ipv4ll: fix packet broadcasting

Umut said: 'I have noticed a bug that we are sending PROBE/ANNOUNCE messages on
00:00:00:00:00:00 address where it should be broadcast.'

sd-dhcp-client: improve BPF

Try a bit harder to make the kernel drop packets not for us. This should reduce
the number of wakeups from n^2 to n in the number of dhcp clients, which admittedly
only makes a differenc in very extreme cases.

sd-dhcp-client: eagerly drop too small packets

If they are too small to fit the IP+UDP+DHCP headers they can be of no use, so
don't waste resources parsing them. This is at the cost of losing some verbosity
in the logging.

sd-dhcp-client: move magic cookie into DHCPMessage struct

Also move the checking of it to the main message handler, rather than the
options parser.

Fix a bug, so we now drop the packet if any of the magic bytes don't match.
Before we used to only drop the packet if they were all wrong.

udev: net_id - use constants rather than magic numbers

journal-remote-parse: avoid passing null to memchr

Found with scan-build

reduce the amount of messages logged to /dev/kmsg when "debug" is specified

systemd-python: fix failing assert

A parameter which was always null before, now get's set to
the module.

systemd-python: use .hex instead of .get_hex()

It turns out the latter got removed in Python 3.

https://bugs.freedesktop.org/show_bug.cgi?id=77086

build-sys: add newly used if_link.h defines to missing.h

Reported-by: Arnaud Gaboury <arnaud.gaboury@gmail.com>

Fix a few return codes in error paths

tty-ask-password-agent: return negative errno

Return negative errno in wall_tty_block(). get_ctty_devnr() already
returns a negative errno in case of failure, no need to negate it again.

Reported-by: Simon <hwold@odai.homelinux.net>

systemctl: update NAME to PATTERN in help()

Previously the man page was modified, but not help().

logind: remove one cast

journal: fix export of messages containing newlines

In "export" format, newlines are significant, and messages containing
newlines must be exported as "binary".

journalctl: free arg_file on exit

backlight: do nothing if max_brightness is 0

On virtually any newer Asus mainboard, the eeepc-wmi driver is loaded.
It exposes a backlight device despite the lack of any physical backlight
devices. This fake backlight device has max_brightness set to 0. Since
the introduction of the clamp_brightness function, systemd-backlight
tries to write '1' to brightness and fails.

This patch changes systemd-backlight to exit gracefully when
max_brightness is 0 before performing any action. This affects
both the load and save actions.

bash_completion: busctl - add support for --user mode

bash completion: Add -r/--recursive to systemctl

network: default to IPv4LL on host0

Now that we have a graceful handover from IPv4LL to DHCP, there is no longer any reason to leave this off by default.

sd-rtnl: fix broken test cases and add support for tunnel

This patch fixes the broken test-cases for sd-rtnl and add support for ipip
and sit tunnel.

[tomegun: minor fixups]

networkd: smooth transition from ipv4ll to dhcp address

Currently when both ipv4ll and dhcp are enabled, ipv4ll
address (if one has been claimed) is removed when dhcp
address is aquired. This is not the best thing to do
since there might be clients unaware of the removal
trying to communicate.

This patch provides a smooth transition between ipv4ll
and dhcp. If ipv4ll address was claimed [1] before dhcp,
address is marked as deprecated. Deprecated address is still
a valid address and packets can be received on it but address
cannot be selected as a source address. If dhcp lease cannot
be extended, then ipv4ll address is marked as valid again.

[1] If there is no collision, claiming IPv4LL takes between 4 to
7 seconds.

networkd: drop routes when lease expires

logind: don't print error if devices vanish during ACL-init

If a device is unplugged while we initialize it, we will get ENOENT for
ACL-init (and related stuff). We currently print errors then, which is
misleading. Print a debug-message early and continue.

udev: do not export "static node" tags for non-existing devices

sd-dhcp-client: use BPF on raw socket

Filter out everything except UDP packets destined for the DHCP client port,
this should avoid the vast majority of spurious wakeups.

Filter based on [0], with permission.

Possible improvemnts: also check for the DHCP magic cookie to drop invalid
packets. Check for our xid to filter out packets destined for other clients.

[0]: <https://github.com/ambrop72/badvpn/blob/master/dhcpclient/BDHCPClient.c#L57>

build-sys: remove no longer needed user/org.freedesktop.DBus.busname

build-sys: no use for compat libs in the static analysis

sd-ipv4ll: speed up bind() in the same way as for dhcp

build-sys: workaround scan-build bug to fix ./autogen.sh s

It seems to be a clang-analyzer problem since it don't behave like
clang-compiler regarding -std={c99,gnu99}

sd-dhcp-client: --omg-optimized

Passing the protocol to socket() is redundant as it will be specified again in
bind(). Dropping the redundancy reduces the cost of bind() from ~30ms to ~0ms.
For details see [0].

networkd in a container (i.e., with next to no network latency) can now
negotiate a DHCP lease in 0.7 - 5 ms.

Thanks to Kay for help with debugging and to Daniel Borkmann for the pointer
to fix the problem.

[0]: <https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=902fefb82ef72a50c78cb4a20cc954b037a98d1c>

networkd: rewind rtnl message between passing it to functions

This makes updating link status on netdev links work again.

sd-rtnl: modernize a bit

doc: fix items' names in PORTING-DBUS1

TODO

networkd: link - fix memory leak

networkd: fix use-after-free

Free networks before links (the reverse of creation order).

sd-rtnl: fix off-by-one

Also fix type parameter passed to new0

timedated: adjust accuracy and slew values

sd-dhcp: avoid checksum calculation if possible

When receiving lots of packets that are not meant for us, we waste a relatively large amount
of cpu time computing their checksums before discarding them. Move the checksum calculation last
so we never compute it for packets which would otherwise be discarded.

sd-dhcp: check for ipv4 packets

sd-dhcp: check for udp packets

Do not try to parse ICMP packets

[tomegun: slightly tweaked debug message]

sd-rtnl: types - hook up bond types

Reported by Thomas Hindoe Paaboel Andersen <phomes@gmail.com>

sd-rtnl: message - fix clang compile warning

sd-rtnl: message - don't log about out-of-range attribute types

We will easily get these when running on newer kernels. However, we can safely ignore them as we
anyway don't know what to do with them.

networkd: netdev - improve logging  when setting ifindex

sd-rtnl: rework rtnl type system

Use a static table with all the typing information, rather than repeated
switch statements. This should make it a lot simpler to add new types.

We need to keep all the type info to be able to create containers
without exposing their implementation details to the users of the library.

As a freebee we verify the types of appended/read attributes.

The API is extended to nicely deal with unions of container types.

sd-rtnl: message - fix memory leak

sd-rtnl: message - don't reference associated rtnl object

The object is not currently used, so just drop the refenence. If/when we end up
using the object in the future, we must make sure to deal with possible mutual
references between rtnl busses and their queued messages; as is done in sd-bus.

udev: persistent naming - we cannot use virtio numbers as they are not stable

This reverts commit 8741f2defaf26aafe5ee0fd29954cfdf84ee519c: 'Add virtio-blk support to path_id' and
commit e3d563346c4237af23335cc6904e0662efdf62ad: 'udev: net_id - handle virtio buses'.

Distros may want to take note of this, as it changes behavior.

silence warnings

systemctl: fix spelling in comment

udev: update net_id comments

Add hwdb entry for Samsung Series 7 Ultra

build-sys: update "linkcheck"

<kay> ssuominen: and drop --no-as-needed from the linkcheck?
<kay> ssuominen: i expect it all triggers without the gc-sections thing alone
<ssuominen> if the intention is to make it strict as possible,
  to catch undefined references caused by missing -lfoo in linker line, then
  LDFLAGS="-Wl,-fuse-ld=gold -Wl,--as-needed -Wl,--no-gc-sections"

build-sys: rename "check-broken" to "linkcheck"

build-sys: split "make upload" and "make tango"

hwdb: Update database of Bluetooth company identifiers

core: do not read system boot timestamps in systemd --user mode

Before:
  $ systemd-analyze --user
  Startup finished in 2.810s (firmware) + 48ms (loader) + 122ms (userspace) = 122ms

After:
  $ systemd-analyze --user
  Startup finished in 122ms (userspace) = 122ms

bus: provide org.freedesktop.systemd1.busname for systemd --user

build-sys: disable test-cgroup-mask, it mangles valid user data in /run/user/$UID/

  $ ./test-cgroup-mask
  ...
  rmdir("/run/user/2702/systemd/generator") = 0
  open("/run/user/2702/systemd/generator.late", O_RDONLY|O_NONBLOCK|O_DIRECTORY|O_NOFOLLOW|O_NOATIME|O_CLOEXEC) = 5
  fstat(5, {st_mode=S_IFDIR|0755, st_size=3200, ...}) = 0
  fcntl(5, F_GETFL)                       = 0x78800 (flags O_RDONLY|O_NONBLOCK|O_LARGEFILE|O_DIRECTORY|O_NOFOLLOW|O_NOATIME)
  fcntl(5, F_SETFD, FD_CLOEXEC)           = 0
  getdents(5, /* 160 entries */, 32768)   = 10072
  unlinkat(5, "org.gnome.Weather.Application.busname", 0) = 0
  unlinkat(5, "dbus-org.gnome.Weather.Application.service", 0) = 0
  ...

build-sys: add "make check-broken" to find limited-toolchain link errors

build-sys: fix library link order

gitignore update

build-sys: split-off internal libsystemd-resolve

completions: fix/augment zsh completions for systemd-nspawn, busctl, loginctl, hostnamectl, localectl, machinectl

src/systemd: fix grammar and spelling errors in comments

build-sys: prepare 212

build-sys: prepare NEWS for 212

sd-rtnl: add support for tunnel attributes

Added support for tunneling netlink attrributes (ipip, gre, sit).
These works with kernel module ipip, gre and sit . The test cases are
moved to a separate file and manual test as well because they require
respective kernel modules as well.

sd-rtnl: message - don't try to enter unsupported containers

Currently we only support containers in RTM_*LINK messages.

Reported-by: "Thomas H.P. Andersen <phomes@gmail.com>"

time: support @ syntax for denoting times since the UNIX epoch 1970-1-1

update TODO