coredumpctl: show a useful error on permission problems

compress: add benchmark-style test

This is useful to test the behaviour of the compressor for various buffer
sizes.

Time is limited to a minute per compression, since otherwise, when LZ4
takes more than a second which is necessary to reduce the noise, XZ
takes more than 10 minutes.

% build/test-compress-benchmark (without time limit)
XZ: compressed & decompressed 2535300963 bytes in 794.57s (3.04MiB/s), mean compresion 99.95%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.56s (1550.07MiB/s), mean compresion 99.60%, skipped 990 bytes

% build/test-compress-benchmark (with time limit)
XZ: compressed & decompressed 174321481 bytes in 60.02s (2.77MiB/s), mean compresion 99.76%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.63s (1480.83MiB/s), mean compresion 99.60%, skipped 990 bytes

 It appears that there's a bug in lzma_end where it leaks 32 bytes.

journal: add LZ4 as optional compressor

Add liblz4 as an optional dependency when requested with --enable-lz4,
and use it in preference to liblzma for journal blob and coredump
compression. To retain backwards compatibility, XZ is used to
decompress old blobs.

Things will function correctly only with lz4-119.

Based on the benchmarks found on the web, lz4 seems to be the best
choice for "quick" compressors atm.

For pkg-config status, see http://code.google.com/p/lz4/issues/detail?id=135.

journal/compress: return early in uncompress_startswith

uncompress_startswith would always decode the whole stream, even
if it did not start with the given prefix.

Reallocation policy was also strange.

vconsole-setup: run setfont before loadkeys

https://bugs.freedesktop.org/show_bug.cgi?id=80685

sysusers: fix uninitialized warning

machine: don't return uninitialized variable

Repotred by Ronny Chevalier

man: document nspawn's new --volatile switch

networkd: accept section DHCP in systemd.network files

networkd: don't clear dhcpv6 lease timers if there's no previous lease

If client->lease is NULL, dhcp6_lease_clear_timers will cause a segmentation
fault.

nspawn: add new --volatile switch for booting containers in volatile (ephemeral) mode

Two modes are supported: --volatile=yes mounts only /usr into the
container, and a tmpfs as root directory. --volatile=state mounts the
full OS tree in, but overmounts /var with a tmpfs.

--volatile=yes hence boots with an unpopulated /etc and /var, starting
with pristine configuration and state.

--volatile=state hence boots with an unpopulated /var, only starting
with pristine state.

main: change check whether /etc is unpopulated to look for /etc/machine-id

Previously, we checked whether /etc was completely empty. This makes it
difficult though for container managers such as nspawn to install a
small number of files (such as /etc/timezone), and have the system
otherwise populate its own tree.

Hence, change this by looking for /etc/machine-id, which should be a
good sign whether /etc is populated or not.

units: conditionalize configfs and debugfs with CAP_SYS_RAWIO

We really don't want these in containers as they provide a too lowlevel
look on the system.

Conditionalize them with CAP_SYS_RAWIO since that's required to access
/proc/kcore, /dev/kmem and similar, which feel similar in style. Also,
npsawn containers lack that capability.

units: conditionalize static device node logic on CAP_SYS_MODULES instead of CAP_MKNOD

npsawn containers generally have CAP_MKNOD, since this is required
to make PrviateDevices= work. Thus, it's not useful anymore to
conditionalize the kmod static device node units.

Use CAP_SYS_MODULES instead which is not available for nspawn
containers. However, the static device node logic is only done for being
able to autoload modules with it, and if we can't do that there's no
point in doing it.

man: netdev - mention tun and tap

Reported by Moviuro <moviuro@gmail.com>

networkd: properly track addresses when first added

When doing a NEWADDR, the reply we get back is the NEWADDR itself, rather
than just an empty ack (unlike how NEWLINK works). For this reason, the
process that did the NEWADDR does not get the broadcast message.

We were only listening for broadcast messages, and hence not tracking the
addresses we added ourselves. This went unnoticed as the kernel will usually
send NEWADDR messages from time to time anyway, so things would mostly work,
but in the worst case we would not notice that a routable address was available
and consider ourselves offline.

networkd: link - improve link tracking logging

architecture: remove "cris" from uname list

the only correct name appears to be "crisv32"...

http://lists.freedesktop.org/archives/systemd-devel/2014-July/020899.html

sd-path: add missing header

man: add link to Open Group Base Specifications

build-sys: bump package and library versions

NEWS: prepare for release

man: document that systemctl's -H may now be used to connect directly to a container on a remote host

machine: properly distuingish created and registered machines

update TODO

sysusers: add new line type "m" to add users as members to groups

update TODO

machinectl: show /etc/os-release information of container in status output

hwdb: update

namespace: make sure /tmp, /var/tmp and /dev are writable in namespaces we set up

namespace: fix uninitialized memory access

hwdb: Update database of Bluetooth company identifiers

architecture: also add tuples for old ARM BE ABI

architecture: add tuple for old arm abi

I don't have suitable hardware at hand, so this is based
on debian documentation:

https://wiki.debian.org/ArmEabiPort#GCC_preprocessor_macros_for_floating_point

test: print library tuple in test

shared: add LIB_ARCH tuples for BE ARM archs

core: introduce exit_status_set_is_empty() to make things a bit easier to read

update TODO

shared: rename ARCH_TUPLE to LIB_ARCH_TUPLE

This is really just about library locations, hence clarify that we don't
assume this to be anything but that.

exit-status: rename ExitStatusSet's "code" field to "status"

We should follow the naming scheme waitid() uses, not come up with our
own reversed one...

man: reference RestartForceExitStatus= from the Restart= description

architecture: add tuples for arm

arch: add crisv32 to uname check

nspawn: when running in a service unit, use systemd for restarts

THis way we can remove cgroup priviliges after setup, but get them back
for the next restart, as we need it.

machined: don't force terminate registered machines

When a machine is registered in machined with CreateMachine it is OK to
kill the machine when it is terminated, but when an existing unit is
simply registered via RegisterMachine we shouldn't do that, as the unit
is controlled by somebody else.

core: introduce new RestartForceExitStatus= service setting

This does the inverse of RestartPreventExitStatus=: it forces a restart
of a service when a certain exit status is returned by a service
process.

networkd: tuntap - default to no packet information

Susant says:
> ip tuntap turns this off by default.

Let's follow ip(8) here as that should be the least surprising.

networkd vxlan: Pass correct type

The group argument is a union. We need to
pass the correct type

networkd: tuntap - manpage fixes

networkd: tuntap - enable PacketInfo by default

networkd: netdev - move tunnel address parsing to networkd-tunnel.c

networkd: tunnels - make tunnel address parsing generic

It had a bug in the typing, fix that and also make it save the address family so we
can print proper error messages.

networkd: Introduce tun/tap device

This patch introduces TUN/TAP device creation support
to networkd.

Example conf to create a tap device:

file: tap.netdev
------------------
[NetDev]
Name=tap-test
Kind=tap

[Tap]
OneQueue=true
MultiQueue=true
PacketInfo=true
User=sus
Group=sus
------------------

Test:
1. output of ip link
tap-test: tap pi one_queue UNKNOWN_FLAGS:900 user 1000 group 1000

id:
uid=1000(sus) gid=10(wheel) groups=10(wheel),1000(sus)
context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023

Modifications:

Added:
1. file networkd-tuntap.c
3. netdev kind NETDEV_KIND_TUN and NETDEV_KIND_TAP
2. Tun and Tap Sections and config params to parse
   conf and gperf conf parameters

[tomegun: tweak the 'kind' checking for received ifindex]

udev: net_setup_link - add a bit more logging

networkd: netdev - drop the link callbacks after calling them once

We should never call them again, so make sure they are cleaned up correctly.

networkd: netdev - take ref immediately after calling out

Keeping the refcounting next to the sd_bus_call_async() makes it easier to check.

networkd: split out vlan and macvlan handling

sd-login: use the same code for verfiying machine names everywhere

bus: close a bus that failed to connect

sd-bus: support connecting to remote hosts, directly into containers

systemctl -H root@foobar:waldi

will now show a list of services running on container "waldi" on host
"foobar", using "root" for authenticating at "foobar".

Since entereing a container requires priviliges, this will only work
correctly for root logins.

man: /usr/bin may contain binaries in any compatible arch, not just the primary one

man: fix links to systemd-efi-boot-generator(8)

sd-bus: when an event loop terminates, explicitly close the bus

This makes sure we actually release the bus and all the messages it
references.

bus: drop bus/message GC logic

When a caller drops all references to a bus and its messages while the
messages where still queue, this causes the bus to reference the
messages, and the messages to reference the bus, without anybody else
keeping a reference, which is something we so far considered a leak, and
tried to fix with a GC logic that would recognize cases like this, and
drop the reference.

This GC logic has been broken sofar, and remained unfixed. This commit
removes it altogther, replacing it with nothing. The rationale is that
simply because all refs to the bus have been dropped its queued messages
should *still* be written to the bus, even if the caller doesn't retain
any reference to either bus nor message. This means it was actually
wrong to attempt to clean up the bus in this case.

The proper way how applications should handle this is by explicitly
invoking sd_bus_close(), when they want busses to go away. This is
probably want they want to do anyway to avoid getting spurious
callbacks after they stopped using a bus.

bus-proxy: restore operation in non-kdbus mode

bus-proxyd is not only the bridge between legacy dbus clients and kdbus
but is also used to access remote dbus servers via ssh. Let's make sure
it actually works for that.

localed: consider an unset model as a wildcard

sd-dhcp6-client: initialize variable

udev: net_setup_link builtin should print the reason why something fails

Let's tell users what is going wrong.

util: when unescaping strings, don't allow smuggling in of additional NUL bytes

Better safe than sorry.

util: generalize is_localhost() and use it everywhere where applicable

path: add new "systemd-path" utility for querying paths described in file-hierarchy(7)

This new tool is based on "sd-path", a new (so far unexported) API for
libsystemd, that can hopefully grow into a workable API covering /opt
and more one day.

coredump: vacuum - fix calculation of 10% of fs size for MaxUse

sd-dhcp6-client: check return value

Checking the return values seems to have been forgotten in
ed6ee21953dac9c78383da00bc4514ece6b75ab5

networkd: fix alignment of gperf source

networkd: netdev - add dummy support

networkd: send hostname to dhcp server

Send hostname (option 12) in DISCOVER and REQUEST messages so the
DHCP server could use it to register with dynamic DNS and such.

To opt-out of this behaviour set SendHostname to false in [DHCP]
section of .network file

[tomegun: rebased, made sure a failing set_hostname is a noop and moved
          config from DHCPv4 to DHCP]

man: bring systemd.network(5) up-to-date

Based on diff by 'poma'.

man: bring systemd.netdev(5) up-to-date

Based on a diff by the mysterious 'poma'.

typo fixes

networkd: netdev - take ref when creating netdevs

We were doing this correctly for when the callback takes the Link object, but
must also do it for the cases it takes the NetDev object.

man: file-hierarchy - emphasize /usr/lib/$arch-id instead of $libdir

man/sd_journal_get_data: fix variable naming in example

man/sd_journal_next: fix argument in example

The example does not compile, it fails with:

error: passing argument 3 of ‘sd_journal_get_data’ from incompatible
pointer type

Cast to (const void **) to avoid this.

update TODO

parse_uid: return -ENXIO for -1 uids

Use dev_port for the ID of a network device.

For network devices on the same PCI function, dev_id should not be used,
since its purpose is for IPv6 support on interfaces with the same MAC
address.

The new dev_port sysfs attribute should be used instead of dev_id.

update TODO

man: document directories in $HOME, too, in file-hierarchy(7)

networkd: link - don't fail if master netdev already exists

This allows restarts to work gracefully.

networkd: tunnel - ensure that enslave callback is always invoked

The Link statemachine relies on this, as it would otherwise wait forever. Hook up the tunnels in the
same way as the other NetDev's.

networkd: link - ignore missing MAC address

Currently DHCP/IPv4LL only works on ethernet devices, but no reason not to otherwise
manage them.

base-filesystem: avoid all searching if the link already exists

base-filesystem: explicitely check existence of the platform's ABI dynamic loader

base-filesystem: create /lib64 symlink to libdir /usr directory

networkd: address_acquire use cleanup macro

use cleanup macro for Address na

[tomegun: dropped unneccessary braces]

networkd: netdev add one separate line

networkd: link - drop assert from _free()

_free() should always succeed, even if object is not fully allocated.

sd-dhcp6-client: fix free before use

networkd: link - improve refcounting

We failed to take a ref when waiting for udev synchronization. Fix that and also
make unreffing in callbacks simpler throughout by using _cleanup_ macros.

Fixes <https://bugs.freedesktop.org/show_bug.cgi?id=80556>.

update TODO