fstab-generator: add comma when removed option is in the middle

xxx,x-systemd.default-timeout=y,zzz was filtered to xxxzzz,
but should be xxx,zzz, of course.

networkd TODO: add more bonding options

Add more bonding option in TODO section

networkd todo : remove tun/tap

Remove tun/tap from todo

networkd: add support for mode

This patch adds supports networkd to configure bond mode
during creation via persistent conf. Mode can be configured
with conf param 'Mode'. A new section Bond is added to the
conf to support bond mode.

These modes can be configured now.

balance-rr
active-backup
balance-xor
broadcast
802.3ad
balance-tlb
balance-alb

Example conf file: test-bond.conf
[NetDev]
Name=bond1
Kind=bond

[Bond]
Mode=balance-xor

Test case:
1. start networkd service:

12: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc
noqueue state UNKNOWN mode DEFAULT group default
link/ether 22:89:6c:47:23:d2 brd ff:ff:ff:ff:ff:ff

2. find bond mode:

cat /proc/net/bonding/bond1
    Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
    Bonding Mode: load balancing (xor)
    Transmit Hash Policy: layer2 (0)
    MII Status: up
    MII Polling Interval (ms): 0
    Up Delay (ms): 0
    Down Delay (ms): 0

Changes:
       1. Added file networkd-bond.c
       2. Bond mode enum BondMode
       3. conf section [Bond]

[tomegun: whitespace]

networkd veth: Make kind assert

It's more appropriate to make it's assert than -ENOTSUP

update TODO

firstboot: get rid of firstboot generator again, introduce ConditionFirstBoot= instead

As Zbigniew pointed out a new ConditionFirstBoot= appears like the nicer
way to hook in systemd-firstboot.service on first boots (those with /etc
unpopulated), so let's do this, and get rid of the generator again.

firstboot: follow lock protocol when changing /etc/shadow

man: document systemd-firstboot(1)

man: drop references to the --priviliged command line option which has been removed a while back

base-filesystem.c: terminate string array elements with \0

NULSTR_FOREACH() looks for a terminating zero and the element also needs
one.

service: flush status text and errno values each time a service is started

We shouldn't show status texts from previous service starts

systemctl: show StatusErrno value in "systemctl status"

service: don't accept negative ERRNO= notification messages

service: minor modernization

core: Added support for ERRNO NOTIFY_SOCKET message parsing, and added StatusErrno dbus property along StatusText to allow notification of numeric status condition while degraded service operation or any other special situation.

firstboot: change /etc/shadow access mode to 000

It appears to be customary to remove all access bits from /etc/shadow
including those for the root owner), hence let's do the same.

dhcp-network: make clear that we are ANDing Fragment offset field with mask

Reading BPF assembly written as C macros is inherently difficult. Don't
make it harder than necessary and provide clearer explanation in the
comment.

dhcp-network: ignore IP packets with More Fragments (MF) flag set

We already ignore IP fragments, because we expect that Fragment
offset (FO) field is not set. However first fragment in a fragmented IP
flow will have all zeroes in FO field. We should ignore such packet as
well, thus we need to look at MF flag in the IP header. Checking MF flag
will filter out all except last packet in fragmented flows. Last one
will be ruled out by next check for value of FO.

firstboot: add new component to query basic system settings on first boot, or when creating OS images offline

A new tool "systemd-firstboot" can be used either interactively on boot,
where it will query basic locale, timezone, hostname, root password
information and set it. Or it can be used non-interactively from the
command line when prepareing disk images for booting. When used
non-inertactively the tool can either copy settings from the host, or
take settings on the command line.

$ systemd-firstboot --root=/path/to/my/new/root --copy-locale --copy-root-password --hostname=waldi

The tool will be automatically invoked (interactively) now on first boot
if /etc is found unpopulated.

This also creates the infrastructure for generators to be notified via
an environment variable whether they are running on the first boot, or
not.

architecture: add string table entries for mips-le archs which were missing

man: chroot jails are no longer detected by ConditionVirtualization=

man: add missing archs to ConditionArchitecture= description

fileio: simplify write_env_file()

util: don't consider tabs special in string_has_cc() anymore

Instead, take a list of exceptions to our usual CC check

shared: make timezone and locale enumeration and validation generic

This way we can reuse it other code thatn just localectl/localed +
timedatectl/timedated.

update TODO

main: explain our /etc empty check a bit in a comment

util: consider 0x7F a control chracter (which it is: DEL)

Let's better be safe than sorry.

udev: link_config - ignore errors due to missing MAC address

Otherwis, we get misleading error messages on links with MACs.

Reported by Leonid Isaev.

vconsole-setup: fix inverted error messages

Introduced in abee28c56d.

Pointed-out-by: Werner Fink <werner@suse.de>

man: network - document Peer key

networkd: netdev - add missing refs

Without this, the underlying device would get freed (and hence
fail).

networkd: add support for peer address

This patch adds peer address support for
networkd . In the  [Address]  a new configurable
param is Peer.

[Match]
Name=ipip-tun

[Address]
Address=10.0.0.1/32
Peer=10.0.0.2/32

dhcp-network: add check for DHCP.chaddr

Check that received DHCP packets actually include our MAC address in
chaddr field. BPF interpreter has 32 bit wide registers but MAC address
is 48 bits long so we have to do check in two steps.

coredumpctl: show a useful error on permission problems

compress: add benchmark-style test

This is useful to test the behaviour of the compressor for various buffer
sizes.

Time is limited to a minute per compression, since otherwise, when LZ4
takes more than a second which is necessary to reduce the noise, XZ
takes more than 10 minutes.

% build/test-compress-benchmark (without time limit)
XZ: compressed & decompressed 2535300963 bytes in 794.57s (3.04MiB/s), mean compresion 99.95%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.56s (1550.07MiB/s), mean compresion 99.60%, skipped 990 bytes

% build/test-compress-benchmark (with time limit)
XZ: compressed & decompressed 174321481 bytes in 60.02s (2.77MiB/s), mean compresion 99.76%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.63s (1480.83MiB/s), mean compresion 99.60%, skipped 990 bytes

 It appears that there's a bug in lzma_end where it leaks 32 bytes.

journal: add LZ4 as optional compressor

Add liblz4 as an optional dependency when requested with --enable-lz4,
and use it in preference to liblzma for journal blob and coredump
compression. To retain backwards compatibility, XZ is used to
decompress old blobs.

Things will function correctly only with lz4-119.

Based on the benchmarks found on the web, lz4 seems to be the best
choice for "quick" compressors atm.

For pkg-config status, see http://code.google.com/p/lz4/issues/detail?id=135.

journal/compress: return early in uncompress_startswith

uncompress_startswith would always decode the whole stream, even
if it did not start with the given prefix.

Reallocation policy was also strange.

vconsole-setup: run setfont before loadkeys

https://bugs.freedesktop.org/show_bug.cgi?id=80685

sysusers: fix uninitialized warning

machine: don't return uninitialized variable

Repotred by Ronny Chevalier

man: document nspawn's new --volatile switch

networkd: accept section DHCP in systemd.network files

networkd: don't clear dhcpv6 lease timers if there's no previous lease

If client->lease is NULL, dhcp6_lease_clear_timers will cause a segmentation
fault.

nspawn: add new --volatile switch for booting containers in volatile (ephemeral) mode

Two modes are supported: --volatile=yes mounts only /usr into the
container, and a tmpfs as root directory. --volatile=state mounts the
full OS tree in, but overmounts /var with a tmpfs.

--volatile=yes hence boots with an unpopulated /etc and /var, starting
with pristine configuration and state.

--volatile=state hence boots with an unpopulated /var, only starting
with pristine state.

main: change check whether /etc is unpopulated to look for /etc/machine-id

Previously, we checked whether /etc was completely empty. This makes it
difficult though for container managers such as nspawn to install a
small number of files (such as /etc/timezone), and have the system
otherwise populate its own tree.

Hence, change this by looking for /etc/machine-id, which should be a
good sign whether /etc is populated or not.

units: conditionalize configfs and debugfs with CAP_SYS_RAWIO

We really don't want these in containers as they provide a too lowlevel
look on the system.

Conditionalize them with CAP_SYS_RAWIO since that's required to access
/proc/kcore, /dev/kmem and similar, which feel similar in style. Also,
npsawn containers lack that capability.

units: conditionalize static device node logic on CAP_SYS_MODULES instead of CAP_MKNOD

npsawn containers generally have CAP_MKNOD, since this is required
to make PrviateDevices= work. Thus, it's not useful anymore to
conditionalize the kmod static device node units.

Use CAP_SYS_MODULES instead which is not available for nspawn
containers. However, the static device node logic is only done for being
able to autoload modules with it, and if we can't do that there's no
point in doing it.

man: netdev - mention tun and tap

Reported by Moviuro <moviuro@gmail.com>

networkd: properly track addresses when first added

When doing a NEWADDR, the reply we get back is the NEWADDR itself, rather
than just an empty ack (unlike how NEWLINK works). For this reason, the
process that did the NEWADDR does not get the broadcast message.

We were only listening for broadcast messages, and hence not tracking the
addresses we added ourselves. This went unnoticed as the kernel will usually
send NEWADDR messages from time to time anyway, so things would mostly work,
but in the worst case we would not notice that a routable address was available
and consider ourselves offline.

networkd: link - improve link tracking logging

architecture: remove "cris" from uname list

the only correct name appears to be "crisv32"...

http://lists.freedesktop.org/archives/systemd-devel/2014-July/020899.html

sd-path: add missing header

man: add link to Open Group Base Specifications

build-sys: bump package and library versions

NEWS: prepare for release

man: document that systemctl's -H may now be used to connect directly to a container on a remote host

machine: properly distuingish created and registered machines

update TODO

sysusers: add new line type "m" to add users as members to groups

update TODO

machinectl: show /etc/os-release information of container in status output

hwdb: update

namespace: make sure /tmp, /var/tmp and /dev are writable in namespaces we set up

namespace: fix uninitialized memory access

hwdb: Update database of Bluetooth company identifiers

architecture: also add tuples for old ARM BE ABI

architecture: add tuple for old arm abi

I don't have suitable hardware at hand, so this is based
on debian documentation:

https://wiki.debian.org/ArmEabiPort#GCC_preprocessor_macros_for_floating_point

test: print library tuple in test

shared: add LIB_ARCH tuples for BE ARM archs

core: introduce exit_status_set_is_empty() to make things a bit easier to read

update TODO

shared: rename ARCH_TUPLE to LIB_ARCH_TUPLE

This is really just about library locations, hence clarify that we don't
assume this to be anything but that.

exit-status: rename ExitStatusSet's "code" field to "status"

We should follow the naming scheme waitid() uses, not come up with our
own reversed one...

man: reference RestartForceExitStatus= from the Restart= description

architecture: add tuples for arm

arch: add crisv32 to uname check

nspawn: when running in a service unit, use systemd for restarts

THis way we can remove cgroup priviliges after setup, but get them back
for the next restart, as we need it.

machined: don't force terminate registered machines

When a machine is registered in machined with CreateMachine it is OK to
kill the machine when it is terminated, but when an existing unit is
simply registered via RegisterMachine we shouldn't do that, as the unit
is controlled by somebody else.

core: introduce new RestartForceExitStatus= service setting

This does the inverse of RestartPreventExitStatus=: it forces a restart
of a service when a certain exit status is returned by a service
process.

networkd: tuntap - default to no packet information

Susant says:
> ip tuntap turns this off by default.

Let's follow ip(8) here as that should be the least surprising.

networkd vxlan: Pass correct type

The group argument is a union. We need to
pass the correct type

networkd: tuntap - manpage fixes

networkd: tuntap - enable PacketInfo by default

networkd: netdev - move tunnel address parsing to networkd-tunnel.c

networkd: tunnels - make tunnel address parsing generic

It had a bug in the typing, fix that and also make it save the address family so we
can print proper error messages.

networkd: Introduce tun/tap device

This patch introduces TUN/TAP device creation support
to networkd.

Example conf to create a tap device:

file: tap.netdev
------------------
[NetDev]
Name=tap-test
Kind=tap

[Tap]
OneQueue=true
MultiQueue=true
PacketInfo=true
User=sus
Group=sus
------------------

Test:
1. output of ip link
tap-test: tap pi one_queue UNKNOWN_FLAGS:900 user 1000 group 1000

id:
uid=1000(sus) gid=10(wheel) groups=10(wheel),1000(sus)
context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023

Modifications:

Added:
1. file networkd-tuntap.c
3. netdev kind NETDEV_KIND_TUN and NETDEV_KIND_TAP
2. Tun and Tap Sections and config params to parse
   conf and gperf conf parameters

[tomegun: tweak the 'kind' checking for received ifindex]

udev: net_setup_link - add a bit more logging

networkd: netdev - drop the link callbacks after calling them once

We should never call them again, so make sure they are cleaned up correctly.

networkd: netdev - take ref immediately after calling out

Keeping the refcounting next to the sd_bus_call_async() makes it easier to check.

networkd: split out vlan and macvlan handling

sd-login: use the same code for verfiying machine names everywhere

bus: close a bus that failed to connect

sd-bus: support connecting to remote hosts, directly into containers

systemctl -H root@foobar:waldi

will now show a list of services running on container "waldi" on host
"foobar", using "root" for authenticating at "foobar".

Since entereing a container requires priviliges, this will only work
correctly for root logins.

man: /usr/bin may contain binaries in any compatible arch, not just the primary one

man: fix links to systemd-efi-boot-generator(8)

sd-bus: when an event loop terminates, explicitly close the bus

This makes sure we actually release the bus and all the messages it
references.

bus: drop bus/message GC logic

When a caller drops all references to a bus and its messages while the
messages where still queue, this causes the bus to reference the
messages, and the messages to reference the bus, without anybody else
keeping a reference, which is something we so far considered a leak, and
tried to fix with a GC logic that would recognize cases like this, and
drop the reference.

This GC logic has been broken sofar, and remained unfixed. This commit
removes it altogther, replacing it with nothing. The rationale is that
simply because all refs to the bus have been dropped its queued messages
should *still* be written to the bus, even if the caller doesn't retain
any reference to either bus nor message. This means it was actually
wrong to attempt to clean up the bus in this case.

The proper way how applications should handle this is by explicitly
invoking sd_bus_close(), when they want busses to go away. This is
probably want they want to do anyway to avoid getting spurious
callbacks after they stopped using a bus.

bus-proxy: restore operation in non-kdbus mode

bus-proxyd is not only the bridge between legacy dbus clients and kdbus
but is also used to access remote dbus servers via ssh. Let's make sure
it actually works for that.