snapshot: return error when snapshot exists

Convert the rest to sd_bus_errnomap

I tried to preserve most errno values, but in some cases they were
inconsistent (different errno values for the same error name) or just
mismatched.

bus: add sd_bus_errnomap section

This allows custom "name" ↔ errno mappings to be registered.
Tables from all compilation units are concatenated.

test: test a corner case in hashmap_remove_and_replace()

configure.ac: add --enable-hashmap-debug option

The option simply enables hashmap debugging by defining
ENABLE_HASHMAP_DEBUG.

I suggest developing new code with it enabled, to have the iterator checks.

tools: add gdb command to dump hashmap information

$ sudo gdb -p 1
...
(gdb) source gdb-sd_dump_hashmaps.py
(gdb) sd_dump_hashmaps
  ... lists allocated hashmaps ...
(gdb) sd_dump_hashmaps 1
  ... lists allocated hashmaps, their DIB histograms and contiguous
      blocks statistics ...

hashmap: rewrite the implementation

This is a rewrite of the hashmap implementation. Its advantage is lower
memory usage.

It uses open addressing (entries are stored in an array, as opposed to
linked lists). Hash collisions are resolved with linear probing and
Robin Hood displacement policy. See the references in hashmap.c.

Some fun empirical findings about hashmap usage in systemd on my laptop:
  - 98 % of allocated hashmaps are Sets.
  - Sets contain 78 % of all entries, plain Hashmaps 17 %, and
    OrderedHashmaps 5 %.
  - 60 % of allocated hashmaps contain only 1 entry.
  - 90 % of allocated hashmaps contain 5 or fewer entries.
  - 75 % of all entries are in hashmaps that use trivial_hash_ops.

Clearly it makes sense to:
  - store entries in distinct entry types. Especially for Sets - their
    entries are the most numerous and they require the least information
    to store an entry.
  - have a way to store small numbers of entries directly in the hashmap
    structs, and only allocate the usual entry arrays when the direct
    storage is full.

The implementation has an optional debugging feature (enabled by
defining the ENABLE_HASHMAP_DEBUG macro), where it:
  - tracks all allocated hashmaps in a linked list so that one can
    easily find them in gdb,
  - tracks which function/line allocated a given hashmap, and
  - checks for invalid mixing of hashmap iteration and modification.

Since entries are not allocated one-by-one anymore, mempools are not
used for entries. Originally I meant to drop mempools entirely, but it's
still worth it to use them for the hashmap structs. My testing indicates
that it makes loading of units about 5 % faster (a test with 10000 units
where more than 200000 hashmaps are allocated - pure malloc: 449±4 ms,
mempools: 427±7 ms).

Here are some memory usage numbers, taken on my laptop with a more or
less normal Fedora setup after booting with SELinux disabled (SELinux
increases systemd's memory usage significantly):

systemd (PID 1)                            Original   New    Change
dirty memory (from pmap -x 1) [KiB]            2152  1264     -41 %
total heap allocations (from gdb-heap) [KiB]   1623   756     -53 %

test: adjust max load factor in test_hashmap_many()

A reimplementation of hashmaps will follow and it will use 0.8.

mempool: add a zeroing alloc function

Add mempool_alloc0_tile(). It's like mempool_alloc_tile(), but it
initializes the allocated tile's memory to zero.

util: add log2u(), log2u_round_up()

Two's logarithms for unsigned.

memfd: rename memfd.h to memfd-util.h to avoid any confusion with any libc provided headers

memfd: always use our internal utility functions where we have them

memfd: drop memfd_get_name() as it is unused

update TODO

journal: when sending huge log messages prefer memfds over temporary files in /dev/shm

Previously when a log message grew beyond the maximum AF_UNIX/SOCK_DGRAM
datagram limit we'd send an fd to a deleted file in /dev/shm instead.
Because the sender could still modify the file after delivery we had to
immediately copy the data on the receiving side.

With memfds we can optimize this logic, and also remove the dependency
on /dev/shm: simply send a sealed memfd around, and if we detect the
seal memory map the fd and use it directly.

CODING_STYLE: clarify that we really should use O_CLOEXEC everywhere

memfd: always create our memfds with CLOEXEC set

We really shouldn't create fds ever that have the flag unset.

util: unify how we see srand()

util: don't block on getrandom()

sysusers: Preserve ownership and mode on /etc/passwd and friends

When running sysusers we would clobber file ownership and permissions
on the files /etc/passwd, /etc/group and /etc/[g]shadow.

This simply preserves the ownership and mode if existing files are
found.

keymap: Ignore brightness keys on Dell Inspiron 1520 to avoid double events

On the Dell Inspiron 1520 both the atkbd and acpi-video input devices report
an event for pressing the brightness up / down key-combos, resulting in user
space seeing double events and increasing / decreasing the brightness 2 steps
for each keypress.

This hwdb snippet suppresses the atkbd events, making the Inspiron 1520 work
like most modern laptops which emit brightness up / down events through
acpi-video only.

Reported by Pavel Malyshev <p.malishev@gmail.com>

https://bugzilla.redhat.com/show_bug.cgi?id=1141525

zsh-completion: update start/restart completions

Now zsh should behave the same for those two subcommands as bash.

bash-completion: use improved filtering to make things faster

systemctl: obey --state in list-unit-files

systemctl: let list-{units,unit-files } honour --type

The docs don't clarify what is expected, but I don't see any reason
why --type should be ignored.

Also restucture the compund conditions into separate clauses for
easier reading.

bash-completion: rework startable/restartable units once more

I tried to use 'systemctl --all list-units' to filter unit files, but
this always filters out unit files which are not loaded. We want to complete
systemctl start with those units too, so this approach is not going to work.

New version is rather slow, but hopefully correct.

missing.h: fix wrong __NR_getrandom syscall def

278 is vmsplice on x86_64. 318 is what we want:

http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/arch/x86/syscalls/syscall_64.tbl

udev: path_id - update comments

busctl: add new "capture" verb to record bus messages in libpcap compatible files, for dissection with wireshark

nspawn: ignore EEXIST when creating mount point

A combination of commits f3c80515c and 79d80fc14 cause nspawn to
silently fail with a commandline such as:

  # systemd-nspawn -D /build/extra-x86_64 --bind=/usr

strace shows the culprit:

  [pid 27868] writev(2, [{"Failed to create mount point /build/extra-x86_64/usr: File exists", 82}, {"\n", 1}], 2) = 83

sd-bus: properly handle removals of non-existing matches

missing: no tabs please, we are british

update TODO

missing: simplify memfd ifdeffery

util: make use of the new getrandom() syscall if it is available when needing entropy

Doesn't require an fd, and could be a bit faster, so let's make use of
it, if it is available.

sd-rtnl: add bridge port rtnl attributes.

Add bridge port attributes to sd-rtnl to configure
via networkd.

sd-rtnl: add support to set packet family type

This patch adds functionality to set family type
in the rtnl message for example PF_BRIDGE.

sd-rtnl: mark nested attributes with the NLA_F_NESTED flag

The kernel mostly does not check this, but let's be consisntent and allways set it anyway. Based
on patch from Susant Sahani.

sd-rtnl: fix reading of nla type

We must filter out the 'network-byteorder' and 'nested' flags.

networkd: add Patch of MTU discovery for IPIP and GRE

Add path of MTU disovery for IPIP and GRE Kind of tunnels

networkd: add back path of MTU discovery for SIT

NEWS: well, it's Options= now, not Discard=

build-sys: do not use "label" functions in libsystemd_shared

update NEWS

test: use assert_se() when testing tables so that we get a useful error when something fails

service: add missing state table entry

core: send sigabrt on watchdog timeout to get the stacktrace

if sigabrt doesn't do the job, follow regular shutdown
routine, sigterm > sigkill.

swap: don't add too many deps for swap files form /proc/swap

udev: path_id - set supported_parent for well-known SCSI setups

NEWS: fix typos

NEWS: update

NEWS

update NEWS

update NEWS

build-sys: bump version number in preparation for release

build-sys: bump library versions in preparation for 217 release

NEWS: add contributor list in preparation for 217 release

update NEWS

polkit: actually generate new InteractiveAuthorizationRequired error on the right occasions

update TODO

sd-bus: add support for new InteractiveAuthorizationRequired error from dbus spec

update TODO

man: minor corrections on how the overall system states are actually defined

mac: add mac_ prefix to distinguish origin security apis

update TODO

swap: drop noauto/nofail bools from Swap structure

We nowadays always set them to "false" anyway, hence let's get rid of
them entirely.

swap: replace Discard= setting by a more generic Options= setting

For now, it's systemd itself that parses the options string, but as soon
as util-linux' swapon can take the option string directly with -o we
should pass it on unmodified.

udev hwdb: Support shipping pre-compiled database in system images

In some cases it is preferable to ship system images with a pre-generated
binary hwdb database, to avoid having to build it at runtime, avoid shipping
the source hwdb files, or avoid storing large binary files in /etc.

So if hwdb.bin does not exist in /etc/udev/, fall back to looking for it in
UDEVLIBEXECDIR. This keeps the possibility to add files to /etc/udev/hwdb.d/
and re-generating the database which trumps the one in /usr/lib.

Add a new --usr flag to "udevadm hwdb --update" which puts the database
into UDEVLIBEXECDIR.

Adjust systemd-udev-hwdb-update.service to not generate the file in /etc if we
already have it in /usr.

update TODO

man: document that $XDG_SESSION_DESKTOP only takes a single item, not a list, unlike $XDG_CURRENT_DESKTOP

sd-login: let's not needlessly yell at users

While GNOME/KDE are generally capitalized, systemd tools generally are
not, hence let's not start doing so in the XDG_CURRENT_SESSION
environment variable.

manager: print warning on console before reboot

It will be printed even if a prompt is blocking other messages.

manager: convert ephemeral to enum

In preparation for subsequent changes.

man: add table of manager states

shell-completion: systemctl set-default,get-default,is-system-running

rpm: add user macros

manager: do not print anything while passwords are being queried

https://bugs.freedesktop.org/show_bug.cgi?id=73942

cdrom_id: do not attempt to read past end of buffer

CID #1238437

selinux: make sure we do not try to print missing fields

UID or GID of 0 is valid, so we cannot use that to distinguish whether
calls to sd_bus_creds_get_* succeeded, and the return value from the
function is the only way to know about missing fields. Print "n/a" if
the fields are missing.

CID #1238779

login: remove multi-seat-x

update TODO

Update NEWS

units: define appropriate job timeout actions when boot or shutdown timeouts are hit

Using the new JobTimeoutAction= setting make sure we power off the
machine after basic.target is queued for longer than 15min but not
executed. Similar, if poweroff.target is queued for longer than 30min
but does not complete, forcibly turn off the system. Similar, if
reboot.target is queued for longer than 30min but does not complete,
forcibly reboot the system.

job: optionally, when a job timeout is hit, also execute a failure action

core: remove system start timeout logic again

The system start timeout as previously implemented would get confused by
long-running services that are included in the initial system startup
transaction for example by being cron-job-like long-running services
triggered immediately at boot. Such long-running jobs would be subject
to the default 15min timeout, esily triggering it.

Hence, remove this again. In a subsequent commit, introduce per-target
job timeouts instead, that allow us to control these timeouts more
finegrained.

update TODO

journald: be nice to coverity, add an extra assert

coverity otherwise assumes that the chain object might be NULL.

CODING_STYLE: don't clobber arguments on failure

calendarspec: parse 'quarterly' and 'semi-annually' as shortcuts

networkd: network - if no prefixlength is given, try to deduce one from the address class

In case of a class E or F address, ignore the address.

shared: in-addr-utils - add default_subnet_mask and default_prefixlen methods

These use the (deprecated) IPv4 address classes to deduce the corresponding subnet masks. This is useful when addresses
without subnet masks and prefix lengths are given.

Make use of these new functions from sd-dhcp-lease.

man: tmpfiles.d - recommend using b! and c!

We should avoid creating static device nodes at runtime.

units: tmpfiles-setup-dev - allow unsafe file creation to happen in /dev at boot

This will allow us to mark static device nodes with '!' to indicate that they should only be created at early boot.

sd-bus: sync kdbus.h (ABI break)

Some comment fixes and header cleanups in kdbus.h, and the task capability
meta information has been factored out to its own struct.

man: document what "minutely" now means

calendar: new case 'minutely'

update TODO

update NEWS

sd-bus: explicitly cast asprintf() return value away we are not interested in

Let's give coverity a hint what's going on here.

Revert "sd-bus: check return value of asprintf()"

This reverts commit b1543c4c93855b61b40118e9f14a0423dac2e078.

We check b->address anyway, no need to check the return value,
especially given that the other #ifdef branch don't get the same
treatment.