test: add and improve hashmap tests

Test more corner cases and error states in several tests.

Add new tests for:
  hashmap_move
  hashmap_remove
  hashmap_remove2
  hashmap_remove_value
  hashmap_remove_and_replace
  hashmap_get2
  hashmap_first

In test_hashmap_many additionally test with an intentionally bad hash
function.

test: generate tests for OrderedHashmap from Hashmap tests

test-hashmap-ordered.c is generated from test-hashmap-plain.c simply by
substituting "ordered_hashmap" for "hashmap" etc.

In the cases where tests rely on the order of entries, a distinction
between plain and ordered hashmaps is made using the ORDERED macro,
which is defined only for test-hashmap-ordered.c.

hashmap: add OrderedHashmap as a distinct type

Few Hashmaps/Sets need to remember the insertion order. Most don't care
about the order when iterating. It would be possible to use more compact
hashmap storage in the latter cases.

Add OrderedHashmap as a distinct type from Hashmap, with functions
prefixed with "ordered_". For now, the functions are nothing more than
inline wrappers for plain Hashmap functions.

mac: also rename use_{smack,selinux,apparmor}() calls so that they share the new mac_{smack,selinux,apparmor}_xyz() convention

mac: rename apis with mac_{selinux/smack}_ prefix

label: rearrange mandatory access control(MAC) apis

move label apis to selinux-util.ch or smack-util.ch appropriately.

man: add example how to generate certificates with openssl

journal-upload: return proper exit code

Even when termninated normally, systemd-journal-upload would return
something positive which would be interpreted as failure.

shared/log: add log_trace as compile-time optional debugging

Repetetive messages can be annoying when running with
SYSTEMD_LOG_LEVEL=debug, but they are sometimes very useful
when debugging problems. Add log_trace which is like log_debug
but becomes a noop unless LOG_TRACE is defined during compilation.
This makes it easy to enable very verbose logging for a subset
of programs when compiling from source.

journal-upload: fix --trust=all option

journal-upload: avoid calling printf with maximum precision

Precision of INT_MAX does not work as I expected it to.

https://bugzilla.redhat.com/show_bug.cgi?id=1154334

journal-upload: verify state file can be saved before uploading

Do our best verify that we can actually write the state file
before upload commences to avoid duplicate messages on the server.

socket-util: use IP address when hostname is not found

socknameinfo_pretty() would fail for addresses without reverse DNS,
but we do not want that to happen.

journal-remote: add --split-mode to help

journal-remote: better error message on failure

Return a proper code instead of simply NULL for failure.

journal-upload: do not require port to be set

systemd-upload: print paths in help()

journal-remote: give names to event sources

This possibility was recently added, and it makes debugging much nicer.

journal-upload: fix socket activation

sd-daemon,man: ignore missing $WATCHDOG_PID

Systemd 209 started setting $WATCHDOG_PID, and sd-daemon watch was
modified to check for this variable. This means that
sd_watchdog_enabled() stopped working with previous versions of
systemd. But sd-event is a public library and API and we must keep it
working even when a program compiled with a newer version of the
libary is used on a system running an older version of the manager.

getenv() and unsetenv() are fairly expensive calls, so optimize
sd_watchdog_enabled() by not calling them when unnecessary.

man: centralize the description of $WATCHDOG_PID and $WATCHDOG_USEC in
the sd_watchdog_enabled manpage. It is better not to repeat the same
stuff in two places.

man: make udev.event-timeout more visible

Evidently some people had trouble finding it in the documentation.

units: run firstboot before sysusers, so that firstboot can initialize the root password

update TODO

update TODO

journalctl: add new --flush command and make use of it in systemd-journal-flush.service

This new command will ask the journal daemon to flush all log data
stored in /run to /var, and wait for it to complete. This is useful, so
that in case of Storage=persistent we can order systemd-tmpfiles-setup
afterwards, to ensure any possibly newly created directory in /var/log
gets proper access mode and owners.

cryptsetup: fix an OOM check

machine: validate machine names using machine_name_is_valid() instead of string_is_safe()

After all, we know have this as generic validator, so let's be correct
and use it wherver applicable.

sd-bus: fix transition left-overs in sd_bus_get_owner_creds()

sd_bus_get_owner_creds() was only halfly ported over to
_cleanup_bus_creds_unref_.

journal: do server_vacuum for sigusr1

runtime journal is migrated to system journal when only
"/run/systemd/journal/flushed" exist. It's ok but according to this
the system journal directory size(max use) can be over the config. If
journal is not rotated during some time the journal directory can be
remained as over the config(or default) size. To avoid, do
server_vacuum just after the system journal migration from runtime.

firstboot: don't prohibit re-generating the machine id on the current root fs

If it really is missing it should be safe to create it.

Also see:

http://lists.freedesktop.org/archives/systemd-devel/2014-August/022726.html

update TODO

journalctl: don't introduce numeric constants with special names, give them names

sd-bus: implement sd_bus_get_owner_creds() for kdbus

kdbus learned a new ioctl to tell userspace about a bus creator's
credentials, which is what we need to implement sd_bus_get_owner_creds() for
kdbus.

Move the function from sd-bus.c to bus-control.c to be able to reuse
the bus_populate_creds_from_items() helper.

sd-bus: rename sd_bus_get_owner_uid(), sd_bus_get_owner_machine_id() and sd_bus_get_peer_creds()

Clean up the function namespace by renaming the following:

  sd_bus_get_owner_uid()        → sd_bus_get_name_creds_uid()
  sd_bus_get_owner_machine_id() → sd_bus_get_name_machine_id()
  sd_bus_get_peer_creds()       → sd_bus_get_owner_creds()

sd-bus: factor out creds item iterator

We will re-use the code to walk items in order to populate a creds object,
so let's factor it out first.

sd-bus: sync kdbus.h

kdbus learned a new command to query a bus creator's credentials. Sync
kdbus.h first, which also renames some struct to more generic terms.
That is, however, not an ABI break this time.

journald: add CAP_MAC_OVERRIDE in journald for SMACK issue

systemd-journald check the cgroup id to support rate limit option for
every messages. so journald should be available to access cgroup node in
each process send messages to journald.
In system using SMACK, cgroup node in proc is assigned execute label
as each process's execute label.
so if journald don't want to denied for every process, journald
should have all of access rule for all process's label.
It's too heavy. so we could give special smack label for journald te get
all accesses's permission.
'^' label.
When assign '^' execute smack label to systemd-journald,
systemd-journald need to add  CAP_MAC_OVERRIDE capability to get that smack privilege.

so I want to notice this information and set default capability to
journald whether system use SMACK or not.
because that capability affect to only smack enabled kernel

hwdb: Add mapping for special keys on compaq ku 0133 keyboards

The compaq ku 0133 keyboard has 8 special keys at the top:
http://lackof.org/taggart/hacking/keyboard/cpqwireless.jpg

3 of these use standard HID usage codes from the consumer page, the 5
others use part of the reserved 0x07 - 0x1f range.

This commit adds mapping for this keyboard for these reserved codes, making
the other 5 keys work.

Cc: Hans de Goede <hdegoede@redhat.com>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>

update TODO

resolved: simplify detection of packets from the loopback device

We can simplify our code quite a bit if we explicitly check for the
ifindex being 1 on Linux as a loopback check. Apparently, this is
hardcoded on Linux on the kernel, and effectively exported to userspace
via rtnl and such, hence we should be able to rely on it.

networkd: Fix a couple of typos

sd-bus: assert clock_gettime()'s return value

Don't handle clock_gettime() errors gracefully but use assert_se().

update TODO

README: simplify documented dependency on util-linux

we stritcly require features from util-linux v2.25, such a new version
is not optional, hence document this.

fsck: re-enable fsck -l

The -l (lock) has been temporary disabled due to conflict with
udev (https://bugs.freedesktop.org/show_bug.cgi?id=79576)

The problem is fixed since util-linux v2.25 (Jul 2014).

Update TODO

CODING_STYLE: clarify that single-line if blocks should not be enclosed in {}

sd-bus: sync kdbus.h (API change: switch to absolute timeouts)

kdbus_msg.timeout_ns now takes an absolute value, based on CLOCK_MONOTONIC,
in order to eventually support automatically restarted syscalls.

Signed-off-by: Daniel Mack <daniel@zonque.org>

sd-bus: sync kdbus.h (ABI break)

In kdbus.h, the following details changed:

 * All commands gained a 'kernel_flags' field to report the flags supported
   by the driver. Before, this was done in the 'flags' field in a
   bidirectional way, which turned out to be a problem for the code in
   sd-bus, as many parts of it reuse the same ioctl struct more than once
   and consider them to be owned by userspace.

 * Name listings are now returned by a new struct instead of reusing struct
   kdbus_cmd_name for that matter. This way, we don't add more unneeded
   fields to it and make the API cleaner.

 * 'conn_flags' was renamed to 'flags' in struct kdbus_cmd_hello to make
   the API a bit more unified.

strv: use realloc_multiply() to check for multiplication overflow

This could overflow on 32bit, where size_t is the same as unsigned.

strv: add an additional overflow check when enlarging strv()s

https://bugs.freedesktop.org/show_bug.cgi?id=76745

man: add examples for coredumpctl

Add examples to clarify how to use coredumpctl

See https://bugs.freedesktop.org/show_bug.cgi?id=83437

man: fix project reference for archlinux

man: add missing commas

man: move one more nspawn example into a proper <example> section

man: use <example> instead of multiple <refsect1> for examples

shared: remove unused functions

- mkdir_p_prefix: It has never been used
- mkdir_parents_prefix_label: Unused since 1434ae6fd49f8377b0ddbd4c675736e0d3226ea6

util: avoid duplication of TIME_T_MAX

update TODO

sd-journal: consistently use ternary operator for all direction checks

bus-proxy: let's make use of the translated errors get_creds_by_name() provides us with

Revert "bus-proxyd: improve compatibility with dbus-1"

This reverts commit b0f84d4d7832659f2216bda7a7cdf51f5e79c6eb.

get_creds_by_name() already translate the error nicely, we just need to
make use of it.

man: try to reword explanation of Sockets= a bit

kdbus: free returned buffer when the memory is no longer needed

man: fix localectl set-x11-keymap syntax description

update TODO

man: document sd_bus_creds_get_connection_name()

man: suffix C functions with ()

man: document sd_machine_get_class() and sd_machine_get_ifindices()

sysctl.d: default to fq_codel, fight bufferbloat

Quoting from Jon Corbet's report of Stephen Hemminger's talk at Linux
Plumbers Conference 2014 (https://lwn.net/Articles/616241/):

    [...] So Stephen encouraged everybody to run a command like:

    sysctl -w net.core.default_qdisc=fq_codel

    That will cause fq_codel to be used for all future connections
    [Qdiscs apply to interfaces, not connections. Pointed out by TomH
    in the article comments. -- mschmidt] (up to the next reboot).
    Unfortunately, the default queuing discipline cannot be changed,
    since it will certainly disturb some user's workload somewhere.

Let's have the recommended default in systemd.

Thanks to Dave Täht for advice and the summary at
https://lists.bufferbloat.net/pipermail/cerowrt-devel/2014-October/003701.html

sd-bus: sync kdbus.h (ABI break)

kdbus.h now has KDBUS_ATTACH_COMM split into KDBUS_ATTACH_TID_COMM and
KDBUS_ATTACH_PID_COMM. The items were split already, so the change in
systemd is easy.

shell-completion/bash: add add-wants and add-requires

sd-bus: sync kdbus.h (ABI break)

In kdbus.h, the 'features' field has been dropped again. Instead of
negotiating features that way, we decided to make the kernel return the
set of supported flags in each ioctl struct's .flags field, in both the
success and error cases.

systemd: try harder to bind to notify socket

Without the socket open we are going to crash and burn. If for
whatever reason we fail during deserialization we will fail when
trying to open the socket. In this case it is better to unlink the old
socket and maybe lose some messages, than to continue without the
notification socket.

Of course this situation should not happen, but we should handle
it as gracefully as possible anyway.

https://bugzilla.redhat.com/show_bug.cgi?id=1099299

systemd: log deserialization errors as warnings

If we failed to parse something that we wrote ourselves,
things are seriously off. This is also likely to lead to
problems futher on.

systemd: continue switch-root even if umount fails

Leaving the old root around seems better than aborting the
switch.

nspawn: fix DeviceAllow list

Commit 864e17068 ("nspawn: actually allow access to /dev/net/tun in the
container") added "/dev/net/tun" to the list of allowed devices but forgot
to tweak the array length, which caused "/dev/kdbus/*" to be missed.

environment: append unit_id to error messages regarding EnvironmentFile

missing: remove fanotify

It was only used in readahead.

execute: downgrade namespace error to "warning"

Also, extend the printed warning a bit, explaining the situation more
verbosely.

update TODO

namespace: add missing 'const' to parameters

systemctl: by default interactively ask for polkit authorization, if possible

Also, allow using --no-ask-password to turn off ineractive polkit
authorization.

execute: don't fail child when we don't have privileges to setup namespaces

If we don't have privileges to setup the namespaces then we are most likely
running inside some sort of unprivileged container, hence not being able to
create namespace is not a problem because spawned service can't access host
system anyway.

Revert "sd-bus: sync kdbus.h (ABI break)"

This reverts commit 1a2409e262da65a4b0ca8ab18fcf5eabd2d404ca.

Support from the kdbus interface was removed. We require
memfds to be supported by all clients.

resolve: add missing header

Change-Id: I64f7c6b446f6d92057c35cc3d4e29bd2bad8f75b

terminal: log unsupported ANSI or DEC mode changes

terminal: split ANSI from DEC mode changes

man: fix copy/paste error in CPUQuota= section of resource-control

man: fix typos

selinux: fix potential double free crash in child process

Before returning from function we should reset ret to NULL, thus cleanup
function is nop.

Also context_str() returns pointer to a string containing context but not a
copy, hence we must make copy it explicitly.

man: we don't have 'Wanted' dependency

bus-proxyd: add missing flag translation for RequestName

shell-completion: propose templates for disable/[re]enable/[re]start

Templates can be [re]enabled, on their own if the have DefaultInstance set,
and with an instance suffix in all cases. Propose just the template name
ending in @, to underline the instance suffix may have to be appended.

Likewise for start/restart.

This means that sometimes superflous units that one will not really
want to operate on will be proposed, but this seems better than
proposing a very incomplete set of names.

https://bugs.freedesktop.org/show_bug.cgi?id=66912

shell-completion: fix completion of inactive units

Units which not loaded were not proposed properly. OTOH, we should
filter units from get-unit-files by their state if they are currently
loaded. Bring zsh completions in line with bash completion, the same
logic should be used in both implementations.

https://bugzilla.redhat.com/show_bug.cgi?id=1024379
https://bugzilla.redhat.com/show_bug.cgi?id=790768
https://bugs.freedesktop.org/show_bug.cgi?id=84720

journal-remote: fix mem leak on error

sd-bus: sync kdbus.h (ABI break)

kdbus learned KDBUS_HELLO_ACCEPT_MEMFD as new connection negotiation
flag. Set it by default in systemd for now.

bus-proxyd: improve compatibility with dbus-1

'GetConnectionUnixProcessID', 'GetConnectionUnixUser' and
'GetConnectionSELinuxSecurityContext' methods should return
'NameHasNoOwner' error (if chosen name is not available on bus)
with more detailed description - like dbus-1:

Could not get PID of name 'org.freedesktop.test': no such name.
Could not get UID of name 'org.freedesktop.test': no such name.
Could not get security context of name 'org.freedesktop.test': no such name.

Otherwise we have only laconic message without proper dbus error:

Error System.Error.ENXIO: No such device or address

python-systemd: avoid hitting assert in __exit__

Reader_close() asserts that 'args' is always NULL, but the __exit__
function forwards a non-NULL args.

resolved: apply label to /run/systemd/resolve/resolv.conf

Under an SELinux system, we want the file that is created to
have a proper context, different from the default for files in /run.
This is so that the policy can give access to almost everyone to
this file.