selinux: simplify and unify logging

Normally we shouldn#t log from "library" functions, but SELinux is
weird, hence upgrade security messages uniformly to LOG_ERR when in
enforcing mode.

selinux: rework label query APIs

APIs that query and return something cannot silently fail, they must
either return something useful, or an error. Fix that.

Also, properly rollback socket unit fd creation when something goes
wrong with the security framework.

smack: we don't need the special labels exported, hence don't

selinux: drop 3 unused function prototypes

smack: rework SMACK label fixing code to follow more closely the semantics of the matching selinux code

smack: never follow symlinks when relabelling

previously mac_smack_apply(path, NULL) would operate on the symlink
itself while mac_smack_apply(path, "foo") would follow the symlink.
Let's clean this up an always operate on the symlink, which appears to
be the safer option.

smack: rework smack APIs a bit

a) always return negative errno error codes
b) always become a noop if smack is off
c) always take a NULL label as a request to remove it

mac: rename all calls that apply a label mac_{selinux|smack}_apply_xyz(), and all that reset it to defaults mac_{selinux|smack}_fix()

Let's clean up the naming schemes a bit and use the same one for SMACK
and for SELINUX.

selinux: make use of cleanup gcc magic

TODO

man: pam_systemd: some typos fixed, some info added

Just some minor nits that I stumbled over when reading the man page.

unit: adjust for the possibility of set_move() failing

hashmap: allow hashmap_move() to fail

It cannot fail in the current hashmap implementation, but it may fail in
alternative implementations (unless a sufficiently large reservation has
been placed beforehand).

unit: place reservations before merging other's dependencies

With the hashmap implementation that uses chaining the reservations
merely ensure that the merging won't result in long bucket chains.

With a future alternative implementation it will additionally reserve
memory to make sure the merging won't fail.

install, cgtop: adjust hashmap_move_one() callers for -ENOMEM possibility

That hashmap_move_one() currently cannot fail with -ENOMEM is an
implementation detail, which is not possible to guarantee in general.
Hashmap implementations based on anything else than chaining of
individual entries may have to allocate.

hashmap_move_one will not fail with -ENOMEM if a proper reservation has
been made beforehand. Use reservations in install.c.

In cgtop.c simply propagate the error instead of asserting.

test: add test for hashmap_reserve()

hashmap: introduce hashmap_reserve()

With the current hashmap implementation that uses chaining, placing a
reservation can serve two purposes:
 - To optimize putting of entries if the number of entries to put is
   known. The reservation allocates buckets, so later resizing can be
   avoided.
 - To avoid having very long bucket chains after using
   hashmap_move(_one).

In an alternative hashmap implementation it will serve an additional
purpose:
 - To guarantee a subsequent hashmap_move(_one) will not fail with
   -ENOMEM (this never happens in the current implementation).

hashmap: return more information from resize_buckets()

Return 0 if no resize was needed, 1 if successfully resized and
negative on error.

shared: split mempool implementation from hashmaps

resolve: make DnsScope::conflict_queue an OrderedHashmap

on_conflict_dispatch() uses hashmap_steal_first() and then does
something non-trivial with it. It may care about the order.

sd-bus: make sd_bus::reply_callbacks a OrderedHashmap

The way process_closing() picks the first entry from reply_callbacks
and works with it makes it likely that it cares about the order.

journal: make sd_journal::files a OrderedHashmap

Anything that uses hashmap_next() almost certainly cares about the order
and needs to be an OrderedHashmap.

journal: make Server::user_journals an OrderedHashmap

Order matters here. It replaces oldest entries first when
USER_JOURNALS_MAX is reached.

journal: make JournalFile::chain_cache an OrderedHashmap

The order of entries may matter here. Oldest entries are evicted first
when the cache is full.

(Though I don't see anything to rejuvenate entries on cache hits.)

install: make InstallContext::{will_install,have_installed} OrderedHashmaps

It appears order may matter here. Use OrderedHashmaps to be safe.

hashmap: drop assert(h) from hashmap_next()

It's handled just fine by returning NULL.

hashmap: hashmap_move_one() should return -ENOENT when 'other' is NULL

-ENOENT is the same return value as if 'other' were an allocated hashmap
that does not contain the key. A NULL hashmap is a possible way of
expressing a hashmap that contains no key.

test: add and improve hashmap tests

Test more corner cases and error states in several tests.

Add new tests for:
  hashmap_move
  hashmap_remove
  hashmap_remove2
  hashmap_remove_value
  hashmap_remove_and_replace
  hashmap_get2
  hashmap_first

In test_hashmap_many additionally test with an intentionally bad hash
function.

test: generate tests for OrderedHashmap from Hashmap tests

test-hashmap-ordered.c is generated from test-hashmap-plain.c simply by
substituting "ordered_hashmap" for "hashmap" etc.

In the cases where tests rely on the order of entries, a distinction
between plain and ordered hashmaps is made using the ORDERED macro,
which is defined only for test-hashmap-ordered.c.

hashmap: add OrderedHashmap as a distinct type

Few Hashmaps/Sets need to remember the insertion order. Most don't care
about the order when iterating. It would be possible to use more compact
hashmap storage in the latter cases.

Add OrderedHashmap as a distinct type from Hashmap, with functions
prefixed with "ordered_". For now, the functions are nothing more than
inline wrappers for plain Hashmap functions.

mac: also rename use_{smack,selinux,apparmor}() calls so that they share the new mac_{smack,selinux,apparmor}_xyz() convention

mac: rename apis with mac_{selinux/smack}_ prefix

label: rearrange mandatory access control(MAC) apis

move label apis to selinux-util.ch or smack-util.ch appropriately.

man: add example how to generate certificates with openssl

journal-upload: return proper exit code

Even when termninated normally, systemd-journal-upload would return
something positive which would be interpreted as failure.

shared/log: add log_trace as compile-time optional debugging

Repetetive messages can be annoying when running with
SYSTEMD_LOG_LEVEL=debug, but they are sometimes very useful
when debugging problems. Add log_trace which is like log_debug
but becomes a noop unless LOG_TRACE is defined during compilation.
This makes it easy to enable very verbose logging for a subset
of programs when compiling from source.

journal-upload: fix --trust=all option

journal-upload: avoid calling printf with maximum precision

Precision of INT_MAX does not work as I expected it to.

https://bugzilla.redhat.com/show_bug.cgi?id=1154334

journal-upload: verify state file can be saved before uploading

Do our best verify that we can actually write the state file
before upload commences to avoid duplicate messages on the server.

socket-util: use IP address when hostname is not found

socknameinfo_pretty() would fail for addresses without reverse DNS,
but we do not want that to happen.

journal-remote: add --split-mode to help

journal-remote: better error message on failure

Return a proper code instead of simply NULL for failure.

journal-upload: do not require port to be set

systemd-upload: print paths in help()

journal-remote: give names to event sources

This possibility was recently added, and it makes debugging much nicer.

journal-upload: fix socket activation

sd-daemon,man: ignore missing $WATCHDOG_PID

Systemd 209 started setting $WATCHDOG_PID, and sd-daemon watch was
modified to check for this variable. This means that
sd_watchdog_enabled() stopped working with previous versions of
systemd. But sd-event is a public library and API and we must keep it
working even when a program compiled with a newer version of the
libary is used on a system running an older version of the manager.

getenv() and unsetenv() are fairly expensive calls, so optimize
sd_watchdog_enabled() by not calling them when unnecessary.

man: centralize the description of $WATCHDOG_PID and $WATCHDOG_USEC in
the sd_watchdog_enabled manpage. It is better not to repeat the same
stuff in two places.

man: make udev.event-timeout more visible

Evidently some people had trouble finding it in the documentation.

units: run firstboot before sysusers, so that firstboot can initialize the root password

update TODO

update TODO

journalctl: add new --flush command and make use of it in systemd-journal-flush.service

This new command will ask the journal daemon to flush all log data
stored in /run to /var, and wait for it to complete. This is useful, so
that in case of Storage=persistent we can order systemd-tmpfiles-setup
afterwards, to ensure any possibly newly created directory in /var/log
gets proper access mode and owners.

cryptsetup: fix an OOM check

machine: validate machine names using machine_name_is_valid() instead of string_is_safe()

After all, we know have this as generic validator, so let's be correct
and use it wherver applicable.

sd-bus: fix transition left-overs in sd_bus_get_owner_creds()

sd_bus_get_owner_creds() was only halfly ported over to
_cleanup_bus_creds_unref_.

journal: do server_vacuum for sigusr1

runtime journal is migrated to system journal when only
"/run/systemd/journal/flushed" exist. It's ok but according to this
the system journal directory size(max use) can be over the config. If
journal is not rotated during some time the journal directory can be
remained as over the config(or default) size. To avoid, do
server_vacuum just after the system journal migration from runtime.

firstboot: don't prohibit re-generating the machine id on the current root fs

If it really is missing it should be safe to create it.

Also see:

http://lists.freedesktop.org/archives/systemd-devel/2014-August/022726.html

update TODO

journalctl: don't introduce numeric constants with special names, give them names

sd-bus: implement sd_bus_get_owner_creds() for kdbus

kdbus learned a new ioctl to tell userspace about a bus creator's
credentials, which is what we need to implement sd_bus_get_owner_creds() for
kdbus.

Move the function from sd-bus.c to bus-control.c to be able to reuse
the bus_populate_creds_from_items() helper.

sd-bus: rename sd_bus_get_owner_uid(), sd_bus_get_owner_machine_id() and sd_bus_get_peer_creds()

Clean up the function namespace by renaming the following:

  sd_bus_get_owner_uid()        → sd_bus_get_name_creds_uid()
  sd_bus_get_owner_machine_id() → sd_bus_get_name_machine_id()
  sd_bus_get_peer_creds()       → sd_bus_get_owner_creds()

sd-bus: factor out creds item iterator

We will re-use the code to walk items in order to populate a creds object,
so let's factor it out first.

sd-bus: sync kdbus.h

kdbus learned a new command to query a bus creator's credentials. Sync
kdbus.h first, which also renames some struct to more generic terms.
That is, however, not an ABI break this time.

journald: add CAP_MAC_OVERRIDE in journald for SMACK issue

systemd-journald check the cgroup id to support rate limit option for
every messages. so journald should be available to access cgroup node in
each process send messages to journald.
In system using SMACK, cgroup node in proc is assigned execute label
as each process's execute label.
so if journald don't want to denied for every process, journald
should have all of access rule for all process's label.
It's too heavy. so we could give special smack label for journald te get
all accesses's permission.
'^' label.
When assign '^' execute smack label to systemd-journald,
systemd-journald need to add  CAP_MAC_OVERRIDE capability to get that smack privilege.

so I want to notice this information and set default capability to
journald whether system use SMACK or not.
because that capability affect to only smack enabled kernel

hwdb: Add mapping for special keys on compaq ku 0133 keyboards

The compaq ku 0133 keyboard has 8 special keys at the top:
http://lackof.org/taggart/hacking/keyboard/cpqwireless.jpg

3 of these use standard HID usage codes from the consumer page, the 5
others use part of the reserved 0x07 - 0x1f range.

This commit adds mapping for this keyboard for these reserved codes, making
the other 5 keys work.

Cc: Hans de Goede <hdegoede@redhat.com>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>

update TODO

resolved: simplify detection of packets from the loopback device

We can simplify our code quite a bit if we explicitly check for the
ifindex being 1 on Linux as a loopback check. Apparently, this is
hardcoded on Linux on the kernel, and effectively exported to userspace
via rtnl and such, hence we should be able to rely on it.

networkd: Fix a couple of typos

sd-bus: assert clock_gettime()'s return value

Don't handle clock_gettime() errors gracefully but use assert_se().

update TODO

README: simplify documented dependency on util-linux

we stritcly require features from util-linux v2.25, such a new version
is not optional, hence document this.

fsck: re-enable fsck -l

The -l (lock) has been temporary disabled due to conflict with
udev (https://bugs.freedesktop.org/show_bug.cgi?id=79576)

The problem is fixed since util-linux v2.25 (Jul 2014).

Update TODO

CODING_STYLE: clarify that single-line if blocks should not be enclosed in {}

sd-bus: sync kdbus.h (API change: switch to absolute timeouts)

kdbus_msg.timeout_ns now takes an absolute value, based on CLOCK_MONOTONIC,
in order to eventually support automatically restarted syscalls.

Signed-off-by: Daniel Mack <daniel@zonque.org>

sd-bus: sync kdbus.h (ABI break)

In kdbus.h, the following details changed:

 * All commands gained a 'kernel_flags' field to report the flags supported
   by the driver. Before, this was done in the 'flags' field in a
   bidirectional way, which turned out to be a problem for the code in
   sd-bus, as many parts of it reuse the same ioctl struct more than once
   and consider them to be owned by userspace.

 * Name listings are now returned by a new struct instead of reusing struct
   kdbus_cmd_name for that matter. This way, we don't add more unneeded
   fields to it and make the API cleaner.

 * 'conn_flags' was renamed to 'flags' in struct kdbus_cmd_hello to make
   the API a bit more unified.

strv: use realloc_multiply() to check for multiplication overflow

This could overflow on 32bit, where size_t is the same as unsigned.

strv: add an additional overflow check when enlarging strv()s

https://bugs.freedesktop.org/show_bug.cgi?id=76745

man: add examples for coredumpctl

Add examples to clarify how to use coredumpctl

See https://bugs.freedesktop.org/show_bug.cgi?id=83437

man: fix project reference for archlinux

man: add missing commas

man: move one more nspawn example into a proper <example> section

man: use <example> instead of multiple <refsect1> for examples

shared: remove unused functions

- mkdir_p_prefix: It has never been used
- mkdir_parents_prefix_label: Unused since 1434ae6fd49f8377b0ddbd4c675736e0d3226ea6

util: avoid duplication of TIME_T_MAX

update TODO

sd-journal: consistently use ternary operator for all direction checks

bus-proxy: let's make use of the translated errors get_creds_by_name() provides us with

Revert "bus-proxyd: improve compatibility with dbus-1"

This reverts commit b0f84d4d7832659f2216bda7a7cdf51f5e79c6eb.

get_creds_by_name() already translate the error nicely, we just need to
make use of it.

man: try to reword explanation of Sockets= a bit

kdbus: free returned buffer when the memory is no longer needed

man: fix localectl set-x11-keymap syntax description

update TODO

man: document sd_bus_creds_get_connection_name()

man: suffix C functions with ()

man: document sd_machine_get_class() and sd_machine_get_ifindices()

sysctl.d: default to fq_codel, fight bufferbloat

Quoting from Jon Corbet's report of Stephen Hemminger's talk at Linux
Plumbers Conference 2014 (https://lwn.net/Articles/616241/):

    [...] So Stephen encouraged everybody to run a command like:

    sysctl -w net.core.default_qdisc=fq_codel

    That will cause fq_codel to be used for all future connections
    [Qdiscs apply to interfaces, not connections. Pointed out by TomH
    in the article comments. -- mschmidt] (up to the next reboot).
    Unfortunately, the default queuing discipline cannot be changed,
    since it will certainly disturb some user's workload somewhere.

Let's have the recommended default in systemd.

Thanks to Dave Täht for advice and the summary at
https://lists.bufferbloat.net/pipermail/cerowrt-devel/2014-October/003701.html

sd-bus: sync kdbus.h (ABI break)

kdbus.h now has KDBUS_ATTACH_COMM split into KDBUS_ATTACH_TID_COMM and
KDBUS_ATTACH_PID_COMM. The items were split already, so the change in
systemd is easy.

shell-completion/bash: add add-wants and add-requires

sd-bus: sync kdbus.h (ABI break)

In kdbus.h, the 'features' field has been dropped again. Instead of
negotiating features that way, we decided to make the kernel return the
set of supported flags in each ioctl struct's .flags field, in both the
success and error cases.