cryptsetup-generator: add support for rd.luks.key=

Also clarify rd.luks.uuid and luks.uuid in the manual.

https://bugzilla.redhat.com/show_bug.cgi?id=905683

man: document that timeout=0 is the default for entries in crypttab

cryptsetup: set the timeout to 0 by default

cryptsetup itself has no timeout as default from the beginning. So the
default timeout has been "0" from the beginning.

https://bugzilla.redhat.com/show_bug.cgi?id=949702

execute: always add in EXECUTABLE= field when we log something about execution

systemctl: drop usage of "internally loaded modules"

I wouldn't know what "internally" is supposed to mean hear, and we use
this terminology in this context nowhere else, so let's drop this.

readahead: let readahead run for a little longer

Especially slower systems need more than 10s for starting the session,
so let's bump this to 30s.

update TODO

fixup for cddf148028f52

Instead of making a type up, just use __SWORD_TYPE, after reading
statfs(2).

Too bad, this does not fix s390x because __SWORD_TYPE is (long int) and
the kernel uses (int) to fill in the field!!!!!!

bootchart: Fix errno usage.

update TODO

bus: replace aligned_alloc() with memalign() everywhere

aligned_alloc() is C11 and not available everywhere. Also it would
require us to align the size value. So let's just invoke memalign()
instead, which is universally available and doesn't have any alignment
restrictions on the size parameter.

core: Remove unnecessary typedef

ExecContext isn't used in this header file, and everything seems to
build just fine without this typedef.  The typedef doesn't really belong
here, and at least my gcc-4.4.6 gives an error on type redefined.

fixup 8c68a7017 and cast to (unsigned long)

fixed statfs.f_type signed vs unsigned comparisons

statfs.f_type is signed but the filesystem magics are unsigned.
Casting the magics to signed will not make the signed.

Problem seen on big-endian 64bit s390x with __fsword_t 8 bytes.

Casting statfs.f_type to unsigned on the other hand will get us what we
need.

https://bugzilla.redhat.com/show_bug.cgi?id=953217

shell-completion: use -a to see "empty" properties

update TODO

TODO: add s.th. like "systemctl set-log-level debug"

core/execute: report invalid environment variables from files

Because "export key=val" is not supported by systemd, an error is logged
where the invalid assignment is coming from.

Introduce strv_env_clean_log() to log invalid environment assignments,
where logging is possible and allowed.

parse_env_file_internal() is modified to allow WHITESPACE in keys, to
report the issues later on.

Revert "man/systemd.xml: change the signal names to kill systemd"

This reverts commit 432c30d25fc2a7b4939d5ea6c29708e1323a2b9c.

Suggestion was to fix bash instead. :-/

systemctl:enable_sysv_units() more _cleanup_free_

fileio:parse_env_file_internal() fix environment file parsing

parse_env_file_internal() could not parse the following lines correctly:

export key="val"
key="val"#comment

core/execute.c: debug log final execve() with argv[]

https://bugzilla.redhat.com/show_bug.cgi?id=772073

man/systemd.xml: change the signal names to kill systemd

Using the signal name to put systemd in debug mode with bash results in:
 $ kill -s SIGRTMIN+22 1
 bash: kill: SIGRTMIN+22: invalid signal specification

whereas this works:
 $ kill -s SIGRTMAX-8 1

/usr/bin/kill understands both signal names, so just change them to the
bash names.

systemctl: clarify usage of "--all" versus list-unit-files

Novice users might think, that
 $ systemctl --all
is equal to
 $ systemctl list-unit-files

https://bugzilla.redhat.com/show_bug.cgi?id=748512

journalctl: specify "--unit=" and "--user-unit" multiple times

Previously only one "--unit=" or "--user-unit" could be specified.
With this patch, journalcrtl can show multiple units.

$ journalctl -u systemd-udevd.service -u sshd.service -u crond.service -b
-- Logs begin at Sa 2013-03-23 11:08:45 CET, end at Fr 2013-04-12
09:10:22 CEST. --
Apr 12 08:41:37 lenovo systemd[1]: Started udev Kernel Device Manager.
Apr 12 08:41:37 lenovo systemd[1]: Stopped udev Kernel Device Manager.
Apr 12 08:41:38 lenovo systemd[1]: Started udev Kernel Device Manager.
Apr 12 08:41:38 lenovo crond[291]: (CRON) INFO (Syslog will be used
instead of sendmail.)
Apr 12 08:41:38 lenovo crond[291]: (CRON) INFO (running with inotify
support)
Apr 12 08:41:39 lenovo systemd[1]: Starting OpenSSH server daemon...
Apr 12 08:41:39 lenovo systemd[1]: Started OpenSSH server daemon.
Apr 12 08:41:39 lenovo sshd[355]: Server listening on 0.0.0.0 port 22.
Apr 12 08:41:39 lenovo sshd[355]: Server listening on :: port 22.
Apr 12 08:41:39 lenovo mtp-probe[373]: checking bus 1, device 8:
"/sys/devices/pci0000:00/0000:00:1a.0/usb1/1-1/1-1.5/1-1.5.6/1-1.5.6.2/1-1.5.6.2.1"

journal: add one more level on top with AND

When using "-p" and "-b" in combination with "-u", the output is not
what you would expect. The reason is the sd_journal_add_disjunction()
call in add_matches_for_unit() and add_matches_for_user_unit(), which
adds two ORs without taking the other conditions to every OR.

Adding another level on top with AND and sd_journal_add_conjunction()
solves the problem.

Output before:

$ journalctl -o short-monotonic -ab -p 0 -u sshd.service

-- Reboot --
[    3.216305] lenovo systemd[1]: Starting OpenSSH server daemon...
-- Reboot --
[    3.168666] lenovo systemd[1]: Starting OpenSSH server daemon...
[    3.169639] lenovo systemd[1]: Started OpenSSH server daemon.
[36285.635389] lenovo systemd[1]: Stopped OpenSSH server daemon.
-- Reboot --
[   10.838657] lenovo systemd[1]: Starting OpenSSH server daemon...
[   10.913698] lenovo systemd[1]: Started OpenSSH server daemon.
[ 6881.035183] lenovo systemd[1]: Stopped OpenSSH server daemon.
-- Reboot --
[    6.636228] lenovo systemd[1]: Starting OpenSSH server daemon...
[    6.662573] lenovo systemd[1]: Started OpenSSH server daemon.
[    6.681148] lenovo sshd[397]: Server listening on 0.0.0.0 port 22.
[    6.681379] lenovo sshd[397]: Server listening on :: port 22.

As we see, the output is from _every_ boot and priority 0 is not taken
into account.

Output after patch:

$ journalctl -o short-monotonic -ab -p 0 -u sshd.service
-- Logs begin at Sun 2013-02-24 20:54:44 CET, end at Tue 2013-03-19 14:58:21 CET. --

Increasing the priority:

$ journalctl -o short-monotonic -ab -p 6 -u sshd.service
-- Logs begin at Sun 2013-02-24 20:54:44 CET, end at Tue 2013-03-19 14:59:12 CET. --
[    6.636228] lenovo systemd[1]: Starting OpenSSH server daemon...
[    6.662573] lenovo systemd[1]: Started OpenSSH server daemon.
[    6.681148] lenovo sshd[397]: Server listening on 0.0.0.0 port 22.
[    6.681379] lenovo sshd[397]: Server listening on :: port 22.

core/device.c: fix possible segfault

https://bugs.freedesktop.org/show_bug.cgi?id=63189

better fail than segfault

systemd[1]: Failed to load device unit: Invalid argument
systemd[1]: Failed to process udev device event: Invalid argument

TODO: remove fixed systemctl property bug

timedated: fixed NTP enabled: n/a

configure: use AC_CHECK_TOOL for objcopy, strings and gperf

* using AC_PATH_TOOL does not allow to override it from shell environment
  which is useful when cross-compiling
* with external toolchain I have different HOST_PREFIX and HOST_SYS
  AC_PATH_TOOL is using HOST_SYS as prefix and fails to find objcopy
  which is available only as ${TARGET_PREFIX}-objcopy then it tries
  objcopy without prefix which is found on host, but that objcopy
  does not work for !host (e.g. arm when building on x86) libs

fileio: also escape $ and ` when writing out env vars

These are also considered special by sh and bash.

build-sys: make sure kdbus.h is part of tarball

Also fix 'update-man-list' rule and add rules for new man pages.

journalctl: show fields requested with --field in full

I see little point in silently truncating fields when
they are explictly requested. With this change e.g.
  journalctl -b MESSAGE_ID=9f26aa562cf440c2b16c773d0479b518 --field=BOOTCHART
works as expected.

systemd: ignore hw timestamps in containers

They are irrelevant and misleading.

E.g. systemd-analyze:

  Startup finished in 6d 4h 15min 32.330s (kernel) + 49ms 914us (userspace) = 6d 4h 15min 32.380s

becomes

Startup finished in 53.735ms (userspace) = 53.735ms

which looks much better :)

bash-completion: --property support

Just bash.

man: fix syntax in nsenter example

Apparently nsenter doesn't handle options concatenated together.
I'm pretty sure it worked at one point, but it seems like magic,
since each of those options can take arguments.

sd-messages.h: add new bootchart message id

core/main: use _cleanup_

Report about syntax errors with metadata

The information about the unit for which files are being parsed
is passed all the way down. This way messages land in the journal
with proper UNIT=... or USER_UNIT=... attribution.

'systemctl status' and 'journalctl -u' not displaying those messages
has been a source of confusion for users, since the journal entry for
a misspelt setting was often logged quite a bit earlier than the
failure to start a unit.

Based-on-a-patch-by: Oleksii Shevchuk <alxchk@gmail.com>

core: log a few more things under UNIT=...

core/main: generate 4 parsing functions from a macro

conf-parser: generate 7 parsing functions from a macro

Those functions were identical, apart from typos. Log message
is modified to contain the type of destination var (int, double,
...). I think this might make it easier to understand why a value
was rejected (e.g. a minus from an unsigned type).

python-systemd: Reader return special fields and _Reader changes

Changes to _Reader make it match closer to C API, by removing `get_next`
and `get_previous`. A `get_all` method added, which returns dictionary
of fields using C API SD_JOURNAL_FOREACH_DATA macro, which can be used
in conjunction with `next`.

_Reader `get`, `next`, `get_{realtime,monotonic,cursor}` and new
`previous` methods are made private. This is so the traversal and
getting of journal fields can be made transparent in the python
interface.

Reader now solely implements `get_next` and `get_previous`, returning a
standard dictionary (future: other mapping types?) with all standard and
special fields through the converters. This makes the output the same as
journalctl json/export format output.

Iterator methods also moved to Reader, as they do not function as intend
with changes to _Reader.

These changes also mean that more optimised journal interfaces can be
made more easily from _Reader, by avoiding getting of unrequired fields
by using the `_get` method, and avoiding field conversions.

systemd-python: export new sd_journal_{process,get_events,get_timeout}

get_timeout_ms is added as a convenience function, since
it is abysmally hard to call clock_gettime() in Python
versions lower than 3.3. And even for Python 3.3 users
it saves a few lines.

journal: fix off-by-one error in native message iovec counting

Thanks to Cristian Ciupitu for a reproducer.
https://bugzilla.redhat.com/show_bug.cgi?id=924359

util: make generation of profcs PID paths nicer

path-util: unify code for detecting OS trees

This also makes sure we always detect an OS tree the same way, by
checking for /etc/os-release.

macro: rework how we define cleanup macros

There's now a generic _cleanup_ macro with an argument. The macros for
specific types are now defined using this macro, and in the header files
where they belong.

All cleanup handlers are now inline functions.

util: replace decimal_str_max() by a typesafe macro DECIMAL_STR_WIDTH()

DECIMAL_STR_WIDTH() now works on any numeric type, and is easier to
distingish from DECIMAL_STR_MAX().

This also replaces another manual implementaiton of ulog10 by this macro.

bus: parse unit/user unit/session from cgroup path

update TODO

nspawn: introduce the new /machine/ tree in the cgroup tree and move containers there

Containers will now carry a label (normally derived from the root
directory name, but configurable by the user), and the container's root
cgroup is /machine/<label>. This label is called "machine name", and can
cover both containers and VMs (as soon as libvirt also makes use of
/machine/).

libsystemd-login can be used to query the machine name from a process.

This patch also includes numerous clean-ups for the cgroup code.

util: make sure result of hostname_cleanup() passes hostname_is_valid()

logind: filter configured cgroup controller lists

logind: when looking for cgroup prefixes, allocate from stack

libudev: remove udev_monitor_new_from_socket() symbol

This function was removed in v183, so drop it from the symbols
versioning file.

bus: copy iteration macro from the kernel

hwdb: update

bus: catch up with kernel changes

bootchart: put the bootchart into the journal.

This bit of code is mostly stolen from coredump.c. We construct
a simple journal message and append the bootchart file in the
journal automatically.

You can extract the latest bootchart from the current boot with
something like:

$ journalctl -b MESSAGE_ID=9f26aa562cf440c2b16c773d0479b518 --field=BOOTCHART

which prints it to stdout.

None of the other logic is touched. The journal entry is created
even if bootchart was run manually, which is probably wrong.

bus: fix missing macro argument renaming

<fdo-vcs> systemd kay master * b1454bf src/libsystemd-bus/ bus-kernel.c kdbus.h
<fdo-vcs> systemd bus: catch up with kernel changes
<kmacleod> kay: randomly looked at your commit, it looks like in KDBUS_FOREACH_ITEM
  you missed changing a (d) to an (i) in (uint8_t*) (d) < (uint8_t*) (k) + (k)->size;  ?
<kay> kmacleod: hah, so there *is* a reason for using _foo in macros :)
<kay> kmacleod: thanks!

bus: catch up with kernel changes

audit: since nspawn now sets CAP_AUDIT_CONTROL for containers we cannot user this anymore to skip audit session ID retrieval

As audit is still broken in containers we need a reliable way how we can
determine whether the audit data we read from 7proc is actually useful.
Previously we used CAP_AUDIT_CONTROL for this, since nspawn removed that
from the nspawn container. This has changed a while back however, which
means we used audit data of host system in the container.

This adds an explicit container check to the audit calls, so that all
audit data is turned off in containers.

This should fix session creation with pam_systemd/logind in nspawn containers.

core: let's make our log messages proper sentences with full stops

core: always create /user and /machine top-level cgroup dirs

This allows clients to put inotify watches on these trees to watch for
state changes, without having to wait until these dirs are created.

This introduces the new top-level /machine cgroup dir as canonical
location where OS containers and VMs shall be located (as discussed with
the libvirt folks).

update TODO

do not change console to non-unicode for LANG=C

If systemd-vconsole-setup was started with LANG=C (no locale.conf), then
it would set the console to non-unicode, which is not what we want.

Fix spelling errors using 'codespell' tool

sd-login: add a sd_pid_get_user_unit() call

bus: handle env vars safely

Make sure that our library is safe for usage in SUID programs when it
comes to env var handling

kdbus: parse cgroup meta data, too

localectl: read X11 keymaps from the correct file

As reported by Sergey Udaltsov.

udev/ata_id: zero out variable properly

b8a2b0f76 'use initalization instead of explicit zeroing'
introduced a bug where only the first sizeof(uint_t*) bytes
would be zeroed out, instead of the whole array.

bus: remove two unused variables

systemd-python: fix formatting in docstring

TODO: bootchart items.

readahead: document options and commands.

readahead-analyze: avoid division-by-0

Also remove a few casts and use _cleanup_fclose_ to simplify logic.

MurmurHash3: actually inline functions

"__attribute__((always_inline))" does not replace "inline" and they
still need to be used together. This fixes "always_inline function
might not be inlinable [-Wattributes]" warning in gcc 4.7

Idea-from-patch-by: Siarhei Siamashka <siarhei.siamashka@gmail.com>

kdbus: generare bloom filters properly for messages we send

kdbus: update kdbus.h from upstream

bus: always explicitly rewind read index before passing message to caller or callback

bus: fix counting of argN= matches

util: introduce alloca0() and use it at a number of places

bus: zero data structure and catch up with error value change

kdbus: also parse cmdline message attribute

kdbus: make name acquirement ioctls valgrind clean

Include <fcntl.h> instead of <sys/fcntl.h>

<fcntl.h> is POSIX. On Linux, <sys/fcntl.h> simply includes
<fcntl.h>, so there should be on difference. On Android
likewise, except that there is some more stuff. QNX has
only <fcntl.h>.

https://bugs.freedesktop.org/show_bug.cgi?id=63423

fileio: in envfiles, do not skip lines following empty lines

https://bugs.freedesktop.org/show_bug.cgi?id=63477

Remove a few NULLs

Just {} is used in a lot of places now, and there's nothing
special abose those few.

kdbus: parse even more kernel meta data fields

kdbus: update to newest kdbus API

journal: fix broken tags _SOURCE_REALTIME_TIMESTAMP and _MACHINE_ID

systemctl: new verb 'list-sockets'

LISTEN           UNIT                            ACTIVATES
/dev/initctl     systemd-initctl.socket          systemd-initctl.service
/dev/log         systemd-journald.socket         systemd-journald.service
...
[::]:19531       systemd-journal-gatewayd.socket systemd-journal-gatewayd.service
kobject-uevent 1 systemd-udevd-kernel.socket     systemd-udevd.service

17 sockets listed.
Pass --all to see loaded but inactive sockets, too.

util: add wrapper for realloc to avoid specyfing type

kdbus: make our little test pass cleanly again

kbdus: add null bloom filter to our messages

This makes things work again with the requirements of the kernel on
bloom filters.

kdbus: use a valid service name for testing

kdbus: update kdbus.h from upstream

kdbus: make sure msg structure is properly initialized