journal/compress: add stream compression/decompression functions

journal/compress: simplify compress_blob

shutdown: rework messages during shutdown

When running in 'quiet' mode, the only message printed from shutdown
binary would be 'Cannot finalize remaining file systems and devices,
giving up.', the only log line at error level before switch back to
initramfs. This is misleading, because in initramfs everything will
be cleaned up properly.

Avoid printing anything at error level before the attempt to switch
back to initramfs. Rework the messages to contain a bit more
information what is still remaining, to help people diagnose shutdown
issues.

sysv-generator: fix incorect ordering of Wants

systemctl: add new "is-system-running" command to check whether system is fully up

https://bugs.freedesktop.org/show_bug.cgi?id=66926

update TODO

fsck: consider a fsck implementation linked to /bin/true non-existant

update TODO

Trim TODO

tests: add test-compress

sysv-generator: rename PidFile to PIDFile

Spotted by Alexey Shabalin

use more _cleanup_ macro

sd-dhcp6-client: use %m instead of strerror(errno)

switch-root: create essential base directories at system bootup

This allows us to bootup a rootfs with a /usr directory only.

sd-dhcp-client: return NULL from _unref() like the other sd-* libraries

Let's keep this behavior consistent across our libraries.

In order to keep the refcounting working, a DONT_DESTROY macro similar
to the one in sd-bus was introduced.

nspawn: create essential base directories at system bootup

This allows us to bootup a rootfs with a /usr directory only.

Revert "Add systemd-coredumpctl as an alias for coredumpctl"

This reverts the documentation part of commit
dfdd0e0730385eef08f019863fd41168b05b6ab0.

coredump: log coredump even if core dumping fails

Journal might be functional even if we cannot write to
/var/lib/systemd/coredump.

coredump: retrieve comm information from /proc

Kernel mangles comm information in an irreversible way when comm
constains repeated spaces. Retrieve comm information from /proc, and
only fallback to the information provided on the commandline when
retrieving information from /proc fails.

Add exe information to the list of saved xattr.

https://bugs.freedesktop.org/show_bug.cgi?id=62043

fstab-generator: simplify add_root_mount

man: fix path in crypttab(5)

https://bugs.freedesktop.org/show_bug.cgi?id=75816

build-sys: do not run coverage if build failed

tests: add test-ratelimit

tests: add tests to test-unit-name

add tests for:
  - unit_instance_is_valid
  - unit_prefix_is_valid
  - unit_name_change_suffix
  - unit_name_build
  - unit_name_is_instance
  - build_subslice
  - unit_name_to_instance
  - unit_name_escape

cryptsetup: don't add unit dependency on /dev/null devices when it is listed as password file

As special magic, don't create device dependencies for /dev/null. Of
course, there might be similar devices we might want to include, but
given that none of them really make sense to specify as password source
there's really no point in checking for anything else here.

https://bugs.freedesktop.org/show_bug.cgi?id=75816

core: You can not put the cached result of use_smack fct, as we are not sure the "/sys" is mounted. So we should mount "sys" before "/proc"

https://bugs.freedesktop.org/show_bug.cgi?id=77646

core: make sure Environment fields passed in for transient units are properly written to unit files

https://bugs.freedesktop.org/show_bug.cgi?id=76744

vconsole: also copy character maps (not just fonts) from vt1 to vt2, vt3, ...

https://bugs.freedesktop.org/show_bug.cgi?id=78796

coredump: never write more than the configured processing size limit to disk

coredumpctl: show comm name next to PID

coredump: quit early if we cannot store ay coredump to disk

coredumpctl: include timestamp information in "coredumpctl info" output

README: mention that elfutils is an (optional) dependency now

coredump: also escape spaces in comm fields when formatting file names

README: add gobject-introspection

core/snapshot: log info when snapshots are created and removed

Snapshot mechanism is not used very much, but snapshot creation/destruction
should be at least as verbose as normal unit starting/stopping.

core/transaction: avoid misleading error message when unit not found

There's no point in telling the user to look at the logs when
an attempt to load the unit file failed with ENOENT.

https://bugzilla.redhat.com/show_bug.cgi?id=996133

core/transaction: reindent and split very long lines

Add systemd-coredumpctl as an alias for coredumpctl

Should make the transition easier for exisiting users.

readahead: avoid gcc warning about format

src/readahead/readahead-common.c:55:17: warning: format ‘%zu’ expects argument of type ‘size_t’, but argument 7 has type ‘__off64_t’ [-Wformat=]
                 log_debug("Not preloading file %s with size out of bounds %zu", fn, st->st_size);
                 ^

dhcp-network: don't bother with IP fragments

build-sys: require elfutils >= 158

The recently added stacktrace support in 8d4e028f uses functions added
in elfutils 158. Check for one of the new functions to avoid attempting
to build against older versions.

man: untabify systemd-resolved.service.xml

fix systemd-resolved reference in man page

Guess this was missed in the copy-paste :-)

fix in_addr_prefix_intersect for 32bits

shifting from a non fixed number of bits >= to the size of the type
leads to weird results, handle the special case of << 32 to fix it.

This was causing a test failure from test-socket-util:
Assertion 'in_addr_prefix_intersect(f, &ua, apl, &ub, bpl) == result' failed at
/var/tmp/paludis/build/sys-apps-systemd-scm/work/systemd-scm/src/test/test-socket-util.c:147, function
test_in_addr_prefix_intersect_one(). Aborting.

Minimal reproducer:

paludisbuild@Lou /tmp $ cat test.c
static void test(unsigned m) {
        unsigned nm = 0xFFFFFFFFUL << (32-m);
        printf("%u: %x\n", m, nm);
}

int main (void) {
        test(1);
        test(0);
        return 0;
}
paludisbuild@Lou /tmp $ gcc -m32 -std=gnu99 test.c -o test32
paludisbuild@Lou /tmp $ ./test32
1: 80000000
0: ffffffff
paludisbuild@Lou /tmp $ gcc -std=gnu99 test.c -o test64
paludisbuild@Lou /tmp $ ./test64
1: 80000000
0: 0

update .gitignore

consistently order cleanup attribute before type

tests: add test_fdset_remove

tests: add test-async

tests: add test-capability

build-sys: add -pthread flag for libsystemd-shared

src/shared/async.c uses pthread so it will fail at link time if we link
only to libsystemd-shared and use async

build-sys: replace nm with $(NM)

gudev: replace regex with sym file

pam_systemd: replace regex with sym file

pam_systemd: rename source file to match the module

sd-dhcp-server: change default lease time form 1m to 1h

The short lease was useful for testing, but in real-world usage it is pointless to keep leases
this short. That said, the cost of lease renewal is really low, so we keep the lease still
relatively short at one hour to not get into hard-to-hit problems with lease exhaustion etc.

sd-dhcp-server: fix broadcast of DHCP packets

The destination IP address should be INADDR_BROADCAST, but was
accidentally left as INADDR_ANY.

util: treat fuse.sshfs as a network filesystem

https://bugs.freedesktop.org/show_bug.cgi?id=73727

missing.h: add various network enums

We used to check if e.g. IFLA_BOND_MAX is defined and provide fallback
values in missing.h is it wasn't. But over time, various kernel
versions added IFLA_* defines, so checking for IFLA_BOND_MAX is not
enough if the kernel is new enough to have some of them but too old to
have all. In case we detect that the latest known enum value is
missing, #define most of them.

https://bugs.freedesktop.org/show_bug.cgi?id=80095

build-sys: fail if python support requested but not found

build-sys: check that compat-libs are enabled for "make dist"

Running "make dist" requires --enable-compat-libs since DIST_SOURCES will list
generated files such as libsystemd-daemon.c.

Tested:
  $ ./configure && make && make dist
  *** compat-libs must be enabled in order to make dist
  make: *** [dist-check-compat-libs] Error 1

build-sys: check that python is enabled for "make dist"

Running "make dist" requires Python support since some of the man page sources
(such as man/systemd.index.xml and man/systemd.directives.xml) are generated by
Python scripts, so break "make dist" and give an useful error message when
Python or the Python lxml module is not available.

Tested:
  $ ./configure --without-python && make && make dist
  *** python and python-lxml module must be installed and enabled in order to make dist
  make: *** [dist-check-python] Error 1

build-sys: configure --with-python when running distcheck

Python support is pretty much essential to create man pages, so we should make
sure that distcheck will request it during configure.

Tested: Successfully ran "make distcheck" and confirmed --with-python was
present in the ./configure run inside the unpacked distribution directory.

build-sys: add verbosity to python-lxml detection in ./configure

Be verbose when checking if Python module lxml is available.  Also warn that
Python support will be disabled when the lxml module is not present.

Fixes: https://bugs.freedesktop.org/show_bug.cgi?id=80005
Tested:
- Without python-lxml package installed:
  $ ./configure
  checking for python extension module directory... ${exec_prefix}/lib64/python2.7/site-packages
  checking for python lxml module... no
  configure: WARNING: *** python support requires python-xml module installed

- With python-lxml package installed:
  $ ./configure
  checking for python extension module directory... ${exec_prefix}/lib64/python2.7/site-packages
  checking for python lxml module... yes
  checking for PYTHON_DEVEL... yes
  ...
          Python:                  yes
          Python Headers:          yes

build-sys: do not include id128-constants.h in the dist archive

File src/python-systemd/id128-constants.h is auto generated and its generation
does not require special tools, only sed.  There is no point in bundling it in
the distribution archive, so let's mark it as nodist_ to have it excluded.

Fixes: https://bugs.freedesktop.org/show_bug.cgi?id=80006
Tested: Successfully ran "make dist" after ./configure --without-python.

util: do not strip /dev prefix twice

Remove libattr mentions from README

It is no longer required.

sd-dhcp-server: remove unused cleanup function

Removes _cleanup_dhcp_lease_free_. While the automatic cleanup
functions are great to have this one is never used and causes
a warning in clang.

core: clean-up signal reset logic when reexec

There's no need to save the old sigmask, if we are going to die. Let's
simplify this. Also, reset all the signal handlers, so that we don't
leave SIG_IGN set for some of them across reexec.

tmpfiles: copy/link /usr/share/factory/ files when the source argument is omitted

po: add German translation

https://bugs.freedesktop.org/show_bug.cgi?id=79430

build-sys: fix indentation in make-man-rules generated output

This fixes the footer where 7 spaces were used on the first line of EXTRA_DIST,
but a Tab was clearly intended.

build-sys: add sysusers.d/systemd.conf to CLEANFILES

The sysusers.d/systemd.conf configuration file was originally introduced in
commit 1b99214789101, but it was not marked for cleanup.  This caused distcheck
to complain about the file not being removed by distcleam.

Tested: Successfully ran "make distcheck" with this patchset.

sysusers.d - fix typo in user definition file

debug-generator: add new kernel cmdline option systemd.wants= to add units to the initial transaction

networkd: link - fix memleak of icmp6 struct

networkd: veth - fix creation of veth netdev

Avoid freeing the netdev structure in the cleanup macro.

shared: fix search_and_fopen with alternate roots

Update for the current behavior of path_strv_resolve which now returns
paths relative to the given root, not the full absolute paths.

test: ensure conf_files_list returns absolute paths

conf-files: include root in returned file paths

This restores the original root handling logic that was present prior to
112cfb18 when path expansion moved to path_strv_canonicalize_absolute.
That behavior partially went away in 12ed81d9.

Alternatively all users of conf_files_list* could be updated to
concatenate the paths themselves as unit_file_query_preset did but since
no user needs the un-concatenated form that is pointless duplication.

test: unit test for using alternate roots with path_strv_resolve

shared: rename path_strv_canonicalize_absolute functions

Since 12ed81d9 path_strv_canonicalize_absolute leaves the search list
relative to the given root directory instead of resolving paths to their
true location as the name implies. To better reflect this behavior
rename to the less strongly worded path_strv_resolve.

getty-generator: properly escape instance names

Otherwise the add_symlink() function tries to make directories for
each slash even for the slash after the @ symbol in the final link
name, failing for /dev/3270/tty1.

Based on a patch by Werner Fink <werner@suse.de>.

getty-generator: use strappenda

Allocating on the stack should be fine for the fixed number
of items.

man: also describe an udev rule for bridge sysctl

man: document statically loading modules for sysctl settings

https://bugzilla.redhat.com/show_bug.cgi?id=1022977
https://bugzilla.novell.com/show_bug.cgi?id=725412

units/systemd-sysctl.service.in: run after load-modules

Modules might or will register new sysctl options.

[zj: This mechanism of adding modules just to reliably set sysctl
attributes is not ideal. Nevertheless, sysctl for dynamically created
attributes is simply broken, and this is the easiest workaround.]

https://bugzilla.redhat.com/show_bug.cgi?id=1022977
https://bugzilla.novell.com/show_bug.cgi?id=725412

util.c: simplify rm_rf_children_dangerous

tests: add tests for strv_extendf

tests: add tests to test-util

add tests for:
  - filename_is_safe
  - ascii_strlower
  - files_same
  - is_valid_documentation_url
  - file_in_same_dir
  - endswith
  - close_nointr
  - unlink_noerrno
  - readlink_and_make_absolute
  - read_one_char
  - ignore_signals
  - strshorten

tests: add missing return

tests: fix test-icmp6-rs

Don't close the fd given to sd-icmp6-nd, since it will be aynschonously closed
by sd_icmp6_nd_unref

sd-icmp6-nd: fix uninitialized fd

sd-dhcp6-client: fix uninitialized variables

coredump: fix include of xattr.h

The correct path is now <sys/xattr.h> (from glibc-headers) and no longer
<attr/xattr.h> (from libattr-devel.)

Fixes: 34c10968cbe3b5591b3c0ce225b8694edd9709d0

sd-dhcp6-client: include dhcp6-protocol.h in the list of sources

If the file is not listed, then "make dist" will not include it.

Tested: "make distcheck" works after this fix is applied.

Fixes: 139b011ab81ccea1d51f09e0261a1c390115c6ff

sd-dhcp6-client: fix path of sd-icmp6-nd.h in Makefile.am

It was incorrectly looking for a file in src/libsystemd-network/ when the file was actually deployed to src/systemd/ instead.  This broke "make dist".

Tested: "make dist" works again after this patchset is applied.

Fixes: f20a35cc0d537dd4cfc1054cf7936b04a1700f3a

sd-dhcp6-client: remove bogus dependency on dhcp6-icmp6.h

Makefile.am had a reference to it but it none of the sources included it.

Tested: "make dist" works again after this patchset is applied.

Fixes: 2ea8857effb833615b16d10fc7a19a7104c19e13

copy: don't eat up error from chown()/chmod()

The idea was to not fail on, nor to ignore errors from chown()/chmod(),
but to proceed and simply return the most recent error...

units: order systemd-tmpfiles-clean.service after time-sync.target

That way, on systems lacking an RTC we don't false start removing aged
files too early.