systemd: fix segv in snapshot creation

https://bugs.freedesktop.org/show_bug.cgi?id=67848

journald: remove unused variable

TODO: add weird instance unit enable behavior

journal: handle multiline syslog messages

Since the journal can handle multiple lines just well natively,
and rsyslog can be configured to handle them as well, there is no need
to truncate messages from syslog() after the first newline.

Reproducer:

1. Add following four lines to /etc/rsyslog.conf

   ----------
   $EscapeControlCharactersOnReceive off
   $ActionFileDefaultTemplate RSYSLOG_SysklogdFileFormat
   $SpaceLFOnReceive on
   $DropTrailingLFOnReception off
   ----------

3. Restart rsyslog
  # service rsyslog restart

4. Compile and run the following program

   ----------
   #include <stdio.h>
   #include <syslog.h>

   int main()
   {
    syslog(LOG_INFO, "aaa%caaa", '\n');
    return 0;
   }
   ----------

Actual results:
Below message appears in /var/log/messages.

   ----------
　　　Sep  7 19:19:39 localhost test2: aaa
   ----------

Expected results:
Below message, which worked prior to systemd-journald
appears in /var/log/messages.

   ----------
　　　Sep  7 19:19:39 localhost test2: aaa aaa

https://bugzilla.redhat.com/show_bug.cgi?id=855313

man: fix typo in documentation of systemd-machined

man: wording and grammar updates

This includes regularly-submitted corrections to comma setting and
orthographical mishaps that appeared in man/ in recent commits.

systemd-delta: Only print colors when on a tty

This make systemd-delta follow the behaviour of systemctl
and journalctl.

https://bugs.freedesktop.org/show_bug.cgi?id=67656

[zj: unify color query methods between those three programs.]

gitignore: add test-journal-init

build-sys: link with librt if linking with libsd-daemon-int

In fba1ea0 'build: do not link everything with -lrt (and
therefore -pthread)' librt was removed from the list of
libraries. But libsd-daemon-internal also uses symbols from
librt and librt must thus be added everywhere where
libsd-daemon-interal is used, or otherwise linking might
fail:

/usr/bin/ld: ./.libs/libudev-core.a(sd-daemon.o): undefined reference to symbol 'mq_getattr@@GLIBC_2.3.4'
/usr/bin/ld: note: 'mq_getattr@@GLIBC_2.3.4' is defined in DSO /lib64/librt.so.1 so try adding it to the linker command line

zsh completion: add _kernel-install

pkg-config: export systemd{system,user}generatordir and catalogdir

We export the location of a bunch of directories this way,
so it makes sense to add those three. Especially catalogdir
is something that we want people to add things to.

Note on the naming: the first two are tied closely to systemd
itself, so I prefixed them with "systemd". The third one is
rather more generic, so no prefix.

https://bugs.freedesktop.org/show_bug.cgi?id=67635

journal: fix hashmap leak in mmap-cache

hashmap_free() wasn't being called on m->contexts and m->fds resulting
in a leak.

To reproduce do:
while(1) {
sd_journal_open(&j, SD_JOURNAL_LOCAL_ONLY);
sd_journal_close(j);
}

Memory usage will increase until OOM.

tests: add a program for repetitive opening and closing of the journal

Basically wraps an example provided by George McCollister.
Should help with leaks in the future.

zsh_completion: add "gdb" verb to coredumpctl

coredumpctl: add more debug output

It can be quite useful when somebody confuses _PID with COREDUMP_PID :).

zsh_completion: Speed up noncached perf of _journalctl

Splitting things unnecessarily at newlines causes tab completion to take
an extremely long time. Also add a note saying that caching is not good
for journalctl's completion.

zsh_completion: Split out zsh _systemd-tmpfiles

You can choose to have systemd-tmpfiles at configuration time, so only
install the completion for this if configured to do so.

zsh_completion: Fix journalctl's --boot

Actually displays a list of boot ID's and offsets to the user

zsh_completion: Remove unused functions

zsh_completion: Split out zsh _machinectl

zsh_completion: Split out zsh _systemd-analyze

zsh_completion: Split out zsh _systemd-inhibit

zsh_completion: Split out zsh _systemd-nspawn

Also fix the random lack of completion

zsh_completion: Split out zsh _udevadm

zsh_completion: Split out zsh _timedatectl

zsh_completion: Split out zsh _coredumpctl

zsh_completion: Split out zsh _localectl

zsh_completion: Split out zsh _journalctl

Re-ordered some of the options and added a few that were missing
previously as well.

zsh_completion: Split out zsh _hostnamectl

zsh_completion: Split out zsh _loginctl

zsh_completion: Split out zsh _systemctl

zsh_completion: fix zsh completion installation

Moved zsh shell completion to shell-completion/zsh/_systemd for
automake's sake. Also allow users to specify where the files should go
with::

  ./configure --with-zshcompletiondir=/path/to/some/where

and by default going to `$datadir/zsh/site-functions`

80-net-name-slot.rules: only rename network interfaces on ACTION=="add"

Otherwise systemd-udevd will rename on "change" and "move" events,
resulting in weird renames in combination with biosdevname

systemd-udevd[355]: renamed network interface eth0 to em1
systemd-udevd[355]: renamed network interface eth1 to p3p2
systemd-udevd[357]: renamed network interface eth0 to p3p1
systemd-udevd[429]: renamed network interface p3p2 to ens3f1
systemd-udevd[428]: renamed network interface p3p1 to ens3f0
systemd-udevd[426]: renamed network interface em1 to enp63s0

or

systemd-udevd[356]: renamed network interface eth0 to em1
systemd-udevd[356]: renamed network interface eth0 to p3p1
systemd-udevd[420]: renamed network interface p3p1 to ens3f0
systemd-udevd[418]: renamed network interface em1 to enp63s0
systemd-udevd[421]: renamed network interface eth1 to p3p1

Add /usr/share/keymaps to localectl supported locations.

This is the standard upstream location where kbd installs keymaps.

bash-completion: simplify udevadm completion

The AA is unnecessary and only adds needless complexity. Replace it
with a case statement instead of repeatedly calling __contains_word to
overglorify string equalities.

bash-completion: use a better definition of __contains_word

- scope the iterator var
- use the correct, quoted, non-expansion prone positional parameter
  notation
- prevent expansion on RHS of comparison
- remove unneeded explicit returns.

This really should be defined only once...

test-unit-file: return error without dumping core on permission error

test-fileio: use random name for written file

If two instances of test-fileio were run in parallel,
they could fail when trying to write the same file.
This predictable name in /tmp/ wasn't actually a security
issue, because write_env_file would not follow symlinks,
so this could be an issue only when running tests in
parallel.

simplify bash completion for kernel-install

udev-rules: report rule parsing errors from get_key

build-sys: support old glibc versions without clock_gettime()

logind: make sure login sessions are terminated with SIGHUP

bash ignores SIGTERM, and can only be terminated cleanly via SIGHUP.
Hence make sure that we the scope unit for the session is created with
SendSIGHUP enabled.

update TODO

core: make sure scope attributes survive a reload

core: open up SendSIGHUP property for transient units

build: do not link everything with -lrt (and therefore -pthread)

do not pass-along the environment from the kernel or initrd

core: optionally send SIGHUP in addition to the configured kill signal

This is useful to fake session ends for processes like shells.

update TODO

update TODO

update TODO

man: reowrk list of documented unit search paths

The generator paths are internal implementation details, they should not
be documented explicitly.

We should document where private user units are found however.

man: there is no session mode, only user mode

man: link up scope+slice units from systemd.unit(5)

man: systemd.unit: fix volatile path

The volatile path was '/run/systemd/systemd' when it should be
'/run/systemd/system'. Fix.

TODO: remove kernel env var importing fix

systemctl.8: fix typo in SEE ALSO

logind: update the session state file before we send out the CreateSession() reply

https://bugs.freedesktop.org/show_bug.cgi?id=67273

rework systemd's own process environment handling/passing

Stop importing non-sensical kernel-exported variables. All
parameters in the kernel command line are exported to the
initial environment of PID1, but suppressed if they are
recognized by kernel built-in code. The EFI booted kernel
will add further kernel-internal things which do not belong
into userspace.

The passed original environ data of the process is not touched
and preserved across re-execution, to allow external reading of
/proc/self/environ for process properties like container*=.

journalctl: use _COMM= match for scripts

In case of scripts, _EXE is set to the interpreter name, and
_COMM is set based on the file name. Add a match for _COMM,
and _EXE if the interpreter is not a link (e.g. for yum,
the interpreter is /usr/bin/python, but it is a link to
/usr/bin/python2, which in turn is a link to /usr/bin/python2.7,
at least on Fedora, so we end up with _EXE=/usr/bin/python2.7).
I don't think that such link chasing makes sense, because
the final _EXE name is more likely to change.

logind: update state file after generating the session fifo, not before

https://bugs.freedesktop.org/show_bug.cgi?id=67273

systemd-python: fix gcc warning

src/python-systemd/_reader.c: In function Reader_get_catalog:
src/python-systemd/_reader.c:912:53: warning: comparison between signed and unsigned integer expressions [-Wsign-compare]
             assert(mid_len > l);
                            ^

build-sys: use pkg-config for python compilation flags

Python 2.7, and 3.2 and higher support querying compilation
flags through pkg-config. This makes python support follow
rules similar to various other optional compilation-time
libraries. New flags are called PYTHON_DEVEL_CFLAGS and
PYTHON_DEVEL_LIBS, because PYTHON (without _DEVEL), is
already used for the python binary name, and things would
be confusing if the same prefix was used for two things.
configure has --disable-python-devel to disable python modules.

One advantage is that CFLAGS for modules gets smaller:
- -I/usr/include/python3.3m -I/usr/include/python3.3m -Wno-unused-result -DDYNAMIC_ANNOTATIONS_ENABLED=1 -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv
+ -I/usr/include/python3.3m
as does LIBS:
- -lpthread -ldl -lutil -lm -lpython3.3m
+ -lpython3.3m

Support for Python 2.6 is removed, but can be easily
restored by using
PYTHON_DEVEL_CFLAGS="$(python2.6-config --cflags)",
etc., as ./configure parameters.

https://bugs.freedesktop.org/show_bug.cgi?id=57800

systemd-python: use modern C

systemctl: rearrange --help output a bit

systemctl: remove "load" command

"systemctl load" has always been racy since the GC could hit any time,
before making use of the loaded unit. Very recent systemd will run GC
immeidately after all unit state changes which has the effect that the
the effect of "systemctl load" is completely gone now, so let's remove
the support for it in "systemctl" for good.

systemctl: move set-log-level to systemd-analyze

"systemctl set-log-level" is a command for analysis and tracing hence
"systemd-analyze" should be the better home for it, thus allowing us to
make the overly large "systemctl" a bit smaller.

systemctl: move "dump" command from systemctl to systemd-analyze

It's an analysis command and its format is explicitly not covered by any
stability guarantees, hence move away from systemctl and into
systemd-analyze, minimizing the already large interface of systemctl a
bit.

This patch also adds auto-paging to the various systemd-analyze commands
where that makes sense

core: allow setting RemainAfterExit= for transient services

shared: split mkdir_*() and mkdir_*_label() from each other

Avoid pulling-in selinux for tools which just create directories
but not need to fix the selinux label.

shell-completion: add kernel-install

tmpfiles-setup: exclude /dev prefixes files

Fixes Arch Linux bug: https://bugs.archlinux.org/task/36259

tmpfiles: introduce --exclude-prefix

The opposite of --prefix, allows specifying path prefixes which should
be skipped when processing rules.

tmpfiles: support passing --prefix multiple times

udev: static_node - don't touch permissions uneccessarily

Don't set default permissions if only TAGS were specified in a rule.

udev: log error if chmod/chown of static dev nodes fails

shell-completion: Add machinectl zsh completion

initctl: use irreversible jobs when switching runlevels

Spotted by uau in #systemd.

README: Bump to Linux 3.0

Support for writing to cgroup.procs was introduced in 3.0

journal: immediately sync to disk as soon as we receieve an EMERG/ALERT/CRIT message

core: synchronously block when logging

Previously, the logging sockets were asynchronous and if clogged we'd
lose messages. We did this to be extra careful given that PID 1 might
need to spawn the logging daemon as response to PID 1's own log messages
and we really should avoid a deadlock in that case.

As it turns out this causes loss of too many messages, hence make the
socket blocking again, however put a time limit on it to avoid unbounded
deadlocks in the unlikely case they happen.

https://bugs.freedesktop.org/show_bug.cgi?id=66664

remove systemd-timestamp from sources

No sense in keeping this around if support for reading RD_TIMESTAMP has
been removed.

remove left-over initrd time stamp handling

man: Fix copy&paste error

README Bump minimum required version of kmod

See edeb68c53f1cdc452016b4c8512586a70b1262e3.

build-sys: prepare 206

NEWS: fix mistake

bus: update for kdbus changes

TODO: update

kmod-static-nodes: remain after exit

systemd-tmpfiles-setup-dev: remain after exit

Without this, tmpfiles-setpu-dev  would be re-run if any other service,
which pulls in basic.target, was started after setup-dev was finished
and before basic.target was active.

NEWS: prepare half a NEWS file for upcoming 206

man: wording and grammar updates

This includes regularly-submitted corrections to comma setting and
orthographical mishaps that appeared in man/ in recent commits.

rules: net, tty description - ask hwdb explicitly for pci data

shared: fix build on !x86

man: udev - add section about hwdb

core: correct dbus parameter direction

rules: drivers - always call kmod, even when a driver is bound to the device

On Sat, Jul 20, 2013 at 12:56 PM, Rafael J. Wysocki <rjw@sisk.pl> wrote:
> After a recent change present in 3.11-rc1 there is a driver, called processor,
> that can be bound to the CPU devices whose sysfs directories are located under
> /sys/devices/system/cpu/.  A side effect of this is that, after the driver has
> been bound to those devices, the kernel adds DRIVER=processor to ENV for CPU
> uevents and they don't match the default rule for autoloading modules matching
> MODALIAS:
>
> DRIVER!="?*", ENV{MODALIAS}=="?*", IMPORT{builtin}="kmod load $env{MODALIAS}"
>
> any more.  However, there are some modules whose module aliases match specific
> CPU features through the modalias string and those modules should be loaded
> automatically if a compatible CPU is present.  Yet, with the processor driver
> bound to the CPU devices the above rule is not sufficient for that, so we need
> a new default udev rule allowing those modules to be autoloaded even if the
> CPU devices have drivers.

make: Automake is complaining about .PRECIOUS being redefined

Yesterday I added test-suite.log as dependency to the .PRECIOUS
target. Automake is warning about this target being redefined
and from what I see there is no way I can stop the warning but
I can add the %MAKEFILE% as dependency.

automake warning:
Makefile.am:35: warning: user target '.PRECIOUS' defined here ...
/usr/share/automake-1.13/am/configure.am: ... overrides Automake target '.PRECIOUS' defined here

[zj: s/%MAKEFILE%/Makefile/ because %MAKEFILE% wasn't actually substituted properly.]

man: also mention /run/log/journal in systemd-jouranld.service(8)