core: move ControlGroup and Slice properties out of the dbus "Unit" interface

Slice/ControlGroup only really makes sense for unit types which actually
have cgroups attached to them, hence move them out of the generic Unit
interface and into the specific unit type interfaces.

These fields will continue to be part of Unit though, simply because
things are a log easier that way. However, regardless how this looks
internally we should keep things clean and independent of the specific
implementation of the inside.

core: allow setting of the description string for transient units

core: add new "scope" unit type for making a unit of pre-existing processes

"Scope" units are very much like service units, however with the
difference that they are created from pre-existing processes, rather
than processes that systemd itself forks off. This means they are
generated programmatically via the bus API as transient units rather
than from static configuration read from disk. Also, they do not provide
execution-time parameters, as at the time systemd adds the processes to
the scope unit they already exist and the parameters cannot be applied
anymore.

The primary benefit of this new unit type is to create arbitrary cgroups
for worker-processes forked off an existing service.

This commit also adds a a new mode to "systemd-run" to run the specified
processes in a scope rather then a transient service.

systemctl: show per-unit cgroup tree correctly following the new property

snapshot: snapshots are just a special kind of transient units now

dbus: expose cgroup properties in introspection everywhere

service: correct service bus introspection for timeouts

cgroup: implicitly add units to GC queue when their cgroups run empty

cgroup: readd proper cgroup empty tracking

man: fix spacing issue in various man pages

Before: libsystemd-daemonpkg-config(1)
After: libsystemd-daemon pkg-config(1)

This fix is more complicated than it should be due to the consecutive
XML elements separated by collapsible whitespace.

Merging the lines and separating the XML elements with an en space or a
non-breaking space is the only solution that results in one, and only
one, space being inserted between them when testing. An em space results
in two spaces being inserted.

build-sys: "link" libsystemd-id128.so with libsystemd-label

Fixed build on debian wheezy:
./.libs/libudev.so: undefined reference to `cg_create'

Appears to have no influence on the resulting binaries and
libraries. Cf. b5fafdf63f.

main: fix loading of default target

keymap: Add Samsung Series 3

Signed-off-by: Martin Pitt <martinpitt@gnome.org>

core: add transient units

Transient units can be created via the bus API. They are configured via
the method call parameters rather than on-disk files. They are subject
to normal GC. Transient units currently may only be created for
services (however, we will extend this), and currently only ExecStart=
and the cgroup parameters can be configured (also to be extended).

Transient units require a unique name, that previously had no
configuration file on disk.

A tool systemd-run is added that makes use of this functionality to run
arbitrary command lines as transient services:

$ systemd-run /bin/ping www.heise.de

Will cause systemd to create a new transient service and run ping in it.

dbus: fix minor memory leak when sending job change signals

unit: make sure the dropins we write are high-priority

dbus: hookup runtime property changes for mouns, services, sockets, swaps too

dbus: make DeviceAllow=/DevicePolicy= writable

dbus: make more cgroup attributes runtime settable

dbus: add infrastructure for changing multiple properties at once on units and hook some cgroup attributes up to it

This introduces two bus calls to make runtime changes to selected bus
properties, optionally with persistence.

This currently hooks this up only for three cgroup atributes, but this
brings the infrastructure to add more changable attributes.

This allows setting multiple attributes at once, and takes an array
rather than a dictionary of properties, in order to implement simple
resetting of lists using the same approach as when they are sourced from
unit files. This means, that list properties are appended to by this
call, unless they are first reset via assigning the empty list.

journal-verify: Use proper printf placeholder

test: Add list testcase

core: general cgroup rework

Replace the very generic cgroup hookup with a much simpler one. With
this change only the high-level cgroup settings remain, the ability to
set arbitrary cgroup attributes is removed, so is support for adding
units to arbitrary cgroup controllers or setting arbitrary paths for
them (especially paths that are different for the various controllers).

This also introduces a new -.slice root slice, that is the parent of
system.slice and friends. This enables easy admin configuration of
root-level cgrouo properties.

This replaces DeviceDeny= by DevicePolicy=, and implicitly adds in
/dev/null, /dev/zero and friends if DeviceAllow= is used (unless this is
turned off by DevicePolicy=).

core: don't do runaway fork()s if we hit a segfault from our segfault handler

killall: do not use alloca() in argument list

It is not allowed.

journalctl: highlight MESSAGE= in verbose output

When looking at verbose output, additional "work" is required to
pick out the interesting MESSAGE= lines from all the fields.

Also, show long fields in full in verbose output mode when
OUTPUT_FULL_WIDTH is specified.

man: add CONSTANTS section to systemd.directives(7)

man: use <constant> for various constants which look ugly with quotes

man: always supply quotes around literals

When manpages are displayed on a terminal, <literal>s are indistinguishable
from surrounding text. Add quotes everywhere, remove duplicate quotes,
and tweak a few lists for consistent formatting.

https://bugzilla.redhat.com/show_bug.cgi?id=874631

systemctl: conform to LSB with the "status" return code

check for pid file existance before returning 1

man: Small language improvements to sd_journal_open

systemctl: conform to LSB with the "status" return code

http://fedoraproject.org/wiki/Packaging:SysVInitScript#Exit_Codes_for_the_Status_Action

https://bugzilla.redhat.com/show_bug.cgi?id=975016

journald: always vacuum empty offline files

Corrupted empty files are relatively common. I think they are created
when a coredump for a user who never logged anything before is
attempted to be written, but the write does not succeed because the
coredump is too big, but there are probably other ways to create
those, especially if the machine crashes at the right time.
Non-corrupted empty files can also happen, e.g. if a journal file is
opened, but nothing is ever successfully written to it and it is
rotated because of MaxFileSec=. Either way, each "empty" journal file
costs around 3 MB, and there's little point in keeping them around.

journald: fix space limits reporting

Reporting of the free space was bogus, since the remaining space
was compared with the maximum allowed, instead of the current
use being compared with the maximum allowed. Simplify and fix
by reporting limits directly at the point where they are calculated.

Also, assign a UUID to the message.

journal/vacuum: cleanup

libudev: Use correct type for sizeof

journal-verify: allow unlinked data entries

Sometimes an entry is not successfully written, and we end up with
data items which are "unlinked", not connected to, and not used by any
entry. This will usually happen when we write to write a core dump,
and the initial small data fields are written successfully, but
the huge COREDUMP= field is not written. This situation is hard
to avoid, but the results are mostly harmless. Thus only warn about
unused data items.

Also, be more verbose about why journal files failed verification.
This should help diagnose journal failure modes without resorting
to a hexadecimal editor.

https://bugs.freedesktop.org/show_bug.cgi?id=65235 (esp. see
system.journal attached to the bug report).

man: Fix small typo

update TODO

tmpfiles: fix error check

journald: bump the journal per-unit ratelimit defaults

Too many people kept hitting them, so let's increase the limits a bit.

https://bugzilla.redhat.com/show_bug.cgi?id=965803

keymap: Apply to all Latitude and Precision models

https://launchpad.net/bugs/1193147

journalctl,systemctl: show messages tagged with OBJECT_SYSTEMD_[USER_]_UNIT

Replace mallocs with alloca while at it.

Make sure we only show authentic coredump messages

Before we only checked the MESSAGE_ID and COREDUMP_UNIT.
Those are both user-controlled fields.

For COREDUMP_USER_UNIT, relax the rules a bit, and also
allow messages from _UID=0.

journal: allow callers to specify OBJECT_PID=

When journald encounters a message with OBJECT_PID= set
coming from a priviledged process (UID==0), additional fields
will be added to the message:

OBJECT_UID=,
OBJECT_GID=,
OBJECT_COMM=,
OBJECT_EXE=,
OBJECT_CMDLINE=,
OBJECT_AUDIT_SESSION=,
OBJECT_AUDIT_LOGINUID=,
OBJECT_SYSTEMD_CGROUP=,
OBJECT_SYSTEMD_SESSION=,
OBJECT_SYSTEMD_OWNER_UID=,
OBJECT_SYSTEMD_UNIT= or OBJECT_SYSTEMD_USER_UNIT=.

This is for other logging daemons, like setroubleshoot, to be able to
augment their logs with data about the process.

https://bugzilla.redhat.com/show_bug.cgi?id=951627

Add hasprefix macro to check prefixes of fixed length

login: add an api to determine the slice a PID is located in to libsystemd-login

core: only attempt to connect to a session bus if one likely exists.

update TODO

man: fix example for DefaultEnvironment=

The example mentioned Environment= rather than DefaultEnvironment=.

Also made some other clean-ups.

man: document that shutdown() is only sometimes OK on sockets passed in via socket activation

manager: add DefaultEnvironment option

This complements existing functionality of setting variables
through 'systemctl set-environment', the kernel command line,
and through normal environment variables for systemd in session
mode.

journalctl: show lines in full with --all

In 31f7bf1 "logs-show: print multiline messages", I forgot
to take into account the fact that --all implies --full for
journalctl.

kernel-install: filter out "initrd=" from /proc/cmdline

logind: uninitialized variable

build-sys: make intltool and distcheck happy

nspawn: '-C' option has been removed

Fixup for 9444b1f "logind: add infrastructure to keep track of
machines, and move to slices."

sd-login: update machine enumeration/notifications APIs for new /run/systemd/machines/

logind: make ListMachines bus call public

logind: add infrastructure to keep track of machines, and move to slices

- This changes all logind cgroup objects to use slice objects rather
  than fixed croup locations.

- logind can now collect minimal information about running
  VMs/containers. As fixed cgroup locations can no longer be used we
  need an entity that keeps track of machine cgroups in whatever slice
  they might be located. Since logind already keeps track of users,
  sessions and seats this is a trivial addition.

- nspawn will now register with logind and pass various bits of metadata
  along. A new option "--slice=" has been added to place the container
  in a specific slice.

- loginctl gained commands to list, introspect and terminate machines.

- user.slice and machine.slice will now be pulled in by logind.service,
  since only logind.service requires this slice.

Describe handling of an AF_UNIX socket

Describe how to handle an AF_UNIX socket, with Accept set to false,
received from systemd, upon exit.

Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

core/dbus: properly export cgroup properties on sockets

https://bugs.freedesktop.org/show_bug.cgi?id=65945

cgls,loginctl,systemctl: fix -l

Fixup for 98a6e13 "journalctl,loginctl,systemctl,systemd-cgls: add -l
as alias for --full".

journal: add references to SSKG paper FSS is based on

update TODO

journalctl: properly print headers of empty journals

udev: handle network controllers in nonstandard domains

Onboard network controllers are not always on PCI domain 0.

[Kay: use int instead of long, add [P] to slot naming, remove sysname var]

core: unref slice ref after use

core: expose a "Slice" property on Unit objects on the bus

units: add default units for system.slice, user.slice, machine.slice

core: add new .slice unit type for partitioning systems

In order to prepare for the kernel cgroup rework, let's introduce a new
unit type to systemd, the "slice". Slices can be arranged in a tree and
are useful to partition resources freely and hierarchally by the user.

Each service unit can now be assigned to one of these slices, and later
on login users and machines may too.

Slices translate pretty directly to the cgroup hierarchy, and the
various objects can be assigned to any of the slices in the tree.

rules: only run systemd-sysctl when a network device is added

Otherwise, when a network device is renamed, systemd-sysctl is run twice
with the same network device name: once for ACTION="add" and once for
ACTION="move".

mount: when learning about the root mount from mountinfo, don't add conflicting dep for umount.target

That way systemd won't try to umount it at shutdown.

rpm: define a %_userunitdir macro

journalctl,loginctl,systemctl,systemd-cgls: add -l as alias for --full

https://bugs.freedesktop.org/show_bug.cgi?id=65850

man: update systemd-analyze invocation

systemd-analyze: Show critical chains for listed units

man: improve readability of "_TRANSPORT=" section in systemd.journal-fields(7)

The list and descriptions of valid transports was difficult to read, so
break the long sentence up into discrete man page list items to improve
readability.

man: add sd_j_open_files to return values section

journald: do not calculate free space too early

Since the system journal wasn't open yet, available_space() returned 0.

Before:
systemd-journal[22170]: Allowing system journal files to grow to 4.0G.
systemd-journal[22170]: Journal size currently limited to 0B due to SystemKeepFree.

After:
systemd-journal[22178]: Allowing system journal files to grow to 4.0G.
systemd-journal[22178]: Journal size currently limited to 3.0G due to SystemKeepFree.

Also, when failing to write a message, show how much space was needed:
"Failed to write entry (26 items, 260123456 bytes) despite vacuuming, ignoring: ...".

journal: use initialization instead of zeroing

build-sys: add 'man' target

Useful when working just on the documentation.

gitignore: Add test-journal-interleaving

build-sys: don't install quotaon.service twice

quotaon.service is already installed through dist_systemunit_DATA, so it doesn't
need to be added to nodist_systemunit_DATA.  Installing the same file twice
results in a race condition where the install process can fail.

https://bugs.freedesktop.org/show_bug.cgi?id=65659

[zj: actually remove quotaon.service from the other list.]

bootchart: fix typos in copyright notices

"Corporation" was misspelled as "Coproration"

update TODO

journald: do not overwrite syslog facility when parsing priority

https://bugs.freedesktop.org/show_bug.cgi?id=65610

build-sys: remove SD_JOURNAL_SYSTEM_ONLY(3) from Makefile

man: add note that sd_journal_open_files is racy

journal: letting (interleaved) seqnums go

In the following scenario:
  server creates system.journal
  server creates user-1000.journal
both journals share the same seqnum_id.
Then
  server writes to user-1000.journal first,
  and server writes to system.journal a bit later,
and everything is fine.
The server then terminates (crash, reboot, rsyslog testing,
whatever), and user-1000.journal has entries which end with
a lower seqnum than system.journal. Now
  server is restarted
  server opens user-1000.journal and writes entries to it...
BAM! duplicate seqnums for the same seqnum_id.

Now, we usually don't see that happen, because system.journal
is closed last, and opened first. Since usually at least one
message is written during boot and lands in the system.journal,
the seqnum is initialized from it, and is set to a number higher
than than anything found in user journals. Nevertheless, if
system.journal is corrupted and is rotated, it can happen that
an entry is written to the user journal with a seqnum that is
a duplicate with an entry found in the corrupted system.journal~.
When browsing the journal, journalctl can fall into a loop
where it tries to follow the seqnums, and tries to go the
next location by seqnum, and is transported back in time to
to the older duplicate seqnum. There is not way to find
out the maximum seqnum used in a multiple files, without
actually looking at all of them. But we don't want to do
that because it would be slow, and actually it isn't really
possible, because a file might e.g. be temporarily unaccessible.

Fix the problem by using different seqnum series for user
journals. Using the same seqnum series for rotated journals
is still fine, because we know that nothing will write
to the rotated journal anymore.

Likely related:
https://bugs.freedesktop.org/show_bug.cgi?id=64566
https://bugs.freedesktop.org/show_bug.cgi?id=59856
https://bugs.freedesktop.org/show_bug.cgi?id=64296
https://bugs.archlinux.org/task/35581
https://bugzilla.novell.com/show_bug.cgi?id=817778

Possibly related:
https://bugs.freedesktop.org/show_bug.cgi?id=64293

tests: add testcase for duplicate seqnums

tests: add testcase for skipping-entries-on-direction-change-bug

This test case failed until a3e6f050de8.

Taken from https://bugs.freedesktop.org/show_bug.cgi?id=65255.

journal: change direction tests to use the same convention (cp </> np)

The order was different in various places, which makes it harder to
read to code. Also consistently use ternany for all direction checks.

Remove one free(NULL).

journal: remember last direction of search and keep offset cache

The fields in JournalFile are moved around to avoid wasting
7 bytes because of alignment.

journalctl: allow the user to specify the file(s) to use

This is useful for debugging and feels pretty natural. For example
answering the question "is this big .journal file worth keeping?"
is made easier.

journal: add sd_journal_open_files

This allows the caller to explicitly specify which journal files
should be opened. The same functionality could be achieved before
by creating a directory and playing around with symlinks. It
is useful to debug stuff and explore the journal, and has been
requested before.

Waiting is supported, the journal will notice modifications on
the files supplied when opening the journal, but will not add
any new files.

tests: add test for empty journal files

The headers are currently not printed properly: some "(null)"s appear.

journalctl: print monotonic timestamp in --header

journalctl: print proper IDs with --header

The same buffer was used for two different IDs, messing up
the output.

Use stdint.h macros instead of casts to print uint64_t values

Casts are visually heavy, and can obscure unwanted truncations.