test-tables: allow sparse tables and check mapping for -1

Jan: test-tables fails on my system. The one it's failing on is:
    syscall: 222 → (null) → -1
... and indeed, our own tables should not have holes, but syscall
tables certainly might.

Do not set LANG=C in every child environment.

LANG does not have to be set and setting it to default to the default
does not add any value.

man: improve readability of --output options in journalctl(1)

The list and descriptions of valid output options was difficult to read,
so break up the long block of text into discrete man page list items to
improve readability.

man: use HTTPS links for links that support it

journalctl: Add support for showing messages from a previous boot

Hi,

I redid the boot ID look up to use enumerate_unique.

This is quite fast if the cache is warm but painfully slow if
it isn't. It has a slight chance of returning the wrong order if
realtime clock jumps around.

This one has to do n searches for every boot ID there is plus
a sort, so it depends heavily on cache hotness. This is in contrast
to the other way of look-up through filtering by a MESSAGE_ID,
which only needs about 1 seek + whatever amount of relative IDs
you want to walk.

I also have a linked-list + (in-place) mergesort version of this
patch, which has pretty much the same runtime. But since this one
is using libc sorting and armortized allocation, I prefer this
one.

To summarize: The MESSAGE_ID way is a *lot* faster but can be
incomplete due to rotation, while the enumerate+sort will find
every boot ID out there but will be painfully slow for large
journals and cold caches.

You choose :P

Jan

update TODO

keymap: re-add Logitech USB corded/cordless models

These add back are the remaining 3 udev keymap rules which used name based
instead of ID based matching.

also remove keymaps-force-release directory

switch from udev keymaps to hwdb

detect-virt: detect User-Mode Linux

In a User-Mode Linux session:

  $ systemd-detect-virt
  none

Although it is possible to reliably detect virtualization:

  $ cat /proc/cpuinfo
  processor       : 0
  vendor_id       : User Mode Linux
  model name      : UML
  mode            : skas
  host            : Linux kytes 3.11.0-rc1-00009-ge5fd680 (...)
  bogomips        : 7007.43

So, grep for the string "\nvendor_id\t: User Mode Linux\n" in
/proc/cpuinfo, and say "uml" when asked.

Update TODO

hwdb: follow: "keymap: Drop non-existant Samsung 900XC3"

keymap: Drop non-existant Samsung 900XC3

Revert commit 90fc91d0065 again. There is no 900XC3 model, that's 900X3C and
already covered by the 900X3* match.

See https://launchpad.net/bugs/1012365

build-sys: make generated man pages part of the distribution tarball

They were removed by mistake, and since we ship .html files,
we certainly should ship man pages.

https://bugs.freedesktop.org/show_bug.cgi?id=61753

build-sys: discover the path to kexec during build time

https://bugs.freedesktop.org/show_bug.cgi?id=55248

journal: add logging of effective capabilities _CAP_EFFECTIVE

I think this is the most important of the capabilities bitmasks to log.

update TODO

man: add FILES section to systemd-journald.service(8)

systemd: do not output status messages once gettys are running

Make Type=idle communication bidirectional: when bootup is finished,
the manager, as before, signals idling Type=idle jobs to continue.
However, if the boot takes too long, idling jobs signal the manager
that they have had enough, wait a tiny bit more, and continue, taking
ownership of the console. The manager, when signalled that Type=idle
jobs are done, makes a note and will not write to the console anymore.

This is a cosmetic issue, but quite noticable, so let's just fix it.

Based on Harald Hoyer's patch.

https://bugs.freedesktop.org/show_bug.cgi?id=54247
http://unix.stackexchange.com/questions/51805/systemd-messages-after-starting-login/

man: add note about paging and colors to journalctl(1)

cryptsetup: Add tcrypt support

Tcrypt uses a different approach to passphrases/key files. The
passphrase and all key files are incorporated into the "password"
to open the volume. So, the idea of slots that provide a way to
open the volume with different passphrases/key files that are
independent from each other like with LUKS does not apply.

Therefore, we use the key file from /etc/crypttab as the source
for the passphrase. The actual key files that are combined with
the passphrase into a password are provided as a new option in
/etc/crypttab and can be given multiple times if more than one
key file is used by a volume.

cryptsetup: Move attaching of the device out of main

cryptsetup: Move password query out of main

Also use _cleanup_free_ where possible.

util: recognize 'ncp' as an alias to 'ncpfs'

ncp is also used for Netware mount point, recognize it as such. Fixes
https://bugzilla.novell.com/show_bug.cgi?id=828905.

update TODO

update TODO

travis: Add a travis.yml for doing CI after commits

Instruct travis-ci to build systemd and create a tarball. In case
of an error travis-ci will complain on IRC. The systemd testsuite
currently requires the host to have a recent version of systemd
installed and running. This is not the case for the Ubuntu VM of
travis-ci. This means make check and make distcheck will result in
a build failure and to avoid this these commands are not executed.

This requires a one time configuration on travis-ci for the repo
on github by the owner of the repo.

tests: add more tests for shared/util.c

journalctl: add --force option to recreate FSS

systemd: fix NULL dereference when disabling a nonexistent instance

Assertion 'p' failed at src/shared/path-util.c:51, function path_get_file_name(). Aborting.

The unit file could not be found, and i->path would not be set.
In 02b9e969 a code path was added which attempts to remove symlinks
to a nonexistent (removed) unit file. This worked OK in case of
non-instance services, but broke in the case of instance services.

Behaviour wrt. to instance units is changed in the way that 02b9e969
changed it for non-instance units: it is now possible to remove
instance symlinks to a template unit that has been removed.

This patch isn't a full fix, because the behaviour wrt. to enabling
and disabling instance units is still broken: e.g it is possible to
start autovt@tty5.service, but it is not possible to enable it,
because autovt@.service is a symlink, and on the other hand, disabling
getty@tty5.service removes all symlinks to getty@.service, which is
wrong too. But segfaults make bad pr, so let's add at least this
partial fix for now.

hwdb: keyboard update

hwdb: import data

man: tweak WantedBy=/RequiredBy= description a bit

https://bugs.freedesktop.org/show_bug.cgi?id=55663

test: add trivial test for syscall table and extend table tests to error paths

Add test coverage and generate report with lcov

Enable coverage with --enable-coverage.
"make coverage" will create the report locally,
"make coverage-sync" will upload the report to
http://www.freedesktop.org/software/systemd/coverage/.

Requires lcov version 1.10 to handle naming in systemd and to
use the --no-external option.

[zj: make the coverage at least generate something with
     separate build dir, simplify rules a bit: all errors
     are mine. ]

units: do not special-case getty@tty1.service installation

Since a long while we can use "systemctl enable getty@tty1.service"
which does the right thing, so there's no need to abuse Alias=
for installation.

install: make "reenable" work with templated units

Before, "systemctl reenable getty@tty1.service" would fail with:
Failed to issue method call: File exists
To fix this, reimplement "reenable" explicitly as a disable followed by
an enable.
This is shorter and is how the man page documents its behavior.

man: wording and grammar update

journalctl: have a useful --setup-keys error message when using non-persistant logging

Generating seed...

Generating key pair...
Generating sealing key...
Failed to open /var/log/journal/33f46101703a10c5fc6fa4f451840101/fss.tmp.k2wDDU: No such file or directory

static-nodes: don't hardcode path to mkdir

Revert "build-sys: don't enable color gcc on dumb terminals"

This reverts commit cd3069559a09b4e4f85a6f02aa8f0521f48359ca.

Emacs compilation can be fixed by putting
(custom-set-variables
 '(compilation-environment (quote ("GCC_COLORS="))))
in ~/.emacs.

shared/install: fix trivial memleak

We lost the reference when setting path second time.

test-path-util,test-sched-prio: uninitialize manager to appease valgrind

hwdb: keyboard -- update comments

hwdb: keyboard -- add file

Do not enable/install it now, until we switch over from the current
keymap tool.

man: document the slice and scope units, add systemd.cgroup(5)

man: use <literal> not <filename> for suffixes

Especially sentences like "filename ends in .suffix" are easier to
parse if the suffix is surrounded by quotes. In sentences like
"requires a .service unit", where the suffix is used as a class
designation, there is no need to use quotes.

man: remove note about shutdown being legacy

This can only confuse people, because there's no need to
discourage people from using shutdown. It is fully functional
and supported.

journald-server: r should be checked after journal_file_open_reliably

update TODO

build-sys: don't enable color gcc on dumb terminals

Guys, we know that emacs is the best editor on earth, but unfortunately
its "M-x compile" terminal cannot do colors (well, it does its own
highlighting of the output anyway), and it will inform the programs it
calls about this with TERM=dumb, and gcc should check for that. But you
guys turned that off. Not cool. Let's turn it on again.

systemctl: remove unused variable

unit: check correct variable after strdup

update TODO

core: simplify drop-in writing logic a bit

let's make use of some format string magic!

core: when writing drop-in files, name them directly after the property we set

Mapping from "FooBar" to "foo-bar" is unnecessary and makes it hard to
handle many different properties with the same code, hence, let's just
not do it.

cgroup: split out per-device BlockIOWeight= setting into BlockIODeviceWeight=

This way we can nicely map the configuration directive to properties and
back, without requiring two different signatures for the same property.

machined: forward scope properties array from client to systemd

This makes nspawn's --scope= switch work again.

update TODO

systemctl: show cgroup tree if cgroup is empty but has non-empty children

This makes sure "systemctl status user.slice" shows a nice cgroup tree
of all logged in users.

loginctl: suppress cgroup tree output if cgroup is empty

same for machinectl

update TODO

cgroup: simplify how instantiated units are mapped to cgroups

Previously for an instantiated unit foo@bar.service we created a cgroup
foo@.service/foo@bar.service, in order to place all instances of the
same template inside the same subtree. As we now implicitly add all
instantiated units into one per-template slice we don't need this
complexity anymore, and instance units can map directly to the cgroups
of their full name.

cgroup: don't ever try to destroy the cgroup of the root slice

The root slice is after all the root cgroup, so don't attempt to delete
it.

cgroup: don't move systemd into systems.slice when running as --user instance

core: implicitly create a per-template slice for all instantiated units by default

If no explicit slice is configured for an instantiated unit, create an
implicit one for all instances of the same template.

configure: split checks for libkmod >= 14

PKG_CHECK_EXISTS won't created a cached variable that later messes with
our PKG_CHECK_MODULES check for an explicit version. Unfortunately,
nesting these checks as the code existed lead to an odd error. Rather,
split the checks apart.

This also improves to the error message when the requisite version
isn't found, and supplies the literal version systemd needs.

kernel-install/90-loaderentry.install: do not fail for missing initrd

basic SO_REUSEPORT support

units: since we auto-spawn user@.service instances now we don need an [Install] section in it

update TODO

core: grant user@.service instances write access to their own cgroup

core: rearrange if blocks a bit

shutdown: avoid malloc() if we can

update TODO

loginctl: restore cgroup display for status output

Same for machinectl.

shutdown: fix /proc/cmdline reading of 'quiet'

core: uninstall cgroup agent only if we are running outside of a container

Since the cgroupfs is currently not virtualized for containers we
shouldn't reset the hosts agent from the container.

cgroup: when uninstalling agent, actually turn it off first

update TODO

user-sessions: rely on PID 1 to kill sessions

As we want to centralized cgroup access we should stop killing the user
sessions directly from the systemd-user-sessions service. Instead, rely
on PID 1 doing this by adding the right ordering dependencies to the
session scope units.

logind: when creating the scope job fails, return this immediately to the client that wants to register the session

Otherwise we'll hanging for the job to finish without any job existing.

Similar, for machined.

logind: don't misunderstand UnitRemoved signals during reloading

When PID 1 reloads the units logind/machined will see UnitRemoved
signals for all units. Instead of trusting these immediately, let's
check the actual unit state before considering a unit gone, so that
reloading PID 1 is not mistaken as the end of all sessions.

unit: when deserializing cgroup path add it back into cgroup hashmap

Also, properly remove cgroup path from hashmap when freeing unit.

unit: save description/slice of transient units to /run

This is necessary so that these properties survive a daemon reload.

core: send out "Reloading" signal before and after doing a full reload/reexec of PID 1

Since we'll unload all units/job during a reload, and then readd them it
is really useful for clients to be aware of this phase hence sent a
signal out before and after. This signal is called "Reloading" (despite
the fact that it is also sent out during reexecution, which we consider
a special case in this context) and has one boolean parameter which is
true for the signal sent before the reload, and false for the signal
after the reload. The UnitRemoved/JobRremoved and UnitNew/JobNew due to
the reloading are guranteed to be between the pair of Reloading
messages.

systemctl: suppress error message when doing "systemctl daemon-reexec"

When we issue a reexecution request via the private socket we need to
expect a "Disconnected" in addition to "NoReply" when the connection is
terminated.

systemctl: suppress error messages when checking whether a unit needs to be reloaded

scope: don't require an initialized PIDs set when deserializing

When a scope unit is created due to deserialization rather than client
request don't enforce that the PIDs set must be non-empty, since the
cgroup is already populated.

core: while we are reloading don't suppress bus signals

While we are reloading we shouldn't suppress adding units to the bus
queue when there are no subscribers, simply because we might not have
deserialized the subscribers list yet. Hence, during reloading always
assume we have subscribers.

core: serialize/deserialize bus subscribers

cgroup: downgrade error message when we cannot remove a cgroup to debug

Some units set KillMode=none to survive the initrd→rootfs transition. We
cannot remove their cgroups, but that shouldn't really be considered an
issue, so let's downgrade the error message.

update TODO

udev: add builtin 'keyboard' to manage key mappings

hwdb: allow list of lookup keys per given record

This allows to specify:
  dmi:bvn*:bvr*:bd*:svnVENDOR:pn:Model 231*:pvr*
  dmi:bvn*:bvr*:bd*:svnVENDOR:pn:Series 12*:pvr*
   KEY_A=value
   KEY_B=value

Instead of:
  dmi:bvn*:bvr*:bd*:svnVENDOR:pn:Model 231*:pvr*
   KEY_A=value
   KEY_B=value

  dmi:bvn*:bvr*:bd*:svnVENDOR:pn:Series 12*:pvr*
   KEY_A=value
   KEY_B=value

man: document systemd-run

man: document four basic slices

hwdb: return false if no property is found

man: improve word usage and grammar in logind.conf(5)

man: wording and grammar updates