journal: size journal data hash table based on maximum file size metrics

The default of 2047 hash table entries turned out to result in way too
many collisions for bigger files, hence scale the hash table size by the
estimated maximum file size.

journal: immediately rotate when the journal was previously not closed properly

journal: automatically rotate journal files if the data hash table is full > 75%

Previously, when the main data hash table grows too full the performance
simply started to decrease drastically. Instead, now simply rotate to a
new journal file as the hash table gets to full, so that we can start
with a new fresh empty hash table.

make-man-index.py: pretty-print HTML

journal: use tail/head timestamps from header for cutoff logic

We have them, they are faster to use them, so use them...

journald: don't enforce monotonicity of realtime clocks when copying entries

After all the point of the realtime clock (in contrast to the monotonic
clock) is that it does not have to be strictly monotonic, hence don't
enforce this when flushing the journal from /run to /var.

man: actually generate h2 headers for letters in index as we meant to

core: fix name of dbus call parameter

man: include number of man pages in index page

build-sys: make building of index.html fail sensibly

man: set description in italics in the index

man: reword man page titles

Make sure the man page titles are similar in style and capitalization so
that our man page index looks pretty.

man: show man page summary in index, too

min: generate an index page for all man pages

This makes use of python, if it is available

unit: set default working directory to the user's home directory when running in user mode

unit: introduce %s specifier for the user shell

unit: printf specifiers %u and %h: $USER and $HOME.

These printf specifiers allow us to refer to $HOME and $USER
in unit files. These are particularly helpful in instanced
units that have "User=" set, and in systemd --user domains.

The specifiers will return the pw_name and pw_dir fields
if the unit file has a User= field.

If the unit file does not have a User= field, the value
substituted is either $USER or $HOME from the environment,
or, if unset, the values from pw_name or pw_dir.

This patch is somewhat after Ran Benita's original patch,
which didn't get merged. I've split up the 2 specifiers
and extended them to do what is logically expected from
these specifiers.

Note that expansion is done at `start` time, not after
the units are parsed. Using `systemctl show` will just
show the specifiers.

util: add getusername_malloc(), get_shell(), get_home_dir()

Spelling fixes.

udev: get rid of TEST_PREFIX and use unshare() to fake /sys, /dev, /run

intltool: skip the intermediate file in case it remains, not the source file

update TODO

unit: avoid re-definition of enum for older gcc versions

<koen> | ./src/shared/unit-name.h:29:23: error: redefinition of typedef 'UnitType'
<koen> | ./src/core/unit.h:30:23: note: previous declaration of 'UnitType' was here

build-sys: fix "make distcheck"

aquire_terminal(): fix uninitialized variable

./src/shared/util.c:2457:45: warning: 'r' may be used uninitialized in this function [-Wmaybe-uninitialized]

journal: align byte-buffer that gets cased to an object

On Sun, Jul 15, 2012 at 2:00 PM, Koen Kooi <koen@dominion.thruhere.net> wrote:
> | src/journal/sd-journal.c: In function 'sd_journal_process':
> | src/journal/sd-journal.c:1891:21: warning: cast increases required alignment of target type [-Wcast-align]
> | src/journal/sd-journal.c:1900:29: warning: cast increases required alignment of target type [-Wcast-align]

journal: avoid re-definition of enums for older gcc versions

On Sun, Jul 15, 2012 at 2:00 PM, Koen Kooi <koen@dominion.thruhere.net> wrote:
> | In file included from src/journal/sd-journal.c:37:0:
> | src/journal/journal-internal.h:47:3: error: redefinition of typedef 'MatchType'
> | src/journal/journal-internal.h:36:24: note: previous declaration of 'MatchType' was here
> | src/journal/journal-internal.h:67:3: error: redefinition of typedef 'LocationType'
> | src/journal/journal-internal.h:37:27: note: previous declaration of 'LocationType' was here

rules: fix typo in 42-usb-hid-pm.rules

<arjan> can you open the 42-usb-hid-pm.rules file
<arjan> and go to line 46
<arjan> and tell me why ATTR{idProduct}="0002" only has one = and not two (e.g. == ) ?
<kay> arjan: yep
<kay> arjan: bug

udev: avoid creating /dev/kmsg with fopen() to support CONFIG_PRINTK=n

build-sys: fix build

unit: rename BindTo= to BindsTo=

all other dependencies are in 3rd person. Change BindTo= accordingly to
BindsTo=.

Of course, the dependency is widely used, hence we parse the old name
too for compatibility.

man: add man page aliases for all macros/types too

man: Split sd_randomize(3) from sd_id128_get_{machine,boot}(3)

They have too little to do with each other...

build-sys: don't install sd-readahead.h as include file, but as documentation

sd-readahead.h is supposed to be a drop-in API, nothing people should
ever link to or could make use without also adding sd-readahead.c to
their sources. Hence, don't install this header file into INCLUDES, but
instead install it as DOCS.

man: document sd_journal_seek_head()

man: document sd_journal_add_match()

shutdown: add missing include

man: fix various typos

man: suppress man page dates/authors in generated pages

build-sys: clean man pages when building them

man: forgot sd_journal_get_fd() man page

man: document sd_journal_get_fd()

man: document sd_journal_get_cursor()

man: document sd_journal_get_cutoff_realtime_usec()

man: document sd_journal_get_realtime_usec()

man: document sd_journal_get_data() and friends

man: document sd_journal_next()

man: document sd_journal_open()

log: correct usage of logging API at a few places

main: only reopen /dev/console if we switch-root to a custom init

There's no point in reopening /dev/console if we reopen it anyway
afterwards.

container: when shutting down in a container don't detach loop devices

We don't do device handling in containers, hence no loop devices either.

core: go on a killing spree when transitioning from initrd to main system

util: temporarily ignore SIGHUP while we are issuing TIOCSTTY

test: hook up more tests with make check

util: rename join() to strjoin()

This is to match strappend() and the other string related functions.

man: fix man page chapter in Makefile.am

man: document sd_journal_stream_fd()

man: move header file man pages from section 7 to 3

This way we can include documentation about minor macros/inline function
within the introducionary man page in a sane way.

journal: properly export sd_journal_add_disjunction()

journalctl: show any printable Unicode character

This makes sure we are OK in outputting all valid, non-control UTF-8
characters, instead of just printable 7bit ASCII.

update TODO

journal: beef up journal matches considerably

we now can take multiple matches, and they will apply as AND if they
apply to different fields and OR if they apply to the same fields. Also,
terms of this kind can be combined with an overreaching OR.

journal: check fields we search for more carefully

journal: fix seeking by realtime/seqnum

journal: fix bad memory access

journal: fix bisection logic for first entry

journal: fix interleaving of files with different time sources

build-sys: avoid duplicate inclusion of log.c in tools

Before: shared code such as log.c was linked once into the public
libraries (where it is entirely hidden) and once into the various tools
which might use those libraries. This is suboptimal, as this way static
variables such as the maximum log level are instantiated twice in all
tools.

After: our build the public libraries a second time, as a convenience
libary, and link our tools against those. Hence all tools use only a
single instance of everything.

update TODO

update TODO

journal: replace implicit flushing of journal by explicit one

The old automatism that the flushing of the journal from /run to /var
was triggered by the appearance of /var/log/journal is broken if that
directory is mounted from another host and hence always available to be
useful as mount point. To avoid probelsm with this, introduce a new unit
that is explicitly orderer after all mounte files systems and triggers
the flushing.

journalctl: add a marker to log output for reboots

With this we'll print a marker "----- Reboot -----" between two
subsequent lines with different boot IDs.

journal: rework directory enumeration/watch logic

There's now sd_journal_new_directory() for watching specific journal
directories. This is exposed in journalctl -D.

sd_journal_wait() and sd_journal_process() now return whether changes in
the journal are invalidating or just appending.

We now create inotify kernel watches only when we actually need them

journal: introduce sd_journal_wait() to simplify writing synchronous clients

update TODO

journald: use "persistent", not "permanent" as storage option

"permanent" is simply the wrong term and we use "persistant" in most
other contexts to correct this.

update TODO

selinux: turn of libselinux' internal logging

update TODO

switch-root: reopen /dev/console before we switch root

update TODO

util: rm_rf() refuse cleaning non-memory file systems, as extra paranoia

util: add extra safety check to in_initrd()

initrds can only be on tmpfs or ramfs, so check for that

mount: fix for complex automounts

If accessing an automount point triggers more changes to
/proc/self/mountinfo than just to add the directly wanted mount, these
changes can lead to spurious -ENODEV notifications on the automount unit
causing the request to fail when in fact the mount will be setup right
afterwards.

update TODO

systemctl: filter shown units by their load state

E.g. systemctl --all -t masked gives the list of masked units.

The -t/--type option is reused. This is possible because unit types
and unit load states are called differently, so it is possible to
distinguish what the user meant. Using the same option also means that
the interface is user for the user: less options to remember.

unit: Move UnitLoadState definitions from core/unit.c to shared/unit-name.c

This makes it possible to use them from systemctl without linking
against the core.

unit: get rid of UnitVTable.suffix, which is now unused

unit-name: remove unit_name_is_valid_no_type() and move unit_name_is_valid() to unit-name.h

update TODO

systemctl: check the argument to -t for invalid values

Systemctl accepted anything as the argument for -t, and simply said '0
units found'. It is better to catch this user error early.

unit: Move UnitType definitions from core/unit.c to shared/unit-name.c

This makes it possible to use them from systemctl without linking
against the core. A string->enum lookup table is added.

update TODO

update TODO

update TODO

update TODO

cryptsetup: add keyfile-offset= support

This is useful if your keyfile is a block device, and you want to
use a specific part of it, such as an area between the MBR and the
first partition.

This feature is documented in the Arch wiki[0], and has been supported
by the Arch initscripts, so would be nice to get this into systemd.

This requires libcryptsetup >= 1.4.2 (released 12.4.2012).

Acked-by: Paul Menzel <paulepanter@users.sourceforge.net>
[0]:
<https://wiki.archlinux.org/index.php/System_Encryption_with_LUKS#
Storing_the_key_between_MBR_and_1st_partition>

udev: never touch device nodes with symlink requests

paranoia: refuse rm_rf("/")

MeeGo: Remove build support for MeeGo distribution.

The MeeGo distribution is still a supported distribution, but
will probably not see an updated version of systemd anymore.

Most of the development is focussing on Tizen now, and the
generic support for building --with-distro=other is more than
adequate enough.

This patch removes the support as a custom configuration build
target in systemd. People who are still building this for
the MeeGo distribution should build as "other" distro.