machinectl: add new commands for copying files from/to containers

util: in make_stdio() use dup2() rather than dup3()

dup3() allows setting O_CLOEXEC which we are not interested in. However,
it also fails if called with the same fd as input and output, which is
something we don't want. Hence use dup2().

Also, we need to explicitly turn off O_CLOEXEC for the fds, in case the
input fd was O_CLOEXEC and < 3.

update TODO

machinectl: implement "bind" command to create additional bind mounts from host to container during runtime

nspawn: fix invocation of the raw clone() system call on s390 and cris

Since the order of the first and second arguments of the raw clone() system
call is reversed on s390 and cris it needs to be invoked differently.

hwdb: add Lenovo 3000 N200 special key

https://bugs.freedesktop.org/show_bug.cgi?id=87377

path: follow symbolic link for parent path

[zj: When we lstat the target path, symlinks above the last component
     will be followed by both stat and lstat. So when we look at the
     parent, we should follow symlinks.]

shared: strv - add strv_clear()

This frees the elements of the strv without freeing the strv itself.

shared: path-util - memory leak

udev: net_setup - fix warning

test-json: use fabs

fix compiler warning

src/shared/utf8.c:268:13: warning: unused variable 'd'
[-Wunused-variable]
         int d;

systemctl: fix argument handling when invoked as "shutdown"

nss-myhostname: also recognize "gateway."

"gateway." skips adding the domain search path and saves some queries to
the nameserver.

Update TODO

systemctl: refuse to edit runtime dropins when they already exist in /etc

The check for existing unit files and dropins is unified.

path_join() is updated to not insert duplicate separators.

systemctl: share path lookup between 'cat' and 'edit'

'systemctl cat' now works for templates too.

'systemctl edit' does not refuse to edit units that have changed on
disk. That restriction didn't seem useful, actually editing units that
have changed on disk before they are started is very reasonable.

'edit' with instances and templates works again:

Now:

$ build/systemctl edit getty@
Failed to copy /etc/systemd/system/getty@.service.d/override.conf to /etc/systemd/system/getty@.service.d/.override.confdff6290408c86369: Permission denied
$ build/systemctl edit getty@tty3
Failed to create directories for /etc/systemd/system/getty@tty3.service.d/override.conf: Permission denied
$ build/systemctl edit --full getty@tty3
Failed to copy /usr/lib/systemd/system/getty@.service to /etc/systemd/system/.getty@tty3.serviced3d175087e7e439b: Permission denied
Failed to create temporary file for /etc/systemd/system/getty@tty3.service: Permission denied
$ build/systemctl edit --full getty@
Failed to copy /usr/lib/systemd/system/getty@.service to /etc/systemd/system/.getty@.servicea3caad491c0f2f3d: Permission denied
Failed to create temporary file for /etc/systemd/system/getty@.service: Permission denied

systemctl: split out LookupPaths initialization

systemctl: move two functions up

No functional change.

systemctl: unify warning about unit files changed on disk

systemctl: do not use -1 for return code

Also make the error messages more specific to give a hint to the user
how to solve the problem.

Move dropin listing to shared

No functional change. This is in preparation for using this in
systemctl in the future.

hwdb: Logitech MX1000, another Lenovo USB mouse

Provided by Benjamin Bellec

https://bugs.freedesktop.org/show_bug.cgi?id=87343

hwdb: more an entry for the MS Sculpt Ergonomic

Note that the MS receivers likely work like the Logitech ones, i.e. all
devices connected show up with the same vid/pid/name. Full evidence remains to
be gathered.

shared: add minimal JSON tokenizer

udev: builtin-hwdb - port to sd-hwdb

udevadm: port to sd-hwdb

networkctl: port from libudev to sd-hwdb

update TODO

unit: handle nicely of certain unit types are not supported on specific systems

Containers do not really support .device, .automount or .swap units;
Systems compiled without support for swap do not support .swap units;
Systems without kdbus do not support .busname units.

With this change attempts to start a unsupported unit types will result
in an immediate "unsupported" job result, which is a lot more
descriptive then before. Also, attempts to start device units in
containers will now immediately fail instead of causing jobs to be
enqueued that never go away.

networkd: failing to track links is a serious problem so log at warning level rather than debug

hwdb: fix ordering

We sort by default DPI, not the first one in the list.

hwdb: Logitech G400s

Provided by Peter Hutterer:

  https://bugs.freedesktop.org/show_bug.cgi?id=87332

hwdb: Logitech MX 518

shared: time-dst: Avoid buffer overflow

Commit 681f9718 introduced an additional null terminator for the zone names.
Increase the allocation of "transitions" to actually make room for this.

blkid: Warn when rejecting a superblock with a bad csum

Bump libblkid requirement from 2.20 to 2.24.
util-linux 2.25 is actually required since fdbbad981cc5da8bb4ed7e9b6646e7a114745ec5

delta: fix output alignment of [REDIRECTED] entries

build-sys: remove commented-out m4 from user@.service

Otherwise this actually remains in the generated unit in /usr/lib.

If you want to keep it commented out, a m4-compatible way would be:

    m4_ifdef(`HAVE_SMACK',
    dnl Capabilities=cap_mac_admin=i
    dnl SecureBits=keep-caps
    )

build-sys: fix distcheck

- fix misspelling in filename (intenal -> internal)
- remove deleted hwdb-related file (nuked with sd-hwdb refactor)

build-sys: always distribute systemd-consoled.service.in

Similar to how we handle other facilities that can be flagged out at
configure time, we should always distribute this input file.

http://lists.freedesktop.org/archives/systemd-devel/2014-December/026272.html

systemctl: handle correctly template units for edit verb

Previously, if we provided getty@.service to systemctl edit it would
have failed when using the bus because it is an invalid unit name.
But it would have succeeded when searching in the filesystem.

Now, we check if we have a template, if we do we search in the
filesystem, if we don't have a templae and we can use the bus, we do.

Furthermore, if we provided getty@tty1.service it would not have worked
when searching the filesystem, but it would have worked with the bus.
So now, when using the filesystem we use the template name and not the
unit name, and the same when logging errors.

(Also did a refactoring to avoid a long function)

test-unit-name: add more tests

Add more test cases for:
- unit_name_is_instance
- unit_name_to_instance

Add tests for:
- unit_name_template
- unit_name_is_template

journal: replace contexts hashmap with a plain array

try_context() is such a hot path that the hashmap lookup is expensive.

The number of contexts is small - it is the number of object types.
Using a hashmap is overkill. A plain array will do.

Before:
$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null

real    0m9.445s
user    0m9.228s
sys     0m0.213s

After:
$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null
real    0m5.438s
user    0m5.266s
sys     0m0.170s

journal: delete unused function mmap_cache_close_context

This never had any callers. Contexts are freed when the MMapCache is
freed.

journal: push type_to_context conversion down to journal_file_move_to()

journal: have a named enum ObjectType

journal: consistently use OBJECT_<type> names instead of numbers

Note that numbers 0 and -1 are both replaced with OBJECT_UNUSED,
because they are treated the same everywhere (e.g. type_to_context()
translates them both to 0).

journal: consistently allow type==0 to mean "any type"

If type==0 and a non-NULL object were given as arguments to
journal_file_hmac_put_object(), its object type check would fail and it
would return -EBADMSG.

All existing callers use either a positive type or -1. Still, for
behavior consistency with journal_file_move_to_object() let's allow
type 0 to pass.

journal: move type_to_context() to journal-file.c

It has no other callers. It does not need to be in the header file.

journal: remove journal_file_object_keep/release functions

The only user is sd_journal_enumerate_unique() and, as explained in
the previous commit (fed67c38e3 "journal: map objects to context set by
caller, not by actual object type"), the use of them there is now
superfluous. Let's remove them.

This reverts major parts of commits:
  ae97089d49 journal: fix access to munmapped memory in
             sd_journal_enumerate_unique
  06cc69d44c sd-journal: fix sd_journal_enumerate_unique skipping values

Tested with an "--enable-debug" build and "journalctl --list-boots".
It gives the expected number of results. Additionally, if I then revert
the previous commit ("journal: map objects to context set by caller, not
to actual object type"), it crashes with SIGSEGV, as expected.

journal: map objects to context set by caller, not by actual object type

When the caller of journal_file_move_to_object() specifies type==0,
the object header is at first mapped in context 0. Then after the header
is checked, the whole object is mapped in a context determined by
the actual object type (which is not even range-checked using
type_to_context()). This looks wrong. It should map in the
caller-specified context.

An old comment in sd_journal_enumerate_unique() supports this view:
    /* We do not use the type context here, but 0 instead,
     * so that we can look at this data object at the same
     * time as one on another file */
Clearly the expectation was that the data object will remain mapped
in context 0 without being pushed away by mapping other objects in
context OBJECT_DATA.

I suspect that this was the real bug that got fixed by ae97089d49
"journal: fix access to munmapped memory in sd_journal_enumerate_unique".
In other words, journal_file_object_keep/release are superfluous after
applying this patch.

journal: add debug mode for mmap-cache (--enable-debug=mmap-cache)

This is useful for exposing unsafe access to mmapped objects after
the context that they were mapped in was already moved.

For example:
journal_file_move_to_object(f1, OBJECT_DATA, p1, &o1);
journal_file_move_to_object(f2, OBJECT_DATA, p2, &o2);
t = o1->object.type; /* this usually works, but is unsafe */

configure.ac: add a generic --enable-debug, replace --enable-hashmap-debug

There will be more debugging options later.
 --enable-debug will enable them all.
 --enable-debug=hashmap will enable only hashmap debugging.

Also rename the C #define to ENABLE_DEBUG_* pattern.

shared/hashmap.h: fix comment

An early version used underscore prefixes for internal functions, but
the current version uses the prefix "internal_".

hwdb: add more mice

https://bugs.freedesktop.org/show_bug.cgi?id=87271

hwdb: sort mice by brand,type,dpi,frequency

This way entries from the same brand with the same dpi and frequency
can be coalesced. It is also visually easier to find the right DPI
than order hexadecimal identifiers.

networkctl: remove unused variable

wrap a few *_FOREACH macros in curly braces

cppcheck would give up with "syntax error" without them. This led
to reports of syntax errors in unrelated locations and potentially
hid other errors

update TODO

core: retry unmounting until we are done, in case of stacked mounts

networkctl: also draw a nice unicode cirlce when "networkctl status" is run without parameters

networkctl: show interface names next to IP addresses if we dump adresses from all interfaces

networkctl: also show gateway address when "networkctl status" without further arguments is passed

networkctl: show MAC address OUI vendor next to MAC addresses

test-cap-list: always check libcap comes to the same names as we do, for the names it knows

cap-list: return lower-case capability names, similar to libcap's cap_to_name(), for compat reasons

update TODO

man: fedora 21 has been release, suggest 21 as fedora version in example yum command line

nspawn: when booting in ephemeral mode, append random token to machine name

Also, when booting up an ephemeral container of / use the system
hostname as default machine name.

This way specifiyng -M is unnecessary when booting up an ephemeral
container, while allowing any number of ephemeral containers to run from
the same tree.

nspawn: allow spawning ephemeral nspawn containers based on the root file system of the OS

This works now:

        # systemd-nspawn -xb -D / -M foobar

Which boots up an ephemeral container, based on the host's root file
system. Or in other words: you can now run the very same host OS you
booted your system with also in a container, on top of it, without
having it interfere. Great for testing whether the init system you are
hacking on still boots without reboot the system!

nspawn: don't link journals in ephemeral mode

nspawn: properly unset arg_link_journal_try, when --link-journal= is specified

copy: use btrfs reflinking only whe we know we copy full files

bus: send attach flags on BUS_MAKE

Make sure to set send-attach-flags on BUS_MAKE. These control which
information is revealed about the bus-owner.

bus: fix assert() on HELLO error-path

Make sure we don't call into any bus_kernel_*() functions before
b->is_kernel is set to true. Hard-code the CMD_FREE just like the other
helpers do.

nspawn: beef up nspawn with some btrfs magic

This adds --template= to duplicate an OS tree as btrfs snpashot and run
it

This also adds --ephemeral or -x to create a snapshot of an OS tree and
boot that, removing it after exit.

copy: teach copy_bytes() btrfs reflink magic

gpt-auto-generator: make use of new btrfs-util.h APIs

shared: add new btrfs-util.[ch] helpers for doing common btrfs operation

shared: missing.h should include btrfs.h, before redefining some of its definitions

util: minor simplification for loop_write() and loop_read()

nspawn: properly validate machine names

seccomp-util.h: make sure seccomp-util.h can be included alone

path-util: no need to check whether p is absolute twice

udev-builtin-btrfs: properly initialize ioctl struct to zeroes

util: document why we have alloca_align()

util: when using basename() for creating temporary files, verify the resulting name is actually valid

Also, rename filename_is_safe() to filename_is_valid(), since it
actually does a full validation for what the kernel will accept as file
name, it's not just a heuristic.

journal: fix dangling 'else' ambiguity

Rework the sd-journal iterators to avoid dangling 'else' ambiguity. For a
detailed explanation, see:

    commit bff686e2a981ccd0888cdf1981977d24320f1770
    Author: David Herrmann <dh.herrmann@gmail.com>
    Date:   Fri Dec 12 09:43:54 2014 +0100

        hwdb: fix dangling 'else' ambuguity

hwdb: fix dangling 'else' ambuguity

Imagine the following use of hwdb:

    if (condition_A)
        SD_HWDB_FOREACH_PROPERTY(hwdb, modalias, key, value)
            operation_A(key, value);
    else
        log_error("...");

This should work just fine, but but definitely does not what you would
expect. Due to how SD_HWDB_FOREACH_PROPERTY is defined, the dangling
'else' is linked to the hidden 'if' statement in the macro instead of the
outer 'if (condition_A)'. This is unexpected and really annoying to debug.

Fix this by never leaving un-finished if-statements in
SD_HWDB_FOREACH_PROPERTY(). We simply inverse the if() statement and
explicitly add an 'else'-branch. This way, the statement is closed and all
ambuguities are resolved.

hwdb: FOREACH_HWDB_PROPERTY -> SD_HWDB_FOREACH_PROPERTY

Lets not pollute the global namespace. Prefix all our exported names and
macros with SD_HWDB_*.

hwdb: Update database of Bluetooth company identifiers

use correct format types

test-condition: add more test cases

test-strv: add test for strv_equal

test-execute: add tests for UMask directive

test-unit-name: add tests for %f

bus: sync with kdbus.git

Changes:
 * bloom parameters are returned in an offset via HELLO
 * FREE now takes items just like any other ioctl

tree-wide: use our memset() macros instead of memset() itself

treewide: correct spacing near eol in code comments

core: correct spacing near eol in code comments