update TODO

import: add a new "pull-gpt" verb for downloading GPT disk images from the internet

import: three minor fixes

import: print friendly error messages on errors

import: remember when we were finished importing

import: make the dkr import URL a part of the import object, not the import name object

machined: fix writability check for GPT images

util: make creation time xattr logic more generic

sd-bus: rename sd_bus_open_system_container() to sd_bus_open_system_machine()

Pretty much everywhere else we use the generic term "machine" when
referring to containers in API, so let's do though in sd-bus too. In
particular, since the concept of a "container" exists in sd-bus too, but
as part of the marshalling system.

util: fix strict aliasing violations in use of struct inotify_event v5

There is alot of cleanup that will have to happen to turn on
-fstrict-aliasing, but I think our code should be "correct" to the rule.

hwdb: add rule and first entry for PS/2 mice

https://bugs.freedesktop.org/show_bug.cgi?id=87037

hwdb: Microsoft Wireless Laser Mouse 8000 DPI data

https://bugs.freedesktop.org/show_bug.cgi?id=87587

update TODO

shell-completion: add full support for completing busctl command lines, with services, objects, interfaces, members, and signatures

busctl: when introspecting objects, optionally limit output by interface name

gitignore: hide test-lldp files

machined: introduce polkit for OpenLogin() call

This way "machinectl login" can be opened up to run without privileges.

bus: add missing bus-policy.[ch]

Accidentally forgot to commit this. Sorry!

build-sys: move core/build.h → shared/build.h

After all, pretty much all our tools include it, and it should hence be
shared.

Also move sysfs-show.h from core/ to login/, since it has no point to
exist in core.

update TODO

machinectl: rework 'machinectl login' to use OpenMachineLogin()

machined: add new call OpenMachineLogin() that starts a getty in a container on a pty and returns the pty master fd to the client

This is a one-stop solution for "machinectl login", and should simplify
getting logins in containers.

sd-bus: teach x-container-unix: bus protoocol to connect to the namespace of a PID instead of a container name

condition: don't include files from src/core

import: fix compiler warning

env-util: don't include files from src/core/

core: rearrange code so that libsystemd/sd-bus/ does not include header files from core

Stuff in src/shared or src/libsystemd should *never* include code from
src/core or any of the tools, so don't do that here either. It's not OK!

bus-proxyd: ignore errors from sd_bus_creds_get_well_known_names()

sd_bus_creds_get_well_known_names() fails with -ENODATA in case the
message has no names attached, which is intended behavior if the
remote connection didn't own any names at the time of sending.

The function already deals with 'sender_names' being an empty strv,
so we can just continue in such cases.

bus-proxyd: handle -ESRCH and -ENXIO gracefully

Messages to destinations that are not currently owned by any bus connection
will cause kdbus related function to return with either -ENXIO or -ESRCH.

Such conditions should not make the proxyd terminate but send a sane
SD_BUS_ERROR_NAME_HAS_NO_OWNER error reply to the proxied connection.

update TODO

util: add allocation loop to gettyname_malloc()

nspawn,pty: port over to new ptsname_malloc() helper

systemd-run: support -t mode when combined with -M

For that, ask machined for a container PTY and use that.

machined: add OpenMachinePTY() bus call for allocating a PTY device within a container

Then, port "machinectl" over to make use of it.

systemd-run: add --quiet mode to suppress informational message on TTY usage

machinectl,nspawn: don't print extra final newline if pty terminal output was newline-terinated anyway

run: add a new "-t" mode for invoking a binary on an allocated TTY

import: rename 'poll-dck' to 'pull-dkr'

I figure "pull-dck" is not a good name, given that one could certainly
read the verb in a way that might be funny for 16year-olds. ;-)

Also, don't hardcode the index URL to use, make it runtime and configure
time configurable instead.

shared: json - support escaping utf16 surrogate pairs

We originally only supported escaping ucs2 encoded characters (as \uxxxx). This
only covers the BMP. Support escaping also utf16 surrogate pairs (on the form
\uxxxx\uyyyy) to cover all of unicode.

shared: utf8 - support decoding the full utf16

We originally only supported the BMP (i.e., we treated UTF-16 as UCS-2).

shared: utf8 - support ucs4 -> utf8

Originally we only supported ucs2, so move the ucs4 version from libsystemd-terminal to shared
and use that everywhere.

sd-bus: ignore KDBUS_ITEM_TIMESTAMP in kernel messages

Kernel notifications carry a timestamp now, so make sure
bus_kernel_translate_message() doesn't complain when it stumbles across
them.

busname: fix CMD_FREE ioctl

The KDBUS_CMD_FREE ioctl struct has a size field now, which needs to be set.

verbs: fix typo in error message

hwdb: Lenovo USB mouse MO28UOL DPI data

https://bugs.freedesktop.org/show_bug.cgi?id=87504

sd-bus: sync kdbus.h (ABI break)

Sync kdbus.h with upstream changes:

  * Two optional cancellation points where added for synchronously
    blocking KDBUS_CMD_SEND commands: A sigmask to change the mask
    of accepted signals before the task is put to sleep, and a
    generic file descriptor that can be written to, in order to cancel
    the command. Both methods are currently unused.

  * The KDBUS_CMD_CANCEL ioctl was removed. sd-bus was never using
    that command, so there's no change needed.

  * Some kerneldoc fixes

build: add option to disable hwdb

[tomegun: fix Makefile-man.am, based on fix from Michael Biebl]

sd-lldp: minor header cleanup

 * (potentially) public headers must reside in src/systemd/ (not in
   src/libsystemd*)
 * some private (not prefixed with sd_) functions moved from sd-lldp.h to
   lldp-internal.h
 * introduce lldp-util.h for the cleanup macro, as these should not be public
 * rename the cleanup macro, we always name them _cleanup_foo_, never
   _cleanup_sd_foo_
 * mark some function arguments as 'const'

update TODO

machined: add a full bus object for images

machined: add new GetImage() bus call for retrieving the bus path for an image

sysv-generator: properly add Makefile symlink

util: rename ignore_file() to hidden_file()

hidden_file() is a bit more precise, since dot files usually shouldn't
be ignored, but certainly be considered hidden.

update TODO

machinectl: port machinectl to new verbs logic

import: Verb[] array can be static, too

verbs: when invoking the default verb, pass a faked argv array, with just the verb in it

That way the dispatcher calls know how they got called.

machined/machinectl: add logic to show list of available images

This adds a new bus call to machined that enumerates /var/lib/container
and returns all trees stored in it, distuingishing three types:

        - GPT disk images, which are files suffixed with ".gpt"
        - directory trees
        - btrfs subvolumes

util: when creating temporary filename for atomic creation of files, add an extra "#" to the name

That way, we have a simple, somewhat reliable way to detect such
temporary files, by simply checking if they start with ".#".

journal: skipping of exhausted journal files is bad if direction changed

EOF is meaningless if the direction of iteration changes.
Move the EOF optimization under the direction check.

This fixes test-journal-interleaving for me.

Thanks to Filipe Brandenburger for telling me about the failure.

journal: make next_with_matches() always use f->current_offset

next_with_matches() is odd in that its "unit64_t *offset" parameter is
both input and output. In other it's purely for output.

The function is called from two places in next_beyond_location(). In
both of them "&cp" is used as the argument and in both cases cp is
guaranteed to equal f->current_offset.

Let's just have next_with_matches() ignore "*offset" on input and
operate with f->current_offset.

I did not investigate why it is, but it makes my usual benchmark run
reproducibly faster:

$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null

real    0m4.032s
user    0m3.896s
sys     0m0.135s

(Compare to preceding commit, where real was 4.4s.)

journal: fix skipping of duplicate entries in iteration

I accidentally broke the detection of duplicate entries in 7943f42275
"journal: optimize iteration by returning previously found candidate
entry".

When we have a known location of a candidate entry, we must not return
from next_beyond_location() immediately. We must go through the
duplicates detection to make sure the candidate differs from the
already iterated entry.

This fix slows down iteration a bit, but it's still faster than it
was before the rework.

$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null

real    0m4.448s
user    0m4.298s
sys     0m0.149s

(Compare with results from commit 7943f42275, where real was 5.3s before
the rework.)

networkd: link - plug leak

networkctl: lldp - respect arg_legend

LLDP: Add support for networkctl

networkd: integrate LLDP

This patch integrates LLDP with networkd.

Example conf:
file : lldp.network

[Match]
Name=em1

[Network]
LLDP=yes

networkd: Introduce Link Layer Discovery Protocol (LLDP)

This patch introduces LLDP support to networkd. it implements the
receiver side of the protocol.

The Link Layer Discovery Protocol (LLDP) is an industry-standard,
vendor-neutral method to allow networked devices to advertise
capabilities, identity, and other information onto a LAN. The Layer 2
protocol, detailed in IEEE 802.1AB-2005.LLDP allows network devices
that operate at the lower layers of a protocol stack (such as
Layer 2 bridges and switches) to learn some of the capabilities
and characteristics of LAN devices available to higher
layer protocols.

networkctl: port to verbs helper

systemd-hwdb: port to new verbs helper

import: dck - fix curl error handling

update TODO

import: add new minimal tool "systemd-import" for pulling down foreign containers and install them locally

This adds a simply but powerful tool for downloading container images
from the most popular container solution used today. Use it like
this:

       # systemd-import pull-dck mattdm/fedora
       # systemd-nspawn -M fedora

This will donwload the layers for "mattdm/fedora", and make them
available locally as /var/lib/container/fedora.

The tool is pretty complete, as long as it's only about pulling down
images, or updating them. Pushing or searching is not supported yet.

util: add generalization of verb parsing for command line tools

We should move loginctl, timedatectl, machinectl over to use this new
API instead of a manual one.

util: make sure rm_rf() can be called on symlinks (with the effect of deleting it)

strv: ass new strv_is_uniq() and strv_reverse() calls

execute: the runtime directory can only be on tmpfs, hence don't use rm_rf_dangerous() needlessly

nss-myhostname: introduce is_gateway() similar to the existing is_hostname()

load-fragment: allow quoting in command name and document allowed escapes

The handling of the command name and other arguments is unified. This
simplifies things and should make them more predictable for users.
Incidentally, this makes ExecStart handling match the .desktop file
specification, apart for the requirment for an absolute path.

https://bugs.freedesktop.org/show_bug.cgi?id=86171

Treat a trailing backslash as an error

Commit a2a5291b3f5 changed the parser to reject unfinished quoted
strings. Unfortunately it introduced an error where a trailing
backslash would case an infinite loop. Of course this must fixed, but
the question is what to to instead. Allowing trailing backslashes and
treating them as normal characters would be one option, but this seems
suboptimal. First, there would be inconsistency between handling of
quoting and of backslashes. Second, a trailing backslash is most
likely an error, at it seems better to point it out to the user than
to try to continue.

Updated rules:
ExecStart=/bin/echo \\ → OK, prints a backslash
ExecStart=/bin/echo \ → error
ExecStart=/bin/echo "x → error
ExecStart=/bin/echo "x"y → error

test-strv: use STRV_MAKE

tree-wide: make condition_free_list return NULL

core: make exec_command_free_list return NULL

hwdb: move Logitech mouse to the right spot

hwdb: Logitech, Inc. RX 250 Optical Mouse DPI data

https://bugs.freedesktop.org/show_bug.cgi?id=87435

hwdb: Logitech, Inc. RX 300 Optical Mouse DPI data

https://bugs.freedesktop.org/show_bug.cgi?id=87456

test-cap-list: allow mismatch in case

path-util: fix breakage in path_is_mount_point

This fixes 2 problems introduced by 6feeeab0bc:

1) If name_to_handle_at returns ENOSYS for the child, we'll wrongly
return -ENOSYS when it returns the same for the parent. Immediately
jump to the fallback logic when we get ENOSYS.

2) If name_to_handle_at returns EOPNOTSUPP for the child but suceeds
for the parent, we'll be comparing an uninitialized value (mount_id) to
an initialized value (mount_id_parent). Initialize the mount_id
variables to invalid mount_ids to avoid this.

systemd-hwdb: introduce new tool

This pulls out the hwdb managment from udevadm into an independent tool.

The old code is left in place for backwards compatibility, and easy of
testing, but all documentation is dropped to encourage use of the new
tool instead.

networkd: add FDB support

journal: next_with_matches() now does not need a mapped object as input

Now that journal_file_next_entry() does not need a pointer to the
current object, next_with_matches() does not need it either.

journal: journal_file_next_entry() does not need pointer to current Object

The current offset is sufficient information.

journal: optimize iteration by returning previously found candidate entry

In next_beyond_location() when the JournalFile's location type is
LOCATION_SEEK, it means there's nothing to do, because we already have
the location of the candidate entry. Do an early return. Note that now
next_beyond_location() does not anymore guarantee on return that the
entry is mapped, but previous patches made sure the caller does not
care.

This optimization is at least as good as "journal: optimize iteration:
skip files that cannot improve current candidate entry" was.

Timing results on my workstation, using:
$ time ./journalctl -q --since=2014-06-01 --until=2014-07-01 > /dev/null

Before "Revert "journal: optimize iteration: skip files that cannot
improve current candidate entry":

real    0m5.349s
user    0m5.166s
sys     0m0.181s

Now:

real    0m3.901s
user    0m3.724s
sys     0m0.176s

journal: optimize iteration by skipping exhausted files

If from a previous iteration we know we are at the end of a journal
file, don't bother looking into the file again. This is complicated by
the fact that the EOF does not have to be permanent (think of
"journalctl -f"). So we also check if the number of entries in the
journal file changed.

This optimization has a similar effect as "journal: optimize iteration:
skip whole files behind current location" had.

journal: drop unnecessary parameters of next_beyond_location()

offset is redundant, because the caller can rely on f->current_offset.
The object pointer the function saves in *ret is thrown away by the caller.

journal: remove redundant variable new_offset

The file's current_offset is already updated at this point, so let's use
it.

journal: compare candidate entries using JournalFiles' locations

When comparing the locations of candidate entries, we can rely on the
location information stored in struct JournalFile.

journal: simplify set_location()

set_location() is called from real_journal_next() when a winning entry
has been picked from among the candidates in journal files.

The location type is always set to LOCATION_DISCRETE. No need to pass
it as a parameter.
The per-JournalFile location information is already updated at this
point. No need for having the direction and offset here.

journal: keep per-JournalFile location info during iteration

In next_beyond_location() when we find a candidate entry in a journal
file, save its location information in struct JournalFile.

The purpose of remembering the locations of candidate entries is to be
able to save work in the next iteration. This patch does only the
remembering part.

LOCATION_SEEK means the location identifies a candidate entry.
When a winner is picked from among candidates, it becomes
LOCATION_DISCRETE.
LOCATION_TAIL here signifies we've iterated the file to the end (or the
beginning in the case of reversed direction).

journal: abstract the resetting of JournalFile's location

journal: move definition of LocationType to journal-file.h

In preparation for individual JournalFiles maintaining a location
of their own.