resolved: add DNS cache

resolved: don't trip up when an rtlink message does not include the MTU

nss-util: be a tiny bit more compatible with glibc's lookup behaviour regarding IPv6

Check for RES_USE_INET6 before we prefer IPv6 over IPv4, for all our NSS
modules. (Not that the DNS resolver that is configured with this matters
to us, but hey, let's try to be compatible).

detect-virt: Fix Xen domU discovery

The conditional for detection xen virtualization contained a little mistake.
It is checking for i to be empty: 'if (!i)  {', but it must check for cap instead,
because: 'cap = strsep(&i, ",")' will set cap to the discovered value and i to
the next value after the separator.
Hence, i would be empty, if there is only control_d in domcap, leading to a wrong
domU detection.

https://bugs.freedesktop.org/show_bug.cgi?id=77271

networkd: fix colud typo

sztanpet> if your already there, might fixing "Colud" to Could in 53af3b7

units: fix typo

vrutkovs> zbyszek:
http://cgit.freedesktop.org/systemd/systemd/diff/units/systemd-journal-upload.service.in?id=ad95fd1d2b9c6344864857c2ba7634fd87753f8e - typo in Group name

ui/term: add line/cell/char handling for terminal pages

This commit introduces libsystemd-ui, a systemd-internal helper library
that will contain all the UI related functionality. It is going to be used
by systemd-welcomed, systemd-consoled, systemd-greeter and systemd-er.
Further use-cases may follow.

For now, this commit only adds terminal-page handling based on lines only.
Follow-up commits will add more functionality.

nspawn: fix barrier-destroy call

I dropped the cleanup-helper before pushing so use _cleanup_() directly.

shared: add PTY helper

This Pty API wraps the ugliness that is POSIX PTY. It takes care of:
  - edge-triggered HUP handling (avoid heavy CPU-usage on vhangup)
  - HUP vs. input-queue draining (handle HUP _after_ draining the whole
    input queue)
  - SIGCHLD vs. HUP (HUP is no reliable way to catch PTY deaths, always
    use SIGCHLD. Otherwise, vhangup() and friends will break.)
  - Output queue buffering (async EPOLLOUT handling)
  - synchronous setup (via Barrier API)

At the same time, the PTY API does not execve(). It simply fork()s and
leaves everything else to the caller. Usually, they execve() but we
support other setups, too.

This will be needed by multiple UI binaries (systemd-console, systemd-er,
...) so it's placed in src/shared/. It's not strictly related to
libsystemd-terminal, so it's not included there.

nspawn: use Barrier API instead of eventfd-util

The Barrier-API simplifies cross-fork() synchronization a lot. Replace the
hard-coded eventfd-util implementation and drop it.

Compared to the old API, Barriers also handle exit() of the remote side as
abortion. This way, segfaults will not cause the parent to deadlock.

EINTR handling is currently ignored for any barrier-waits. This can easily
be added, but it isn't needed so far so I dropped it. EINTR handling in
general is ugly, anyway. You need to deal with pselect/ppoll/... variants
and make sure not to unblock signals at the wrong times. So genrally,
there's little use in adding it.

shared: add generic IPC barrier

The "Barrier" object is a simple inter-process barrier implementation. It
allows placing synchronization points and waiting for the other side to
reach it. Additionally, it has an abortion-mechanism as second-layer
synchronization to send abortion-events asynchronously to the other side.

The API is usually used to synchronize processes during fork(). However,
it can be extended to pass state through execve() so you could synchronize
beyond execve().

Usually, it's used like this (error-handling replaced by assert() for
simplicity):

    Barrier b;

    r = barrier_init(&b);
    assert_se(r >= 0);

    pid = fork();
    assert_se(pid >= 0);
    if (pid == 0) {
            barrier_set_role(&b, BARRIER_CHILD);

            ...do child post-setup...
            if (CHILD_SETUP_FAILED)
                       exit(1);
            ...child setup done...

            barrier_place(&b);
            if (!barrier_sync(&b)) {
                    /* parent setup failed */
                    exit(1);
            }

            barrier_destroy(&b); /* redundant as execve() and exit() imply this */

            /* parent & child setup successful */
            execve(...);
    }

    barrier_set_role(&b, BARRIER_PARENT);

    ...do parent post-setup...
    if (PARENT_SETUP_FAILED) {
            barrier_abort(&b);          /* send abortion event */
            barrier_wait_abortion(&b);  /* wait for child to abort (exit() implies abortion) */
            barrier_destroy(&b);
           ...bail out...
    }
    ...parent setup done...

    barrier_place(&b);
    if (!barrier_sync(&b)) {
            ...child setup failed... ;
            barrier_destroy(&b);
            ...bail out...
    }

    barrier_destroy(&b);

    ...child setup successfull...

This is the most basic API. Using barrier_place() to place barriers and
barrier_sync() to perform a full synchronization between both processes.
barrier_abort() places an abortion barrier which superceeds any other
barriers, exit() (or barrier_destroy()) places an abortion-barrier that
queues behind existing barriers (thus *not* replacing existing barriers
unlike barrier_abort()).

This example uses hard-synchronization with wait_abortion(), sync() and
friends. These are all optional. Barriers are highly dynamic and can be
used for one-way synchronization or even no synchronization at all
(postponing it for later). The sync() call performs a full two-way
synchronization.

The API is documented and should be fairly self-explanatory. A test-suite
shows some special semantics regarding abortion, wait_next() and exit().

Internally, barriers use two eventfds and a pipe. The pipe is used to
detect exit()s of the remote side as eventfds do not allow that. The
eventfds are used to place barriers, one for each side. Barriers itself
are numbered, but the numbers are reused once both sides reached the same
barrier, thus you cannot address barriers by the index. Moreover, the
numbering is implicit and we only store a counter. This makes the
implementation itself very lightweight, which is probably negligible
considering that we need 3 FDs for a barrier..

Last but not least: This barrier implementation is quite heavy. It's
definitely not meant for fast IPC synchronization. However, it's very easy
to use. And given the *HUGE* overhead of fork(), the barrier-overhead
should be negligible.

core: nicer message when inotify watches are exhausted

inotify_add_watch returns ENOSPC, which translates to
"No space left on device", which is misleading.

https://bugs.freedesktop.org/show_bug.cgi?id=73628

man: document yearly and annually in systemd.time(7)

https://bugs.freedesktop.org/show_bug.cgi?id=81158

resolved: enforce limit on concurrent outstanding queries

sd-login: always use "indices" as plural of "index"

So far both "indexes" and "indices" was used. Let's clean this up, and
stick to indices, since it appears to be used more frequently.

sd-network: rename "index" parameter to "ifindex"

makes things a bit clearer and avoids any clashes with libc's index()
symbol.

sd-network: if a boolean is mising, we should just take it as false

That way, we can deprecate fields later on without problems

sd-network: remove redundant array size parameter from functions that return arrays

As long as the number of array entries is relatively small it's nicer to
simply return the number of entries directly, instead of using a size_t*
return parameter for it.

resolved: fix check for mdns names

resolved: we are never authoritative for localhost

resolved: properly handle MTU logic

dns-domain: enforce maximum DNS domain name length

sd-network: fix parameter order for sd_network_monitor_new()

Constructors should return the object they created as first parameter,
except when they are generated as a child/member object of some other
object in which case that should be first.

po: add Ukrainian translation

journal/verify: flush progress bar, print offset in more places

Before, fragments of the progress bar would remain when
errors or warnings were printed.

test-tables: add new entries

One missing string found.

A few things had to be moved around to make it possible to test them.

tty-ask-password-agent: modernization

Be more careful when checking for empty files

If we want to avoid reading a totally empty file, it seems better
to check after we have opened the file, not before.

Let config_parse open file where applicable

Special care is needed so that we get an error message if the
file failed to parse, but not when it is missing. To avoid duplicating
the same error check in every caller, add an additional 'warn' boolean
to tell config_parse whether a message should be issued.
This makes things both shorter and more robust wrt. to error reporting.

resolved: do not free() sd_dhcp_lease_get_dns() results

update TODO

resolved: properly pass canonical name information to resolving client

Also, hook up nss-resolve to make use of this information

resolved: add CNAME lookup support

missing.h: add IFLA_MACVLAN_FLAGS

Now we are getting into kernel < 3.4 territory...

https://bugs.freedesktop.org/show_bug.cgi?id=80095

update TODO

resolved: support for TCP DNS queries

dns-packet: allow dynamic resizing of DNS packets

dns-domain: introduce macros for accessing all DNS header fields

update TODO

journal: add systemd-journal-remote to sysusers

journal-remote: remove obsolete variable

journal-remote: fix double typedef and add missing header

shared: include stdbool.h in mkdir.h

build-sys: don't move libgudev to /lib

It depends on libgobject and libgmodule which are installed in /usr/lib.

test-compress-benchmark: add missing % before PRIu64 format

test-socket-util: silence warnings

units/serial-getty@.service: use the default RestartSec

For pluggable ttys such as USB serial devices, the getty is restarted
and exits in a loop until the remove event reaches systemd. Under
certain circumstances the restart loop can overload the system in a
way that prevents the remove event from reaching systemd for a long
time (e.g. at least several minutes on a small embedded system).

Use the default RestartSec to prevent the restart loop from
overloading the system. Serial gettys are interactive units, so
waiting an extra 100ms really doesn't make a difference anyways
compared to the time it takes the user to log in.

resolve: avoid use of uninitalized variable

test-compress-benchmark: silence warnings

and btw make it pass for 32bits where size_t != uint64_t

journal-remote: avoid copying input data

Instead of copying fields into new memory allocations, simply keep pointers
into the receive buffer. Data in this buffer is only copied when there is not
enough space for new data and a large chunk of the buffer contains old data.

Clear up confusion wrt. ENTRY_SIZE_MAX and DATA_SIZE_MAX

Define DATA_SIZE_MAX to mean the maximum size of a single
field, and ENTRY_SIZE_MAX to mean the size of the whole
entry, with some rough calculation of overhead over the payload.

Check if entries are not too big when processing native journal
messages.

µhttp-util: fix compilation without gnutls

man: describe new filename rules for journal-remote

man: document systemd-journal-upload

journal-upload: add config file

journal-remote: let user specify just the main part of the url

We can append /upload ourselves.

journal-remote: rework fd and writer reference handling

journal-remote: improve some messages

Fix problem with allocating large buffers and log leftovers

Constify ConfigTableItem tables

journal-remote: allow splitting incoming logs by source host

Previously existing scheme where the file name would be based on
the source was just too ugly and unpredicatable. Now there are
only two options:
  1. just one file (until rotation),
  2. one file per source host, using the hostname as filename part.
For the cases where the source is specified by the user, only
option one is allowed, and the full of the file must be specified.

Allow addresses to be specified for --listen-... args

Hostnames still aren't accepted.

Add simple generator of fake journal export stream

shared/socket-label: fix error message

Was: Failed to listen on [::]:2000: Success

shared/socket-util: add function to query remote address

journal-remote: add units and read certs from default locations

journal-upload: add watchdog support

journal-upload: make state persistent

journal-upload: use journal as the source

journal-upload: HTTPS support

journal-upload: a tool to push messages to systemd-journal-remote

journal-remote: reject fields above maximum size

Also fix an infinite loop on E2BIG.

Remember what range we already scanned for '\n', to avoid
quadratic behaviour on long "text" fields.

journal-remote: small fixes

build-sys: add check for libcurl

Move network-related journal programs to src/journal-remote/

Directory src/journal has become one of the largest directories,
and since systemd-journal-gatewayd, systemd-journal-remote, and
forthcoming systemd-journal-upload are all closely related, create
a separate directory for them.

microhttp-util: rework gnutls logging

journal: allow files with no data whatsoever

If a file was opened for writing, and then closed immediately without
actually writing any entries, on subsequent opening, it would be
considered "corrupted". This should be totally fine, and even in
read mode, an empty file can become non-empty later on.

resolved: add busname unit file

resolved: add legacy dbus service and policy files

update TODO

resolved: add small NSS module that uses resolved to resolve DNS names

nss: various minor fixes to nss-myhostname + nss-mymachines

dns-domain: never allow labels that are larger than 63 chars

dns-domain: fix generation of reverse IP address lookup name

resolve: add distinct bus error code for hosts that exist but lack A or AAAA records

update TODO

resolved: add a DNS client stub resolver

Let's turn resolved into a something truly useful: a fully asynchronous
DNS stub resolver that subscribes to network changes.

(More to come: caching, LLMNR, mDNS/DNS-SD, DNSSEC, IDN, NSS module)

networkd: remove unused variable

networkd: netdev - set mac for bond/bridge devicse

Suggested by poma.

sd-dhcp-client: make request broadcasts opt-in

It appears there is no good way to decide whether or not broadcasts should be enabled,
there is hardware that must have broadcast, and there are networks that only allow
unicast. So we give up and make this configurable.

By default, unicast is used, but if the kernel were to inform us abotu certain
interfaces requiring broadcast, we could change this to opt-in by default in
those cases.

rules: uaccess - add ID_SOFTWARE_RADIO

On Tue, Jul 15, 2014 at 1:52 PM, Alick Zhao <alick9188@gmail.com> wrote:
>>>
>>> So maybe ID_SOFTWARE_RADIO ?
>>
>> Hmm, SDR is more a term for a generic technology than for a device
>> class. To me it does not really sound like an administrator would know
>> what this is.
>>
>> What exactly is the device or subsystem you want to make accessible to
>> locally logged-in users only?
>
> Initially it is bladeRF, but many more are of interest: USRP, rtl-sdr,
> HackRF, ... [1]
>
> I agree an administrator might not know what SDR is, since it is
> currently still not widely known, and makes sense only for amateurs
> and researchers. But as a SDR fan, I see many new SDR peripherals
> are created recently, and expect to see more. So a generic ID seems
> reasonable to me.
>
> [1] http://en.wikipedia.org/wiki/List_of_software-defined_radios

core: fix oneshot service resource control

Oneshot services's cgroup is removed when the service
exits. An assert is hit otherwise.

shell-completion: restore completion for -p

It was broken since systemd was moved out of /bin.

For zsh it was never there.

timesyncd: add sockaddr_pretty wrapper

timesyncd: only listen to clock changes when connected

This reverts previous commit and applies a different fix.

manager_clock_watch() callback calls manager_send_request() to kick
off a resync. We can only do that when we're actually connected to
something. It is not useful to setup the callback from manager_new().

Now the callback will be dropped in manager_connect() and requested
in manager_begin().

https://bugs.freedesktop.org/show_bug.cgi?id=80932

timesyncd: suppress resync at system time change when not connected

Jul 04 17:46:03 orchid systemd[1]: Starting Network Time Synchronization...
Jul 04 17:46:03 orchid systemd[1]: Started Network Time Synchronization.
Jul 04 17:46:22 orchid systemd-timesyncd[301]: System time changed. Resyncing.
Jul 04 17:46:22 orchid systemd-timesyncd[301]: Assertion 'm->current_server_name'

https://bugs.freedesktop.org/show_bug.cgi?id=80932

rules: consistently use "?*" instead of "*?"

TODO

networkd: link - fix memory leak

Make link_initialized() idempotent to avoid taking refs on several udev_device
objects.

test: network - skip if we don't have permissions to create netdevs