chiark / gitweb /
service: use uppercase SYSV prefix to make it easier to recognize
[elogind.git] / src / job.c
1 /*-*- Mode: C; c-basic-offset: 8; indent-tabs-mode: nil -*-*/
2
3 /***
4   This file is part of systemd.
5
6   Copyright 2010 Lennart Poettering
7
8   systemd is free software; you can redistribute it and/or modify it
9   under the terms of the GNU General Public License as published by
10   the Free Software Foundation; either version 2 of the License, or
11   (at your option) any later version.
12
13   systemd is distributed in the hope that it will be useful, but
14   WITHOUT ANY WARRANTY; without even the implied warranty of
15   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
16   General Public License for more details.
17
18   You should have received a copy of the GNU General Public License
19   along with systemd; If not, see <http://www.gnu.org/licenses/>.
20 ***/
21
22 #include <assert.h>
23 #include <errno.h>
24 #include <sys/timerfd.h>
25 #include <sys/epoll.h>
26
27 #include "set.h"
28 #include "unit.h"
29 #include "macro.h"
30 #include "strv.h"
31 #include "load-fragment.h"
32 #include "load-dropin.h"
33 #include "log.h"
34 #include "dbus-job.h"
35
36 Job* job_new(Manager *m, JobType type, Unit *unit) {
37         Job *j;
38
39         assert(m);
40         assert(type < _JOB_TYPE_MAX);
41         assert(unit);
42
43         if (!(j = new0(Job, 1)))
44                 return NULL;
45
46         j->manager = m;
47         j->id = m->current_job_id++;
48         j->type = type;
49         j->unit = unit;
50
51         j->timer_watch.type = WATCH_INVALID;
52
53         /* We don't link it here, that's what job_dependency() is for */
54
55         return j;
56 }
57
58 void job_free(Job *j) {
59         assert(j);
60
61         /* Detach from next 'bigger' objects */
62         if (j->installed) {
63                 bus_job_send_removed_signal(j);
64
65                 if (j->unit->meta.job == j) {
66                         j->unit->meta.job = NULL;
67                         unit_add_to_gc_queue(j->unit);
68                 }
69
70                 hashmap_remove(j->manager->jobs, UINT32_TO_PTR(j->id));
71                 j->installed = false;
72         }
73
74         /* Detach from next 'smaller' objects */
75         manager_transaction_unlink_job(j->manager, j, true);
76
77         if (j->in_run_queue)
78                 LIST_REMOVE(Job, run_queue, j->manager->run_queue, j);
79
80         if (j->in_dbus_queue)
81                 LIST_REMOVE(Job, dbus_queue, j->manager->dbus_job_queue, j);
82
83         if (j->timer_watch.type != WATCH_INVALID) {
84                 assert(j->timer_watch.type == WATCH_JOB_TIMER);
85                 assert(j->timer_watch.data.job == j);
86                 assert(j->timer_watch.fd >= 0);
87
88                 assert_se(epoll_ctl(j->manager->epoll_fd, EPOLL_CTL_DEL, j->timer_watch.fd, NULL) >= 0);
89                 close_nointr_nofail(j->timer_watch.fd);
90         }
91
92         free(j->bus_client);
93         free(j);
94 }
95
96 JobDependency* job_dependency_new(Job *subject, Job *object, bool matters, bool conflicts) {
97         JobDependency *l;
98
99         assert(object);
100
101         /* Adds a new job link, which encodes that the 'subject' job
102          * needs the 'object' job in some way. If 'subject' is NULL
103          * this means the 'anchor' job (i.e. the one the user
104          * explicitly asked for) is the requester. */
105
106         if (!(l = new0(JobDependency, 1)))
107                 return NULL;
108
109         l->subject = subject;
110         l->object = object;
111         l->matters = matters;
112         l->conflicts = conflicts;
113
114         if (subject)
115                 LIST_PREPEND(JobDependency, subject, subject->subject_list, l);
116         else
117                 LIST_PREPEND(JobDependency, subject, object->manager->transaction_anchor, l);
118
119         LIST_PREPEND(JobDependency, object, object->object_list, l);
120
121         return l;
122 }
123
124 void job_dependency_free(JobDependency *l) {
125         assert(l);
126
127         if (l->subject)
128                 LIST_REMOVE(JobDependency, subject, l->subject->subject_list, l);
129         else
130                 LIST_REMOVE(JobDependency, subject, l->object->manager->transaction_anchor, l);
131
132         LIST_REMOVE(JobDependency, object, l->object->object_list, l);
133
134         free(l);
135 }
136
137 void job_dump(Job *j, FILE*f, const char *prefix) {
138         assert(j);
139         assert(f);
140
141         if (!prefix)
142                 prefix = "";
143
144         fprintf(f,
145                 "%s-> Job %u:\n"
146                 "%s\tAction: %s -> %s\n"
147                 "%s\tState: %s\n"
148                 "%s\tForced: %s\n",
149                 prefix, j->id,
150                 prefix, j->unit->meta.id, job_type_to_string(j->type),
151                 prefix, job_state_to_string(j->state),
152                 prefix, yes_no(j->override));
153 }
154
155 bool job_is_anchor(Job *j) {
156         JobDependency *l;
157
158         assert(j);
159
160         LIST_FOREACH(object, l, j->object_list)
161                 if (!l->subject)
162                         return true;
163
164         return false;
165 }
166
167 static bool types_match(JobType a, JobType b, JobType c, JobType d) {
168         return
169                 (a == c && b == d) ||
170                 (a == d && b == c);
171 }
172
173 int job_type_merge(JobType *a, JobType b) {
174         if (*a == b)
175                 return 0;
176
177         /* Merging is associative! a merged with b merged with c is
178          * the same as a merged with c merged with b. */
179
180         /* Mergeability is transitive! if a can be merged with b and b
181          * with c then a also with c */
182
183         /* Also, if a merged with b cannot be merged with c, then
184          * either a or b cannot be merged with c either */
185
186         if (types_match(*a, b, JOB_START, JOB_VERIFY_ACTIVE))
187                 *a = JOB_START;
188         else if (types_match(*a, b, JOB_START, JOB_RELOAD) ||
189                  types_match(*a, b, JOB_START, JOB_RELOAD_OR_START) ||
190                  types_match(*a, b, JOB_VERIFY_ACTIVE, JOB_RELOAD_OR_START) ||
191                  types_match(*a, b, JOB_RELOAD, JOB_RELOAD_OR_START))
192                 *a = JOB_RELOAD_OR_START;
193         else if (types_match(*a, b, JOB_START, JOB_RESTART) ||
194                  types_match(*a, b, JOB_START, JOB_TRY_RESTART) ||
195                  types_match(*a, b, JOB_VERIFY_ACTIVE, JOB_RESTART) ||
196                  types_match(*a, b, JOB_RELOAD, JOB_RESTART) ||
197                  types_match(*a, b, JOB_RELOAD_OR_START, JOB_RESTART) ||
198                  types_match(*a, b, JOB_RELOAD_OR_START, JOB_TRY_RESTART) ||
199                  types_match(*a, b, JOB_RESTART, JOB_TRY_RESTART))
200                 *a = JOB_RESTART;
201         else if (types_match(*a, b, JOB_VERIFY_ACTIVE, JOB_RELOAD))
202                 *a = JOB_RELOAD;
203         else if (types_match(*a, b, JOB_VERIFY_ACTIVE, JOB_TRY_RESTART) ||
204                  types_match(*a, b, JOB_RELOAD, JOB_TRY_RESTART))
205                 *a = JOB_TRY_RESTART;
206         else
207                 return -EEXIST;
208
209         return 0;
210 }
211
212 bool job_type_is_mergeable(JobType a, JobType b) {
213         return job_type_merge(&a, b) >= 0;
214 }
215
216 bool job_type_is_superset(JobType a, JobType b) {
217
218         /* Checks whether operation a is a "superset" of b in its
219          * actions */
220
221         if (a == b)
222                 return true;
223
224         switch (a) {
225                 case JOB_START:
226                         return b == JOB_VERIFY_ACTIVE;
227
228                 case JOB_RELOAD:
229                         return
230                                 b == JOB_VERIFY_ACTIVE;
231
232                 case JOB_RELOAD_OR_START:
233                         return
234                                 b == JOB_RELOAD ||
235                                 b == JOB_START ||
236                                 b == JOB_VERIFY_ACTIVE;
237
238                 case JOB_RESTART:
239                         return
240                                 b == JOB_START ||
241                                 b == JOB_VERIFY_ACTIVE ||
242                                 b == JOB_RELOAD ||
243                                 b == JOB_RELOAD_OR_START ||
244                                 b == JOB_TRY_RESTART;
245
246                 case JOB_TRY_RESTART:
247                         return
248                                 b == JOB_VERIFY_ACTIVE ||
249                                 b == JOB_RELOAD;
250                 default:
251                         return false;
252
253         }
254 }
255
256 bool job_type_is_conflicting(JobType a, JobType b) {
257         assert(a >= 0 && a < _JOB_TYPE_MAX);
258         assert(b >= 0 && b < _JOB_TYPE_MAX);
259
260         return (a == JOB_STOP) != (b == JOB_STOP);
261 }
262
263 bool job_type_is_redundant(JobType a, UnitActiveState b) {
264         switch (a) {
265
266         case JOB_START:
267                 return
268                         b == UNIT_ACTIVE ||
269                         b == UNIT_RELOADING;
270
271         case JOB_STOP:
272                 return
273                         b == UNIT_INACTIVE ||
274                         b == UNIT_FAILED;
275
276         case JOB_VERIFY_ACTIVE:
277                 return
278                         b == UNIT_ACTIVE ||
279                         b == UNIT_RELOADING;
280
281         case JOB_RELOAD:
282                 return
283                         b == UNIT_RELOADING;
284
285         case JOB_RELOAD_OR_START:
286                 return
287                         b == UNIT_ACTIVATING ||
288                         b == UNIT_RELOADING;
289
290         case JOB_RESTART:
291                 return
292                         b == UNIT_ACTIVATING;
293
294         case JOB_TRY_RESTART:
295                 return
296                         b == UNIT_ACTIVATING;
297
298         default:
299                 assert_not_reached("Invalid job type");
300         }
301 }
302
303 bool job_is_runnable(Job *j) {
304         Iterator i;
305         Unit *other;
306
307         assert(j);
308         assert(j->installed);
309
310         /* Checks whether there is any job running for the units this
311          * job needs to be running after (in the case of a 'positive'
312          * job type) or before (in the case of a 'negative' job
313          * type. */
314
315         /* First check if there is an override */
316         if (j->ignore_deps)
317                 return true;
318
319         if (j->type == JOB_START ||
320             j->type == JOB_VERIFY_ACTIVE ||
321             j->type == JOB_RELOAD ||
322             j->type == JOB_RELOAD_OR_START) {
323
324                 /* Immediate result is that the job is or might be
325                  * started. In this case lets wait for the
326                  * dependencies, regardless whether they are
327                  * starting or stopping something. */
328
329                 SET_FOREACH(other, j->unit->meta.dependencies[UNIT_AFTER], i)
330                         if (other->meta.job)
331                                 return false;
332         }
333
334         /* Also, if something else is being stopped and we should
335          * change state after it, then lets wait. */
336
337         SET_FOREACH(other, j->unit->meta.dependencies[UNIT_BEFORE], i)
338                 if (other->meta.job &&
339                     (other->meta.job->type == JOB_STOP ||
340                      other->meta.job->type == JOB_RESTART ||
341                      other->meta.job->type == JOB_TRY_RESTART))
342                         return false;
343
344         /* This means that for a service a and a service b where b
345          * shall be started after a:
346          *
347          *  start a + start b â†’ 1st step start a, 2nd step start b
348          *  start a + stop b  â†’ 1st step stop b,  2nd step start a
349          *  stop a  + start b â†’ 1st step stop a,  2nd step start b
350          *  stop a  + stop b  â†’ 1st step stop b,  2nd step stop a
351          *
352          *  This has the side effect that restarts are properly
353          *  synchronized too. */
354
355         return true;
356 }
357
358 int job_run_and_invalidate(Job *j) {
359         int r;
360         uint32_t id;
361         Manager *m;
362
363         assert(j);
364         assert(j->installed);
365
366         if (j->in_run_queue) {
367                 LIST_REMOVE(Job, run_queue, j->manager->run_queue, j);
368                 j->in_run_queue = false;
369         }
370
371         if (j->state != JOB_WAITING)
372                 return 0;
373
374         if (!job_is_runnable(j))
375                 return -EAGAIN;
376
377         j->state = JOB_RUNNING;
378         job_add_to_dbus_queue(j);
379
380         /* While we execute this operation the job might go away (for
381          * example: because it is replaced by a new, conflicting
382          * job.) To make sure we don't access a freed job later on we
383          * store the id here, so that we can verify the job is still
384          * valid. */
385         id = j->id;
386         m = j->manager;
387
388         switch (j->type) {
389
390                 case JOB_START:
391                         r = unit_start(j->unit);
392
393                         /* If this unit cannot be started, then simply
394                          * wait */
395                         if (r == -EBADR)
396                                 r = 0;
397
398                         break;
399
400                 case JOB_VERIFY_ACTIVE: {
401                         UnitActiveState t = unit_active_state(j->unit);
402                         if (UNIT_IS_ACTIVE_OR_RELOADING(t))
403                                 r = -EALREADY;
404                         else if (t == UNIT_ACTIVATING)
405                                 r = -EAGAIN;
406                         else
407                                 r = -ENOEXEC;
408                         break;
409                 }
410
411                 case JOB_STOP:
412                         r = unit_stop(j->unit);
413
414                         /* If this unit cannot stopped, then simply
415                          * wait. */
416                         if (r == -EBADR)
417                                 r = 0;
418                         break;
419
420                 case JOB_RELOAD:
421                         r = unit_reload(j->unit);
422                         break;
423
424                 case JOB_RELOAD_OR_START:
425                         if (unit_active_state(j->unit) == UNIT_ACTIVE) {
426                                 j->type = JOB_RELOAD;
427                                 r = unit_reload(j->unit);
428                         } else {
429                                 j->type = JOB_START;
430                                 r = unit_start(j->unit);
431
432                                 if (r == -EBADR)
433                                         r = 0;
434                         }
435                         break;
436
437                 case JOB_RESTART: {
438                         UnitActiveState t = unit_active_state(j->unit);
439                         if (t == UNIT_INACTIVE || t == UNIT_FAILED || t == UNIT_ACTIVATING) {
440                                 j->type = JOB_START;
441                                 r = unit_start(j->unit);
442                         } else
443                                 r = unit_stop(j->unit);
444                         break;
445                 }
446
447                 case JOB_TRY_RESTART: {
448                         UnitActiveState t = unit_active_state(j->unit);
449                         if (t == UNIT_INACTIVE || t == UNIT_FAILED || t == UNIT_DEACTIVATING)
450                                 r = -ENOEXEC;
451                         else if (t == UNIT_ACTIVATING) {
452                                 j->type = JOB_START;
453                                 r = unit_start(j->unit);
454                         } else {
455                                 j->type = JOB_RESTART;
456                                 r = unit_stop(j->unit);
457                         }
458                         break;
459                 }
460
461                 default:
462                         assert_not_reached("Unknown job type");
463         }
464
465         if ((j = manager_get_job(m, id))) {
466                 if (r == -EALREADY)
467                         r = job_finish_and_invalidate(j, JOB_DONE);
468                 else if (r == -ENOEXEC)
469                         r = job_finish_and_invalidate(j, JOB_SKIPPED);
470                 else if (r == -EAGAIN)
471                         j->state = JOB_WAITING;
472                 else if (r < 0)
473                         r = job_finish_and_invalidate(j, JOB_FAILED);
474         }
475
476         return r;
477 }
478
479 int job_finish_and_invalidate(Job *j, JobResult result) {
480         Unit *u;
481         Unit *other;
482         JobType t;
483         Iterator i;
484
485         assert(j);
486         assert(j->installed);
487
488         job_add_to_dbus_queue(j);
489
490         /* Patch restart jobs so that they become normal start jobs */
491         if (result == JOB_DONE && (j->type == JOB_RESTART || j->type == JOB_TRY_RESTART)) {
492
493                 log_debug("Converting job %s/%s -> %s/%s",
494                           j->unit->meta.id, job_type_to_string(j->type),
495                           j->unit->meta.id, job_type_to_string(JOB_START));
496
497                 j->state = JOB_WAITING;
498                 j->type = JOB_START;
499
500                 job_add_to_run_queue(j);
501                 return 0;
502         }
503
504         j->result = result;
505
506         log_debug("Job %s/%s finished, result=%s", j->unit->meta.id, job_type_to_string(j->type), job_result_to_string(result));
507
508         if (result == JOB_FAILED)
509                 j->manager->n_failed_jobs ++;
510
511         u = j->unit;
512         t = j->type;
513         job_free(j);
514
515         if (result == JOB_FAILED && t == JOB_START)
516                 unit_status_printf(u, "Starting %s " ANSI_HIGHLIGHT_ON "failed" ANSI_HIGHLIGHT_OFF ", see 'systemctl status %s' for details.\n", unit_description(u), u->meta.id);
517         else if (result == JOB_TIMEOUT && t == JOB_START)
518                 unit_status_printf(u, "Starting %s " ANSI_HIGHLIGHT_ON "timed out" ANSI_HIGHLIGHT_OFF ".\n", unit_description(u), u->meta.id);
519         else if (result == JOB_TIMEOUT && t == JOB_STOP)
520                 unit_status_printf(u, "Stopping %s " ANSI_HIGHLIGHT_ON "timed out" ANSI_HIGHLIGHT_OFF ".\n", unit_description(u), u->meta.id);
521
522         /* Fail depending jobs on failure */
523         if (result != JOB_DONE) {
524
525                 if (t == JOB_START ||
526                     t == JOB_VERIFY_ACTIVE ||
527                     t == JOB_RELOAD_OR_START) {
528
529                         SET_FOREACH(other, u->meta.dependencies[UNIT_REQUIRED_BY], i)
530                                 if (other->meta.job &&
531                                     (other->meta.job->type == JOB_START ||
532                                      other->meta.job->type == JOB_VERIFY_ACTIVE ||
533                                      other->meta.job->type == JOB_RELOAD_OR_START))
534                                         job_finish_and_invalidate(other->meta.job, JOB_DEPENDENCY);
535
536                         SET_FOREACH(other, u->meta.dependencies[UNIT_BOUND_BY], i)
537                                 if (other->meta.job &&
538                                     (other->meta.job->type == JOB_START ||
539                                      other->meta.job->type == JOB_VERIFY_ACTIVE ||
540                                      other->meta.job->type == JOB_RELOAD_OR_START))
541                                         job_finish_and_invalidate(other->meta.job, JOB_DEPENDENCY);
542
543                         SET_FOREACH(other, u->meta.dependencies[UNIT_REQUIRED_BY_OVERRIDABLE], i)
544                                 if (other->meta.job &&
545                                     !other->meta.job->override &&
546                                     (other->meta.job->type == JOB_START ||
547                                      other->meta.job->type == JOB_VERIFY_ACTIVE ||
548                                      other->meta.job->type == JOB_RELOAD_OR_START))
549                                         job_finish_and_invalidate(other->meta.job, JOB_DEPENDENCY);
550
551                 } else if (t == JOB_STOP) {
552
553                         SET_FOREACH(other, u->meta.dependencies[UNIT_CONFLICTED_BY], i)
554                                 if (other->meta.job &&
555                                     (other->meta.job->type == JOB_START ||
556                                      other->meta.job->type == JOB_VERIFY_ACTIVE ||
557                                      other->meta.job->type == JOB_RELOAD_OR_START))
558                                         job_finish_and_invalidate(other->meta.job, JOB_DEPENDENCY);
559                 }
560         }
561
562         /* Trigger OnFailure dependencies that are not generated by
563          * the unit itself. We don't tread JOB_CANCELED as failure in
564          * this context. And JOB_FAILURE is already handled by the
565          * unit itself. */
566         if (result == JOB_TIMEOUT || result == JOB_DEPENDENCY)
567                 unit_trigger_on_failure(u);
568
569         /* Try to start the next jobs that can be started */
570         SET_FOREACH(other, u->meta.dependencies[UNIT_AFTER], i)
571                 if (other->meta.job)
572                         job_add_to_run_queue(other->meta.job);
573         SET_FOREACH(other, u->meta.dependencies[UNIT_BEFORE], i)
574                 if (other->meta.job)
575                         job_add_to_run_queue(other->meta.job);
576
577         manager_check_finished(u->meta.manager);
578
579         return 0;
580 }
581
582 int job_start_timer(Job *j) {
583         struct itimerspec its;
584         struct epoll_event ev;
585         int fd, r;
586         assert(j);
587
588         if (j->unit->meta.job_timeout <= 0 ||
589             j->timer_watch.type == WATCH_JOB_TIMER)
590                 return 0;
591
592         assert(j->timer_watch.type == WATCH_INVALID);
593
594         if ((fd = timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK|TFD_CLOEXEC)) < 0) {
595                 r = -errno;
596                 goto fail;
597         }
598
599         zero(its);
600         timespec_store(&its.it_value, j->unit->meta.job_timeout);
601
602         if (timerfd_settime(fd, 0, &its, NULL) < 0) {
603                 r = -errno;
604                 goto fail;
605         }
606
607         zero(ev);
608         ev.data.ptr = &j->timer_watch;
609         ev.events = EPOLLIN;
610
611         if (epoll_ctl(j->manager->epoll_fd, EPOLL_CTL_ADD, fd, &ev) < 0) {
612                 r = -errno;
613                 goto fail;
614         }
615
616         j->timer_watch.type = WATCH_JOB_TIMER;
617         j->timer_watch.fd = fd;
618         j->timer_watch.data.job = j;
619
620         return 0;
621
622 fail:
623         if (fd >= 0)
624                 close_nointr_nofail(fd);
625
626         return r;
627 }
628
629 void job_add_to_run_queue(Job *j) {
630         assert(j);
631         assert(j->installed);
632
633         if (j->in_run_queue)
634                 return;
635
636         LIST_PREPEND(Job, run_queue, j->manager->run_queue, j);
637         j->in_run_queue = true;
638 }
639
640 void job_add_to_dbus_queue(Job *j) {
641         assert(j);
642         assert(j->installed);
643
644         if (j->in_dbus_queue)
645                 return;
646
647         /* We don't check if anybody is subscribed here, since this
648          * job might just have been created and not yet assigned to a
649          * connection/client. */
650
651         LIST_PREPEND(Job, dbus_queue, j->manager->dbus_job_queue, j);
652         j->in_dbus_queue = true;
653 }
654
655 char *job_dbus_path(Job *j) {
656         char *p;
657
658         assert(j);
659
660         if (asprintf(&p, "/org/freedesktop/systemd1/job/%lu", (unsigned long) j->id) < 0)
661                 return NULL;
662
663         return p;
664 }
665
666 void job_timer_event(Job *j, uint64_t n_elapsed, Watch *w) {
667         assert(j);
668         assert(w == &j->timer_watch);
669
670         log_warning("Job %s/%s timed out.", j->unit->meta.id, job_type_to_string(j->type));
671         job_finish_and_invalidate(j, JOB_TIMEOUT);
672 }
673
674 static const char* const job_state_table[_JOB_STATE_MAX] = {
675         [JOB_WAITING] = "waiting",
676         [JOB_RUNNING] = "running"
677 };
678
679 DEFINE_STRING_TABLE_LOOKUP(job_state, JobState);
680
681 static const char* const job_type_table[_JOB_TYPE_MAX] = {
682         [JOB_START] = "start",
683         [JOB_VERIFY_ACTIVE] = "verify-active",
684         [JOB_STOP] = "stop",
685         [JOB_RELOAD] = "reload",
686         [JOB_RELOAD_OR_START] = "reload-or-start",
687         [JOB_RESTART] = "restart",
688         [JOB_TRY_RESTART] = "try-restart",
689 };
690
691 DEFINE_STRING_TABLE_LOOKUP(job_type, JobType);
692
693 static const char* const job_mode_table[_JOB_MODE_MAX] = {
694         [JOB_FAIL] = "fail",
695         [JOB_REPLACE] = "replace",
696         [JOB_ISOLATE] = "isolate",
697         [JOB_IGNORE_DEPENDENCIES] = "ignore-dependencies"
698 };
699
700 DEFINE_STRING_TABLE_LOOKUP(job_mode, JobMode);
701
702 static const char* const job_result_table[_JOB_RESULT_MAX] = {
703         [JOB_DONE] = "done",
704         [JOB_CANCELED] = "canceled",
705         [JOB_TIMEOUT] = "timeout",
706         [JOB_FAILED] = "failed",
707         [JOB_DEPENDENCY] = "dependency",
708         [JOB_SKIPPED] = "skipped"
709 };
710
711 DEFINE_STRING_TABLE_LOOKUP(job_result, JobResult);