salvaged: Clean up command line parsing
[openafs.git] / src / vol / salvaged.c
1 /*
2  * Copyright 2006-2007, Sine Nomine Associates and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * demand attach fs
12  * online salvager daemon
13  */
14
15 /* Main program file. Define globals. */
16 #define MAIN 1
17
18 #include <afsconfig.h>
19 #include <afs/param.h>
20
21 #include <roken.h>
22
23 #ifdef HAVE_SYS_FILE_H
24 #include <sys/file.h>
25 #endif
26
27 #ifdef AFS_NT40_ENV
28 #include <WINNT/afsevent.h>
29 #endif
30
31 #ifndef WCOREDUMP
32 #define WCOREDUMP(x)    ((x) & 0200)
33 #endif
34
35 #include <afs/opr.h>
36 #include <opr/lock.h>
37 #include <afs/afsint.h>
38 #include <rx/rx_queue.h>
39
40 #if !defined(AFS_SGI_ENV) && !defined(AFS_NT40_ENV)
41 #if defined(AFS_VFSINCL_ENV)
42 #include <sys/vnode.h>
43 #ifdef  AFS_SUN5_ENV
44 #include <sys/fs/ufs_inode.h>
45 #else
46 #if defined(AFS_DARWIN_ENV) || defined(AFS_XBSD_ENV)
47 #include <ufs/ufs/dinode.h>
48 #include <ufs/ffs/fs.h>
49 #else
50 #include <ufs/inode.h>
51 #endif
52 #endif
53 #else /* AFS_VFSINCL_ENV */
54 #ifdef  AFS_OSF_ENV
55 #include <ufs/inode.h>
56 #else /* AFS_OSF_ENV */
57 #if !defined(AFS_LINUX20_ENV) && !defined(AFS_XBSD_ENV) && !defined(AFS_DARWIN_ENV)
58 #include <sys/inode.h>
59 #endif
60 #endif
61 #endif /* AFS_VFSINCL_ENV */
62 #endif /* AFS_SGI_ENV */
63 #ifdef  AFS_AIX_ENV
64 #include <sys/vfs.h>
65 #include <sys/lockf.h>
66 #else
67 #ifdef  AFS_HPUX_ENV
68 #include <checklist.h>
69 #else
70 #if defined(AFS_SGI_ENV)
71 #include <mntent.h>
72 #else
73 #if     defined(AFS_SUN_ENV) || defined(AFS_SUN5_ENV)
74 #ifdef    AFS_SUN5_ENV
75 #include <sys/mnttab.h>
76 #include <sys/mntent.h>
77 #else
78 #include <mntent.h>
79 #endif
80 #else
81 #endif /* AFS_SGI_ENV */
82 #endif /* AFS_HPUX_ENV */
83 #endif
84 #endif
85 #ifndef AFS_NT40_ENV
86 #include <afs/osi_inode.h>
87 #endif
88 #include <afs/cmd.h>
89 #include <afs/afsutil.h>
90 #include <afs/fileutil.h>
91 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
92 #include <afs/dir.h>
93
94 #include "nfs.h"
95 #include "lwp.h"
96 #include "lock.h"
97 #include <afs/afssyscalls.h>
98 #include "ihandle.h"
99 #include "vnode.h"
100 #include "volume.h"
101 #include "partition.h"
102 #include "daemon_com.h"
103 #include "fssync.h"
104 #include "salvsync.h"
105 #include "viceinode.h"
106 #include "salvage.h"
107 #include "vol-salvage.h"
108 #include "common.h"
109 #ifdef AFS_NT40_ENV
110 #include <pthread.h>
111 #endif
112
113
114 #if !defined(AFS_DEMAND_ATTACH_FS)
115 #error "online salvager only supported for demand attach fileserver"
116 #endif /* AFS_DEMAND_ATTACH_FS */
117
118 #if defined(AFS_NT40_ENV)
119 #error "online salvager not supported on NT"
120 #endif /* AFS_NT40_ENV */
121
122 /*@+fcnmacros +macrofcndecl@*/
123 #ifdef O_LARGEFILE
124 #define afs_fopen       fopen64
125 #else /* !O_LARGEFILE */
126 #define afs_fopen       fopen
127 #endif /* !O_LARGEFILE */
128 /*@=fcnmacros =macrofcndecl@*/
129
130
131
132 static volatile int current_workers = 0;
133 static volatile struct rx_queue pending_q;
134 static pthread_mutex_t worker_lock;
135 static pthread_cond_t worker_cv;
136
137 static void * SalvageChildReaperThread(void *);
138 static int DoSalvageVolume(struct SalvageQueueNode * node, int slot);
139
140 static void SalvageServer(int argc, char **argv);
141 static void SalvageClient(VolumeId vid, char * pname);
142
143 static int Reap_Child(char * prog, int * pid, int * status);
144
145 static void * SalvageLogCleanupThread(void *);
146 static int SalvageLogCleanup(int pid);
147
148 static void * SalvageLogScanningThread(void *);
149 static void ScanLogs(struct rx_queue *log_watch_queue);
150
151 struct cmdline_rock {
152     int argc;
153     char **argv;
154 };
155
156 struct log_cleanup_node {
157     struct rx_queue q;
158     int pid;
159 };
160
161 struct {
162     struct rx_queue queue_head;
163     pthread_cond_t queue_change_cv;
164 } log_cleanup_queue;
165
166
167 #define DEFAULT_PARALLELISM 4 /* allow 4 parallel salvage workers by default */
168
169 enum optionsList {
170     OPT_partition,
171     OPT_volumeid,
172     OPT_debug,
173     OPT_nowrite,
174     OPT_inodes,
175     OPT_oktozap,
176     OPT_rootinodes,
177     OPT_salvagedirs,
178     OPT_blockreads,
179     OPT_parallel,
180     OPT_tmpdir,
181     OPT_showlog,
182     OPT_orphans,
183     OPT_syslog,
184     OPT_syslogfacility,
185     OPT_datelogs,
186     OPT_client
187 };
188
189 static int
190 handleit(struct cmd_syndesc *opts, void *arock)
191 {
192     char pname[100], *temp;
193     afs_int32 seenpart = 0, seenvol = 0;
194     VolumeId vid = 0;
195     struct cmdline_rock *rock = (struct cmdline_rock *)arock;
196     char *optstring = NULL;
197
198 #ifdef AFS_SGI_VNODE_GLUE
199     if (afs_init_kernel_config(-1) < 0) {
200         printf
201             ("Can't determine NUMA configuration, not starting salvager.\n");
202         exit(1);
203     }
204 #endif
205
206     cmd_OptionAsFlag(opts, OPT_debug, &debug);
207     cmd_OptionAsFlag(opts, OPT_nowrite, &Testing);
208     cmd_OptionAsFlag(opts, OPT_inodes, &ListInodeOption);
209     cmd_OptionAsFlag(opts, OPT_oktozap, &OKToZap);
210     cmd_OptionAsFlag(opts, OPT_rootinodes, &ShowRootFiles);
211     cmd_OptionAsFlag(opts, OPT_blockreads, &forceR);
212     if (cmd_OptionAsString(opts, OPT_parallel, &optstring) == 0) {
213         if (strncmp(optstring, "all", 3) == 0) {
214             PartsPerDisk = 1;
215             temp += 3;
216         }
217         if (strlen(optstring) != 0) {
218             Parallel = atoi(optstring);
219             if (Parallel < 1)
220                 Parallel = 1;
221             if (Parallel > MAXPARALLEL) {
222                 printf("Setting parallel salvages to maximum of %d \n",
223                        MAXPARALLEL);
224                 Parallel = MAXPARALLEL;
225             }
226         }
227         free(optstring);
228         optstring = NULL;
229     } else {
230         Parallel = min(DEFAULT_PARALLELISM, MAXPARALLEL);
231     }
232     if (cmd_OptionAsString(opts, OPT_tmpdir, &optstring) == 0) {
233         DIR *dirp;
234         dirp = opendir(optstring);
235         if (!dirp) {
236             printf
237                 ("Can't open temporary placeholder dir %s; using current partition \n",
238                  optstring);
239             tmpdir = NULL;
240         } else
241             closedir(dirp);
242         free(optstring);
243         optstring = NULL;
244     }
245     cmd_OptionAsFlag(opts, OPT_showlog, &ShowLog);
246     if (cmd_OptionAsString(opts, OPT_orphans, &optstring) == 0) {
247         if (Testing)
248             orphans = ORPH_IGNORE;
249         else if (strcmp(optstring, "remove") == 0
250                  || strcmp(optstring, "r") == 0)
251             orphans = ORPH_REMOVE;
252         else if (strcmp(optstring, "attach") == 0
253                  || strcmp(optstring, "a") == 0)
254             orphans = ORPH_ATTACH;
255         free(optstring);
256         optstring = NULL;
257     }
258 #ifndef AFS_NT40_ENV            /* ignore options on NT */
259     if (cmd_OptionPresent(opts, OPT_syslog)) {
260         useSyslog = 1;
261         ShowLog = 0;
262     }
263     cmd_OptionAsInt(opts, OPT_syslogfacility, &useSyslogFacility);
264
265     if (cmd_OptionPresent(opts, OPT_datelogs)) {
266         TimeStampLogFile((char *)AFSDIR_SERVER_SALSRVLOG_FILEPATH);
267     }
268 #endif
269
270     if (cmd_OptionPresent(opts, OPT_client)) {
271         if (cmd_OptionAsString(opts, OPT_partition, &optstring) == 0) {
272             seenpart = 1;
273             strlcpy(pname, optstring, sizeof(pname));
274             free(optstring);
275             optstring = NULL;
276         }
277         if (cmd_OptionAsString(opts, OPT_volumeid, &optstring) == 0) {
278             char *end;
279             unsigned long vid_l;
280             seenvol = 1;
281             vid_l = strtoul(optstring, &end, 10);
282             if (vid_l >= MAX_AFS_UINT32 || vid_l == ULONG_MAX || *end != '\0') {
283                 printf("Invalid volume id specified; salvage aborted\n");
284                 exit(-1);
285             }
286             vid = (VolumeId)vid_l;
287         }
288
289         if (ShowLog) {
290             printf("-showlog does not work with -client\n");
291             exit(-1);
292         }
293
294         if (!seenpart || !seenvol) {
295             printf("You must specify '-partition' and '-volumeid' with the '-client' option\n");
296             exit(-1);
297         }
298
299         SalvageClient(vid, pname);
300
301     } else {  /* salvageserver mode */
302         SalvageServer(rock->argc, rock->argv);
303     }
304     return (0);
305 }
306
307
308 #ifndef AFS_NT40_ENV
309 #include "AFS_component_version_number.c"
310 #endif
311 #define MAX_ARGS 128
312 #ifdef AFS_NT40_ENV
313 char *save_args[MAX_ARGS];
314 int n_save_args = 0;
315 pthread_t main_thread;
316 #endif
317
318 int
319 main(int argc, char **argv)
320 {
321     struct cmd_syndesc *ts;
322     int err = 0;
323     struct cmdline_rock arock;
324
325 #ifdef  AFS_AIX32_ENV
326     /*
327      * The following signal action for AIX is necessary so that in case of a
328      * crash (i.e. core is generated) we can include the user's data section
329      * in the core dump. Unfortunately, by default, only a partial core is
330      * generated which, in many cases, isn't too useful.
331      */
332     struct sigaction nsa;
333
334     sigemptyset(&nsa.sa_mask);
335     nsa.sa_handler = SIG_DFL;
336     nsa.sa_flags = SA_FULLDUMP;
337     sigaction(SIGABRT, &nsa, NULL);
338     sigaction(SIGSEGV, &nsa, NULL);
339 #endif
340
341     /* Initialize directory paths */
342     if (!(initAFSDirPath() & AFSDIR_SERVER_PATHS_OK)) {
343 #ifdef AFS_NT40_ENV
344         ReportErrorEventAlt(AFSEVT_SVR_NO_INSTALL_DIR, 0, argv[0], 0);
345 #endif
346         fprintf(stderr, "%s: Unable to obtain AFS server directory.\n",
347                 argv[0]);
348         exit(2);
349     }
350 #ifdef AFS_NT40_ENV
351     /* Default to binary mode for fopen() */
352     _set_fmode(_O_BINARY);
353
354     main_thread = pthread_self();
355     if (spawnDatap && spawnDataLen) {
356         /* This is a child per partition salvager. Don't setup log or
357          * try to lock the salvager lock.
358          */
359         if (nt_SetupPartitionSalvage(spawnDatap, spawnDataLen) < 0)
360             exit(3);
361     } else {
362 #endif
363
364 #ifndef AFS_NT40_ENV
365         if (geteuid() != 0) {
366             printf("Salvager must be run as root.\n");
367             fflush(stdout);
368             Exit(0);
369         }
370 #endif
371
372         /* bad for normal help flag processing, but can do nada */
373
374 #ifdef AFS_NT40_ENV
375     }
376 #endif
377
378     arock.argc = argc;
379     arock.argv = argv;
380
381     ts = cmd_CreateSyntax("initcmd", handleit, &arock, "initialize the program");
382     cmd_AddParmAtOffset(ts, OPT_partition, "-partition", CMD_SINGLE,
383             CMD_OPTIONAL, "Name of partition to salvage");
384     cmd_AddParmAtOffset(ts, OPT_volumeid, "-volumeid", CMD_SINGLE, CMD_OPTIONAL,
385             "Volume Id to salvage");
386     cmd_AddParmAtOffset(ts, OPT_debug, "-debug", CMD_FLAG, CMD_OPTIONAL,
387             "Run in Debugging mode");
388     cmd_AddParmAtOffset(ts, OPT_nowrite, "-nowrite", CMD_FLAG, CMD_OPTIONAL,
389             "Run readonly/test mode");
390     cmd_AddParmAtOffset(ts, OPT_inodes, "-inodes", CMD_FLAG, CMD_OPTIONAL,
391             "Just list affected afs inodes - debugging flag");
392     cmd_AddParmAtOffset(ts, OPT_oktozap, "-oktozap", CMD_FLAG, CMD_OPTIONAL,
393             "Give permission to destroy bogus inodes/volumes - debugging flag");
394     cmd_AddParmAtOffset(ts, OPT_rootinodes, "-rootinodes", CMD_FLAG,
395             CMD_OPTIONAL, "Show inodes owned by root - debugging flag");
396     cmd_AddParmAtOffset(ts, OPT_salvagedirs, "-salvagedirs", CMD_FLAG,
397             CMD_OPTIONAL, "Force rebuild/salvage of all directories");
398     cmd_AddParmAtOffset(ts, OPT_blockreads, "-blockreads", CMD_FLAG,
399             CMD_OPTIONAL, "Read smaller blocks to handle IO/bad blocks");
400     cmd_AddParmAtOffset(ts, OPT_parallel, "-parallel", CMD_SINGLE, CMD_OPTIONAL,
401             "# of max parallel partition salvaging");
402     cmd_AddParmAtOffset(ts, OPT_tmpdir, "-tmpdir", CMD_SINGLE, CMD_OPTIONAL,
403             "Name of dir to place tmp files ");
404     cmd_AddParmAtOffset(ts, OPT_showlog, "-showlog", CMD_FLAG, CMD_OPTIONAL,
405             "Show log file upon completion");
406     cmd_AddParmAtOffset(ts, OPT_orphans, "-orphans", CMD_SINGLE, CMD_OPTIONAL,
407             "ignore | remove | attach");
408
409 #if !defined(AFS_NT40_ENV)
410     cmd_AddParmAtOffset(ts, OPT_syslog, "-syslog", CMD_FLAG, CMD_OPTIONAL,
411             "Write salvage log to syslogs");
412     cmd_AddParmAtOffset(ts, OPT_syslogfacility, "-syslogfacility", CMD_SINGLE,
413             CMD_OPTIONAL, "Syslog facility number to use");
414     cmd_AddParmAtOffset(ts, OPT_datelogs, "-datelogs", CMD_FLAG, CMD_OPTIONAL,
415                 "Include timestamp in logfile filename");
416 #endif
417
418     cmd_AddParmAtOffset(ts, OPT_client, "-client", CMD_FLAG, CMD_OPTIONAL,
419                 "Use SALVSYNC to ask salvageserver to salvage a volume");
420
421     err = cmd_Dispatch(argc, argv);
422     Exit(err);
423     return 0; /* not reached */
424 }
425
426 static void
427 SalvageClient(VolumeId vid, char * pname)
428 {
429     int done = 0;
430     afs_int32 code;
431     SYNC_response res;
432     SALVSYNC_response_hdr sres;
433     VolumePackageOptions opts;
434
435     VOptDefaults(volumeUtility, &opts);
436     if (VInitVolumePackage2(volumeUtility, &opts)) {
437         /* VInitVolumePackage2 can fail on e.g. partition attachment errors,
438          * but we don't really care, since all we're doing is trying to use
439          * SALVSYNC */
440         fprintf(stderr, "errors encountered initializing volume package, but "
441                         "trying to continue anyway\n");
442     }
443     SALVSYNC_clientInit();
444
445     code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_SALVAGE, SALVSYNC_OPERATOR, 0, NULL);
446     if (code != SYNC_OK) {
447         goto sync_error;
448     }
449
450     res.payload.buf = (void *) &sres;
451     res.payload.len = sizeof(sres);
452
453     while(!done) {
454         sleep(2);
455         code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_QUERY, SALVSYNC_WHATEVER, 0, &res);
456         if (code != SYNC_OK) {
457             goto sync_error;
458         }
459         switch (sres.state) {
460         case SALVSYNC_STATE_ERROR:
461             printf("salvageserver reports salvage ended in an error; check log files for more details\n");
462         case SALVSYNC_STATE_DONE:
463         case SALVSYNC_STATE_UNKNOWN:
464             done = 1;
465         }
466     }
467     SALVSYNC_clientFinis();
468     return;
469
470  sync_error:
471     if (code == SYNC_DENIED) {
472         printf("salvageserver refused to salvage volume %u on partition %s\n",
473                vid, pname);
474     } else if (code == SYNC_BAD_COMMAND) {
475         printf("SALVSYNC protocol mismatch; please make sure fileserver, volserver, salvageserver and salvager are same version\n");
476     } else if (code == SYNC_COM_ERROR) {
477         printf("SALVSYNC communications error\n");
478     }
479     SALVSYNC_clientFinis();
480     exit(-1);
481 }
482
483 static int * child_slot;
484
485 static void
486 SalvageServer(int argc, char **argv)
487 {
488     int pid, ret;
489     struct SalvageQueueNode * node;
490     pthread_t tid;
491     pthread_attr_t attrs;
492     int slot;
493     VolumePackageOptions opts;
494
495     /* All entries to the log will be appended.  Useful if there are
496      * multiple salvagers appending to the log.
497      */
498
499     CheckLogFile((char *)AFSDIR_SERVER_SALSRVLOG_FILEPATH);
500 #ifndef AFS_NT40_ENV
501 #ifdef AFS_LINUX20_ENV
502     fcntl(fileno(logFile), F_SETFL, O_APPEND);  /* Isn't this redundant? */
503 #else
504     fcntl(fileno(logFile), F_SETFL, FAPPEND);   /* Isn't this redundant? */
505 #endif
506 #endif
507     setlinebuf(logFile);
508
509     fprintf(logFile, "%s\n", cml_version_number);
510     LogCommandLine(argc, argv, "Online Salvage Server",
511                    SalvageVersion, "Starting OpenAFS", Log);
512     /* Get and hold a lock for the duration of the salvage to make sure
513      * that no other salvage runs at the same time.  The routine
514      * VInitVolumePackage2 (called below) makes sure that a file server or
515      * other volume utilities don't interfere with the salvage.
516      */
517
518     /* even demand attach online salvager
519      * still needs this because we don't want
520      * a stand-alone salvager to conflict with
521      * the salvager daemon */
522     ObtainSharedSalvageLock();
523
524     child_slot = calloc(Parallel, sizeof(int));
525     opr_Assert(child_slot != NULL);
526
527     /* initialize things */
528     VOptDefaults(salvageServer, &opts);
529     if (VInitVolumePackage2(salvageServer, &opts)) {
530         Log("Shutting down: errors encountered initializing volume package\n");
531         Exit(1);
532     }
533     DInit(10);
534     queue_Init(&pending_q);
535     queue_Init(&log_cleanup_queue);
536     opr_mutex_init(&worker_lock);
537     opr_cv_init(&worker_cv);
538     opr_cv_init(&log_cleanup_queue.queue_change_cv);
539     opr_Verify(pthread_attr_init(&attrs) == 0);
540
541     /* start up the reaper and log cleaner threads */
542     opr_Verify(pthread_attr_setdetachstate(&attrs,
543                                            PTHREAD_CREATE_DETACHED) == 0);
544     opr_Verify(pthread_create(&tid, &attrs,
545                               &SalvageChildReaperThread, NULL) == 0);
546     opr_Verify(pthread_create(&tid, &attrs,
547                               &SalvageLogCleanupThread, NULL) == 0);
548     opr_Verify(pthread_create(&tid, &attrs,
549                               &SalvageLogScanningThread, NULL) == 0);
550
551     /* loop forever serving requests */
552     while (1) {
553         node = SALVSYNC_getWork();
554         opr_Assert(node != NULL);
555
556         Log("dispatching child to salvage volume %u...\n",
557             node->command.sop.parent);
558
559         VOL_LOCK;
560         /* find a slot */
561         for (slot = 0; slot < Parallel; slot++) {
562           if (!child_slot[slot])
563             break;
564         }
565         opr_Assert (slot < Parallel);
566
567     do_fork:
568         pid = Fork();
569         if (pid == 0) {
570             VOL_UNLOCK;
571             ret = DoSalvageVolume(node, slot);
572             Exit(ret);
573         } else if (pid < 0) {
574             Log("failed to fork child worker process\n");
575             sleep(1);
576             goto do_fork;
577         } else {
578             child_slot[slot] = pid;
579             node->pid = pid;
580             VOL_UNLOCK;
581
582             opr_mutex_enter(&worker_lock);
583             current_workers++;
584
585             /* let the reaper thread know another worker was spawned */
586             opr_cv_broadcast(&worker_cv);
587
588             /* if we're overquota, wait for the reaper */
589             while (current_workers >= Parallel) {
590                 opr_cv_wait(&worker_cv, &worker_lock);
591             }
592             opr_mutex_exit(&worker_lock);
593         }
594     }
595 }
596
597 static int
598 DoSalvageVolume(struct SalvageQueueNode * node, int slot)
599 {
600     char childLog[AFSDIR_PATH_MAX];
601     struct DiskPartition64 * partP;
602
603     /* do not allow further forking inside salvager */
604     canfork = 0;
605
606     /* do not attempt to close parent's logFile handle as
607      * another thread may have held the lock on the FILE
608      * structure when fork was called! */
609
610     snprintf(childLog, sizeof(childLog), "%s.%d",
611              AFSDIR_SERVER_SLVGLOG_FILEPATH, getpid());
612
613     logFile = afs_fopen(childLog, "a");
614     if (!logFile) {             /* still nothing, use stdout */
615         logFile = stdout;
616         ShowLog = 0;
617     }
618
619     if (node->command.sop.parent <= 0) {
620         Log("salvageServer: invalid volume id specified; salvage aborted\n");
621         return 1;
622     }
623
624     partP = VGetPartition(node->command.sop.partName, 0);
625     if (!partP) {
626         Log("salvageServer: Unknown or unmounted partition %s; salvage aborted\n",
627             node->command.sop.partName);
628         return 1;
629     }
630
631     /* obtain a shared salvage lock in the child worker, so if the
632      * salvageserver restarts (and we continue), we will still hold a lock and
633      * prevent standalone salvagers from interfering */
634     ObtainSharedSalvageLock();
635
636     /* Salvage individual volume; don't notify fs */
637     SalvageFileSys1(partP, node->command.sop.parent);
638
639     fclose(logFile);
640     return 0;
641 }
642
643
644 static void *
645 SalvageChildReaperThread(void * args)
646 {
647     int slot, pid, status;
648     struct log_cleanup_node * cleanup;
649
650     opr_mutex_enter(&worker_lock);
651
652     /* loop reaping our children */
653     while (1) {
654         /* wait() won't block unless we have children, so
655          * block on the cond var if we're childless */
656         while (current_workers == 0) {
657             opr_cv_wait(&worker_cv, &worker_lock);
658         }
659
660         opr_mutex_exit(&worker_lock);
661
662         cleanup = malloc(sizeof(struct log_cleanup_node));
663
664         while (Reap_Child("salvageserver", &pid, &status) < 0) {
665             /* try to prevent livelock if something goes wrong */
666             sleep(1);
667         }
668
669         VOL_LOCK;
670         for (slot = 0; slot < Parallel; slot++) {
671             if (child_slot[slot] == pid)
672                 break;
673         }
674         opr_Assert(slot < Parallel);
675         child_slot[slot] = 0;
676         VOL_UNLOCK;
677
678         SALVSYNC_doneWorkByPid(pid, status);
679
680         opr_mutex_enter(&worker_lock);
681
682         if (cleanup) {
683             cleanup->pid = pid;
684             queue_Append(&log_cleanup_queue, cleanup);
685             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
686         }
687
688         /* ok, we've reaped a child */
689         current_workers--;
690         opr_cv_broadcast(&worker_cv);
691     }
692
693     return NULL;
694 }
695
696 static int
697 Reap_Child(char *prog, int * pid, int * status)
698 {
699     int ret;
700     ret = wait(status);
701
702     if (ret >= 0) {
703         *pid = ret;
704         if (WCOREDUMP(*status))
705             Log("\"%s\" core dumped!\n", prog);
706         if ((WIFSIGNALED(*status) != 0) ||
707             ((WEXITSTATUS(*status) != 0) &&
708              (WEXITSTATUS(*status) != SALSRV_EXIT_VOLGROUP_LINK)))
709             Log("\"%s\" (pid=%d) terminated abnormally!\n", prog, ret);
710     } else {
711         Log("wait returned -1\n");
712     }
713     return ret;
714 }
715
716 /*
717  * thread to combine salvager child logs
718  * back into the main salvageserver log
719  */
720 static void *
721 SalvageLogCleanupThread(void * arg)
722 {
723     struct log_cleanup_node * cleanup;
724
725     opr_mutex_enter(&worker_lock);
726
727     while (1) {
728         while (queue_IsEmpty(&log_cleanup_queue)) {
729             opr_cv_wait(&log_cleanup_queue.queue_change_cv, &worker_lock);
730         }
731
732         while (queue_IsNotEmpty(&log_cleanup_queue)) {
733             cleanup = queue_First(&log_cleanup_queue, log_cleanup_node);
734             queue_Remove(cleanup);
735             opr_mutex_exit(&worker_lock);
736             SalvageLogCleanup(cleanup->pid);
737             free(cleanup);
738             opr_mutex_enter(&worker_lock);
739         }
740     }
741
742     opr_mutex_exit(&worker_lock);
743     return NULL;
744 }
745
746 #define LOG_XFER_BUF_SIZE 65536
747 static int
748 SalvageLogCleanup(int pid)
749 {
750     int pidlog, len;
751     char fn[AFSDIR_PATH_MAX];
752     static char buf[LOG_XFER_BUF_SIZE];
753
754     snprintf(fn, sizeof(fn), "%s.%d",
755              AFSDIR_SERVER_SLVGLOG_FILEPATH, pid);
756
757
758     pidlog = open(fn, O_RDONLY);
759     unlink(fn);
760     if (pidlog < 0)
761         return 1;
762
763     len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
764     while (len) {
765         fwrite(buf, len, 1, logFile);
766         len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
767     }
768
769     close(pidlog);
770
771     return 0;
772 }
773
774 /* wake up every five minutes to see if a non-child salvage has finished */
775 #define SALVAGE_SCAN_POLL_INTERVAL 300
776
777 /**
778  * Thread to look for SalvageLog.$pid files that are not from our child
779  * worker salvagers, and notify SalvageLogCleanupThread to clean them
780  * up. This can happen if we restart during salvages, or the
781  * salvageserver crashes or something.
782  *
783  * @param arg  unused
784  *
785  * @return always NULL
786  */
787 static void *
788 SalvageLogScanningThread(void * arg)
789 {
790     struct rx_queue log_watch_queue;
791
792     queue_Init(&log_watch_queue);
793
794     {
795         DIR *dp;
796         struct dirent *dirp;
797         char prefix[AFSDIR_PATH_MAX];
798         size_t prefix_len;
799
800         snprintf(prefix, sizeof(prefix), "%s.", AFSDIR_SLVGLOG_FILE);
801         prefix_len = strlen(prefix);
802
803         dp = opendir(AFSDIR_LOGS_DIR);
804         opr_Assert(dp);
805
806         while ((dirp = readdir(dp)) != NULL) {
807             pid_t pid;
808             struct log_cleanup_node *cleanup;
809             int i;
810
811             if (strncmp(dirp->d_name, prefix, prefix_len) != 0) {
812                 /* not a salvage logfile; skip */
813                 continue;
814             }
815
816             errno = 0;
817             pid = strtol(dirp->d_name + prefix_len, NULL, 10);
818
819             if (errno != 0) {
820                 /* file is SalvageLog.<something> but <something> isn't
821                  * a pid, so skip */
822                  continue;
823             }
824
825             VOL_LOCK;
826             for (i = 0; i < Parallel; ++i) {
827                 if (pid == child_slot[i]) {
828                     break;
829                 }
830             }
831             VOL_UNLOCK;
832             if (i < Parallel) {
833                 /* this pid is one of our children, so the reaper thread
834                  * will take care of it; skip */
835                 continue;
836             }
837
838             cleanup = malloc(sizeof(struct log_cleanup_node));
839             cleanup->pid = pid;
840
841             queue_Append(&log_watch_queue, cleanup);
842         }
843
844         closedir(dp);
845     }
846
847     ScanLogs(&log_watch_queue);
848
849     while (queue_IsNotEmpty(&log_watch_queue)) {
850         sleep(SALVAGE_SCAN_POLL_INTERVAL);
851         ScanLogs(&log_watch_queue);
852     }
853
854     return NULL;
855 }
856
857 /**
858  * look through log_watch_queue, and if any processes are not still
859  * running, hand them off to the SalvageLogCleanupThread
860  *
861  * @param log_watch_queue  a queue of PIDs that we should clean up if
862  * that PID has died
863  */
864 static void
865 ScanLogs(struct rx_queue *log_watch_queue)
866 {
867     struct log_cleanup_node *cleanup, *next;
868
869     opr_mutex_enter(&worker_lock);
870
871     for (queue_Scan(log_watch_queue, cleanup, next, log_cleanup_node)) {
872         /* if a process is still running, assume it's the salvage process
873          * still going, and keep waiting for it */
874         if (kill(cleanup->pid, 0) < 0 && errno == ESRCH) {
875             queue_Remove(cleanup);
876             queue_Append(&log_cleanup_queue, cleanup);
877             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
878         }
879     }
880
881     opr_mutex_exit(&worker_lock);
882 }