salvaged: Fix "-parallel all<number>" parsing
[openafs.git] / src / vol / salvaged.c
1 /*
2  * Copyright 2006-2007, Sine Nomine Associates and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * demand attach fs
12  * online salvager daemon
13  */
14
15 /* Main program file. Define globals. */
16 #define MAIN 1
17
18 #include <afsconfig.h>
19 #include <afs/param.h>
20
21 #include <roken.h>
22
23 #ifdef HAVE_SYS_FILE_H
24 #include <sys/file.h>
25 #endif
26
27 #ifdef AFS_NT40_ENV
28 #include <WINNT/afsevent.h>
29 #endif
30
31 #ifndef WCOREDUMP
32 #define WCOREDUMP(x)    ((x) & 0200)
33 #endif
34
35 #include <afs/opr.h>
36 #include <opr/lock.h>
37 #include <afs/afsint.h>
38 #include <rx/rx_queue.h>
39
40 #if !defined(AFS_SGI_ENV) && !defined(AFS_NT40_ENV)
41 #if defined(AFS_VFSINCL_ENV)
42 #include <sys/vnode.h>
43 #ifdef  AFS_SUN5_ENV
44 #include <sys/fs/ufs_inode.h>
45 #else
46 #if defined(AFS_DARWIN_ENV) || defined(AFS_XBSD_ENV)
47 #include <ufs/ufs/dinode.h>
48 #include <ufs/ffs/fs.h>
49 #else
50 #include <ufs/inode.h>
51 #endif
52 #endif
53 #else /* AFS_VFSINCL_ENV */
54 #if !defined(AFS_LINUX20_ENV) && !defined(AFS_XBSD_ENV) && !defined(AFS_DARWIN_ENV)
55 #include <sys/inode.h>
56 #endif
57 #endif /* AFS_VFSINCL_ENV */
58 #endif /* AFS_SGI_ENV */
59 #ifdef  AFS_AIX_ENV
60 #include <sys/vfs.h>
61 #include <sys/lockf.h>
62 #else
63 #ifdef  AFS_HPUX_ENV
64 #include <checklist.h>
65 #else
66 #if defined(AFS_SGI_ENV)
67 #include <mntent.h>
68 #else
69 #if     defined(AFS_SUN_ENV) || defined(AFS_SUN5_ENV)
70 #ifdef    AFS_SUN5_ENV
71 #include <sys/mnttab.h>
72 #include <sys/mntent.h>
73 #else
74 #include <mntent.h>
75 #endif
76 #else
77 #endif /* AFS_SGI_ENV */
78 #endif /* AFS_HPUX_ENV */
79 #endif
80 #endif
81 #ifndef AFS_NT40_ENV
82 #include <afs/osi_inode.h>
83 #endif
84 #include <afs/cmd.h>
85 #include <afs/afsutil.h>
86 #include <afs/fileutil.h>
87 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
88 #include <afs/dir.h>
89
90 #include "nfs.h"
91 #include "lwp.h"
92 #include "lock.h"
93 #include <afs/afssyscalls.h>
94 #include "ihandle.h"
95 #include "vnode.h"
96 #include "volume.h"
97 #include "partition.h"
98 #include "daemon_com.h"
99 #include "fssync.h"
100 #include "salvsync.h"
101 #include "viceinode.h"
102 #include "salvage.h"
103 #include "vol-salvage.h"
104 #include "common.h"
105 #ifdef AFS_NT40_ENV
106 #include <pthread.h>
107 #endif
108
109 extern int ClientMode;
110
111 #if !defined(AFS_DEMAND_ATTACH_FS)
112 #error "online salvager only supported for demand attach fileserver"
113 #endif /* AFS_DEMAND_ATTACH_FS */
114
115 #if defined(AFS_NT40_ENV)
116 #error "online salvager not supported on NT"
117 #endif /* AFS_NT40_ENV */
118
119 /*@+fcnmacros +macrofcndecl@*/
120 #ifdef O_LARGEFILE
121 #define afs_fopen       fopen64
122 #else /* !O_LARGEFILE */
123 #define afs_fopen       fopen
124 #endif /* !O_LARGEFILE */
125 /*@=fcnmacros =macrofcndecl@*/
126
127
128
129 static volatile int current_workers = 0;
130 static volatile struct rx_queue pending_q;
131 static pthread_mutex_t worker_lock;
132 static pthread_cond_t worker_cv;
133
134 static void * SalvageChildReaperThread(void *);
135 static int DoSalvageVolume(struct SalvageQueueNode * node, int slot);
136
137 static void SalvageServer(int argc, char **argv, struct logOptions *logopts);
138 static void SalvageClient(VolumeId vid, char * pname);
139
140 static int Reap_Child(char * prog, int * pid, int * status);
141
142 static void * SalvageLogCleanupThread(void *);
143 static void SalvageLogCleanup(int pid);
144
145 static void * SalvageLogScanningThread(void *);
146 static void ScanLogs(struct rx_queue *log_watch_queue);
147
148 struct cmdline_rock {
149     int argc;
150     char **argv;
151 };
152
153 struct log_cleanup_node {
154     struct rx_queue q;
155     int pid;
156 };
157
158 struct {
159     struct rx_queue queue_head;
160     pthread_cond_t queue_change_cv;
161 } log_cleanup_queue;
162
163
164 #define DEFAULT_PARALLELISM 4 /* allow 4 parallel salvage workers by default */
165
166 enum optionsList {
167     OPT_partition,
168     OPT_volumeid,
169     OPT_debug,
170     OPT_nowrite,
171     OPT_inodes,
172     OPT_oktozap,
173     OPT_rootinodes,
174     OPT_salvagedirs,
175     OPT_blockreads,
176     OPT_parallel,
177     OPT_tmpdir,
178     OPT_orphans,
179     OPT_syslog,
180     OPT_syslogfacility,
181     OPT_logfile,
182     OPT_client,
183     OPT_transarc_logs
184 };
185
186 static int
187 handleit(struct cmd_syndesc *opts, void *arock)
188 {
189     char pname[100];
190     afs_int32 seenpart = 0, seenvol = 0;
191     VolumeId vid = 0;
192     struct cmdline_rock *rock = (struct cmdline_rock *)arock;
193     char *optstring = NULL;
194     struct logOptions logopts;
195
196     memset(&logopts, 0, sizeof(logopts));
197
198 #ifdef AFS_SGI_VNODE_GLUE
199     if (afs_init_kernel_config(-1) < 0) {
200         printf
201             ("Can't determine NUMA configuration, not starting salvager.\n");
202         exit(1);
203     }
204 #endif
205
206     cmd_OptionAsFlag(opts, OPT_debug, &debug);
207     cmd_OptionAsFlag(opts, OPT_nowrite, &Testing);
208     cmd_OptionAsFlag(opts, OPT_inodes, &ListInodeOption);
209     cmd_OptionAsFlag(opts, OPT_oktozap, &OKToZap);
210     cmd_OptionAsFlag(opts, OPT_rootinodes, &ShowRootFiles);
211     cmd_OptionAsFlag(opts, OPT_salvagedirs, &RebuildDirs);
212     cmd_OptionAsFlag(opts, OPT_blockreads, &forceR);
213     if (cmd_OptionAsString(opts, OPT_parallel, &optstring) == 0) {
214         char *input = optstring;
215         if (strncmp(optstring, "all", 3) == 0) {
216             PartsPerDisk = 1;
217             input += 3;
218         }
219         if (strlen(input) != 0) {
220             Parallel = atoi(input);
221             if (Parallel < 1)
222                 Parallel = 1;
223             if (Parallel > MAXPARALLEL) {
224                 printf("Setting parallel salvages to maximum of %d \n",
225                        MAXPARALLEL);
226                 Parallel = MAXPARALLEL;
227             }
228         }
229         free(optstring);
230         optstring = NULL;
231     } else {
232         Parallel = min(DEFAULT_PARALLELISM, MAXPARALLEL);
233     }
234     if (cmd_OptionAsString(opts, OPT_tmpdir, &optstring) == 0) {
235         DIR *dirp;
236         dirp = opendir(optstring);
237         if (!dirp) {
238             printf
239                 ("Can't open temporary placeholder dir %s; using current partition \n",
240                  optstring);
241             tmpdir = NULL;
242         } else
243             closedir(dirp);
244         free(optstring);
245         optstring = NULL;
246     }
247     if (cmd_OptionAsString(opts, OPT_orphans, &optstring) == 0) {
248         if (Testing)
249             orphans = ORPH_IGNORE;
250         else if (strcmp(optstring, "remove") == 0
251                  || strcmp(optstring, "r") == 0)
252             orphans = ORPH_REMOVE;
253         else if (strcmp(optstring, "attach") == 0
254                  || strcmp(optstring, "a") == 0)
255             orphans = ORPH_ATTACH;
256         free(optstring);
257         optstring = NULL;
258     }
259
260 #ifdef HAVE_SYSLOG
261     if (cmd_OptionPresent(opts, OPT_syslog)) {
262         if (cmd_OptionPresent(opts, OPT_logfile)) {
263             fprintf(stderr, "Invalid options: -syslog and -logfile are exclusive.\n");
264             return -1;
265         }
266         if (cmd_OptionPresent(opts, OPT_transarc_logs)) {
267             fprintf(stderr, "Invalid options: -syslog and -transarc-logs are exclusive.\n");
268             return -1;
269         }
270         logopts.lopt_dest = logDest_syslog;
271         logopts.lopt_facility = LOG_DAEMON;
272         logopts.lopt_tag = "salvageserver";
273         cmd_OptionAsInt(opts, OPT_syslogfacility, &logopts.lopt_facility);
274     } else
275 #endif
276     {
277         logopts.lopt_dest = logDest_file;
278         if (cmd_OptionPresent(opts, OPT_transarc_logs)) {
279             logopts.lopt_rotateOnOpen = 1;
280             logopts.lopt_rotateStyle = logRotate_old;
281         }
282         if (cmd_OptionPresent(opts, OPT_logfile))
283             cmd_OptionAsString(opts, OPT_logfile, (char**)&logopts.lopt_filename);
284         else
285             logopts.lopt_filename = AFSDIR_SERVER_SALSRVLOG_FILEPATH;
286     }
287
288     if (cmd_OptionPresent(opts, OPT_client)) {
289         if (cmd_OptionAsString(opts, OPT_partition, &optstring) == 0) {
290             seenpart = 1;
291             strlcpy(pname, optstring, sizeof(pname));
292             free(optstring);
293             optstring = NULL;
294         }
295         if (cmd_OptionAsString(opts, OPT_volumeid, &optstring) == 0) {
296             char *end;
297             unsigned long vid_l;
298             seenvol = 1;
299             vid_l = strtoul(optstring, &end, 10);
300             if (vid_l >= MAX_AFS_UINT32 || vid_l == ULONG_MAX || *end != '\0') {
301                 printf("Invalid volume id specified; salvage aborted\n");
302                 exit(-1);
303             }
304             vid = (VolumeId)vid_l;
305         }
306
307         if (!seenpart || !seenvol) {
308             printf("You must specify '-partition' and '-volumeid' with the '-client' option\n");
309             exit(-1);
310         }
311
312         SalvageClient(vid, pname);
313
314     } else {  /* salvageserver mode */
315         SalvageServer(rock->argc, rock->argv, &logopts);
316     }
317     return (0);
318 }
319
320
321 #ifndef AFS_NT40_ENV
322 #include "AFS_component_version_number.c"
323 #endif
324 #define MAX_ARGS 128
325 #ifdef AFS_NT40_ENV
326 char *save_args[MAX_ARGS];
327 int n_save_args = 0;
328 pthread_t main_thread;
329 #endif
330
331 int
332 main(int argc, char **argv)
333 {
334     struct cmd_syndesc *ts;
335     int err = 0;
336     struct cmdline_rock arock;
337
338 #ifdef  AFS_AIX32_ENV
339     /*
340      * The following signal action for AIX is necessary so that in case of a
341      * crash (i.e. core is generated) we can include the user's data section
342      * in the core dump. Unfortunately, by default, only a partial core is
343      * generated which, in many cases, isn't too useful.
344      */
345     struct sigaction nsa;
346
347     sigemptyset(&nsa.sa_mask);
348     nsa.sa_handler = SIG_DFL;
349     nsa.sa_flags = SA_FULLDUMP;
350     sigaction(SIGABRT, &nsa, NULL);
351     sigaction(SIGSEGV, &nsa, NULL);
352 #endif
353
354     /* Initialize directory paths */
355     if (!(initAFSDirPath() & AFSDIR_SERVER_PATHS_OK)) {
356 #ifdef AFS_NT40_ENV
357         ReportErrorEventAlt(AFSEVT_SVR_NO_INSTALL_DIR, 0, argv[0], 0);
358 #endif
359         fprintf(stderr, "%s: Unable to obtain AFS server directory.\n",
360                 argv[0]);
361         exit(2);
362     }
363 #ifdef AFS_NT40_ENV
364     /* Default to binary mode for fopen() */
365     _set_fmode(_O_BINARY);
366
367     main_thread = pthread_self();
368     if (spawnDatap && spawnDataLen) {
369         /* This is a child per partition salvager. Don't setup log or
370          * try to lock the salvager lock.
371          */
372         if (nt_SetupPartitionSalvage(spawnDatap, spawnDataLen) < 0)
373             exit(3);
374     } else {
375 #endif
376
377 #ifndef AFS_NT40_ENV
378         if (geteuid() != 0) {
379             printf("Salvager must be run as root.\n");
380             fflush(stdout);
381             Exit(0);
382         }
383 #endif
384
385         /* bad for normal help flag processing, but can do nada */
386
387 #ifdef AFS_NT40_ENV
388     }
389 #endif
390
391     arock.argc = argc;
392     arock.argv = argv;
393
394
395     ts = cmd_CreateSyntax("initcmd", handleit, &arock, 0, "initialize the program");
396     cmd_AddParmAtOffset(ts, OPT_partition, "-partition", CMD_SINGLE,
397             CMD_OPTIONAL, "Name of partition to salvage");
398     cmd_AddParmAtOffset(ts, OPT_volumeid, "-volumeid", CMD_SINGLE, CMD_OPTIONAL,
399             "Volume Id to salvage");
400     cmd_AddParmAtOffset(ts, OPT_debug, "-debug", CMD_FLAG, CMD_OPTIONAL,
401             "Run in Debugging mode");
402     cmd_AddParmAtOffset(ts, OPT_nowrite, "-nowrite", CMD_FLAG, CMD_OPTIONAL,
403             "Run readonly/test mode");
404     cmd_AddParmAtOffset(ts, OPT_inodes, "-inodes", CMD_FLAG, CMD_OPTIONAL,
405             "Just list affected afs inodes - debugging flag");
406     cmd_AddParmAtOffset(ts, OPT_oktozap, "-oktozap", CMD_FLAG, CMD_OPTIONAL,
407             "Give permission to destroy bogus inodes/volumes - debugging flag");
408     cmd_AddParmAtOffset(ts, OPT_rootinodes, "-rootinodes", CMD_FLAG,
409             CMD_OPTIONAL, "Show inodes owned by root - debugging flag");
410     cmd_AddParmAtOffset(ts, OPT_salvagedirs, "-salvagedirs", CMD_FLAG,
411             CMD_OPTIONAL, "Force rebuild/salvage of all directories");
412     cmd_AddParmAtOffset(ts, OPT_blockreads, "-blockreads", CMD_FLAG,
413             CMD_OPTIONAL, "Read smaller blocks to handle IO/bad blocks");
414     cmd_AddParmAtOffset(ts, OPT_parallel, "-parallel", CMD_SINGLE, CMD_OPTIONAL,
415             "# of max parallel partition salvaging");
416     cmd_AddParmAtOffset(ts, OPT_tmpdir, "-tmpdir", CMD_SINGLE, CMD_OPTIONAL,
417             "Name of dir to place tmp files ");
418     cmd_AddParmAtOffset(ts, OPT_orphans, "-orphans", CMD_SINGLE, CMD_OPTIONAL,
419             "ignore | remove | attach");
420
421 #ifdef HAVE_SYSLOG
422     cmd_AddParmAtOffset(ts, OPT_syslog, "-syslog", CMD_FLAG, CMD_OPTIONAL,
423             "Write salvage log to syslogs");
424     cmd_AddParmAtOffset(ts, OPT_syslogfacility, "-syslogfacility", CMD_SINGLE,
425             CMD_OPTIONAL, "Syslog facility number to use");
426 #endif
427
428     cmd_AddParmAtOffset(ts, OPT_client, "-client", CMD_FLAG, CMD_OPTIONAL,
429                 "Use SALVSYNC to ask salvageserver to salvage a volume");
430
431     cmd_AddParmAtOffset(ts, OPT_logfile, "-logfile", CMD_SINGLE, CMD_OPTIONAL,
432             "Location of log file ");
433
434     cmd_AddParmAtOffset(ts, OPT_transarc_logs, "-transarc-logs", CMD_FLAG,
435                         CMD_OPTIONAL, "enable Transarc style logging");
436
437     err = cmd_Dispatch(argc, argv);
438     Exit(err);
439     AFS_UNREACHED(return 0);
440 }
441
442 static void
443 SalvageClient(VolumeId vid, char * pname)
444 {
445     int done = 0;
446     afs_int32 code;
447     SYNC_response res;
448     SALVSYNC_response_hdr sres;
449     VolumePackageOptions opts;
450
451     /* Send Log() messages to stderr in client mode. */
452     ClientMode = 1;
453
454     VOptDefaults(volumeUtility, &opts);
455     if (VInitVolumePackage2(volumeUtility, &opts)) {
456         /* VInitVolumePackage2 can fail on e.g. partition attachment errors,
457          * but we don't really care, since all we're doing is trying to use
458          * SALVSYNC */
459         fprintf(stderr, "errors encountered initializing volume package, but "
460                         "trying to continue anyway\n");
461     }
462     SALVSYNC_clientInit();
463
464     code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_SALVAGE, SALVSYNC_OPERATOR, 0, NULL);
465     if (code != SYNC_OK) {
466         goto sync_error;
467     }
468
469     res.payload.buf = (void *) &sres;
470     res.payload.len = sizeof(sres);
471
472     while(!done) {
473         sleep(2);
474         code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_QUERY, SALVSYNC_WHATEVER, 0, &res);
475         if (code != SYNC_OK) {
476             goto sync_error;
477         }
478         switch (sres.state) {
479         case SALVSYNC_STATE_ERROR:
480             printf("salvageserver reports salvage ended in an error; check log files for more details\n");
481         case SALVSYNC_STATE_DONE:
482         case SALVSYNC_STATE_UNKNOWN:
483             done = 1;
484         }
485     }
486     SALVSYNC_clientFinis();
487     return;
488
489  sync_error:
490     if (code == SYNC_DENIED) {
491         printf("salvageserver refused to salvage volume %u on partition %s\n",
492                vid, pname);
493     } else if (code == SYNC_BAD_COMMAND) {
494         printf("SALVSYNC protocol mismatch; please make sure fileserver, volserver, salvageserver and salvager are same version\n");
495     } else if (code == SYNC_COM_ERROR) {
496         printf("SALVSYNC communications error\n");
497     }
498     SALVSYNC_clientFinis();
499     exit(-1);
500 }
501
502 static int * child_slot;
503
504 static void
505 SalvageServer(int argc, char **argv, struct logOptions *logopts)
506 {
507     int pid, ret;
508     struct SalvageQueueNode * node;
509     pthread_t tid;
510     pthread_attr_t attrs;
511     int slot;
512     VolumePackageOptions opts;
513
514     /* All entries to the log will be appended.  Useful if there are
515      * multiple salvagers appending to the log.
516      */
517     OpenLog(logopts);
518     SetupLogSignals();
519
520     Log("%s\n", cml_version_number);
521     LogCommandLine(argc, argv, "Online Salvage Server",
522                    SalvageVersion, "Starting OpenAFS", Log);
523     /* Get and hold a lock for the duration of the salvage to make sure
524      * that no other salvage runs at the same time.  The routine
525      * VInitVolumePackage2 (called below) makes sure that a file server or
526      * other volume utilities don't interfere with the salvage.
527      */
528
529     /* even demand attach online salvager
530      * still needs this because we don't want
531      * a stand-alone salvager to conflict with
532      * the salvager daemon */
533     ObtainSharedSalvageLock();
534
535     child_slot = calloc(Parallel, sizeof(int));
536     opr_Assert(child_slot != NULL);
537
538     /* initialize things */
539     VOptDefaults(salvageServer, &opts);
540     if (VInitVolumePackage2(salvageServer, &opts)) {
541         Log("Shutting down: errors encountered initializing volume package\n");
542         Exit(1);
543     }
544     DInit(10);
545     queue_Init(&pending_q);
546     queue_Init(&log_cleanup_queue);
547     opr_mutex_init(&worker_lock);
548     opr_cv_init(&worker_cv);
549     opr_cv_init(&log_cleanup_queue.queue_change_cv);
550     opr_Verify(pthread_attr_init(&attrs) == 0);
551
552     /* start up the reaper and log cleaner threads */
553     opr_Verify(pthread_attr_setdetachstate(&attrs,
554                                            PTHREAD_CREATE_DETACHED) == 0);
555     opr_Verify(pthread_create(&tid, &attrs,
556                               &SalvageChildReaperThread, NULL) == 0);
557     opr_Verify(pthread_create(&tid, &attrs,
558                               &SalvageLogCleanupThread, NULL) == 0);
559     opr_Verify(pthread_create(&tid, &attrs,
560                               &SalvageLogScanningThread, NULL) == 0);
561
562     /* loop forever serving requests */
563     while (1) {
564         node = SALVSYNC_getWork();
565         opr_Assert(node != NULL);
566
567         Log("dispatching child to salvage volume %u...\n",
568             node->command.sop.parent);
569
570         VOL_LOCK;
571         /* find a slot */
572         for (slot = 0; slot < Parallel; slot++) {
573           if (!child_slot[slot])
574             break;
575         }
576         opr_Assert (slot < Parallel);
577
578     do_fork:
579         pid = Fork();
580         if (pid == 0) {
581             VOL_UNLOCK;
582             ret = DoSalvageVolume(node, slot);
583             Exit(ret);
584         } else if (pid < 0) {
585             Log("failed to fork child worker process\n");
586             sleep(1);
587             goto do_fork;
588         } else {
589             child_slot[slot] = pid;
590             node->pid = pid;
591             VOL_UNLOCK;
592
593             opr_mutex_enter(&worker_lock);
594             current_workers++;
595
596             /* let the reaper thread know another worker was spawned */
597             opr_cv_broadcast(&worker_cv);
598
599             /* if we're overquota, wait for the reaper */
600             while (current_workers >= Parallel) {
601                 opr_cv_wait(&worker_cv, &worker_lock);
602             }
603             opr_mutex_exit(&worker_lock);
604         }
605     }
606 }
607
608 static int
609 DoSalvageVolume(struct SalvageQueueNode * node, int slot)
610 {
611     char *filename = NULL;
612     struct logOptions logopts;
613     struct DiskPartition64 * partP;
614
615     /* do not allow further forking inside salvager */
616     canfork = 0;
617
618     /*
619      * Do not attempt to close parent's log file handle as
620      * another thread may have held the lock when fork was
621      * called!
622      */
623     memset(&logopts, 0, sizeof(logopts));
624     logopts.lopt_dest = logDest_file;
625     logopts.lopt_rotateStyle = logRotate_none;
626     if (asprintf(&filename, "%s.%d",
627                  AFSDIR_SERVER_SLVGLOG_FILEPATH, getpid()) < 0) {
628         fprintf(stderr, "out of memory\n");
629         return ENOMEM;
630     }
631     logopts.lopt_filename = filename;
632     OpenLog(&logopts);
633     free(filename);
634
635     if (node->command.sop.parent <= 0) {
636         Log("salvageServer: invalid volume id specified; salvage aborted\n");
637         return 1;
638     }
639
640     partP = VGetPartition(node->command.sop.partName, 0);
641     if (!partP) {
642         Log("salvageServer: Unknown or unmounted partition %s; salvage aborted\n",
643             node->command.sop.partName);
644         return 1;
645     }
646
647     /* obtain a shared salvage lock in the child worker, so if the
648      * salvageserver restarts (and we continue), we will still hold a lock and
649      * prevent standalone salvagers from interfering */
650     ObtainSharedSalvageLock();
651
652     /* Salvage individual volume; don't notify fs */
653     SalvageFileSys1(partP, node->command.sop.parent);
654
655     CloseLog();
656     return 0;
657 }
658
659
660 static void *
661 SalvageChildReaperThread(void * args)
662 {
663     int slot, pid, status;
664     struct log_cleanup_node * cleanup;
665
666     opr_mutex_enter(&worker_lock);
667
668     /* loop reaping our children */
669     while (1) {
670         /* wait() won't block unless we have children, so
671          * block on the cond var if we're childless */
672         while (current_workers == 0) {
673             opr_cv_wait(&worker_cv, &worker_lock);
674         }
675
676         opr_mutex_exit(&worker_lock);
677
678         cleanup = malloc(sizeof(struct log_cleanup_node));
679
680         while (Reap_Child("salvageserver", &pid, &status) < 0) {
681             /* try to prevent livelock if something goes wrong */
682             sleep(1);
683         }
684
685         VOL_LOCK;
686         for (slot = 0; slot < Parallel; slot++) {
687             if (child_slot[slot] == pid)
688                 break;
689         }
690         opr_Assert(slot < Parallel);
691         child_slot[slot] = 0;
692         VOL_UNLOCK;
693
694         SALVSYNC_doneWorkByPid(pid, status);
695
696         opr_mutex_enter(&worker_lock);
697
698         if (cleanup) {
699             cleanup->pid = pid;
700             queue_Append(&log_cleanup_queue, cleanup);
701             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
702         }
703
704         /* ok, we've reaped a child */
705         current_workers--;
706         opr_cv_broadcast(&worker_cv);
707     }
708
709     AFS_UNREACHED(return(NULL));
710 }
711
712 static int
713 Reap_Child(char *prog, int * pid, int * status)
714 {
715     int ret;
716     ret = wait(status);
717
718     if (ret >= 0) {
719         *pid = ret;
720         if (WCOREDUMP(*status))
721             Log("\"%s\" core dumped!\n", prog);
722         if ((WIFSIGNALED(*status) != 0) ||
723             ((WEXITSTATUS(*status) != 0) &&
724              (WEXITSTATUS(*status) != SALSRV_EXIT_VOLGROUP_LINK)))
725             Log("\"%s\" (pid=%d) terminated abnormally!\n", prog, ret);
726     } else {
727         Log("wait returned -1\n");
728     }
729     return ret;
730 }
731
732 /*
733  * thread to combine salvager child logs
734  * back into the main salvageserver log
735  */
736 static void *
737 SalvageLogCleanupThread(void * arg)
738 {
739     struct log_cleanup_node * cleanup;
740
741     opr_mutex_enter(&worker_lock);
742
743     while (1) {
744         while (queue_IsEmpty(&log_cleanup_queue)) {
745             opr_cv_wait(&log_cleanup_queue.queue_change_cv, &worker_lock);
746         }
747
748         while (queue_IsNotEmpty(&log_cleanup_queue)) {
749             cleanup = queue_First(&log_cleanup_queue, log_cleanup_node);
750             queue_Remove(cleanup);
751             opr_mutex_exit(&worker_lock);
752             SalvageLogCleanup(cleanup->pid);
753             free(cleanup);
754             opr_mutex_enter(&worker_lock);
755         }
756     }
757
758     AFS_UNREACHED(opr_mutex_exit(&worker_lock));
759     AFS_UNREACHED(return(NULL));
760 }
761
762 #define LOG_XFER_BUF_SIZE 65536
763 static void
764 SalvageLogCleanup(int pid)
765 {
766     int pidlog, len;
767     char *fn = NULL;
768     char *buf = NULL;
769
770     if (asprintf(&fn, "%s.%d", AFSDIR_SERVER_SLVGLOG_FILEPATH, pid) < 0) {
771         Log("Unable to write child log: out of memory\n");
772         goto done;
773     }
774
775     buf = calloc(1, LOG_XFER_BUF_SIZE);
776     if (buf == NULL) {
777         Log("Unable to write child log: out of memory\n");
778         goto done;
779     }
780
781     pidlog = open(fn, O_RDONLY);
782     unlink(fn);
783     if (pidlog < 0)
784         goto done;
785
786     len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
787     while (len) {
788         WriteLogBuffer(buf, len);
789         len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
790     }
791
792     close(pidlog);
793
794  done:
795     free(fn);
796     free(buf);
797 }
798
799 /* wake up every five minutes to see if a non-child salvage has finished */
800 #define SALVAGE_SCAN_POLL_INTERVAL 300
801
802 /**
803  * Thread to look for SalvageLog.$pid files that are not from our child
804  * worker salvagers, and notify SalvageLogCleanupThread to clean them
805  * up. This can happen if we restart during salvages, or the
806  * salvageserver crashes or something.
807  *
808  * @param arg  unused
809  *
810  * @return always NULL
811  */
812 static void *
813 SalvageLogScanningThread(void * arg)
814 {
815     struct rx_queue log_watch_queue;
816     char *prefix;
817     int prefix_len;
818
819     queue_Init(&log_watch_queue);
820
821     prefix_len = asprintf(&prefix, "%s.", AFSDIR_SLVGLOG_FILE);
822     if (prefix_len >= 0) {
823         DIR *dp;
824         struct dirent *dirp;
825
826         dp = opendir(AFSDIR_LOGS_DIR);
827         opr_Assert(dp);
828
829         while ((dirp = readdir(dp)) != NULL) {
830             pid_t pid;
831             struct log_cleanup_node *cleanup;
832             int i;
833
834             if (strncmp(dirp->d_name, prefix, prefix_len) != 0) {
835                 /* not a salvage logfile; skip */
836                 continue;
837             }
838
839             errno = 0;
840             pid = strtol(dirp->d_name + prefix_len, NULL, 10);
841
842             if (errno != 0) {
843                 /* file is SalvageLog.<something> but <something> isn't
844                  * a pid, so skip */
845                  continue;
846             }
847
848             VOL_LOCK;
849             for (i = 0; i < Parallel; ++i) {
850                 if (pid == child_slot[i]) {
851                     break;
852                 }
853             }
854             VOL_UNLOCK;
855             if (i < Parallel) {
856                 /* this pid is one of our children, so the reaper thread
857                  * will take care of it; skip */
858                 continue;
859             }
860
861             cleanup = malloc(sizeof(struct log_cleanup_node));
862             cleanup->pid = pid;
863
864             queue_Append(&log_watch_queue, cleanup);
865         }
866         free(prefix);
867         closedir(dp);
868     }
869
870     ScanLogs(&log_watch_queue);
871
872     while (queue_IsNotEmpty(&log_watch_queue)) {
873         sleep(SALVAGE_SCAN_POLL_INTERVAL);
874         ScanLogs(&log_watch_queue);
875     }
876
877     return NULL;
878 }
879
880 /**
881  * look through log_watch_queue, and if any processes are not still
882  * running, hand them off to the SalvageLogCleanupThread
883  *
884  * @param log_watch_queue  a queue of PIDs that we should clean up if
885  * that PID has died
886  */
887 static void
888 ScanLogs(struct rx_queue *log_watch_queue)
889 {
890     struct log_cleanup_node *cleanup, *next;
891
892     opr_mutex_enter(&worker_lock);
893
894     for (queue_Scan(log_watch_queue, cleanup, next, log_cleanup_node)) {
895         /* if a process is still running, assume it's the salvage process
896          * still going, and keep waiting for it */
897         if (kill(cleanup->pid, 0) < 0 && errno == ESRCH) {
898             queue_Remove(cleanup);
899             queue_Append(&log_cleanup_queue, cleanup);
900             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
901         }
902     }
903
904     opr_mutex_exit(&worker_lock);
905 }