vol: use ffs from opr instead of inline
[openafs.git] / src / vol / salvaged.c
1 /*
2  * Copyright 2006-2007, Sine Nomine Associates and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * demand attach fs
12  * online salvager daemon
13  */
14
15 /* Main program file. Define globals. */
16 #define MAIN 1
17
18 #include <afsconfig.h>
19 #include <afs/param.h>
20
21 #include <roken.h>
22
23 #ifdef HAVE_SYS_FILE_H
24 #include <sys/file.h>
25 #endif
26
27 #ifdef AFS_NT40_ENV
28 #include <WINNT/afsevent.h>
29 #endif
30
31 #ifndef WCOREDUMP
32 #define WCOREDUMP(x)    ((x) & 0200)
33 #endif
34
35 #include <afs/opr.h>
36 #include <opr/lock.h>
37 #include <afs/afsint.h>
38 #include <rx/rx_queue.h>
39
40 #if !defined(AFS_SGI_ENV) && !defined(AFS_NT40_ENV)
41 #if defined(AFS_VFSINCL_ENV)
42 #include <sys/vnode.h>
43 #ifdef  AFS_SUN5_ENV
44 #include <sys/fs/ufs_inode.h>
45 #else
46 #if defined(AFS_DARWIN_ENV) || defined(AFS_XBSD_ENV)
47 #include <ufs/ufs/dinode.h>
48 #include <ufs/ffs/fs.h>
49 #else
50 #include <ufs/inode.h>
51 #endif
52 #endif
53 #else /* AFS_VFSINCL_ENV */
54 #ifdef  AFS_OSF_ENV
55 #include <ufs/inode.h>
56 #else /* AFS_OSF_ENV */
57 #if !defined(AFS_LINUX20_ENV) && !defined(AFS_XBSD_ENV) && !defined(AFS_DARWIN_ENV)
58 #include <sys/inode.h>
59 #endif
60 #endif
61 #endif /* AFS_VFSINCL_ENV */
62 #endif /* AFS_SGI_ENV */
63 #ifdef  AFS_AIX_ENV
64 #include <sys/vfs.h>
65 #include <sys/lockf.h>
66 #else
67 #ifdef  AFS_HPUX_ENV
68 #include <checklist.h>
69 #else
70 #if defined(AFS_SGI_ENV)
71 #include <mntent.h>
72 #else
73 #if     defined(AFS_SUN_ENV) || defined(AFS_SUN5_ENV)
74 #ifdef    AFS_SUN5_ENV
75 #include <sys/mnttab.h>
76 #include <sys/mntent.h>
77 #else
78 #include <mntent.h>
79 #endif
80 #else
81 #endif /* AFS_SGI_ENV */
82 #endif /* AFS_HPUX_ENV */
83 #endif
84 #endif
85 #ifndef AFS_NT40_ENV
86 #include <afs/osi_inode.h>
87 #endif
88 #include <afs/cmd.h>
89 #include <afs/afsutil.h>
90 #include <afs/fileutil.h>
91 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
92 #include <afs/dir.h>
93
94 #include "nfs.h"
95 #include "lwp.h"
96 #include "lock.h"
97 #include <afs/afssyscalls.h>
98 #include "ihandle.h"
99 #include "vnode.h"
100 #include "volume.h"
101 #include "partition.h"
102 #include "daemon_com.h"
103 #include "fssync.h"
104 #include "salvsync.h"
105 #include "viceinode.h"
106 #include "salvage.h"
107 #include "vol-salvage.h"
108 #include "common.h"
109 #ifdef AFS_NT40_ENV
110 #include <pthread.h>
111 #endif
112
113 char *logFileName = NULL;
114
115 #if !defined(AFS_DEMAND_ATTACH_FS)
116 #error "online salvager only supported for demand attach fileserver"
117 #endif /* AFS_DEMAND_ATTACH_FS */
118
119 #if defined(AFS_NT40_ENV)
120 #error "online salvager not supported on NT"
121 #endif /* AFS_NT40_ENV */
122
123 /*@+fcnmacros +macrofcndecl@*/
124 #ifdef O_LARGEFILE
125 #define afs_fopen       fopen64
126 #else /* !O_LARGEFILE */
127 #define afs_fopen       fopen
128 #endif /* !O_LARGEFILE */
129 /*@=fcnmacros =macrofcndecl@*/
130
131
132
133 static volatile int current_workers = 0;
134 static volatile struct rx_queue pending_q;
135 static pthread_mutex_t worker_lock;
136 static pthread_cond_t worker_cv;
137
138 static void * SalvageChildReaperThread(void *);
139 static int DoSalvageVolume(struct SalvageQueueNode * node, int slot);
140
141 static void SalvageServer(int argc, char **argv);
142 static void SalvageClient(VolumeId vid, char * pname);
143
144 static int Reap_Child(char * prog, int * pid, int * status);
145
146 static void * SalvageLogCleanupThread(void *);
147 static int SalvageLogCleanup(int pid);
148
149 static void * SalvageLogScanningThread(void *);
150 static void ScanLogs(struct rx_queue *log_watch_queue);
151
152 struct cmdline_rock {
153     int argc;
154     char **argv;
155 };
156
157 struct log_cleanup_node {
158     struct rx_queue q;
159     int pid;
160 };
161
162 struct {
163     struct rx_queue queue_head;
164     pthread_cond_t queue_change_cv;
165 } log_cleanup_queue;
166
167
168 #define DEFAULT_PARALLELISM 4 /* allow 4 parallel salvage workers by default */
169
170 enum optionsList {
171     OPT_partition,
172     OPT_volumeid,
173     OPT_debug,
174     OPT_nowrite,
175     OPT_inodes,
176     OPT_oktozap,
177     OPT_rootinodes,
178     OPT_salvagedirs,
179     OPT_blockreads,
180     OPT_parallel,
181     OPT_tmpdir,
182     OPT_showlog,
183     OPT_orphans,
184     OPT_syslog,
185     OPT_syslogfacility,
186     OPT_datelogs,
187     OPT_logfile,
188     OPT_client
189 };
190
191 static int
192 handleit(struct cmd_syndesc *opts, void *arock)
193 {
194     char pname[100];
195     afs_int32 seenpart = 0, seenvol = 0;
196     VolumeId vid = 0;
197     struct cmdline_rock *rock = (struct cmdline_rock *)arock;
198     char *optstring = NULL;
199
200 #ifdef AFS_SGI_VNODE_GLUE
201     if (afs_init_kernel_config(-1) < 0) {
202         printf
203             ("Can't determine NUMA configuration, not starting salvager.\n");
204         exit(1);
205     }
206 #endif
207
208     cmd_OptionAsFlag(opts, OPT_debug, &debug);
209     cmd_OptionAsFlag(opts, OPT_nowrite, &Testing);
210     cmd_OptionAsFlag(opts, OPT_inodes, &ListInodeOption);
211     cmd_OptionAsFlag(opts, OPT_oktozap, &OKToZap);
212     cmd_OptionAsFlag(opts, OPT_rootinodes, &ShowRootFiles);
213     cmd_OptionAsFlag(opts, OPT_blockreads, &forceR);
214     if (cmd_OptionAsString(opts, OPT_parallel, &optstring) == 0) {
215         if (strncmp(optstring, "all", 3) == 0) {
216             PartsPerDisk = 1;
217         }
218         if (strlen(optstring) != 0) {
219             Parallel = atoi(optstring);
220             if (Parallel < 1)
221                 Parallel = 1;
222             if (Parallel > MAXPARALLEL) {
223                 printf("Setting parallel salvages to maximum of %d \n",
224                        MAXPARALLEL);
225                 Parallel = MAXPARALLEL;
226             }
227         }
228         free(optstring);
229         optstring = NULL;
230     } else {
231         Parallel = min(DEFAULT_PARALLELISM, MAXPARALLEL);
232     }
233     if (cmd_OptionAsString(opts, OPT_tmpdir, &optstring) == 0) {
234         DIR *dirp;
235         dirp = opendir(optstring);
236         if (!dirp) {
237             printf
238                 ("Can't open temporary placeholder dir %s; using current partition \n",
239                  optstring);
240             tmpdir = NULL;
241         } else
242             closedir(dirp);
243         free(optstring);
244         optstring = NULL;
245     }
246     cmd_OptionAsFlag(opts, OPT_showlog, &ShowLog);
247     if (cmd_OptionAsString(opts, OPT_orphans, &optstring) == 0) {
248         if (Testing)
249             orphans = ORPH_IGNORE;
250         else if (strcmp(optstring, "remove") == 0
251                  || strcmp(optstring, "r") == 0)
252             orphans = ORPH_REMOVE;
253         else if (strcmp(optstring, "attach") == 0
254                  || strcmp(optstring, "a") == 0)
255             orphans = ORPH_ATTACH;
256         free(optstring);
257         optstring = NULL;
258     }
259 #ifndef AFS_NT40_ENV            /* ignore options on NT */
260     if (cmd_OptionPresent(opts, OPT_syslog)) {
261         useSyslog = 1;
262         ShowLog = 0;
263     }
264     cmd_OptionAsInt(opts, OPT_syslogfacility, &useSyslogFacility);
265
266     if (cmd_OptionPresent(opts, OPT_datelogs)) {
267         TimeStampLogFile((char *)AFSDIR_SERVER_SALSRVLOG_FILEPATH);
268     }
269 #endif
270
271     if (cmd_OptionPresent(opts, OPT_client)) {
272         if (cmd_OptionAsString(opts, OPT_partition, &optstring) == 0) {
273             seenpart = 1;
274             strlcpy(pname, optstring, sizeof(pname));
275             free(optstring);
276             optstring = NULL;
277         }
278         if (cmd_OptionAsString(opts, OPT_volumeid, &optstring) == 0) {
279             char *end;
280             unsigned long vid_l;
281             seenvol = 1;
282             vid_l = strtoul(optstring, &end, 10);
283             if (vid_l >= MAX_AFS_UINT32 || vid_l == ULONG_MAX || *end != '\0') {
284                 printf("Invalid volume id specified; salvage aborted\n");
285                 exit(-1);
286             }
287             vid = (VolumeId)vid_l;
288         }
289
290         if (ShowLog) {
291             printf("-showlog does not work with -client\n");
292             exit(-1);
293         }
294
295         if (!seenpart || !seenvol) {
296             printf("You must specify '-partition' and '-volumeid' with the '-client' option\n");
297             exit(-1);
298         }
299
300         SalvageClient(vid, pname);
301
302     } else {  /* salvageserver mode */
303         SalvageServer(rock->argc, rock->argv);
304     }
305     return (0);
306 }
307
308
309 #ifndef AFS_NT40_ENV
310 #include "AFS_component_version_number.c"
311 #endif
312 #define MAX_ARGS 128
313 #ifdef AFS_NT40_ENV
314 char *save_args[MAX_ARGS];
315 int n_save_args = 0;
316 pthread_t main_thread;
317 #endif
318
319 int
320 main(int argc, char **argv)
321 {
322     struct cmd_syndesc *ts;
323     int err = 0;
324     struct cmdline_rock arock;
325
326 #ifdef  AFS_AIX32_ENV
327     /*
328      * The following signal action for AIX is necessary so that in case of a
329      * crash (i.e. core is generated) we can include the user's data section
330      * in the core dump. Unfortunately, by default, only a partial core is
331      * generated which, in many cases, isn't too useful.
332      */
333     struct sigaction nsa;
334
335     sigemptyset(&nsa.sa_mask);
336     nsa.sa_handler = SIG_DFL;
337     nsa.sa_flags = SA_FULLDUMP;
338     sigaction(SIGABRT, &nsa, NULL);
339     sigaction(SIGSEGV, &nsa, NULL);
340 #endif
341
342     /* Initialize directory paths */
343     if (!(initAFSDirPath() & AFSDIR_SERVER_PATHS_OK)) {
344 #ifdef AFS_NT40_ENV
345         ReportErrorEventAlt(AFSEVT_SVR_NO_INSTALL_DIR, 0, argv[0], 0);
346 #endif
347         fprintf(stderr, "%s: Unable to obtain AFS server directory.\n",
348                 argv[0]);
349         exit(2);
350     }
351 #ifdef AFS_NT40_ENV
352     /* Default to binary mode for fopen() */
353     _set_fmode(_O_BINARY);
354
355     main_thread = pthread_self();
356     if (spawnDatap && spawnDataLen) {
357         /* This is a child per partition salvager. Don't setup log or
358          * try to lock the salvager lock.
359          */
360         if (nt_SetupPartitionSalvage(spawnDatap, spawnDataLen) < 0)
361             exit(3);
362     } else {
363 #endif
364
365 #ifndef AFS_NT40_ENV
366         if (geteuid() != 0) {
367             printf("Salvager must be run as root.\n");
368             fflush(stdout);
369             Exit(0);
370         }
371 #endif
372
373         /* bad for normal help flag processing, but can do nada */
374
375 #ifdef AFS_NT40_ENV
376     }
377 #endif
378
379     arock.argc = argc;
380     arock.argv = argv;
381
382     logFileName = strdup(AFSDIR_SERVER_SALSRVLOG_FILEPATH);
383
384     ts = cmd_CreateSyntax("initcmd", handleit, &arock, 0, "initialize the program");
385     cmd_AddParmAtOffset(ts, OPT_partition, "-partition", CMD_SINGLE,
386             CMD_OPTIONAL, "Name of partition to salvage");
387     cmd_AddParmAtOffset(ts, OPT_volumeid, "-volumeid", CMD_SINGLE, CMD_OPTIONAL,
388             "Volume Id to salvage");
389     cmd_AddParmAtOffset(ts, OPT_debug, "-debug", CMD_FLAG, CMD_OPTIONAL,
390             "Run in Debugging mode");
391     cmd_AddParmAtOffset(ts, OPT_nowrite, "-nowrite", CMD_FLAG, CMD_OPTIONAL,
392             "Run readonly/test mode");
393     cmd_AddParmAtOffset(ts, OPT_inodes, "-inodes", CMD_FLAG, CMD_OPTIONAL,
394             "Just list affected afs inodes - debugging flag");
395     cmd_AddParmAtOffset(ts, OPT_oktozap, "-oktozap", CMD_FLAG, CMD_OPTIONAL,
396             "Give permission to destroy bogus inodes/volumes - debugging flag");
397     cmd_AddParmAtOffset(ts, OPT_rootinodes, "-rootinodes", CMD_FLAG,
398             CMD_OPTIONAL, "Show inodes owned by root - debugging flag");
399     cmd_AddParmAtOffset(ts, OPT_salvagedirs, "-salvagedirs", CMD_FLAG,
400             CMD_OPTIONAL, "Force rebuild/salvage of all directories");
401     cmd_AddParmAtOffset(ts, OPT_blockreads, "-blockreads", CMD_FLAG,
402             CMD_OPTIONAL, "Read smaller blocks to handle IO/bad blocks");
403     cmd_AddParmAtOffset(ts, OPT_parallel, "-parallel", CMD_SINGLE, CMD_OPTIONAL,
404             "# of max parallel partition salvaging");
405     cmd_AddParmAtOffset(ts, OPT_tmpdir, "-tmpdir", CMD_SINGLE, CMD_OPTIONAL,
406             "Name of dir to place tmp files ");
407     cmd_AddParmAtOffset(ts, OPT_showlog, "-showlog", CMD_FLAG, CMD_OPTIONAL,
408             "Show log file upon completion");
409     cmd_AddParmAtOffset(ts, OPT_orphans, "-orphans", CMD_SINGLE, CMD_OPTIONAL,
410             "ignore | remove | attach");
411
412 #if !defined(AFS_NT40_ENV)
413     cmd_AddParmAtOffset(ts, OPT_syslog, "-syslog", CMD_FLAG, CMD_OPTIONAL,
414             "Write salvage log to syslogs");
415     cmd_AddParmAtOffset(ts, OPT_syslogfacility, "-syslogfacility", CMD_SINGLE,
416             CMD_OPTIONAL, "Syslog facility number to use");
417     cmd_AddParmAtOffset(ts, OPT_datelogs, "-datelogs", CMD_FLAG, CMD_OPTIONAL,
418                 "Include timestamp in logfile filename");
419 #endif
420
421     cmd_AddParmAtOffset(ts, OPT_client, "-client", CMD_FLAG, CMD_OPTIONAL,
422                 "Use SALVSYNC to ask salvageserver to salvage a volume");
423
424     cmd_AddParmAtOffset(ts, OPT_logfile, "-logfile", CMD_SINGLE, CMD_OPTIONAL,
425             "Location of log file ");
426
427     err = cmd_Dispatch(argc, argv);
428     Exit(err);
429     return 0; /* not reached */
430 }
431
432 static void
433 SalvageClient(VolumeId vid, char * pname)
434 {
435     int done = 0;
436     afs_int32 code;
437     SYNC_response res;
438     SALVSYNC_response_hdr sres;
439     VolumePackageOptions opts;
440
441     VOptDefaults(volumeUtility, &opts);
442     if (VInitVolumePackage2(volumeUtility, &opts)) {
443         /* VInitVolumePackage2 can fail on e.g. partition attachment errors,
444          * but we don't really care, since all we're doing is trying to use
445          * SALVSYNC */
446         fprintf(stderr, "errors encountered initializing volume package, but "
447                         "trying to continue anyway\n");
448     }
449     SALVSYNC_clientInit();
450
451     code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_SALVAGE, SALVSYNC_OPERATOR, 0, NULL);
452     if (code != SYNC_OK) {
453         goto sync_error;
454     }
455
456     res.payload.buf = (void *) &sres;
457     res.payload.len = sizeof(sres);
458
459     while(!done) {
460         sleep(2);
461         code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_QUERY, SALVSYNC_WHATEVER, 0, &res);
462         if (code != SYNC_OK) {
463             goto sync_error;
464         }
465         switch (sres.state) {
466         case SALVSYNC_STATE_ERROR:
467             printf("salvageserver reports salvage ended in an error; check log files for more details\n");
468         case SALVSYNC_STATE_DONE:
469         case SALVSYNC_STATE_UNKNOWN:
470             done = 1;
471         }
472     }
473     SALVSYNC_clientFinis();
474     return;
475
476  sync_error:
477     if (code == SYNC_DENIED) {
478         printf("salvageserver refused to salvage volume %u on partition %s\n",
479                vid, pname);
480     } else if (code == SYNC_BAD_COMMAND) {
481         printf("SALVSYNC protocol mismatch; please make sure fileserver, volserver, salvageserver and salvager are same version\n");
482     } else if (code == SYNC_COM_ERROR) {
483         printf("SALVSYNC communications error\n");
484     }
485     SALVSYNC_clientFinis();
486     exit(-1);
487 }
488
489 static int * child_slot;
490
491 static void
492 SalvageServer(int argc, char **argv)
493 {
494     int pid, ret;
495     struct SalvageQueueNode * node;
496     pthread_t tid;
497     pthread_attr_t attrs;
498     int slot;
499     VolumePackageOptions opts;
500
501     /* All entries to the log will be appended.  Useful if there are
502      * multiple salvagers appending to the log.
503      */
504
505     CheckLogFile(logFileName);
506 #ifndef AFS_NT40_ENV
507 #ifdef AFS_LINUX20_ENV
508     fcntl(fileno(logFile), F_SETFL, O_APPEND);  /* Isn't this redundant? */
509 #else
510     fcntl(fileno(logFile), F_SETFL, FAPPEND);   /* Isn't this redundant? */
511 #endif
512 #endif
513     setlinebuf(logFile);
514
515     fprintf(logFile, "%s\n", cml_version_number);
516     LogCommandLine(argc, argv, "Online Salvage Server",
517                    SalvageVersion, "Starting OpenAFS", Log);
518     /* Get and hold a lock for the duration of the salvage to make sure
519      * that no other salvage runs at the same time.  The routine
520      * VInitVolumePackage2 (called below) makes sure that a file server or
521      * other volume utilities don't interfere with the salvage.
522      */
523
524     /* even demand attach online salvager
525      * still needs this because we don't want
526      * a stand-alone salvager to conflict with
527      * the salvager daemon */
528     ObtainSharedSalvageLock();
529
530     child_slot = calloc(Parallel, sizeof(int));
531     opr_Assert(child_slot != NULL);
532
533     /* initialize things */
534     VOptDefaults(salvageServer, &opts);
535     if (VInitVolumePackage2(salvageServer, &opts)) {
536         Log("Shutting down: errors encountered initializing volume package\n");
537         Exit(1);
538     }
539     DInit(10);
540     queue_Init(&pending_q);
541     queue_Init(&log_cleanup_queue);
542     opr_mutex_init(&worker_lock);
543     opr_cv_init(&worker_cv);
544     opr_cv_init(&log_cleanup_queue.queue_change_cv);
545     opr_Verify(pthread_attr_init(&attrs) == 0);
546
547     /* start up the reaper and log cleaner threads */
548     opr_Verify(pthread_attr_setdetachstate(&attrs,
549                                            PTHREAD_CREATE_DETACHED) == 0);
550     opr_Verify(pthread_create(&tid, &attrs,
551                               &SalvageChildReaperThread, NULL) == 0);
552     opr_Verify(pthread_create(&tid, &attrs,
553                               &SalvageLogCleanupThread, NULL) == 0);
554     opr_Verify(pthread_create(&tid, &attrs,
555                               &SalvageLogScanningThread, NULL) == 0);
556
557     /* loop forever serving requests */
558     while (1) {
559         node = SALVSYNC_getWork();
560         opr_Assert(node != NULL);
561
562         Log("dispatching child to salvage volume %u...\n",
563             node->command.sop.parent);
564
565         VOL_LOCK;
566         /* find a slot */
567         for (slot = 0; slot < Parallel; slot++) {
568           if (!child_slot[slot])
569             break;
570         }
571         opr_Assert (slot < Parallel);
572
573     do_fork:
574         pid = Fork();
575         if (pid == 0) {
576             VOL_UNLOCK;
577             ret = DoSalvageVolume(node, slot);
578             Exit(ret);
579         } else if (pid < 0) {
580             Log("failed to fork child worker process\n");
581             sleep(1);
582             goto do_fork;
583         } else {
584             child_slot[slot] = pid;
585             node->pid = pid;
586             VOL_UNLOCK;
587
588             opr_mutex_enter(&worker_lock);
589             current_workers++;
590
591             /* let the reaper thread know another worker was spawned */
592             opr_cv_broadcast(&worker_cv);
593
594             /* if we're overquota, wait for the reaper */
595             while (current_workers >= Parallel) {
596                 opr_cv_wait(&worker_cv, &worker_lock);
597             }
598             opr_mutex_exit(&worker_lock);
599         }
600     }
601 }
602
603 static int
604 DoSalvageVolume(struct SalvageQueueNode * node, int slot)
605 {
606     char childLog[AFSDIR_PATH_MAX];
607     struct DiskPartition64 * partP;
608
609     /* do not allow further forking inside salvager */
610     canfork = 0;
611
612     /* do not attempt to close parent's logFile handle as
613      * another thread may have held the lock on the FILE
614      * structure when fork was called! */
615
616     snprintf(childLog, sizeof(childLog), "%s.%d",
617              AFSDIR_SERVER_SLVGLOG_FILEPATH, getpid());
618
619     logFile = afs_fopen(childLog, "a");
620     if (!logFile) {             /* still nothing, use stdout */
621         logFile = stdout;
622         ShowLog = 0;
623     }
624
625     if (node->command.sop.parent <= 0) {
626         Log("salvageServer: invalid volume id specified; salvage aborted\n");
627         return 1;
628     }
629
630     partP = VGetPartition(node->command.sop.partName, 0);
631     if (!partP) {
632         Log("salvageServer: Unknown or unmounted partition %s; salvage aborted\n",
633             node->command.sop.partName);
634         return 1;
635     }
636
637     /* obtain a shared salvage lock in the child worker, so if the
638      * salvageserver restarts (and we continue), we will still hold a lock and
639      * prevent standalone salvagers from interfering */
640     ObtainSharedSalvageLock();
641
642     /* Salvage individual volume; don't notify fs */
643     SalvageFileSys1(partP, node->command.sop.parent);
644
645     fclose(logFile);
646     return 0;
647 }
648
649
650 static void *
651 SalvageChildReaperThread(void * args)
652 {
653     int slot, pid, status;
654     struct log_cleanup_node * cleanup;
655
656     opr_mutex_enter(&worker_lock);
657
658     /* loop reaping our children */
659     while (1) {
660         /* wait() won't block unless we have children, so
661          * block on the cond var if we're childless */
662         while (current_workers == 0) {
663             opr_cv_wait(&worker_cv, &worker_lock);
664         }
665
666         opr_mutex_exit(&worker_lock);
667
668         cleanup = malloc(sizeof(struct log_cleanup_node));
669
670         while (Reap_Child("salvageserver", &pid, &status) < 0) {
671             /* try to prevent livelock if something goes wrong */
672             sleep(1);
673         }
674
675         VOL_LOCK;
676         for (slot = 0; slot < Parallel; slot++) {
677             if (child_slot[slot] == pid)
678                 break;
679         }
680         opr_Assert(slot < Parallel);
681         child_slot[slot] = 0;
682         VOL_UNLOCK;
683
684         SALVSYNC_doneWorkByPid(pid, status);
685
686         opr_mutex_enter(&worker_lock);
687
688         if (cleanup) {
689             cleanup->pid = pid;
690             queue_Append(&log_cleanup_queue, cleanup);
691             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
692         }
693
694         /* ok, we've reaped a child */
695         current_workers--;
696         opr_cv_broadcast(&worker_cv);
697     }
698
699     return NULL;
700 }
701
702 static int
703 Reap_Child(char *prog, int * pid, int * status)
704 {
705     int ret;
706     ret = wait(status);
707
708     if (ret >= 0) {
709         *pid = ret;
710         if (WCOREDUMP(*status))
711             Log("\"%s\" core dumped!\n", prog);
712         if ((WIFSIGNALED(*status) != 0) ||
713             ((WEXITSTATUS(*status) != 0) &&
714              (WEXITSTATUS(*status) != SALSRV_EXIT_VOLGROUP_LINK)))
715             Log("\"%s\" (pid=%d) terminated abnormally!\n", prog, ret);
716     } else {
717         Log("wait returned -1\n");
718     }
719     return ret;
720 }
721
722 /*
723  * thread to combine salvager child logs
724  * back into the main salvageserver log
725  */
726 static void *
727 SalvageLogCleanupThread(void * arg)
728 {
729     struct log_cleanup_node * cleanup;
730
731     opr_mutex_enter(&worker_lock);
732
733     while (1) {
734         while (queue_IsEmpty(&log_cleanup_queue)) {
735             opr_cv_wait(&log_cleanup_queue.queue_change_cv, &worker_lock);
736         }
737
738         while (queue_IsNotEmpty(&log_cleanup_queue)) {
739             cleanup = queue_First(&log_cleanup_queue, log_cleanup_node);
740             queue_Remove(cleanup);
741             opr_mutex_exit(&worker_lock);
742             SalvageLogCleanup(cleanup->pid);
743             free(cleanup);
744             opr_mutex_enter(&worker_lock);
745         }
746     }
747
748     opr_mutex_exit(&worker_lock);
749     return NULL;
750 }
751
752 #define LOG_XFER_BUF_SIZE 65536
753 static int
754 SalvageLogCleanup(int pid)
755 {
756     int pidlog, len;
757     char fn[AFSDIR_PATH_MAX];
758     static char buf[LOG_XFER_BUF_SIZE];
759
760     snprintf(fn, sizeof(fn), "%s.%d",
761              AFSDIR_SERVER_SLVGLOG_FILEPATH, pid);
762
763
764     pidlog = open(fn, O_RDONLY);
765     unlink(fn);
766     if (pidlog < 0)
767         return 1;
768
769     len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
770     while (len) {
771         fwrite(buf, len, 1, logFile);
772         len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
773     }
774
775     close(pidlog);
776
777     return 0;
778 }
779
780 /* wake up every five minutes to see if a non-child salvage has finished */
781 #define SALVAGE_SCAN_POLL_INTERVAL 300
782
783 /**
784  * Thread to look for SalvageLog.$pid files that are not from our child
785  * worker salvagers, and notify SalvageLogCleanupThread to clean them
786  * up. This can happen if we restart during salvages, or the
787  * salvageserver crashes or something.
788  *
789  * @param arg  unused
790  *
791  * @return always NULL
792  */
793 static void *
794 SalvageLogScanningThread(void * arg)
795 {
796     struct rx_queue log_watch_queue;
797
798     queue_Init(&log_watch_queue);
799
800     {
801         DIR *dp;
802         struct dirent *dirp;
803         char prefix[AFSDIR_PATH_MAX];
804         size_t prefix_len;
805
806         snprintf(prefix, sizeof(prefix), "%s.", AFSDIR_SLVGLOG_FILE);
807         prefix_len = strlen(prefix);
808
809         dp = opendir(AFSDIR_LOGS_DIR);
810         opr_Assert(dp);
811
812         while ((dirp = readdir(dp)) != NULL) {
813             pid_t pid;
814             struct log_cleanup_node *cleanup;
815             int i;
816
817             if (strncmp(dirp->d_name, prefix, prefix_len) != 0) {
818                 /* not a salvage logfile; skip */
819                 continue;
820             }
821
822             errno = 0;
823             pid = strtol(dirp->d_name + prefix_len, NULL, 10);
824
825             if (errno != 0) {
826                 /* file is SalvageLog.<something> but <something> isn't
827                  * a pid, so skip */
828                  continue;
829             }
830
831             VOL_LOCK;
832             for (i = 0; i < Parallel; ++i) {
833                 if (pid == child_slot[i]) {
834                     break;
835                 }
836             }
837             VOL_UNLOCK;
838             if (i < Parallel) {
839                 /* this pid is one of our children, so the reaper thread
840                  * will take care of it; skip */
841                 continue;
842             }
843
844             cleanup = malloc(sizeof(struct log_cleanup_node));
845             cleanup->pid = pid;
846
847             queue_Append(&log_watch_queue, cleanup);
848         }
849
850         closedir(dp);
851     }
852
853     ScanLogs(&log_watch_queue);
854
855     while (queue_IsNotEmpty(&log_watch_queue)) {
856         sleep(SALVAGE_SCAN_POLL_INTERVAL);
857         ScanLogs(&log_watch_queue);
858     }
859
860     return NULL;
861 }
862
863 /**
864  * look through log_watch_queue, and if any processes are not still
865  * running, hand them off to the SalvageLogCleanupThread
866  *
867  * @param log_watch_queue  a queue of PIDs that we should clean up if
868  * that PID has died
869  */
870 static void
871 ScanLogs(struct rx_queue *log_watch_queue)
872 {
873     struct log_cleanup_node *cleanup, *next;
874
875     opr_mutex_enter(&worker_lock);
876
877     for (queue_Scan(log_watch_queue, cleanup, next, log_cleanup_node)) {
878         /* if a process is still running, assume it's the salvage process
879          * still going, and keep waiting for it */
880         if (kill(cleanup->pid, 0) < 0 && errno == ESRCH) {
881             queue_Remove(cleanup);
882             queue_Append(&log_cleanup_queue, cleanup);
883             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
884         }
885     }
886
887     opr_mutex_exit(&worker_lock);
888 }