src/vol/salvaged.c

   1 /*
   2  * Copyright 2006-2007, Sine Nomine Associates and others.
   3  * All Rights Reserved.
   4  *
   5  * This software has been released under the terms of the IBM Public
   6  * License.  For details, see the LICENSE file in the top-level source
   7  * directory or online at http://www.openafs.org/dl/license10.html
   8  */
   9
  10 /*
  11  * demand attach fs
  12  * online salvager daemon
  13  */
  14
  15 /* Main program file. Define globals. */
  16 #define MAIN 1
  17
  18 #include <afsconfig.h>
  19 #include <afs/param.h>
  20
  21 #include <roken.h>
  22
  23 #ifdef HAVE_SYS_FILE_H
  24 #include <sys/file.h>
  25 #endif
  26
  27 #ifdef AFS_NT40_ENV
  28 #include <WINNT/afsevent.h>
  29 #endif
  30
  31 #ifndef WCOREDUMP
  32 #define WCOREDUMP(x)    ((x) & 0200)
  33 #endif
  34
  35 #include <afs/opr.h>
  36 #include <opr/lock.h>
  37 #include <afs/afsint.h>
  38 #include <rx/rx_queue.h>
  39
  40 #if !defined(AFS_SGI_ENV) && !defined(AFS_NT40_ENV)
  41 #if defined(AFS_VFSINCL_ENV)
  42 #include <sys/vnode.h>
  43 #ifdef  AFS_SUN5_ENV
  44 #include <sys/fs/ufs_inode.h>
  45 #else
  46 #if defined(AFS_DARWIN_ENV) || defined(AFS_XBSD_ENV)
  47 #include <ufs/ufs/dinode.h>
  48 #include <ufs/ffs/fs.h>
  49 #else
  50 #include <ufs/inode.h>
  51 #endif
  52 #endif
  53 #else /* AFS_VFSINCL_ENV */
  54 #ifdef  AFS_OSF_ENV
  55 #include <ufs/inode.h>
  56 #else /* AFS_OSF_ENV */
  57 #if !defined(AFS_LINUX20_ENV) && !defined(AFS_XBSD_ENV) && !defined(AFS_DARWIN_ENV)
  58 #include <sys/inode.h>
  59 #endif
  60 #endif
  61 #endif /* AFS_VFSINCL_ENV */
  62 #endif /* AFS_SGI_ENV */
  63 #ifdef  AFS_AIX_ENV
  64 #include <sys/vfs.h>
  65 #include <sys/lockf.h>
  66 #else
  67 #ifdef  AFS_HPUX_ENV
  68 #include <checklist.h>
  69 #else
  70 #if defined(AFS_SGI_ENV)
  71 #include <mntent.h>
  72 #else
  73 #if     defined(AFS_SUN_ENV) || defined(AFS_SUN5_ENV)
  74 #ifdef    AFS_SUN5_ENV
  75 #include <sys/mnttab.h>
  76 #include <sys/mntent.h>
  77 #else
  78 #include <mntent.h>
  79 #endif
  80 #else
  81 #endif /* AFS_SGI_ENV */
  82 #endif /* AFS_HPUX_ENV */
  83 #endif
  84 #endif
  85 #ifndef AFS_NT40_ENV
  86 #include <afs/osi_inode.h>
  87 #endif
  88 #include <afs/cmd.h>
  89 #include <afs/afsutil.h>
  90 #include <afs/fileutil.h>
  91 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
  92 #include <afs/dir.h>
  93
  94 #include "nfs.h"
  95 #include "lwp.h"
  96 #include "lock.h"
  97 #include <afs/afssyscalls.h>
  98 #include "ihandle.h"
  99 #include "vnode.h"
 100 #include "volume.h"
 101 #include "partition.h"
 102 #include "daemon_com.h"
 103 #include "fssync.h"
 104 #include "salvsync.h"
 105 #include "viceinode.h"
 106 #include "salvage.h"
 107 #include "vol-salvage.h"
 108 #include "common.h"
 109 #ifdef AFS_NT40_ENV
 110 #include <pthread.h>
 111 #endif
 112
 113
 114 #if !defined(AFS_DEMAND_ATTACH_FS)
 115 #error "online salvager only supported for demand attach fileserver"
 116 #endif /* AFS_DEMAND_ATTACH_FS */
 117
 118 #if defined(AFS_NT40_ENV)
 119 #error "online salvager not supported on NT"
 120 #endif /* AFS_NT40_ENV */
 121
 122 /*@+fcnmacros +macrofcndecl@*/
 123 #ifdef O_LARGEFILE
 124 #define afs_fopen       fopen64
 125 #else /* !O_LARGEFILE */
 126 #define afs_fopen       fopen
 127 #endif /* !O_LARGEFILE */
 128 /*@=fcnmacros =macrofcndecl@*/
 129
 130
 131
 132 static volatile int current_workers = 0;
 133 static volatile struct rx_queue pending_q;
 134 static pthread_mutex_t worker_lock;
 135 static pthread_cond_t worker_cv;
 136
 137 static void * SalvageChildReaperThread(void *);
 138 static int DoSalvageVolume(struct SalvageQueueNode * node, int slot);
 139
 140 static void SalvageServer(int argc, char **argv);
 141 static void SalvageClient(VolumeId vid, char * pname);
 142
 143 static int Reap_Child(char * prog, int * pid, int * status);
 144
 145 static void * SalvageLogCleanupThread(void *);
 146 static int SalvageLogCleanup(int pid);
 147
 148 static void * SalvageLogScanningThread(void *);
 149 static void ScanLogs(struct rx_queue *log_watch_queue);
 150
 151 struct cmdline_rock {
 152     int argc;
 153     char **argv;
 154 };
 155
 156 struct log_cleanup_node {
 157     struct rx_queue q;
 158     int pid;
 159 };
 160
 161 struct {
 162     struct rx_queue queue_head;
 163     pthread_cond_t queue_change_cv;
 164 } log_cleanup_queue;
 165
 166
 167 #define DEFAULT_PARALLELISM 4 /* allow 4 parallel salvage workers by default */
 168
 169 enum optionsList {
 170     OPT_partition,
 171     OPT_volumeid,
 172     OPT_debug,
 173     OPT_nowrite,
 174     OPT_inodes,
 175     OPT_oktozap,
 176     OPT_rootinodes,
 177     OPT_salvagedirs,
 178     OPT_blockreads,
 179     OPT_parallel,
 180     OPT_tmpdir,
 181     OPT_showlog,
 182     OPT_orphans,
 183     OPT_syslog,
 184     OPT_syslogfacility,
 185     OPT_datelogs,
 186     OPT_client
 187 };
 188
 189 static int
 190 handleit(struct cmd_syndesc *opts, void *arock)
 191 {
 192     char pname[100], *temp;
 193     afs_int32 seenpart = 0, seenvol = 0;
 194     VolumeId vid = 0;
 195     struct cmdline_rock *rock = (struct cmdline_rock *)arock;
 196     char *optstring = NULL;
 197
 198 #ifdef AFS_SGI_VNODE_GLUE
 199     if (afs_init_kernel_config(-1) < 0) {
 200         printf
 201             ("Can't determine NUMA configuration, not starting salvager.\n");
 202         exit(1);
 203     }
 204 #endif
 205
 206     cmd_OptionAsFlag(opts, OPT_debug, &debug);
 207     cmd_OptionAsFlag(opts, OPT_nowrite, &Testing);
 208     cmd_OptionAsFlag(opts, OPT_inodes, &ListInodeOption);
 209     cmd_OptionAsFlag(opts, OPT_oktozap, &OKToZap);
 210     cmd_OptionAsFlag(opts, OPT_rootinodes, &ShowRootFiles);
 211     cmd_OptionAsFlag(opts, OPT_blockreads, &forceR);
 212     if (cmd_OptionAsString(opts, OPT_parallel, &optstring) == 0) {
 213         if (strncmp(optstring, "all", 3) == 0) {
 214             PartsPerDisk = 1;
 215             temp += 3;
 216         }
 217         if (strlen(optstring) != 0) {
 218             Parallel = atoi(optstring);
 219             if (Parallel < 1)
 220                 Parallel = 1;
 221             if (Parallel > MAXPARALLEL) {
 222                 printf("Setting parallel salvages to maximum of %d \n",
 223                        MAXPARALLEL);
 224                 Parallel = MAXPARALLEL;
 225             }
 226         }
 227         free(optstring);
 228         optstring = NULL;
 229     } else {
 230         Parallel = min(DEFAULT_PARALLELISM, MAXPARALLEL);
 231     }
 232     if (cmd_OptionAsString(opts, OPT_tmpdir, &optstring) == 0) {
 233         DIR *dirp;
 234         dirp = opendir(optstring);
 235         if (!dirp) {
 236             printf
 237                 ("Can't open temporary placeholder dir %s; using current partition \n",
 238                  optstring);
 239             tmpdir = NULL;
 240         } else
 241             closedir(dirp);
 242         free(optstring);
 243         optstring = NULL;
 244     }
 245     cmd_OptionAsFlag(opts, OPT_showlog, &ShowLog);
 246     if (cmd_OptionAsString(opts, OPT_orphans, &optstring) == 0) {
 247         if (Testing)
 248             orphans = ORPH_IGNORE;
 249         else if (strcmp(optstring, "remove") == 0
 250                  || strcmp(optstring, "r") == 0)
 251             orphans = ORPH_REMOVE;
 252         else if (strcmp(optstring, "attach") == 0
 253                  || strcmp(optstring, "a") == 0)
 254             orphans = ORPH_ATTACH;
 255         free(optstring);
 256         optstring = NULL;
 257     }
 258 #ifndef AFS_NT40_ENV            /* ignore options on NT */
 259     if (cmd_OptionPresent(opts, OPT_syslog)) {
 260         useSyslog = 1;
 261         ShowLog = 0;
 262     }
 263     cmd_OptionAsInt(opts, OPT_syslogfacility, &useSyslogFacility);
 264
 265     if (cmd_OptionPresent(opts, OPT_datelogs)) {
 266         TimeStampLogFile((char *)AFSDIR_SERVER_SALSRVLOG_FILEPATH);
 267     }
 268 #endif
 269
 270     if (cmd_OptionPresent(opts, OPT_client)) {
 271         if (cmd_OptionAsString(opts, OPT_partition, &optstring) == 0) {
 272             seenpart = 1;
 273             strlcpy(pname, optstring, sizeof(pname));
 274             free(optstring);
 275             optstring = NULL;
 276         }
 277         if (cmd_OptionAsString(opts, OPT_volumeid, &optstring) == 0) {
 278             char *end;
 279             unsigned long vid_l;
 280             seenvol = 1;
 281             vid_l = strtoul(optstring, &end, 10);
 282             if (vid_l >= MAX_AFS_UINT32 || vid_l == ULONG_MAX || *end != '\0') {
 283                 printf("Invalid volume id specified; salvage aborted\n");
 284                 exit(-1);
 285             }
 286             vid = (VolumeId)vid_l;
 287         }
 288
 289         if (ShowLog) {
 290             printf("-showlog does not work with -client\n");
 291             exit(-1);
 292         }
 293
 294         if (!seenpart || !seenvol) {
 295             printf("You must specify '-partition' and '-volumeid' with the '-client' option\n");
 296             exit(-1);
 297         }
 298
 299         SalvageClient(vid, pname);
 300
 301     } else {  /* salvageserver mode */
 302         SalvageServer(rock->argc, rock->argv);
 303     }
 304     return (0);
 305 }
 306
 307
 308 #ifndef AFS_NT40_ENV
 309 #include "AFS_component_version_number.c"
 310 #endif
 311 #define MAX_ARGS 128
 312 #ifdef AFS_NT40_ENV
 313 char *save_args[MAX_ARGS];
 314 int n_save_args = 0;
 315 pthread_t main_thread;
 316 #endif
 317
 318 int
 319 main(int argc, char **argv)
 320 {
 321     struct cmd_syndesc *ts;
 322     int err = 0;
 323     struct cmdline_rock arock;
 324
 325 #ifdef  AFS_AIX32_ENV
 326     /*
 327      * The following signal action for AIX is necessary so that in case of a
 328      * crash (i.e. core is generated) we can include the user's data section
 329      * in the core dump. Unfortunately, by default, only a partial core is
 330      * generated which, in many cases, isn't too useful.
 331      */
 332     struct sigaction nsa;
 333
 334     sigemptyset(&nsa.sa_mask);
 335     nsa.sa_handler = SIG_DFL;
 336     nsa.sa_flags = SA_FULLDUMP;
 337     sigaction(SIGABRT, &nsa, NULL);
 338     sigaction(SIGSEGV, &nsa, NULL);
 339 #endif
 340
 341     /* Initialize directory paths */
 342     if (!(initAFSDirPath() & AFSDIR_SERVER_PATHS_OK)) {
 343 #ifdef AFS_NT40_ENV
 344         ReportErrorEventAlt(AFSEVT_SVR_NO_INSTALL_DIR, 0, argv[0], 0);
 345 #endif
 346         fprintf(stderr, "%s: Unable to obtain AFS server directory.\n",
 347                 argv[0]);
 348         exit(2);
 349     }
 350 #ifdef AFS_NT40_ENV
 351     /* Default to binary mode for fopen() */
 352     _set_fmode(_O_BINARY);
 353
 354     main_thread = pthread_self();
 355     if (spawnDatap && spawnDataLen) {
 356         /* This is a child per partition salvager. Don't setup log or
 357          * try to lock the salvager lock.
 358          */
 359         if (nt_SetupPartitionSalvage(spawnDatap, spawnDataLen) < 0)
 360             exit(3);
 361     } else {
 362 #endif
 363
 364 #ifndef AFS_NT40_ENV
 365         if (geteuid() != 0) {
 366             printf("Salvager must be run as root.\n");
 367             fflush(stdout);
 368             Exit(0);
 369         }
 370 #endif
 371
 372         /* bad for normal help flag processing, but can do nada */
 373
 374 #ifdef AFS_NT40_ENV
 375     }
 376 #endif
 377
 378     arock.argc = argc;
 379     arock.argv = argv;
 380
 381     ts = cmd_CreateSyntax("initcmd", handleit, &arock, "initialize the program");
 382     cmd_AddParmAtOffset(ts, OPT_partition, "-partition", CMD_SINGLE,
 383             CMD_OPTIONAL, "Name of partition to salvage");
 384     cmd_AddParmAtOffset(ts, OPT_volumeid, "-volumeid", CMD_SINGLE, CMD_OPTIONAL,
 385             "Volume Id to salvage");
 386     cmd_AddParmAtOffset(ts, OPT_debug, "-debug", CMD_FLAG, CMD_OPTIONAL,
 387             "Run in Debugging mode");
 388     cmd_AddParmAtOffset(ts, OPT_nowrite, "-nowrite", CMD_FLAG, CMD_OPTIONAL,
 389             "Run readonly/test mode");
 390     cmd_AddParmAtOffset(ts, OPT_inodes, "-inodes", CMD_FLAG, CMD_OPTIONAL,
 391             "Just list affected afs inodes - debugging flag");
 392     cmd_AddParmAtOffset(ts, OPT_oktozap, "-oktozap", CMD_FLAG, CMD_OPTIONAL,
 393             "Give permission to destroy bogus inodes/volumes - debugging flag");
 394     cmd_AddParmAtOffset(ts, OPT_rootinodes, "-rootinodes", CMD_FLAG,
 395             CMD_OPTIONAL, "Show inodes owned by root - debugging flag");
 396     cmd_AddParmAtOffset(ts, OPT_salvagedirs, "-salvagedirs", CMD_FLAG,
 397             CMD_OPTIONAL, "Force rebuild/salvage of all directories");
 398     cmd_AddParmAtOffset(ts, OPT_blockreads, "-blockreads", CMD_FLAG,
 399             CMD_OPTIONAL, "Read smaller blocks to handle IO/bad blocks");
 400     cmd_AddParmAtOffset(ts, OPT_parallel, "-parallel", CMD_SINGLE, CMD_OPTIONAL,
 401             "# of max parallel partition salvaging");
 402     cmd_AddParmAtOffset(ts, OPT_tmpdir, "-tmpdir", CMD_SINGLE, CMD_OPTIONAL,
 403             "Name of dir to place tmp files ");
 404     cmd_AddParmAtOffset(ts, OPT_showlog, "-showlog", CMD_FLAG, CMD_OPTIONAL,
 405             "Show log file upon completion");
 406     cmd_AddParmAtOffset(ts, OPT_orphans, "-orphans", CMD_SINGLE, CMD_OPTIONAL,
 407             "ignore | remove | attach");
 408
 409 #if !defined(AFS_NT40_ENV)
 410     cmd_AddParmAtOffset(ts, OPT_syslog, "-syslog", CMD_FLAG, CMD_OPTIONAL,
 411             "Write salvage log to syslogs");
 412     cmd_AddParmAtOffset(ts, OPT_syslogfacility, "-syslogfacility", CMD_SINGLE,
 413             CMD_OPTIONAL, "Syslog facility number to use");
 414     cmd_AddParmAtOffset(ts, OPT_datelogs, "-datelogs", CMD_FLAG, CMD_OPTIONAL,
 415                 "Include timestamp in logfile filename");
 416 #endif
 417
 418     cmd_AddParmAtOffset(ts, OPT_client, "-client", CMD_FLAG, CMD_OPTIONAL,
 419                 "Use SALVSYNC to ask salvageserver to salvage a volume");
 420
 421     err = cmd_Dispatch(argc, argv);
 422     Exit(err);
 423     return 0; /* not reached */
 424 }
 425
 426 static void
 427 SalvageClient(VolumeId vid, char * pname)
 428 {
 429     int done = 0;
 430     afs_int32 code;
 431     SYNC_response res;
 432     SALVSYNC_response_hdr sres;
 433     VolumePackageOptions opts;
 434
 435     VOptDefaults(volumeUtility, &opts);
 436     if (VInitVolumePackage2(volumeUtility, &opts)) {
 437         /* VInitVolumePackage2 can fail on e.g. partition attachment errors,
 438          * but we don't really care, since all we're doing is trying to use
 439          * SALVSYNC */
 440         fprintf(stderr, "errors encountered initializing volume package, but "
 441                         "trying to continue anyway\n");
 442     }
 443     SALVSYNC_clientInit();
 444
 445     code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_SALVAGE, SALVSYNC_OPERATOR, 0, NULL);
 446     if (code != SYNC_OK) {
 447         goto sync_error;
 448     }
 449
 450     res.payload.buf = (void *) &sres;
 451     res.payload.len = sizeof(sres);
 452
 453     while(!done) {
 454         sleep(2);
 455         code = SALVSYNC_SalvageVolume(vid, pname, SALVSYNC_QUERY, SALVSYNC_WHATEVER, 0, &res);
 456         if (code != SYNC_OK) {
 457             goto sync_error;
 458         }
 459         switch (sres.state) {
 460         case SALVSYNC_STATE_ERROR:
 461             printf("salvageserver reports salvage ended in an error; check log files for more details\n");
 462         case SALVSYNC_STATE_DONE:
 463         case SALVSYNC_STATE_UNKNOWN:
 464             done = 1;
 465         }
 466     }
 467     SALVSYNC_clientFinis();
 468     return;
 469
 470  sync_error:
 471     if (code == SYNC_DENIED) {
 472         printf("salvageserver refused to salvage volume %u on partition %s\n",
 473                vid, pname);
 474     } else if (code == SYNC_BAD_COMMAND) {
 475         printf("SALVSYNC protocol mismatch; please make sure fileserver, volserver, salvageserver and salvager are same version\n");
 476     } else if (code == SYNC_COM_ERROR) {
 477         printf("SALVSYNC communications error\n");
 478     }
 479     SALVSYNC_clientFinis();
 480     exit(-1);
 481 }
 482
 483 static int * child_slot;
 484
 485 static void
 486 SalvageServer(int argc, char **argv)
 487 {
 488     int pid, ret;
 489     struct SalvageQueueNode * node;
 490     pthread_t tid;
 491     pthread_attr_t attrs;
 492     int slot;
 493     VolumePackageOptions opts;
 494
 495     /* All entries to the log will be appended.  Useful if there are
 496      * multiple salvagers appending to the log.
 497      */
 498
 499     CheckLogFile((char *)AFSDIR_SERVER_SALSRVLOG_FILEPATH);
 500 #ifndef AFS_NT40_ENV
 501 #ifdef AFS_LINUX20_ENV
 502     fcntl(fileno(logFile), F_SETFL, O_APPEND);  /* Isn't this redundant? */
 503 #else
 504     fcntl(fileno(logFile), F_SETFL, FAPPEND);   /* Isn't this redundant? */
 505 #endif
 506 #endif
 507     setlinebuf(logFile);
 508
 509     fprintf(logFile, "%s\n", cml_version_number);
 510     LogCommandLine(argc, argv, "Online Salvage Server",
 511                    SalvageVersion, "Starting OpenAFS", Log);
 512     /* Get and hold a lock for the duration of the salvage to make sure
 513      * that no other salvage runs at the same time.  The routine
 514      * VInitVolumePackage2 (called below) makes sure that a file server or
 515      * other volume utilities don't interfere with the salvage.
 516      */
 517
 518     /* even demand attach online salvager
 519      * still needs this because we don't want
 520      * a stand-alone salvager to conflict with
 521      * the salvager daemon */
 522     ObtainSharedSalvageLock();
 523
 524     child_slot = calloc(Parallel, sizeof(int));
 525     opr_Assert(child_slot != NULL);
 526
 527     /* initialize things */
 528     VOptDefaults(salvageServer, &opts);
 529     if (VInitVolumePackage2(salvageServer, &opts)) {
 530         Log("Shutting down: errors encountered initializing volume package\n");
 531         Exit(1);
 532     }
 533     DInit(10);
 534     queue_Init(&pending_q);
 535     queue_Init(&log_cleanup_queue);
 536     opr_mutex_init(&worker_lock);
 537     opr_cv_init(&worker_cv);
 538     opr_cv_init(&log_cleanup_queue.queue_change_cv);
 539     opr_Verify(pthread_attr_init(&attrs) == 0);
 540
 541     /* start up the reaper and log cleaner threads */
 542     opr_Verify(pthread_attr_setdetachstate(&attrs,
 543                                            PTHREAD_CREATE_DETACHED) == 0);
 544     opr_Verify(pthread_create(&tid, &attrs,
 545                               &SalvageChildReaperThread, NULL) == 0);
 546     opr_Verify(pthread_create(&tid, &attrs,
 547                               &SalvageLogCleanupThread, NULL) == 0);
 548     opr_Verify(pthread_create(&tid, &attrs,
 549                               &SalvageLogScanningThread, NULL) == 0);
 550
 551     /* loop forever serving requests */
 552     while (1) {
 553         node = SALVSYNC_getWork();
 554         opr_Assert(node != NULL);
 555
 556         Log("dispatching child to salvage volume %u...\n",
 557             node->command.sop.parent);
 558
 559         VOL_LOCK;
 560         /* find a slot */
 561         for (slot = 0; slot < Parallel; slot++) {
 562           if (!child_slot[slot])
 563             break;
 564         }
 565         opr_Assert (slot < Parallel);
 566
 567     do_fork:
 568         pid = Fork();
 569         if (pid == 0) {
 570             VOL_UNLOCK;
 571             ret = DoSalvageVolume(node, slot);
 572             Exit(ret);
 573         } else if (pid < 0) {
 574             Log("failed to fork child worker process\n");
 575             sleep(1);
 576             goto do_fork;
 577         } else {
 578             child_slot[slot] = pid;
 579             node->pid = pid;
 580             VOL_UNLOCK;
 581
 582             opr_mutex_enter(&worker_lock);
 583             current_workers++;
 584
 585             /* let the reaper thread know another worker was spawned */
 586             opr_cv_broadcast(&worker_cv);
 587
 588             /* if we're overquota, wait for the reaper */
 589             while (current_workers >= Parallel) {
 590                 opr_cv_wait(&worker_cv, &worker_lock);
 591             }
 592             opr_mutex_exit(&worker_lock);
 593         }
 594     }
 595 }
 596
 597 static int
 598 DoSalvageVolume(struct SalvageQueueNode * node, int slot)
 599 {
 600     char childLog[AFSDIR_PATH_MAX];
 601     struct DiskPartition64 * partP;
 602
 603     /* do not allow further forking inside salvager */
 604     canfork = 0;
 605
 606     /* do not attempt to close parent's logFile handle as
 607      * another thread may have held the lock on the FILE
 608      * structure when fork was called! */
 609
 610     snprintf(childLog, sizeof(childLog), "%s.%d",
 611              AFSDIR_SERVER_SLVGLOG_FILEPATH, getpid());
 612
 613     logFile = afs_fopen(childLog, "a");
 614     if (!logFile) {             /* still nothing, use stdout */
 615         logFile = stdout;
 616         ShowLog = 0;
 617     }
 618
 619     if (node->command.sop.parent <= 0) {
 620         Log("salvageServer: invalid volume id specified; salvage aborted\n");
 621         return 1;
 622     }
 623
 624     partP = VGetPartition(node->command.sop.partName, 0);
 625     if (!partP) {
 626         Log("salvageServer: Unknown or unmounted partition %s; salvage aborted\n",
 627             node->command.sop.partName);
 628         return 1;
 629     }
 630
 631     /* obtain a shared salvage lock in the child worker, so if the
 632      * salvageserver restarts (and we continue), we will still hold a lock and
 633      * prevent standalone salvagers from interfering */
 634     ObtainSharedSalvageLock();
 635
 636     /* Salvage individual volume; don't notify fs */
 637     SalvageFileSys1(partP, node->command.sop.parent);
 638
 639     fclose(logFile);
 640     return 0;
 641 }
 642
 643
 644 static void *
 645 SalvageChildReaperThread(void * args)
 646 {
 647     int slot, pid, status;
 648     struct log_cleanup_node * cleanup;
 649
 650     opr_mutex_enter(&worker_lock);
 651
 652     /* loop reaping our children */
 653     while (1) {
 654         /* wait() won't block unless we have children, so
 655          * block on the cond var if we're childless */
 656         while (current_workers == 0) {
 657             opr_cv_wait(&worker_cv, &worker_lock);
 658         }
 659
 660         opr_mutex_exit(&worker_lock);
 661
 662         cleanup = malloc(sizeof(struct log_cleanup_node));
 663
 664         while (Reap_Child("salvageserver", &pid, &status) < 0) {
 665             /* try to prevent livelock if something goes wrong */
 666             sleep(1);
 667         }
 668
 669         VOL_LOCK;
 670         for (slot = 0; slot < Parallel; slot++) {
 671             if (child_slot[slot] == pid)
 672                 break;
 673         }
 674         opr_Assert(slot < Parallel);
 675         child_slot[slot] = 0;
 676         VOL_UNLOCK;
 677
 678         SALVSYNC_doneWorkByPid(pid, status);
 679
 680         opr_mutex_enter(&worker_lock);
 681
 682         if (cleanup) {
 683             cleanup->pid = pid;
 684             queue_Append(&log_cleanup_queue, cleanup);
 685             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
 686         }
 687
 688         /* ok, we've reaped a child */
 689         current_workers--;
 690         opr_cv_broadcast(&worker_cv);
 691     }
 692
 693     return NULL;
 694 }
 695
 696 static int
 697 Reap_Child(char *prog, int * pid, int * status)
 698 {
 699     int ret;
 700     ret = wait(status);
 701
 702     if (ret >= 0) {
 703         *pid = ret;
 704         if (WCOREDUMP(*status))
 705             Log("\"%s\" core dumped!\n", prog);
 706         if ((WIFSIGNALED(*status) != 0) ||
 707             ((WEXITSTATUS(*status) != 0) &&
 708              (WEXITSTATUS(*status) != SALSRV_EXIT_VOLGROUP_LINK)))
 709             Log("\"%s\" (pid=%d) terminated abnormally!\n", prog, ret);
 710     } else {
 711         Log("wait returned -1\n");
 712     }
 713     return ret;
 714 }
 715
 716 /*
 717  * thread to combine salvager child logs
 718  * back into the main salvageserver log
 719  */
 720 static void *
 721 SalvageLogCleanupThread(void * arg)
 722 {
 723     struct log_cleanup_node * cleanup;
 724
 725     opr_mutex_enter(&worker_lock);
 726
 727     while (1) {
 728         while (queue_IsEmpty(&log_cleanup_queue)) {
 729             opr_cv_wait(&log_cleanup_queue.queue_change_cv, &worker_lock);
 730         }
 731
 732         while (queue_IsNotEmpty(&log_cleanup_queue)) {
 733             cleanup = queue_First(&log_cleanup_queue, log_cleanup_node);
 734             queue_Remove(cleanup);
 735             opr_mutex_exit(&worker_lock);
 736             SalvageLogCleanup(cleanup->pid);
 737             free(cleanup);
 738             opr_mutex_enter(&worker_lock);
 739         }
 740     }
 741
 742     opr_mutex_exit(&worker_lock);
 743     return NULL;
 744 }
 745
 746 #define LOG_XFER_BUF_SIZE 65536
 747 static int
 748 SalvageLogCleanup(int pid)
 749 {
 750     int pidlog, len;
 751     char fn[AFSDIR_PATH_MAX];
 752     static char buf[LOG_XFER_BUF_SIZE];
 753
 754     snprintf(fn, sizeof(fn), "%s.%d",
 755              AFSDIR_SERVER_SLVGLOG_FILEPATH, pid);
 756
 757
 758     pidlog = open(fn, O_RDONLY);
 759     unlink(fn);
 760     if (pidlog < 0)
 761         return 1;
 762
 763     len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
 764     while (len) {
 765         fwrite(buf, len, 1, logFile);
 766         len = read(pidlog, buf, LOG_XFER_BUF_SIZE);
 767     }
 768
 769     close(pidlog);
 770
 771     return 0;
 772 }
 773
 774 /* wake up every five minutes to see if a non-child salvage has finished */
 775 #define SALVAGE_SCAN_POLL_INTERVAL 300
 776
 777 /**
 778  * Thread to look for SalvageLog.$pid files that are not from our child
 779  * worker salvagers, and notify SalvageLogCleanupThread to clean them
 780  * up. This can happen if we restart during salvages, or the
 781  * salvageserver crashes or something.
 782  *
 783  * @param arg  unused
 784  *
 785  * @return always NULL
 786  */
 787 static void *
 788 SalvageLogScanningThread(void * arg)
 789 {
 790     struct rx_queue log_watch_queue;
 791
 792     queue_Init(&log_watch_queue);
 793
 794     {
 795         DIR *dp;
 796         struct dirent *dirp;
 797         char prefix[AFSDIR_PATH_MAX];
 798         size_t prefix_len;
 799
 800         snprintf(prefix, sizeof(prefix), "%s.", AFSDIR_SLVGLOG_FILE);
 801         prefix_len = strlen(prefix);
 802
 803         dp = opendir(AFSDIR_LOGS_DIR);
 804         opr_Assert(dp);
 805
 806         while ((dirp = readdir(dp)) != NULL) {
 807             pid_t pid;
 808             struct log_cleanup_node *cleanup;
 809             int i;
 810
 811             if (strncmp(dirp->d_name, prefix, prefix_len) != 0) {
 812                 /* not a salvage logfile; skip */
 813                 continue;
 814             }
 815
 816             errno = 0;
 817             pid = strtol(dirp->d_name + prefix_len, NULL, 10);
 818
 819             if (errno != 0) {
 820                 /* file is SalvageLog.<something> but <something> isn't
 821                  * a pid, so skip */
 822                  continue;
 823             }
 824
 825             VOL_LOCK;
 826             for (i = 0; i < Parallel; ++i) {
 827                 if (pid == child_slot[i]) {
 828                     break;
 829                 }
 830             }
 831             VOL_UNLOCK;
 832             if (i < Parallel) {
 833                 /* this pid is one of our children, so the reaper thread
 834                  * will take care of it; skip */
 835                 continue;
 836             }
 837
 838             cleanup = malloc(sizeof(struct log_cleanup_node));
 839             cleanup->pid = pid;
 840
 841             queue_Append(&log_watch_queue, cleanup);
 842         }
 843
 844         closedir(dp);
 845     }
 846
 847     ScanLogs(&log_watch_queue);
 848
 849     while (queue_IsNotEmpty(&log_watch_queue)) {
 850         sleep(SALVAGE_SCAN_POLL_INTERVAL);
 851         ScanLogs(&log_watch_queue);
 852     }
 853
 854     return NULL;
 855 }
 856
 857 /**
 858  * look through log_watch_queue, and if any processes are not still
 859  * running, hand them off to the SalvageLogCleanupThread
 860  *
 861  * @param log_watch_queue  a queue of PIDs that we should clean up if
 862  * that PID has died
 863  */
 864 static void
 865 ScanLogs(struct rx_queue *log_watch_queue)
 866 {
 867     struct log_cleanup_node *cleanup, *next;
 868
 869     opr_mutex_enter(&worker_lock);
 870
 871     for (queue_Scan(log_watch_queue, cleanup, next, log_cleanup_node)) {
 872         /* if a process is still running, assume it's the salvage process
 873          * still going, and keep waiting for it */
 874         if (kill(cleanup->pid, 0) < 0 && errno == ESRCH) {
 875             queue_Remove(cleanup);
 876             queue_Append(&log_cleanup_queue, cleanup);
 877             opr_cv_signal(&log_cleanup_queue.queue_change_cv);
 878         }
 879     }
 880
 881     opr_mutex_exit(&worker_lock);
 882 }