viced: convert the fileserver to opr softsig
[openafs.git] / src / viced / viced.c
index da464fe..989ad8e 100644 (file)
 
 #undef SHARED
 
-#include <rx/xdr.h>
+#include <afs/opr.h>
 #include <afs/nfs.h>
+#include <rx/rx_queue.h>
 #include <lwp.h>
-#include <lock.h>
+#include <opr/lock.h>
+#include <opr/proc.h>
+#include <opr/softsig.h>
+#include <afs/procmgmt_softsig.h> /* must come after softsig.h */
 #include <afs/cmd.h>
 #include <afs/ptclient.h>
 #include <afs/afsint.h>
 #include <afs/audit.h>
 #include <afs/partition.h>
 #include <afs/dir.h>
-#ifndef AFS_NT40_ENV
-# include <afs/netutils.h>
-#endif
 #include "viced_prototypes.h"
 #include "viced.h"
 #include "host.h"
-#ifdef AFS_PTHREAD_ENV
-# include <afs/softsig.h>
-#endif
 #if defined(AFS_SGI_ENV)
 # include "sys/schedctl.h"
 # include "sys/lock.h"
 
 extern int etext;
 
-void *ShutDown(void *);
 static void ClearXStatValues(void);
 static void PrintCounters(void);
-static void ResetCheckDescriptors(void);
-static void ResetCheckSignal(void);
-static void *CheckSignal(void *);
 
 static afs_int32 Do_VLRegisterRPC(void);
 
 int eventlog = 0, rxlog = 0;
 FILE *debugFile;
+char *logFile = NULL;
 
-#ifdef AFS_PTHREAD_ENV
 pthread_mutex_t fsync_glock_mutex;
 pthread_cond_t fsync_cond;
-#else
-char fsync_wait[1];
-#endif /* AFS_PTHREAD_ENV */
 
 #ifdef AFS_NT40_ENV
 # define NT_OPEN_MAX    1024   /* This is an arbitrary no. we came up with for
@@ -138,7 +129,6 @@ afs_int32 implicitAdminRights = PRSFS_LOOKUP;       /* The ADMINISTER right is
                                                 * already implied */
 afs_int32 readonlyServer = 0;
 
-int stack = 24;
 int stackSize = 24000;
 int fiveminutes = 300;         /* 5 minutes.  Change this for debugging only */
 int CurrentConnections = 0;
@@ -158,6 +148,7 @@ static int panic_timeout = 2 * 60;
 static int panic_timeout = 30 * 60;
 #endif
 
+static int host_thread_quota;
 int rxpackets = 150;           /* 100 */
 int nSmallVns = 400;           /* 200 */
 int large = 400;               /* 200 */
@@ -177,9 +168,7 @@ static int offline_shutdown_timeout = -1; /* -offline-shutdown-timeout option */
 
 struct timeval tp;
 
-#ifdef AFS_PTHREAD_ENV
 pthread_key_t viced_uclient_key;
-#endif
 
 /*
  * FileServer's name and IP address, both network byte order and
@@ -188,6 +177,7 @@ pthread_key_t viced_uclient_key;
 #define ADDRSPERSITE 16                /* Same global is in rx/rx_user.c */
 
 char FS_HostName[128] = "localhost";
+char *FS_configPath = NULL;
 afs_uint32 FS_HostAddr_NBO;
 afs_uint32 FS_HostAddr_HBO;
 afs_uint32 FS_HostAddrs[ADDRSPERSITE], FS_HostAddr_cnt = 0, FS_registered = 0;
@@ -235,8 +225,8 @@ static int fs_stateInit(void)
     fs_state.options.fs_state_verify_before_save = 1;
     fs_state.options.fs_state_verify_after_restore = 1;
 
-    CV_INIT(&fs_state.worker_done_cv, "worker done", CV_DEFAULT, 0);
-    osi_Assert(pthread_rwlock_init(&fs_state.state_lock, NULL) == 0);
+    opr_cv_init(&fs_state.worker_done_cv, "worker done");
+    opr_Verify(pthread_rwlock_init(&fs_state.state_lock, NULL) == 0);
 }
 # endif /* AFS_NT40_ENV */
 #endif /* AFS_DEMAND_ATTACH_FS */
@@ -246,10 +236,10 @@ static int fs_stateInit(void)
  */
 
 /* DEBUG HACK */
-static void *
-CheckDescriptors(void *unused)
-{
 #ifndef AFS_NT40_ENV
+void
+CheckDescriptors_Signal(int signo)
+{
     struct afs_stat status;
     int tsize = getdtablesize();
     int i;
@@ -263,87 +253,63 @@ CheckDescriptors(void *unused)
        }
     }
     fflush(stdout);
-    ResetCheckDescriptors();
-#endif
-    return 0;
-}                              /*CheckDescriptors */
-
-
-#ifdef AFS_PTHREAD_ENV
-void
-CheckSignal_Signal(int x)
-{
-    CheckSignal(NULL);
-}
-
-void
-ShutDown_Signal(int x)
-{
-    ShutDown(NULL);
 }
+#endif
 
-void
-CheckDescriptors_Signal(int x)
-{
-    CheckDescriptors(NULL);
-}
-#else /* AFS_PTHREAD_ENV */
+/* Signal number for dumping debug info is platform dependent. */
+#if defined(AFS_HPUX_ENV)
+# define AFS_SIG_CHECK    SIGPOLL
+#elif defined(AFS_NT40_ENV)
+# define AFS_SIG_CHECK    SIGUSR2
+#else
+# define AFS_SIG_CHECK    SIGXCPU
+#endif
 void
 CheckSignal_Signal(int x)
 {
-    IOMGR_SoftSig(CheckSignal, 0);
+    if (FS_registered > 0) {
+       /*
+        * We have proper ip addresses; tell the vlserver what we got; the following
+        * routine will do the proper reporting for us
+        */
+       Do_VLRegisterRPC();
+    }
+    h_DumpHosts();
+    h_PrintClients();
+    DumpCallBackState();
+    PrintCounters();
 }
 
 void
 ShutDown_Signal(int x)
 {
-    IOMGR_SoftSig(ShutDown, 0);
-}
-
-void
-CheckDescriptors_Signal(int x)
-{
-    IOMGR_SoftSig(CheckDescriptors, 0);
+    ShutDownAndCore(DONTPANIC);
 }
-#endif /* AFS_PTHREAD_ENV */
 
-/* check whether caller is authorized to manage RX statistics */
+/* check whether caller is authorized to perform admin operations */
 int
-fs_rxstat_userok(struct rx_call *call)
+viced_SuperUser(struct rx_call *call)
 {
     return afsconf_SuperUser(confDir, call, NULL);
 }
 
-static void
-ResetCheckSignal(void)
+/**
+ * Return true if this name is a member of the local realm.
+ */
+int
+fs_IsLocalRealmMatch(void *rock, char *name, char *inst, char *cell)
 {
-    int signo;
-
-#if defined(AFS_HPUX_ENV)
-    signo = SIGPOLL;
-#elif defined(AFS_NT40_ENV)
-    signo = SIGUSR2;
-#else
-    signo = SIGXCPU;
-#endif
-
-#if defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
-    softsig_signal(signo, CheckSignal_Signal);
-#else
-    signal(signo, CheckSignal_Signal);
-#endif
-}
+    struct afsconf_dir *dir = (struct afsconf_dir *)rock;
+    afs_int32 islocal = 0;     /* default to no */
+    int code;
 
-static void
-ResetCheckDescriptors(void)
-{
-#ifndef AFS_NT40_ENV
-# if defined(AFS_PTHREAD_ENV)
-    softsig_signal(SIGTERM, CheckDescriptors_Signal);
-# else
-    (void)signal(SIGTERM, CheckDescriptors_Signal);
-# endif
-#endif
+    code = afsconf_IsLocalRealmMatch(dir, &islocal, name, inst, cell);
+    if (code) {
+       ViceLog(0,
+               ("Failed local realm check; code=%d, name=%s, inst=%s, cell=%s\n",
+                code, name, inst, cell));
+    }
+    return islocal;
 }
 
 #ifndef AFS_NT40_ENV
@@ -375,18 +341,18 @@ char adminName[MAXADMINNAME];
 static void
 CheckAdminName(void)
 {
-    int fd = 0;
+    int fd = -1;
     struct afs_stat status;
 
     if ((afs_stat("/AdminName", &status)) ||   /* if file does not exist */
        (status.st_size <= 0) ||        /* or it is too short */
        (status.st_size >= (MAXADMINNAME)) ||   /* or it is too long */
-       !(fd = afs_open("/AdminName", O_RDONLY, 0))) {  /* or the open fails */
+       (fd = afs_open("/AdminName", O_RDONLY, 0)) < 0 || /* or open fails */
+       read(fd, adminName, status.st_size) != status.st_size) { /* or read */
+
        strcpy(adminName, "System:Administrators");     /* use the default name */
-    } else {
-       (void)read(fd, adminName, status.st_size);      /* use name from the file */
     }
-    if (fd)
+    if (fd >= 0)
        close(fd);              /* close fd if it was opened */
 
 }                              /*CheckAdminName */
@@ -395,7 +361,7 @@ CheckAdminName(void)
 static void
 setThreadId(char *s)
 {
-#if defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
+#if !defined(AFS_NT40_ENV)
     int threadId;
 
     /* set our 'thread-id' so that the host hold table works */
@@ -424,11 +390,7 @@ FiveMinuteCheckLWP(void *unused)
     while (1) {
 #endif
 
-#ifdef AFS_PTHREAD_ENV
        sleep(fiveminutes);
-#else /* AFS_PTHREAD_ENV */
-       IOMGR_Sleep(fiveminutes);
-#endif /* AFS_PTHREAD_ENV */
 
 #ifdef AFS_DEMAND_ATTACH_FS
        FS_STATE_WRLOCK;
@@ -449,11 +411,8 @@ FiveMinuteCheckLWP(void *unused)
        if (FS_registered == 1)
            Do_VLRegisterRPC();
        /* Force wakeup in case we missed something; pthreads does timedwait */
-#ifndef AFS_PTHREAD_ENV
-       LWP_NoYieldSignal(fsync_wait);
-#endif
        if (printBanner && (++msg & 1)) {       /* Every 10 minutes */
-           time_t now = FT_ApproxTime();
+           time_t now = time(NULL);
            struct tm tm;
            strftime(tbuffer, sizeof(tbuffer), "%a %b %d %H:%M:%S %Y",
                     localtime_r(&now, &tm));
@@ -467,7 +426,7 @@ FiveMinuteCheckLWP(void *unused)
 #ifdef AFS_DEMAND_ATTACH_FS
     fs_state.FiveMinuteLWP_tranquil = 1;
     FS_LOCK;
-    CV_BROADCAST(&fs_state.worker_done_cv);
+    opr_cv_broadcast(&fs_state.worker_done_cv);
     FS_UNLOCK;
     FS_STATE_UNLOCK;
 #endif
@@ -494,11 +453,7 @@ HostCheckLWP(void *unused)
     while(1) {
 #endif
 
-#ifdef AFS_PTHREAD_ENV
        sleep(fiveminutes);
-#else /* AFS_PTHREAD_ENV */
-       IOMGR_Sleep(fiveminutes);
-#endif /* AFS_PTHREAD_ENV */
 
 #ifdef AFS_DEMAND_ATTACH_FS
        FS_STATE_WRLOCK;
@@ -519,7 +474,7 @@ HostCheckLWP(void *unused)
 #ifdef AFS_DEMAND_ATTACH_FS
     fs_state.HostCheckLWP_tranquil = 1;
     FS_LOCK;
-    CV_BROADCAST(&fs_state.worker_done_cv);
+    opr_cv_broadcast(&fs_state.worker_done_cv);
     FS_UNLOCK;
     FS_STATE_UNLOCK;
 #endif
@@ -534,9 +489,7 @@ static void *
 FsyncCheckLWP(void *unused)
 {
     afs_int32 code;
-#ifdef AFS_PTHREAD_ENV
     struct timespec fsync_next;
-#endif
     ViceLog(1, ("Starting fsync check process\n"));
 
     setThreadId("FsyncCheckLWP");
@@ -550,19 +503,14 @@ FsyncCheckLWP(void *unused)
     while(1) {
 #endif
        FSYNC_LOCK;
-#ifdef AFS_PTHREAD_ENV
        /* rounding is fine */
        fsync_next.tv_nsec = 0;
        fsync_next.tv_sec = time(0) + fiveminutes;
 
-       code = CV_TIMEDWAIT(&fsync_cond, &fsync_glock_mutex,
+       code = opr_cv_timedwait(&fsync_cond, &fsync_glock_mutex,
                            &fsync_next);
        if (code != 0 && code != ETIMEDOUT)
            ViceLog(0, ("pthread_cond_timedwait returned %d\n", code));
-#else /* AFS_PTHREAD_ENV */
-       if ((code = LWP_WaitProcess(fsync_wait)) != LWP_SUCCESS)
-           ViceLog(0, ("LWP_WaitProcess returned %d\n", code));
-#endif /* AFS_PTHREAD_ENV */
        FSYNC_UNLOCK;
 
 #ifdef AFS_DEMAND_ATTACH_FS
@@ -585,7 +533,7 @@ FsyncCheckLWP(void *unused)
 #ifdef AFS_DEMAND_ATTACH_FS
     fs_state.FsyncCheckLWP_tranquil = 1;
     FS_LOCK;
-    CV_BROADCAST(&fs_state.worker_done_cv);
+    opr_cv_broadcast(&fs_state.worker_done_cv);
     FS_UNLOCK;
     FS_STATE_UNLOCK;
 #endif /* AFS_DEMAND_ATTACH_FS */
@@ -674,7 +622,7 @@ PrintCounters(void)
     int stats_flags = 0;
 #endif
 
-    FT_GetTimeOfDay(&tpl, 0);
+    gettimeofday(&tpl, 0);
     Statistics = 1;
     strftime(tbuffer, sizeof(tbuffer), "%a %b %d %H:%M:%S %Y",
             localtime_r(&StartTime, &tm));
@@ -698,11 +646,7 @@ PrintCounters(void)
     audit_PrintStats(stderr);
     h_PrintStats();
     PrintCallBackStats();
-#ifdef AFS_NT40_ENV
-    processSize = -1;          /* TODO: */
-#else
-    processSize = (int)((long)sbrk(0) >> 10);
-#endif
+    processSize = opr_procsize();
     ViceLog(0,
            ("There are %d connections, process size %d\n",
             CurrentConnections, processSize));
@@ -718,26 +662,6 @@ PrintCounters(void)
 
 }                              /*PrintCounters */
 
-
-
-static void *
-CheckSignal(void *unused)
-{
-    if (FS_registered > 0) {
-       /*
-        * We have proper ip addresses; tell the vlserver what we got; the following
-        * routine will do the proper reporting for us
-        */
-       Do_VLRegisterRPC();
-    }
-    h_DumpHosts();
-    h_PrintClients();
-    DumpCallBackState();
-    PrintCounters();
-    ResetCheckSignal();
-    return 0;
-}                              /*CheckSignal */
-
 static void *
 ShutdownWatchdogLWP(void *unused)
 {
@@ -757,17 +681,11 @@ ShutDownAndCore(int dopanic)
     char tbuffer[32];
 
     if (dopanic) {
-#ifdef AFS_PTHREAD_ENV
        pthread_t watchdogPid;
        pthread_attr_t tattr;
-       osi_Assert(pthread_attr_init(&tattr) == 0);
-       osi_Assert(pthread_create(&watchdogPid, &tattr, ShutdownWatchdogLWP, NULL) == 0);
-#else
-       PROCESS watchdogPid;
-       osi_Assert(LWP_CreateProcess
-              (ShutdownWatchdogLWP, stack * 1024, LWP_MAX_PRIORITY - 2,
-               NULL, "ShutdownWatchdog", &watchdogPid) == LWP_SUCCESS);
-#endif
+       opr_Verify(pthread_attr_init(&tattr) == 0);
+       opr_Verify(pthread_create(&watchdogPid, &tattr,
+                                 ShutdownWatchdogLWP, NULL) == 0);
     }
 
     /* do not allows new reqests to be served from now on, all new requests
@@ -822,7 +740,7 @@ ShutDownAndCore(int dopanic)
                FS_LOCK;
                FS_STATE_UNLOCK;
                ViceLog(0, ("waiting for background host/callback threads to quiesce before saving fileserver state...\n"));
-               CV_WAIT(&fs_state.worker_done_cv, &fileproc_glock_mutex);
+               opr_cv_wait(&fs_state.worker_done_cv, &fileproc_glock_mutex);
                FS_UNLOCK;
                FS_STATE_RDLOCK;
            }
@@ -855,13 +773,6 @@ ShutDownAndCore(int dopanic)
     exit(0);
 }
 
-void *
-ShutDown(void *unused)
-{                              /* backward compatibility */
-    ShutDownAndCore(DONTPANIC);
-    return 0;
-}
-
 static afs_int32
 ParseRights(char *arights)
 {
@@ -943,13 +854,13 @@ ParseRights(char *arights)
 static int
 max_fileserver_thread(void)
 {
-#if defined(AFS_PTHREAD_ENV) && (defined(AFS_AIX_ENV) || defined(AFS_HPUX_ENV))
+#if defined(AFS_AIX_ENV) || defined(AFS_HPUX_ENV)
     long ans;
 
     ans = sysconf(_SC_THREAD_THREADS_MAX);
     if (0 < ans && ans < MAX_FILESERVER_THREAD)
        return (int)ans;
-#endif /* defined(AFS_PTHREAD_ENV) */
+#endif
     return MAX_FILESERVER_THREAD;
 }
 
@@ -992,7 +903,6 @@ enum optionsList {
     OPT_vlruinterval,
     OPT_vlrumax,
     OPT_unsafe_nosalvage,
-    OPT_stack,
     OPT_cbwait,
     OPT_novbc,
     OPT_auditlog,
@@ -1014,7 +924,8 @@ enum optionsList {
     OPT_rxmaxmtu,
     OPT_udpsize,
     OPT_dotted,
-    OPT_realm
+    OPT_realm,
+    OPT_sync
 };
 
 static int
@@ -1022,18 +933,19 @@ ParseArgs(int argc, char *argv[])
 {
     int code;
     int optval;
-    char *optstring;
+    char *optstring = NULL;
     struct cmd_item *optlist;
     struct cmd_syndesc *opts;
 
     int lwps_max;
     char *auditFileName = NULL;
+    char *sync_behavior = NULL;
 
 #if defined(AFS_AIX32_ENV)
     extern int aixlow_water;
 #endif
 
-    opts = cmd_CreateSyntax(NULL, NULL, NULL, NULL);
+    opts = cmd_CreateSyntax(NULL, NULL, NULL, 0, NULL);
 
     /* fileserver options */
     cmd_AddParmAtOffset(opts, OPT_large, "-L", CMD_FLAG,
@@ -1075,16 +987,14 @@ ParseArgs(int argc, char *argv[])
 
     cmd_AddParmAtOffset(opts, OPT_spare, "-spare", CMD_SINGLE,
                        CMD_OPTIONAL, "kB overage on volume quota");
-    cmd_AddParmAtOffset(opts, OPT_pctspare, "pctspare", CMD_SINGLE,
+    cmd_AddParmAtOffset(opts, OPT_pctspare, "-pctspare", CMD_SINGLE,
                        CMD_OPTIONAL, "percentage overage on volume quota");
 
     cmd_AddParmAtOffset(opts, OPT_hostcpsrefresh, "-hr", CMD_SINGLE,
                        CMD_OPTIONAL, "hours between host CPS refreshes");
 
-#if defined(AFS_PTHREAD_ENV)
     cmd_AddParmAtOffset(opts, OPT_vattachthreads, "-vattachpar", CMD_SINGLE,
                        CMD_OPTIONAL, "# of volume attachment threads");
-#endif
 
     cmd_AddParmAtOffset(opts, OPT_abortthreshold, "-abortthreshold",
                        CMD_SINGLE, CMD_OPTIONAL,
@@ -1139,8 +1049,6 @@ ParseArgs(int argc, char *argv[])
 #endif
 
     /* unrecommend options - should perhaps be CMD_HIDE */
-    cmd_AddParmAtOffset(opts, OPT_stack, "-k", CMD_SINGLE, CMD_OPTIONAL,
-                       "stack size");
     cmd_AddParmAtOffset(opts, OPT_cbwait, "-w", CMD_SINGLE, CMD_OPTIONAL,
                        "callback wait interval");
     cmd_AddParmAtOffset(opts, OPT_novbc, "-novbc", CMD_SINGLE, CMD_FLAG,
@@ -1151,12 +1059,8 @@ ParseArgs(int argc, char *argv[])
                        CMD_OPTIONAL, "location of audit log");
     cmd_AddParmAtOffset(opts, OPT_auditiface, "-audit-interface", CMD_SINGLE,
                        CMD_OPTIONAL, "interface to use for audit logging");
-    cmd_AddParmAtOffset(opts, OPT_config, "-config", CMD_SINGLE, CMD_OPTIONAL,
-                       "configuration location");
     cmd_AddParmAtOffset(opts, OPT_debug, "-d", CMD_SINGLE, CMD_OPTIONAL,
                        "debug level");
-    cmd_AddParmAtOffset(opts, OPT_logfile, "-logfile", CMD_SINGLE,
-                       CMD_OPTIONAL, "location of logfile");
     cmd_AddParmAtOffset(opts, OPT_mrafslogs, "-mrafslogs", CMD_FLAG,
                        CMD_OPTIONAL, "enable MRAFS style logging");
     cmd_AddParmAtOffset(opts, OPT_threads, "-p", CMD_SINGLE, CMD_OPTIONAL,
@@ -1194,11 +1098,25 @@ ParseArgs(int argc, char *argv[])
                        "permit Kerberos 5 principals with dots");
     cmd_AddParmAtOffset(opts, OPT_realm, "-realm",
                        CMD_LIST, CMD_OPTIONAL, "local realm");
+    cmd_AddParmAtOffset(opts, OPT_sync, "-sync",
+                       CMD_SINGLE, CMD_OPTIONAL, "always | onclose | never");
+
+    /* testing options */
+    cmd_AddParmAtOffset(opts, OPT_logfile, "-logfile", CMD_SINGLE,
+           CMD_OPTIONAL, "location of log file");
+    cmd_AddParmAtOffset(opts, OPT_config, "-config", CMD_SINGLE,
+           CMD_OPTIONAL, "configuration location");
 
     code = cmd_Parse(argc, argv, &opts);
+    if (code == CMD_HELP) {
+       exit(0);
+    }
     if (code)
        return -1;
 
+    cmd_OpenConfigFile(AFSDIR_SERVER_CONFIG_FILE_FILEPATH);
+    cmd_SetCommandName("fileserver");
+
     if (cmd_OptionPresent(opts, OPT_large)
        && cmd_OptionPresent(opts, OPT_small)) {
        printf("Only one of -L or -S must be specified\n");
@@ -1249,9 +1167,11 @@ ParseArgs(int argc, char *argv[])
     cmd_OptionAsInt(opts, OPT_buffers, &buffs);
 
     if (cmd_OptionAsInt(opts, OPT_callbacks, &numberofcbs) == 0) {
-       printf("number of cbs %d invalid; "
-              "must be between 10000 and 2147483647\n", numberofcbs);
-       return -1;
+       if ((numberofcbs < 10000) || (numberofcbs > 2147483647)) {
+           printf("number of cbs %d invalid; "
+                  "must be between 10000 and 2147483647\n", numberofcbs);
+           return -1;
+       }
     }
 
     cmd_OptionAsInt(opts, OPT_vcsize, &volcache);
@@ -1289,9 +1209,7 @@ ParseArgs(int argc, char *argv[])
        hostaclRefresh = optval * 60 * 60;
     }
 
-#ifdef AFS_PTHREAD_ENV
     cmd_OptionAsInt(opts, OPT_vattachthreads, &vol_attach_threads);
-#endif /* AFS_PTHREAD_ENV */
 
     cmd_OptionAsInt(opts, OPT_abortthreshold, &abort_threshold);
 
@@ -1300,13 +1218,6 @@ ParseArgs(int argc, char *argv[])
        busyonrst = 0;
 
     if (cmd_OptionAsInt(opts, OPT_offline_timeout, &offline_timeout) == 0) {
-#ifndef AFS_PTHREAD_ENV
-       if (offline_timeout != -1) {
-           printf("The only valid -offline-timeout value for the LWP "
-                  "fileserver is -1\n");
-           return -1;
-       }
-#endif /* AFS_PTHREAD_ENV */
        if (offline_timeout < -1) {
            printf("Invalid -offline-timeout value %d; the only valid "
                   "negative value is -1\n", offline_timeout);
@@ -1316,13 +1227,6 @@ ParseArgs(int argc, char *argv[])
 
     if (cmd_OptionAsInt(opts, OPT_offline_shutdown_timeout,
                        &offline_shutdown_timeout) == 0) {
-#ifndef AFS_PTHREAD_ENV
-       if (offline_shutdown_timeout != -1) {
-           printf("The only valid -offline-shutdown-timeout value for the "
-                  "LWP fileserver is -1\n");
-           return -1;
-       }
-#endif /* AFS_PTHREAD_ENV */
        if (offline_shutdown_timeout < -1) {
            printf("Invalid -offline-timeout value %d; the only valid "
                   "negative value is -1\n", offline_shutdown_timeout);
@@ -1336,6 +1240,12 @@ ParseArgs(int argc, char *argv[])
                    &vol_io_params.fd_max_cachesize);
     cmd_OptionAsUint(opts, OPT_vhandle_initial_cachesize,
                    &vol_io_params.fd_initial_cachesize);
+    if (cmd_OptionAsString(opts, OPT_sync, &sync_behavior) == 0) {
+       if (ih_SetSyncBehavior(sync_behavior)) {
+           printf("Invalid -sync value %s\n", sync_behavior);
+           return -1;
+       }
+    }
 
 #ifdef AFS_DEMAND_ATTACH_FS
     if (cmd_OptionPresent(opts, OPT_fs_state_dont_save))
@@ -1375,7 +1285,6 @@ ParseArgs(int argc, char *argv[])
     cmd_OptionAsFlag(opts, OPT_unsafe_nosalvage, &unsafe_attach);
 #endif /* AFS_DEMAND_ATTACH_FS */
 
-    cmd_OptionAsInt(opts, OPT_stack, &stack);
     cmd_OptionAsInt(opts, OPT_cbwait, &fiveminutes);
     cmd_OptionAsFlag(opts, OPT_novbc, &novbc);
 
@@ -1391,9 +1300,7 @@ ParseArgs(int argc, char *argv[])
        optstring = NULL;
     }
 
-    /* XXX - cmd_OptionAsString(opts, OPT_config, &configDir); */
     cmd_OptionAsInt(opts, OPT_debug, &LogLevel);
-    /* XXX - cmd_OptionAsString(opts, OPT_logfile, &logFile); */
     cmd_OptionAsFlag(opts, OPT_mrafslogs, &mrafsStyleLogs);
 
     if (cmd_OptionAsInt(opts, OPT_threads, &lwps) == 0) {
@@ -1437,8 +1344,6 @@ ParseArgs(int argc, char *argv[])
     /* rxkad options */
     cmd_OptionAsFlag(opts, OPT_dotted, &rxkadDisableDotCheck);
     if (cmd_OptionAsList(opts, OPT_realm, &optlist) == 0) {
-       extern char local_realms[AFS_NUM_LREALMS][AFS_REALM_SZ];
-       extern int num_lrealms;
 
        for (; optlist != NULL; optlist=optlist->next) {
            if (strlen(optlist->data) >= AFS_REALM_SZ) {
@@ -1446,17 +1351,7 @@ ParseArgs(int argc, char *argv[])
                       "characters.\n", AFS_REALM_SZ);
                return -1;
            }
-
-           if (num_lrealms == -1)
-               num_lrealms = 0;
-           if (num_lrealms >= AFS_NUM_LREALMS) {
-               printf("a maximum of %d -realm arguments can be "
-                      "specified.\n", AFS_NUM_LREALMS);
-               return -1;
-           }
-
-           strncpy(local_realms[num_lrealms++], optlist->data, AFS_REALM_SZ);
-           optlist = optlist->next;
+           afsconf_SetLocalRealm(optlist->data); /* overrides krb.conf file, if one */
        }
     }
 
@@ -1473,9 +1368,23 @@ ParseArgs(int argc, char *argv[])
        busy_threshold = 3 * rxpackets / 2;
     }
 
+    cmd_OptionAsString(opts, OPT_logfile, &logFile);
+    cmd_OptionAsString(opts, OPT_config, &FS_configPath);
+
+
     if (auditFileName)
        osi_audit_file(auditFileName);
 
+    if (lwps > 64) {
+       host_thread_quota = 5;
+    } else if (lwps > 32) {
+       host_thread_quota = 4;
+    } else if (lwps > 16) {
+       host_thread_quota = 3;
+    } else {
+       host_thread_quota = 2;
+    }
+
     return (0);
 }                              /*ParseArgs */
 
@@ -1520,9 +1429,7 @@ InitPR(void)
        return code;
     }
 
-#ifdef AFS_PTHREAD_ENV
-    osi_Assert(pthread_key_create(&viced_uclient_key, NULL) == 0);
-#endif
+    opr_Verify(pthread_key_create(&viced_uclient_key, NULL) == 0);
 
     SystemId = SYSADMINID;
     SystemAnyUser = ANYUSERID;
@@ -1548,38 +1455,33 @@ InitPR(void)
        AnonymousID = ANONYMOUSID;
        return 0;
       sleep:
-#ifdef AFS_PTHREAD_ENV
        sleep(30);
-#else /* AFS_PTHREAD_ENV */
-       IOMGR_Sleep(30);
-#endif /* AFS_PTHREAD_ENV */
     }
 }                              /*InitPR */
 
-struct rx_connection *serverconns[MAXSERVERS];
-struct ubik_client *cstruct;
+static struct ubik_client *cstruct;
 
-afs_int32
-vl_Initialize(const char *confDir)
+static afs_int32
+vl_Initialize(struct afsconf_dir *dir)
 {
     afs_int32 code, i;
     afs_int32 scIndex = RX_SECIDX_NULL;
-    struct afsconf_dir *tdir;
-    struct rx_securityClass *sc;
     struct afsconf_cell info;
+    struct rx_securityClass *sc;
+    struct rx_connection *serverconns[MAXSERVERS];
 
-    tdir = afsconf_Open(confDir);
-    if (!tdir) {
-       ViceLog(0,
-               ("Could not open configuration directory (%s).\n", confDir));
+    memset(serverconns, 0, sizeof(serverconns));
+    code = afsconf_ClientAuth(dir, &sc, &scIndex);
+    if (code) {
+       ViceLog(0, ("Could not get security object for localAuth\n"));
        exit(1);
     }
-    code = afsconf_ClientAuth(tdir, &sc, &scIndex);
+    code = afsconf_GetCellInfo(dir, NULL, AFSCONF_VLDBSERVICE, &info);
     if (code) {
-       ViceLog(0, ("Could not get security object for localAuth\n"));
+       ViceLog(0,
+               ("vl_Initialize: Failed to get cell information\n"));
        exit(1);
     }
-    code = afsconf_GetCellInfo(tdir, NULL, AFSCONF_VLDBSERVICE, &info);
     if (info.numServers > MAXSERVERS) {
        ViceLog(0,
                ("vl_Initialize: info.numServers=%d (> MAXSERVERS=%d)\n",
@@ -1592,7 +1494,6 @@ vl_Initialize(const char *confDir)
                             info.hostAddr[i].sin_port, USER_SERVICE_ID, sc,
                             scIndex);
     code = ubik_ClientInit(serverconns, &cstruct);
-    afsconf_Close(tdir);
     if (code) {
        ViceLog(0, ("vl_Initialize: ubik client init failed.\n"));
        return code;
@@ -1694,8 +1595,8 @@ WriteSysIdFile(void)
        /*
         * File exists; keep the old one around
         */
-       renamefile(AFSDIR_SERVER_SYSID_FILEPATH,
-                  AFSDIR_SERVER_OLDSYSID_FILEPATH);
+       rk_rename(AFSDIR_SERVER_SYSID_FILEPATH,
+                 AFSDIR_SERVER_OLDSYSID_FILEPATH);
     }
     fd = afs_open(AFSDIR_SERVER_SYSID_FILEPATH, O_WRONLY | O_TRUNC | O_CREAT,
                  0666);
@@ -1801,10 +1702,12 @@ SetupVL(void)
         * /usr/afs/local/NetRestict)
         */
        char reason[1024];
-       afs_int32 code = parseNetFiles(FS_HostAddrs, NULL, NULL,
-                                      ADDRSPERSITE, reason,
-                                      AFSDIR_SERVER_NETINFO_FILEPATH,
-                                      AFSDIR_SERVER_NETRESTRICT_FILEPATH);
+       afs_int32 code;
+
+       code = afsconf_ParseNetFiles(FS_HostAddrs, NULL, NULL,
+                                    ADDRSPERSITE, reason,
+                                    AFSDIR_SERVER_NETINFO_FILEPATH,
+                                    AFSDIR_SERVER_NETRESTRICT_FILEPATH);
        if (code < 0) {
            ViceLog(0, ("Can't register any valid addresses: %s\n", reason));
            exit(1);
@@ -1823,7 +1726,7 @@ SetupVL(void)
 }
 
 afs_int32
-InitVL(void)
+InitVL(struct afsconf_dir *dir)
 {
     afs_int32 code;
 
@@ -1831,7 +1734,7 @@ InitVL(void)
      * If this fails, it's because something major is wrong, and is not
      * likely to be time dependent.
      */
-    code = vl_Initialize(AFSDIR_SERVER_ETC_DIRPATH);
+    code = vl_Initialize(dir);
     if (code != 0) {
        ViceLog(0,
                ("Couldn't initialize volume location library; code=%d.\n", code));
@@ -1866,12 +1769,8 @@ main(int argc, char *argv[])
     struct rx_securityClass **securityClasses;
     afs_int32 numClasses;
     struct rx_service *tservice;
-#ifdef AFS_PTHREAD_ENV
     pthread_t serverPid;
     pthread_attr_t tattr;
-#else /* AFS_PTHREAD_ENV */
-    PROCESS parentPid, serverPid;
-#endif /* AFS_PTHREAD_ENV */
     struct hostent *he;
     int minVnodesRequired;     /* min size of vnode cache */
 #ifndef AFS_NT40_ENV
@@ -1909,12 +1808,13 @@ main(int argc, char *argv[])
     /* check for the parameter file */
     CheckParms();
 
+    FS_configPath = strdup(AFSDIR_SERVER_ETC_DIRPATH);
+    logFile = strdup(AFSDIR_SERVER_FILELOG_FILEPATH);
+
     if (ParseArgs(argc, argv)) {
        exit(-1);
     }
-#ifdef AFS_PTHREAD_ENV
-    MUTEX_INIT(&fileproc_glock_mutex, "fileproc", MUTEX_DEFAULT, 0);
-#endif /* AFS_PTHREAD_ENV */
+    opr_mutex_init(&fileproc_glock_mutex);
 
 #ifdef AFS_SGI_VNODE_GLUE
     if (afs_init_kernel_config(-1) < 0) {
@@ -1923,38 +1823,44 @@ main(int argc, char *argv[])
        exit(1);
     }
 #endif
-    confDir = afsconf_Open(AFSDIR_SERVER_ETC_DIRPATH);
+
+    confDir = afsconf_Open(FS_configPath);
     if (!confDir) {
        fprintf(stderr, "Unable to open config directory %s\n",
-               AFSDIR_SERVER_ETC_DIRPATH);
+               FS_configPath);
        exit(-1);
     }
 
+    /* initialize audit user check */
+    osi_audit_set_user_check(confDir, fs_IsLocalRealmMatch);
+
     /* Open FileLog on stdout, stderr, fd 1 and fd2 (for perror), sigh. */
 #ifndef AFS_NT40_ENV
     serverLogSyslogTag = "fileserver";
 #endif
-    OpenLog(AFSDIR_SERVER_FILELOG_FILEPATH);
-    SetupLogSignals();
+    OpenLog(logFile);
 
     LogCommandLine(argc, argv, "starting", "", "File server", FSLog);
+    if (afsconf_GetLatestKey(confDir, NULL, NULL) == 0) {
+       LogDesWarning();
+    }
 
-#if defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
     /* initialize the pthread soft signal handler thread */
-    softsig_init();
+    opr_softsig_Init();
+    SetupLogSoftSignals();
+    opr_softsig_Register(AFS_SIG_CHECK, CheckSignal_Signal);
+#ifndef AFS_NT40_ENV
+    opr_softsig_Register(SIGTERM, CheckDescriptors_Signal);
 #endif
 
-    /* install signal handlers for controlling the fileserver process */
-    ResetCheckSignal();                /* set CheckSignal_Signal() sig handler */
-    ResetCheckDescriptors();   /* set CheckDescriptors_Signal() sig handler */
-
 #if defined(AFS_SGI_ENV)
     /* give this guy a non-degrading priority so help busy servers */
     schedctl(NDPRI, 0, NDPNORMMAX);
     if (SawLock)
        plock(PROCLOCK);
 #elif !defined(AFS_NT40_ENV)
-    nice(-5);                  /* TODO: */
+    if (nice(-5) < 0)
+       ; /* don't care */
 #endif
     DInit(buffs);
 #ifdef AFS_DEMAND_ATTACH_FS
@@ -2008,19 +1914,13 @@ main(int argc, char *argv[])
                ("The system supports a max of %d open files and we are starting %d threads (ihandle fd cache is %d)\n",
                 curLimit, lwps, vol_io_params.fd_max_cachesize));
     }
-#ifndef AFS_PTHREAD_ENV
-    osi_Assert(LWP_InitializeProcessSupport(LWP_MAX_PRIORITY - 2, &parentPid) ==
-          LWP_SUCCESS);
-#endif /* !AFS_PTHREAD_ENV */
 
     /* Initialize volume support */
     if (!novbc) {
        V_BreakVolumeCallbacks = BreakVolumeCallBacksLater;
     }
 
-#ifdef AFS_PTHREAD_ENV
     SetLogThreadNumProgram( rx_GetThreadNum );
-#endif
 
     /* initialize libacl routines */
     acl_Initialize(ACL_VERSION);
@@ -2086,7 +1986,6 @@ main(int argc, char *argv[])
     rx_SetMinProcs(tservice, 3);
     rx_SetMaxProcs(tservice, lwps);
     rx_SetCheckReach(tservice, 1);
-    rx_SetServerIdleDeadErr(tservice, VNOSERVICE);
 
     tservice =
        rx_NewService(0, RX_STATS_SERVICE_ID, "rpcstats", securityClasses,
@@ -2098,13 +1997,6 @@ main(int argc, char *argv[])
     rx_SetMinProcs(tservice, 2);
     rx_SetMaxProcs(tservice, 4);
 
-    /*
-     * Enable RX hot threads, which allows the listener thread to trade
-     * places with an idle thread and moves the context switch from listener
-     * to worker out of the critical path.
-     */
-    rx_EnableHotThread();
-
     /* Some rx debugging */
     if (rxlog || eventlog) {
        debugFile = afs_fopen("rx_dbg", "w");
@@ -2115,11 +2007,11 @@ main(int argc, char *argv[])
     }
 
     init_sys_error_to_et();    /* Set up error table translation */
-    h_InitHostPackage();       /* set up local cellname and realmname */
+    h_InitHostPackage(host_thread_quota); /* set up local cellname and realmname */
     InitCallBack(numberofcbs);
     ClearXStatValues();
 
-    code = InitVL();
+    code = InitVL(confDir);
     if (code && code != VL_MULTIPADDR) {
        ViceLog(0, ("Fatal error in library initialization, exiting!!\n"));
        exit(1);
@@ -2132,10 +2024,10 @@ main(int argc, char *argv[])
     }
 
     /* allow super users to manage RX statistics */
-    rx_SetRxStatUserOk(fs_rxstat_userok);
+    rx_SetRxStatUserOk(viced_SuperUser);
 
-    CV_INIT(&fsync_cond, "fsync", CV_DEFAULT, 0);
-    MUTEX_INIT(&fsync_glock_mutex, "fsync", MUTEX_DEFAULT, 0);
+    opr_cv_init(&fsync_cond);
+    opr_mutex_init(&fsync_glock_mutex);
 
 #if !defined(AFS_DEMAND_ATTACH_FS)
     /*
@@ -2202,11 +2094,7 @@ main(int argc, char *argv[])
     /* Install handler to catch the shutdown signal;
      * bosserver assumes SIGQUIT shutdown
      */
-#if defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
-    softsig_signal(SIGQUIT, ShutDown_Signal);
-#else
-    (void)signal(SIGQUIT, ShutDown_Signal);
-#endif
+    opr_softsig_Register(SIGQUIT, ShutDown_Signal);
 
     if (VInitAttachVolumes(fileServer)) {
        ViceLog(0,
@@ -2231,34 +2119,19 @@ main(int argc, char *argv[])
      */
     ih_UseLargeCache();
 
-#ifdef AFS_PTHREAD_ENV
     ViceLog(5, ("Starting pthreads\n"));
-    osi_Assert(pthread_attr_init(&tattr) == 0);
-    osi_Assert(pthread_attr_setdetachstate(&tattr, PTHREAD_CREATE_DETACHED) == 0);
-
-    osi_Assert(pthread_create
-          (&serverPid, &tattr, FiveMinuteCheckLWP,
-           &fiveminutes) == 0);
-    osi_Assert(pthread_create
-          (&serverPid, &tattr, HostCheckLWP, &fiveminutes) == 0);
-    osi_Assert(pthread_create
-          (&serverPid, &tattr, FsyncCheckLWP, &fiveminutes) == 0);
-#else /* AFS_PTHREAD_ENV */
-    ViceLog(5, ("Starting LWP\n"));
-    osi_Assert(LWP_CreateProcess
-          (FiveMinuteCheckLWP, stack * 1024, LWP_MAX_PRIORITY - 2,
-           (void *)&fiveminutes, "FiveMinuteChecks",
-           &serverPid) == LWP_SUCCESS);
-
-    osi_Assert(LWP_CreateProcess
-          (HostCheckLWP, stack * 1024, LWP_MAX_PRIORITY - 2,
-           (void *)&fiveminutes, "HostCheck", &serverPid) == LWP_SUCCESS);
-    osi_Assert(LWP_CreateProcess
-          (FsyncCheckLWP, stack * 1024, LWP_MAX_PRIORITY - 2,
-           (void *)&fiveminutes, "FsyncCheck", &serverPid) == LWP_SUCCESS);
-#endif /* AFS_PTHREAD_ENV */
-
-    FT_GetTimeOfDay(&tp, 0);
+    opr_Verify(pthread_attr_init(&tattr) == 0);
+    opr_Verify(pthread_attr_setdetachstate(&tattr,
+                                          PTHREAD_CREATE_DETACHED) == 0);
+
+    opr_Verify(pthread_create(&serverPid, &tattr, FiveMinuteCheckLWP,
+                             &fiveminutes) == 0);
+    opr_Verify(pthread_create(&serverPid, &tattr, HostCheckLWP,
+                             &fiveminutes) == 0);
+    opr_Verify(pthread_create(&serverPid, &tattr, FsyncCheckLWP,
+                             &fiveminutes) == 0);
+
+    gettimeofday(&tp, 0);
 
     /*
      * Figure out the FileServer's name and primary address.
@@ -2289,12 +2162,8 @@ main(int argc, char *argv[])
             localtime_r(&t, &tm));
     ViceLog(0, ("File Server started %s\n", tbuffer));
     afs_FullPerfStats.det.epoch.tv_sec = StartTime = tp.tv_sec;
-#ifdef AFS_PTHREAD_ENV
     while (1) {
        sleep(1000);            /* long time */
     }
-#else /* AFS_PTHREAD_ENV */
-    osi_Assert(LWP_WaitProcess(&parentPid) == LWP_SUCCESS);
-#endif /* AFS_PTHREAD_ENV */
     return 0;
 }