volser: preserve stats over reclones and restores
[openafs.git] / src / volser / volmain.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #include <afsconfig.h>
11 #include <afs/param.h>
12
13 #include <roken.h>
14
15 #ifdef AFS_NT40_ENV
16 #include <windows.h>
17 #include <WINNT/afsevent.h>
18 #endif
19
20 #include <rx/xdr.h>
21 #include <afs/afsint.h>
22 #include <afs/prs_fs.h>
23 #include <afs/nfs.h>
24 #include <lwp.h>
25 #include <lock.h>
26 #include <afs/afssyscalls.h>
27 #include <afs/ihandle.h>
28 #ifdef AFS_NT40_ENV
29 #include <afs/ntops.h>
30 #endif
31 #include <afs/vnode.h>
32 #include <afs/volume.h>
33 #include <afs/partition.h>
34 #include <rx/rx.h>
35 #include <rx/rxstat.h>
36 #include <rx/rx_globals.h>
37 #include <afs/auth.h>
38 #include <afs/cellconfig.h>
39 #include <afs/keys.h>
40 #include <afs/dir.h>
41 #include <ubik.h>
42 #include <afs/audit.h>
43 #include <afs/afsutil.h>
44 #include <lwp.h>
45
46 #include "volser.h"
47 #include "volint.h"
48 #include "volser_internal.h"
49
50 #define VolserVersion "2.0"
51 #define N_SECURITY_OBJECTS 3
52
53 extern struct Lock localLock;
54 char *GlobalNameHack = NULL;
55 int hackIsIn = 0;
56 afs_int32 GlobalVolCloneId, GlobalVolParentId;
57 int GlobalVolType;
58 int VolumeChanged;              /* XXXX */
59 static char busyFlags[MAXHELPERS];
60 struct volser_trans *QI_GlobalWriteTrans = 0;
61 struct afsconf_dir *tdir;
62 static afs_int32 runningCalls = 0;
63 int DoLogging = 0;
64 int debuglevel = 0;
65 #define MAXLWP 128
66 int lwps = 9;
67 int udpBufSize = 0;             /* UDP buffer size for receive */
68
69 int rxBind = 0;
70 int rxkadDisableDotCheck = 0;
71 int DoPreserveVolumeStats = 0;
72
73 #define ADDRSPERSITE 16         /* Same global is in rx/rx_user.c */
74 afs_uint32 SHostAddrs[ADDRSPERSITE];
75
76 #define VS_EXIT(code)  {                                          \
77                           osi_audit(VS_ExitEvent, code, AUD_END); \
78                           exit(code);                             \
79                        }
80
81 static void
82 MyBeforeProc(struct rx_call *acall)
83 {
84     VTRANS_LOCK;
85     runningCalls++;
86     VTRANS_UNLOCK;
87     return;
88 }
89
90 static void
91 MyAfterProc(struct rx_call *acall, afs_int32 code)
92 {
93     VTRANS_LOCK;
94     runningCalls--;
95     VTRANS_UNLOCK;
96     return;
97 }
98
99 /* Called every GCWAKEUP seconds to try to unlock all our partitions,
100  * if we're idle and there are no active transactions
101  */
102 static void
103 TryUnlock(void)
104 {
105     /* if there are no running calls, and there are no active transactions, then
106      * it should be safe to release any partition locks we've accumulated */
107     VTRANS_LOCK;
108     if (runningCalls == 0 && TransList() == (struct volser_trans *)0) {
109         VTRANS_UNLOCK;
110         VPFullUnlock();         /* in volprocs.c */
111     } else
112         VTRANS_UNLOCK;
113 }
114
115 /* background daemon for timing out transactions */
116 static void*
117 BKGLoop(void *unused)
118 {
119     struct timeval tv;
120     int loop = 0;
121
122     afs_pthread_setname_self("vol bkg");
123     while (1) {
124         tv.tv_sec = GCWAKEUP;
125         tv.tv_usec = 0;
126 #ifdef AFS_PTHREAD_ENV
127 #ifdef AFS_NT40_ENV
128         Sleep(GCWAKEUP * 1000);
129 #else
130         select(0, 0, 0, 0, &tv);
131 #endif
132 #else
133         (void)IOMGR_Select(0, 0, 0, 0, &tv);
134 #endif
135         GCTrans();
136         TryUnlock();
137         loop++;
138         if (loop == 10) {       /* reopen log every 5 minutes */
139             loop = 0;
140             ReOpenLog(AFSDIR_SERVER_VOLSERLOG_FILEPATH);
141         }
142     }
143
144     return NULL;
145 }
146
147 /* Background daemon for sleeping so the volserver does not become I/O bound */
148 afs_int32 TTsleep, TTrun;
149 #ifndef AFS_PTHREAD_ENV
150 static void *
151 BKGSleep(void *unused)
152 {
153     struct volser_trans *tt;
154
155     if (TTsleep) {
156         while (1) {
157 #ifdef AFS_PTHREAD_ENV
158             sleep(TTrun);
159 #else /* AFS_PTHREAD_ENV */
160             IOMGR_Sleep(TTrun);
161 #endif
162             VTRANS_LOCK;
163             for (tt = TransList(); tt; tt = tt->next) {
164                 VTRANS_OBJ_LOCK(tt);
165                 if ((strcmp(tt->lastProcName, "DeleteVolume") == 0)
166                     || (strcmp(tt->lastProcName, "Clone") == 0)
167                     || (strcmp(tt->lastProcName, "ReClone") == 0)
168                     || (strcmp(tt->lastProcName, "Forward") == 0)
169                     || (strcmp(tt->lastProcName, "Restore") == 0)
170                     || (strcmp(tt->lastProcName, "ForwardMulti") == 0)) {
171                     VTRANS_OBJ_UNLOCK(tt);
172                     break;
173                 }
174                 VTRANS_OBJ_UNLOCK(tt);
175             }
176             if (tt) {
177                 VTRANS_UNLOCK;
178                 sleep(TTsleep);
179             } else
180                 VTRANS_UNLOCK;
181         }
182     }
183     return NULL;
184 }
185 #endif
186
187 #ifdef AFS_NT40_ENV
188 /* no volser_syscall */
189 #elif defined(AFS_SUN511_ENV)
190 int
191 volser_syscall(afs_uint32 a3, afs_uint32 a4, void *a5)
192 {
193     int err, code;
194     code = ioctl_sun_afs_syscall(28 /* AFSCALL_CALL */, a3, a4, a5, 0, 0, 0,
195                                  &err);
196     if (code) {
197         err = code;
198     }
199     return err;
200 }
201 #else
202 int
203 volser_syscall(afs_uint32 a3, afs_uint32 a4, void *a5)
204 {
205     afs_uint32 rcode;
206 #ifndef AFS_LINUX20_ENV
207     void (*old) (int);
208
209     old = signal(SIGSYS, SIG_IGN);
210 #endif
211     rcode =
212         syscall(AFS_SYSCALL /* AFS_SYSCALL */ , 28 /* AFSCALL_CALL */ , a3,
213                 a4, a5);
214 #ifndef AFS_LINUX20_ENV
215     signal(SIGSYS, old);
216 #endif
217
218     return rcode;
219 }
220 #endif
221
222
223 /* check whether caller is authorized to manage RX statistics */
224 int
225 vol_rxstat_userok(struct rx_call *call)
226 {
227     return afsconf_SuperUser(tdir, call, NULL);
228 }
229
230 /**
231  * Return true if this name is a member of the local realm.
232  */
233 static int
234 vol_IsLocalRealmMatch(void *rock, char *name, char *inst, char *cell)
235 {
236     struct afsconf_dir *dir = (struct afsconf_dir *)rock;
237     afs_int32 islocal = 0;      /* default to no */
238     int code;
239
240     code = afsconf_IsLocalRealmMatch(dir, &islocal, name, inst, cell);
241     if (code) {
242         ViceLog(0,
243                 ("Failed local realm check; code=%d, name=%s, inst=%s, cell=%s\n",
244                  code, name, inst, cell));
245     }
246     return islocal;
247 }
248
249 #include "AFS_component_version_number.c"
250 int
251 main(int argc, char **argv)
252 {
253     afs_int32 code;
254     struct rx_securityClass **securityClasses;
255     afs_int32 numClasses;
256     struct rx_service *service;
257     struct ktc_encryptionKey tkey;
258     int rxpackets = 100;
259     int rxJumbograms = 0;       /* default is to send and receive jumbograms. */
260     int rxMaxMTU = -1;
261     int bufSize = 0;            /* temp variable to read in udp socket buf size */
262     afs_uint32 host = ntohl(INADDR_ANY);
263     char *auditFileName = NULL;
264     VolumePackageOptions opts;
265
266 #ifdef  AFS_AIX32_ENV
267     /*
268      * The following signal action for AIX is necessary so that in case of a
269      * crash (i.e. core is generated) we can include the user's data section
270      * in the core dump. Unfortunately, by default, only a partial core is
271      * generated which, in many cases, isn't too useful.
272      */
273     struct sigaction nsa;
274
275     sigemptyset(&nsa.sa_mask);
276     nsa.sa_handler = SIG_DFL;
277     nsa.sa_flags = SA_FULLDUMP;
278     sigaction(SIGABRT, &nsa, NULL);
279     sigaction(SIGSEGV, &nsa, NULL);
280 #endif
281     osi_audit_init();
282     osi_audit(VS_StartEvent, 0, AUD_END);
283
284     /* Initialize dirpaths */
285     if (!(initAFSDirPath() & AFSDIR_SERVER_PATHS_OK)) {
286 #ifdef AFS_NT40_ENV
287         ReportErrorEventAlt(AFSEVT_SVR_NO_INSTALL_DIR, 0, argv[0], 0);
288 #endif
289         fprintf(stderr, "%s: Unable to obtain AFS server directory.\n",
290                 argv[0]);
291         exit(2);
292     }
293
294     TTsleep = TTrun = 0;
295
296     /* parse cmd line */
297     for (code = 1; code < argc; code++) {
298         if (strcmp(argv[code], "-log") == 0) {
299             /* set extra logging flag */
300             DoLogging = 1;
301         } else if (strcmp(argv[code], "-help") == 0) {
302             goto usage;
303         } else if (strcmp(argv[code], "-rxbind") == 0) {
304             rxBind = 1;
305         } else if (strcmp(argv[code], "-allow-dotted-principals") == 0) {
306             rxkadDisableDotCheck = 1;
307         } else if (strcmp(argv[code], "-d") == 0) {
308             if ((code + 1) >= argc) {
309                 fprintf(stderr, "missing argument for -d\n");
310                 return -1;
311             }
312             debuglevel = atoi(argv[++code]);
313             LogLevel = debuglevel;
314         } else if (strcmp(argv[code], "-p") == 0) {
315             lwps = atoi(argv[++code]);
316             if (lwps > MAXLWP) {
317                 printf("Warning: '-p %d' is too big; using %d instead\n",
318                        lwps, MAXLWP);
319                 lwps = MAXLWP;
320             }
321         } else if (strcmp(argv[code], "-auditlog") == 0) {
322             auditFileName = argv[++code];
323
324         } else if (strcmp(argv[code], "-audit-interface") == 0) {
325             char *interface = argv[++code];
326
327             if (osi_audit_interface(interface)) {
328                 printf("Invalid audit interface '%s'\n", interface);
329                 return -1;
330             }
331         } else if (strcmp(argv[code], "-nojumbo") == 0) {
332             rxJumbograms = 0;
333         } else if (strcmp(argv[code], "-jumbo") == 0) {
334             rxJumbograms = 1;
335         } else if (!strcmp(argv[code], "-rxmaxmtu")) {
336             if ((code + 1) >= argc) {
337                 fprintf(stderr, "missing argument for -rxmaxmtu\n");
338                 exit(1);
339             }
340             rxMaxMTU = atoi(argv[++code]);
341         } else if (strcmp(argv[code], "-sleep") == 0) {
342             sscanf(argv[++code], "%d/%d", &TTsleep, &TTrun);
343             if ((TTsleep < 0) || (TTrun <= 0)) {
344                 printf("Warning: '-sleep %d/%d' is incorrect; ignoring\n",
345                        TTsleep, TTrun);
346                 TTsleep = TTrun = 0;
347             }
348         } else if (strcmp(argv[code], "-udpsize") == 0) {
349             if ((code + 1) >= argc) {
350                 printf("You have to specify -udpsize <integer value>\n");
351                 exit(1);
352             }
353             sscanf(argv[++code], "%d", &bufSize);
354             if (bufSize < rx_GetMinUdpBufSize())
355                 printf
356                     ("Warning:udpsize %d is less than minimum %d; ignoring\n",
357                      bufSize, rx_GetMinUdpBufSize());
358             else
359                 udpBufSize = bufSize;
360         } else if (strcmp(argv[code], "-enable_peer_stats") == 0) {
361             rx_enablePeerRPCStats();
362         } else if (strcmp(argv[code], "-enable_process_stats") == 0) {
363             rx_enableProcessRPCStats();
364         } else if (strcmp(argv[code], "-preserve-vol-stats") == 0) {
365             DoPreserveVolumeStats = 1;
366         }
367 #ifndef AFS_NT40_ENV
368         else if (strcmp(argv[code], "-syslog") == 0) {
369             /* set syslog logging flag */
370             serverLogSyslog = 1;
371         } else if (strncmp(argv[code], "-syslog=", 8) == 0) {
372             serverLogSyslog = 1;
373             serverLogSyslogFacility = atoi(argv[code] + 8);
374         }
375 #endif
376         else {
377             printf("volserver: unrecognized flag '%s'\n", argv[code]);
378           usage:
379 #ifndef AFS_NT40_ENV
380             printf("Usage: volserver [-log] [-p <number of processes>] "
381                    "[-auditlog <log path>] [-d <debug level>] "
382                    "[-nojumbo] [-jumbo] [-rxmaxmtu <bytes>] [-rxbind] [-allow-dotted-principals] "
383                    "[-udpsize <size of socket buffer in bytes>] "
384                    "[-syslog[=FACILITY]] "
385                    "[-enable_peer_stats] [-enable_process_stats] "
386                    "[-help]\n");
387 #else
388             printf("Usage: volserver [-log] [-p <number of processes>] "
389                    "[-auditlog <log path>] [-d <debug level>] "
390                    "[-nojumbo] [-jumbo] [-rxmaxmtu <bytes>] [-rxbind] [-allow-dotted-principals] "
391                    "[-udpsize <size of socket buffer in bytes>] "
392                    "[-enable_peer_stats] [-enable_process_stats] "
393                    "[-help]\n");
394 #endif
395             VS_EXIT(1);
396         }
397     }
398
399     if (auditFileName) {
400         osi_audit_file(auditFileName);
401         osi_audit(VS_StartEvent, 0, AUD_END);
402     }
403 #ifdef AFS_SGI_VNODE_GLUE
404     if (afs_init_kernel_config(-1) < 0) {
405         printf
406             ("Can't determine NUMA configuration, not starting volserver.\n");
407         exit(1);
408     }
409 #endif
410     InitErrTabs();
411
412 #ifdef AFS_PTHREAD_ENV
413     SetLogThreadNumProgram( rx_GetThreadNum );
414 #endif
415
416 #ifdef AFS_NT40_ENV
417     if (afs_winsockInit() < 0) {
418         ReportErrorEventAlt(AFSEVT_SVR_WINSOCK_INIT_FAILED, 0, argv[0], 0);
419         printf("Volume server unable to start winsock, exiting.\n");
420         exit(1);
421     }
422 #endif
423     /* Open VolserLog and map stdout, stderr into it; VInitVolumePackage2 can
424        log, so we need to do this here */
425     OpenLog(AFSDIR_SERVER_VOLSERLOG_FILEPATH);
426
427     VOptDefaults(volumeServer, &opts);
428     if (VInitVolumePackage2(volumeServer, &opts)) {
429         Log("Shutting down: errors encountered initializing volume package\n");
430         exit(1);
431     }
432     /* For nuke() */
433     Lock_Init(&localLock);
434     DInit(40);
435 #ifndef AFS_PTHREAD_ENV
436     vol_PollProc = IOMGR_Poll;  /* tell vol pkg to poll io system periodically */
437 #endif
438 #ifndef AFS_NT40_ENV
439     rxi_syscallp = volser_syscall;
440 #endif
441     rx_nPackets = rxpackets;    /* set the max number of packets */
442     if (udpBufSize)
443         rx_SetUdpBufSize(udpBufSize);   /* set the UDP buffer size for receive */
444     if (rxBind) {
445         afs_int32 ccode;
446         if (AFSDIR_SERVER_NETRESTRICT_FILEPATH ||
447             AFSDIR_SERVER_NETINFO_FILEPATH) {
448             char reason[1024];
449             ccode = parseNetFiles(SHostAddrs, NULL, NULL,
450                                            ADDRSPERSITE, reason,
451                                            AFSDIR_SERVER_NETINFO_FILEPATH,
452                                            AFSDIR_SERVER_NETRESTRICT_FILEPATH);
453         } else
454         {
455             ccode = rx_getAllAddr(SHostAddrs, ADDRSPERSITE);
456         }
457         if (ccode == 1)
458             host = SHostAddrs[0];
459     }
460
461     code = rx_InitHost(host, (int)htons(AFSCONF_VOLUMEPORT));
462     if (code) {
463         fprintf(stderr, "rx init failed on socket AFSCONF_VOLUMEPORT %u\n",
464                 AFSCONF_VOLUMEPORT);
465         VS_EXIT(1);
466     }
467     if (!rxJumbograms) {
468         /* Don't allow 3.4 vos clients to send jumbograms and we don't send. */
469         rx_SetNoJumbo();
470     }
471     if (rxMaxMTU != -1) {
472         if (rx_SetMaxMTU(rxMaxMTU) != 0) {
473             fprintf(stderr, "rxMaxMTU %d is invalid\n", rxMaxMTU);
474             VS_EXIT(1);
475         }
476     }
477     rx_GetIFInfo();
478     rx_SetRxDeadTime(420);
479     memset(busyFlags, 0, sizeof(busyFlags));
480
481     SetupLogSignals();
482
483     {
484 #ifdef AFS_PTHREAD_ENV
485         pthread_t tid;
486         pthread_attr_t tattr;
487         osi_Assert(pthread_attr_init(&tattr) == 0);
488         osi_Assert(pthread_attr_setdetachstate(&tattr, PTHREAD_CREATE_DETACHED) == 0);
489
490         osi_Assert(pthread_create(&tid, &tattr, BKGLoop, NULL) == 0);
491 #else
492         PROCESS pid;
493         LWP_CreateProcess(BKGLoop, 16*1024, 3, 0, "vol bkg daemon", &pid);
494         LWP_CreateProcess(BKGSleep,16*1024, 3, 0, "vol slp daemon", &pid);
495 #endif
496     }
497
498     /* Create a single security object, in this case the null security object, for unauthenticated connections, which will be used to control security on connections made to this server */
499
500     tdir = afsconf_Open(AFSDIR_SERVER_ETC_DIRPATH);
501     if (!tdir) {
502         Abort("volser: could not open conf files in %s\n",
503               AFSDIR_SERVER_ETC_DIRPATH);
504         VS_EXIT(1);
505     }
506
507     /* initialize audit user check */
508     osi_audit_set_user_check(tdir, vol_IsLocalRealmMatch);
509
510     afsconf_GetKey(tdir, 999, &tkey);
511     afsconf_BuildServerSecurityObjects(tdir, &securityClasses, &numClasses);
512     if (securityClasses[0] == NULL)
513         Abort("rxnull_NewServerSecurityObject");
514     service =
515         rx_NewServiceHost(host, 0, VOLSERVICE_ID, "VOLSER", securityClasses,
516                           numClasses, AFSVolExecuteRequest);
517     if (service == (struct rx_service *)0)
518         Abort("rx_NewService");
519     rx_SetBeforeProc(service, MyBeforeProc);
520     rx_SetAfterProc(service, MyAfterProc);
521     rx_SetIdleDeadTime(service, 0);     /* never timeout */
522     if (lwps < 4)
523         lwps = 4;
524     rx_SetMaxProcs(service, lwps);
525 #if defined(AFS_XBSD_ENV)
526     rx_SetStackSize(service, (128 * 1024));
527 #elif defined(AFS_SGI_ENV)
528     rx_SetStackSize(service, (48 * 1024));
529 #else
530     rx_SetStackSize(service, (32 * 1024));
531 #endif
532
533     if (rxkadDisableDotCheck) {
534         rx_SetSecurityConfiguration(service, RXS_CONFIG_FLAGS,
535                                     (void *)RXS_CONFIG_FLAGS_DISABLE_DOTCHECK);
536     }
537
538     service =
539         rx_NewService(0, RX_STATS_SERVICE_ID, "rpcstats", securityClasses,
540                       numClasses, RXSTATS_ExecuteRequest);
541     if (service == (struct rx_service *)0)
542         Abort("rx_NewService");
543     rx_SetMinProcs(service, 2);
544     rx_SetMaxProcs(service, 4);
545
546     LogCommandLine(argc, argv, "Volserver", VolserVersion, "Starting AFS",
547                    Log);
548     if (TTsleep) {
549         Log("Will sleep %d second%s every %d second%s\n", TTsleep,
550             (TTsleep > 1) ? "s" : "", TTrun + TTsleep,
551             (TTrun + TTsleep > 1) ? "s" : "");
552     }
553
554     /* allow super users to manage RX statistics */
555     rx_SetRxStatUserOk(vol_rxstat_userok);
556
557     rx_StartServer(1);          /* Donate this process to the server process pool */
558
559     osi_audit(VS_FinishEvent, (-1), AUD_END);
560     Abort("StartServer returned?");
561     return 0; /* not reached */
562 }