Avoid using released hosts
[openafs.git] / src / viced / host.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  *
9  * Portions Copyright (c) 2006 Sine Nomine Associates
10  */
11
12 #include <afsconfig.h>
13 #include <afs/param.h>
14
15
16 #include <stdio.h>
17 #include <errno.h>
18 #include <string.h>
19 #ifdef AFS_NT40_ENV
20 #include <fcntl.h>
21 #include <winsock2.h>
22 #else
23 #include <sys/file.h>
24 #include <netdb.h>
25 #include <netinet/in.h>
26 #endif
27
28 #include <afs/stds.h>
29 #include <rx/xdr.h>
30 #include <afs/assert.h>
31 #include <lwp.h>
32 #include <lock.h>
33 #include <afs/afsint.h>
34 #define FSINT_COMMON_XG
35 #include <afs/afscbint.h>
36 #include <afs/rxgen_consts.h>
37 #include <afs/nfs.h>
38 #include <afs/errors.h>
39 #include <afs/ihandle.h>
40 #include <afs/vnode.h>
41 #include <afs/volume.h>
42 #ifdef AFS_ATHENA_STDENV
43 #include <krb.h>
44 #endif
45 #include <afs/acl.h>
46 #include <afs/ptclient.h>
47 #include <afs/ptuser.h>
48 #include <afs/prs_fs.h>
49 #include <afs/auth.h>
50 #include <afs/afsutil.h>
51 #include <afs/com_err.h>
52 #include <rx/rx.h>
53 #include <afs/cellconfig.h>
54 #include <stdlib.h>
55 #include "viced_prototypes.h"
56 #include "viced.h"
57 #include "host.h"
58 #include "callback.h"
59 #ifdef AFS_DEMAND_ATTACH_FS
60 #include "../util/afsutil_prototypes.h"
61 #include "../tviced/serialize_state.h"
62 #endif /* AFS_DEMAND_ATTACH_FS */
63
64 #ifdef AFS_PTHREAD_ENV
65 pthread_mutex_t host_glock_mutex;
66 #endif /* AFS_PTHREAD_ENV */
67
68 extern int Console;
69 extern int CurrentConnections;
70 extern int SystemId;
71 extern int AnonymousID;
72 extern prlist AnonCPS;
73 extern int LogLevel;
74 extern struct afsconf_dir *confDir;     /* config dir object */
75 extern int lwps;                /* the max number of server threads */
76 extern afsUUID FS_HostUUID;
77
78 afsUUID nulluuid;
79 int CEs = 0;                    /* active clients */
80 int CEBlocks = 0;               /* number of blocks of CEs */
81 struct client *CEFree = 0;      /* first free client */
82 struct host *hostList = 0;      /* linked list of all hosts */
83 int hostCount = 0;              /* number of hosts in hostList */
84 int rxcon_ident_key;
85 int rxcon_client_key;
86
87 static struct rx_securityClass *sc = NULL;
88
89 static void h_SetupCallbackConn_r(struct host * host);
90 static int h_threadquota(int);
91
92 #define CESPERBLOCK 73
93 struct CEBlock {                /* block of CESPERBLOCK file entries */
94     struct client entry[CESPERBLOCK];
95 };
96
97 void h_TossStuff_r(register struct host *host);
98
99 /*
100  * Make sure the subnet macros have been defined.
101  */
102 #ifndef IN_SUBNETA
103 #define IN_SUBNETA(i)           ((((afs_int32)(i))&0x80800000)==0x00800000)
104 #endif
105
106 #ifndef IN_CLASSA_SUBNET
107 #define IN_CLASSA_SUBNET        0xffff0000
108 #endif
109
110 #ifndef IN_SUBNETB
111 #define IN_SUBNETB(i)           ((((afs_int32)(i))&0xc0008000)==0x80008000)
112 #endif
113
114 #ifndef IN_CLASSB_SUBNET
115 #define IN_CLASSB_SUBNET        0xffffff00
116 #endif
117
118
119 /* get a new block of CEs and chain it on CEFree */
120 static void
121 GetCEBlock(void)
122 {
123     register struct CEBlock *block;
124     register int i;
125
126     block = (struct CEBlock *)malloc(sizeof(struct CEBlock));
127     if (!block) {
128         ViceLog(0, ("Failed malloc in GetCEBlock\n"));
129         ShutDownAndCore(PANIC);
130     }
131
132     for (i = 0; i < (CESPERBLOCK - 1); i++) {
133         Lock_Init(&block->entry[i].lock);
134         block->entry[i].next = &(block->entry[i + 1]);
135     }
136     block->entry[CESPERBLOCK - 1].next = 0;
137     Lock_Init(&block->entry[CESPERBLOCK - 1].lock);
138     CEFree = (struct client *)block;
139     CEBlocks++;
140
141 }                               /*GetCEBlock */
142
143
144 /* get the next available CE */
145 static struct client *
146 GetCE(void)
147 {
148     register struct client *entry;
149
150     if (CEFree == 0)
151         GetCEBlock();
152     if (CEFree == 0) {
153         ViceLog(0, ("CEFree NULL in GetCE\n"));
154         ShutDownAndCore(PANIC);
155     }
156
157     entry = CEFree;
158     CEFree = entry->next;
159     CEs++;
160     memset(entry, 0, CLIENT_TO_ZERO(entry));
161     return (entry);
162
163 }                               /*GetCE */
164
165
166 /* return an entry to the free list */
167 static void
168 FreeCE(register struct client *entry)
169 {
170     entry->VenusEpoch = 0;
171     entry->sid = 0;
172     entry->next = CEFree;
173     CEFree = entry;
174     CEs--;
175
176 }                               /*FreeCE */
177
178 /*
179  * The HTs and HTBlocks variables were formerly static, but they are
180  * now referenced elsewhere in the FileServer.
181  */
182 int HTs = 0;                    /* active file entries */
183 int HTBlocks = 0;               /* number of blocks of HTs */
184 static struct host *HTFree = 0; /* first free file entry */
185
186 /*
187  * Hash tables of host pointers. We need two tables, one
188  * to map IP addresses onto host pointers, and another
189  * to map host UUIDs onto host pointers.
190  */
191 static struct h_AddrHashChain *hostAddrHashTable[h_HASHENTRIES];
192 static struct h_UuidHashChain *hostUuidHashTable[h_HASHENTRIES];
193 #define h_HashIndex(hostip) (ntohl(hostip) & (h_HASHENTRIES-1))
194 #define h_UuidHashIndex(uuidp) (((int)(afs_uuid_hash(uuidp))) & (h_HASHENTRIES-1))
195
196 struct HTBlock {                /* block of HTSPERBLOCK file entries */
197     struct host entry[h_HTSPERBLOCK];
198 };
199
200
201 /* get a new block of HTs and chain it on HTFree */
202 static void
203 GetHTBlock(void)
204 {
205     register struct HTBlock *block;
206     register int i;
207     static int index = 0;
208
209     if (HTBlocks == h_MAXHOSTTABLES) {
210         ViceLog(0, ("h_MAXHOSTTABLES reached\n"));
211         ShutDownAndCore(PANIC);
212     }
213
214     block = (struct HTBlock *)malloc(sizeof(struct HTBlock));
215     if (!block) {
216         ViceLog(0, ("Failed malloc in GetHTBlock\n"));
217         ShutDownAndCore(PANIC);
218     }
219 #ifdef AFS_PTHREAD_ENV
220     for (i = 0; i < (h_HTSPERBLOCK); i++)
221         assert(pthread_cond_init(&block->entry[i].cond, NULL) == 0);
222 #endif /* AFS_PTHREAD_ENV */
223     for (i = 0; i < (h_HTSPERBLOCK); i++)
224         Lock_Init(&block->entry[i].lock);
225     for (i = 0; i < (h_HTSPERBLOCK - 1); i++)
226         block->entry[i].next = &(block->entry[i + 1]);
227     for (i = 0; i < (h_HTSPERBLOCK); i++)
228         block->entry[i].index = index++;
229     block->entry[h_HTSPERBLOCK - 1].next = 0;
230     HTFree = (struct host *)block;
231     hosttableptrs[HTBlocks++] = block->entry;
232
233 }                               /*GetHTBlock */
234
235
236 /* get the next available HT */
237 static struct host *
238 GetHT(void)
239 {
240     register struct host *entry;
241
242     if (HTFree == NULL)
243         GetHTBlock();
244     assert(HTFree != NULL);
245     entry = HTFree;
246     HTFree = entry->next;
247     HTs++;
248     memset(entry, 0, HOST_TO_ZERO(entry));
249     return (entry);
250
251 }                               /*GetHT */
252
253
254 /* return an entry to the free list */
255 static void
256 FreeHT(register struct host *entry)
257 {
258     entry->next = HTFree;
259     HTFree = entry;
260     HTs--;
261
262 }                               /*FreeHT */
263
264 afs_int32
265 hpr_Initialize(struct ubik_client **uclient)
266 {
267     afs_int32 code;
268     struct rx_connection *serverconns[MAXSERVERS];
269     struct rx_securityClass *sc[3];
270     struct afsconf_dir *tdir;
271     struct ktc_token ttoken;
272     afs_int32 scIndex;
273     struct afsconf_cell info;
274     afs_int32 i;
275     char cellstr[64];
276
277     tdir = afsconf_Open(AFSDIR_SERVER_ETC_DIRPATH);
278     if (!tdir) {
279         ViceLog(0, ("hpr_Initialize: Could not open configuration directory: %s", AFSDIR_SERVER_ETC_DIRPATH));
280         return -1;
281     }
282     
283     code = afsconf_GetLocalCell(tdir, cellstr, sizeof(cellstr));
284     if (code) {
285         ViceLog(0, ("hpr_Initialize: Could not get local cell. [%d]", code));
286         afsconf_Close(tdir);
287         return code;
288     }
289     
290     code = afsconf_GetCellInfo(tdir, cellstr, "afsprot", &info);
291     if (code) {
292         ViceLog(0, ("hpr_Initialize: Could not locate cell %s in %s/%s", cellstr, confDir, AFSDIR_CELLSERVDB_FILE));
293         afsconf_Close(tdir);
294         return code;
295     }
296     
297     code = rx_Init(0);
298     if (code) {
299         ViceLog(0, ("hpr_Initialize: Could not initialize rx."));
300         afsconf_Close(tdir);
301         return code;
302     }
303     
304     scIndex = 2;
305     sc[0] = 0;
306     sc[1] = 0;
307     sc[2] = 0;
308     /* Most callers use secLevel==1, however, the fileserver uses secLevel==2
309      * to force use of the KeyFile.  secLevel == 0 implies -noauth was
310      * specified. */
311     if ((afsconf_GetLatestKey(tdir, 0, 0) == 0)) {
312         code = afsconf_ClientAuthSecure(tdir, &sc[2], &scIndex);
313         if (code)
314             ViceLog(0, ("hpr_Initialize: clientauthsecure returns %d %s (so trying noauth)", code, afs_error_message(code)));
315         if (code)
316             scIndex = 0;        /* use noauth */
317         if (scIndex != 2)
318             /* if there was a problem, an unauthenticated conn is returned */
319             sc[scIndex] = sc[2];
320     } else {
321         struct ktc_principal sname;
322         strcpy(sname.cell, info.name);
323         sname.instance[0] = 0;
324         strcpy(sname.name, "afs");
325         code = ktc_GetToken(&sname, &ttoken, sizeof(ttoken), NULL);
326         if (code)
327             scIndex = 0;
328         else {
329             if (ttoken.kvno >= 0 && ttoken.kvno <= 256)
330                 /* this is a kerberos ticket, set scIndex accordingly */
331                 scIndex = 2;
332             else {
333                 ViceLog(0, ("hpr_Initialize: funny kvno (%d) in ticket, proceeding", ttoken.kvno));
334                 scIndex = 2;
335             }
336             sc[2] =
337                 rxkad_NewClientSecurityObject(rxkad_clear, &ttoken.sessionKey,
338                                               ttoken.kvno, ttoken.ticketLen,
339                                               ttoken.ticket);
340         }
341     }
342     if ((scIndex == 0) && (sc[0] == 0))
343         sc[0] = rxnull_NewClientSecurityObject();
344     if ((scIndex == 0))
345         ViceLog(0, ("hpr_Initialize: Could not get afs tokens, running unauthenticated. [%d]", code));
346     
347     memset(serverconns, 0, sizeof(serverconns));        /* terminate list!!! */
348     for (i = 0; i < info.numServers; i++) {
349         serverconns[i] =
350             rx_NewConnection(info.hostAddr[i].sin_addr.s_addr,
351                              info.hostAddr[i].sin_port, PRSRV, sc[scIndex],
352                              scIndex);
353     }
354
355     code = ubik_ClientInit(serverconns, uclient);
356     if (code) {
357         ViceLog(0, ("hpr_Initialize: ubik client init failed. [%d]", code));
358     }
359     afsconf_Close(tdir);
360     code = rxs_Release(sc[scIndex]);
361     return code;
362 }
363
364 int
365 hpr_End(struct ubik_client *uclient)
366 {
367     int code = 0;
368
369     if (uclient) {
370         code = ubik_ClientDestroy(uclient);
371     }
372     return code;
373 }
374
375 int
376 hpr_GetHostCPS(afs_int32 host, prlist *CPS)
377 {
378 #ifdef AFS_PTHREAD_ENV
379     register afs_int32 code;
380     afs_int32 over;
381     struct ubik_client *uclient = 
382         (struct ubik_client *)pthread_getspecific(viced_uclient_key);
383
384     if (!uclient) {
385         code = hpr_Initialize(&uclient);
386         if (!code) 
387             assert(pthread_setspecific(viced_uclient_key, (void *)uclient) == 0);
388         else
389             return code;
390     }
391
392     over = 0;
393     code = ubik_PR_GetHostCPS(uclient, 0, host, CPS, &over);
394     if (code != PRSUCCESS)
395         return code;
396     if (over) {
397       /* do something about this, probably make a new call */
398       /* don't forget there's a hard limit in the interface */
399         fprintf(stderr,
400                 "membership list for host id %d exceeds display limit\n",
401                 host);
402     }
403     return 0;
404 #else
405     return pr_GetHostCPS(host, CPS);
406 #endif
407 }
408
409 int
410 hpr_NameToId(namelist *names, idlist *ids)
411 {
412 #ifdef AFS_PTHREAD_ENV
413     register afs_int32 code;
414     register afs_int32 i;
415     struct ubik_client *uclient = 
416         (struct ubik_client *)pthread_getspecific(viced_uclient_key);
417
418     if (!uclient) {
419         code = hpr_Initialize(&uclient);
420         if (!code)
421             assert(pthread_setspecific(viced_uclient_key, (void *)uclient) == 0);
422         else
423             return code;
424     }
425
426     for (i = 0; i < names->namelist_len; i++)
427         stolower(names->namelist_val[i]);
428     code = ubik_PR_NameToID(uclient, 0, names, ids);
429     return code;
430 #else
431     return pr_NameToId(names, ids);
432 #endif
433 }
434
435 int
436 hpr_IdToName(idlist *ids, namelist *names)
437 {
438 #ifdef AFS_PTHREAD_ENV
439     register afs_int32 code;
440     struct ubik_client *uclient = 
441         (struct ubik_client *)pthread_getspecific(viced_uclient_key);
442     
443     if (!uclient) {
444         code = hpr_Initialize(&uclient);
445         if (!code)
446             assert(pthread_setspecific(viced_uclient_key, (void *)uclient) == 0);
447         else
448             return code;
449     }
450
451     code = ubik_PR_IDToName(uclient, 0, ids, names);
452     return code;
453 #else
454     return pr_IdToName(ids, names);
455 #endif
456 }
457
458 int
459 hpr_GetCPS(afs_int32 id, prlist *CPS)
460 {
461 #ifdef AFS_PTHREAD_ENV
462     register afs_int32 code;
463     afs_int32 over;
464     struct ubik_client *uclient = 
465         (struct ubik_client *)pthread_getspecific(viced_uclient_key);
466
467     if (!uclient) {
468         code = hpr_Initialize(&uclient);
469         if (!code)
470             assert(pthread_setspecific(viced_uclient_key, (void *)uclient) == 0);
471         else
472             return code;
473     }
474
475     over = 0;
476     code = ubik_PR_GetCPS(uclient, 0, id, CPS, &over);
477     if (code != PRSUCCESS)
478         return code;
479     if (over) {
480       /* do something about this, probably make a new call */
481       /* don't forget there's a hard limit in the interface */
482         fprintf(stderr, "membership list for id %d exceeds display limit\n",
483                 id);
484     }
485     return 0;
486 #else
487     return pr_GetCPS(id, CPS);
488 #endif
489 }
490
491 static short consolePort = 0;
492
493 int
494 h_Lock_r(register struct host *host)
495 {
496     H_UNLOCK;
497     h_Lock(host);
498     H_LOCK;
499     return 0;
500 }
501
502 /**
503   * Non-blocking lock
504   * returns 1 if already locked
505   * else returns locks and returns 0
506   */
507
508 int
509 h_NBLock_r(register struct host *host)
510 {
511     struct Lock *hostLock = &host->lock;
512     int locked = 0;
513
514     H_UNLOCK;
515     LOCK_LOCK(hostLock);
516     if (!(hostLock->excl_locked) && !(hostLock->readers_reading))
517         hostLock->excl_locked = WRITE_LOCK;
518     else
519         locked = 1;
520
521     LOCK_UNLOCK(hostLock);
522     H_LOCK;
523     if (locked)
524         return 1;
525     else
526         return 0;
527 }
528
529
530 #if FS_STATS_DETAILED
531 /*------------------------------------------------------------------------
532  * PRIVATE h_AddrInSameNetwork
533  *
534  * Description:
535  *      Given a target IP address and a candidate IP address (both
536  *      in host byte order), return a non-zero value (1) if the
537  *      candidate address is in a different network from the target
538  *      address.
539  *
540  * Arguments:
541  *      a_targetAddr       : Target address.
542  *      a_candAddr         : Candidate address.
543  *
544  * Returns:
545  *      1 if the candidate address is in the same net as the target,
546  *      0 otherwise.
547  *
548  * Environment:
549  *      The target and candidate addresses are both in host byte
550  *      order, NOT network byte order, when passed in.  We return
551  *      our value as a character, since that's the type of field in
552  *      the host structure, where this info will be stored.
553  *
554  * Side Effects:
555  *      As advertised.
556  *------------------------------------------------------------------------*/
557
558 static char
559 h_AddrInSameNetwork(afs_uint32 a_targetAddr, afs_uint32 a_candAddr)
560 {                               /*h_AddrInSameNetwork */
561
562     afs_uint32 targetNet;
563     afs_uint32 candNet;
564
565     /*
566      * Pull out the network and subnetwork numbers from the target
567      * and candidate addresses.  We can short-circuit this whole
568      * affair if the target and candidate addresses are not of the
569      * same class.
570      */
571     if (IN_CLASSA(a_targetAddr)) {
572         if (!(IN_CLASSA(a_candAddr))) {
573             return (0);
574         }
575         targetNet = a_targetAddr & IN_CLASSA_NET;
576         candNet = a_candAddr & IN_CLASSA_NET;
577     } else if (IN_CLASSB(a_targetAddr)) {
578         if (!(IN_CLASSB(a_candAddr))) {
579             return (0);
580         }
581         targetNet = a_targetAddr & IN_CLASSB_NET;
582         candNet = a_candAddr & IN_CLASSB_NET;
583     } /*Class B target */
584     else if (IN_CLASSC(a_targetAddr)) {
585         if (!(IN_CLASSC(a_candAddr))) {
586             return (0);
587         }
588         targetNet = a_targetAddr & IN_CLASSC_NET;
589         candNet = a_candAddr & IN_CLASSC_NET;
590     } /*Class C target */
591     else {
592         targetNet = a_targetAddr;
593         candNet = a_candAddr;
594     }                           /*Class D address */
595
596     /*
597      * Now, simply compare the extracted net values for the two addresses
598      * (which at this point are known to be of the same class)
599      */
600     if (targetNet == candNet)
601         return (1);
602     else
603         return (0);
604
605 }                               /*h_AddrInSameNetwork */
606 #endif /* FS_STATS_DETAILED */
607
608
609 /* Assumptions: called with held host */
610 void
611 h_gethostcps_r(register struct host *host, register afs_int32 now)
612 {
613     register int code;
614     int slept = 0;
615
616     /* wait if somebody else is already doing the getCPS call */
617     while (host->hostFlags & HCPS_INPROGRESS) {
618         slept = 1;              /* I did sleep */
619         host->hostFlags |= HCPS_WAITING;        /* I am sleeping now */
620 #ifdef AFS_PTHREAD_ENV
621         pthread_cond_wait(&host->cond, &host_glock_mutex);
622 #else /* AFS_PTHREAD_ENV */
623         if ((code = LWP_WaitProcess(&(host->hostFlags))) != LWP_SUCCESS)
624             ViceLog(0, ("LWP_WaitProcess returned %d\n", code));
625 #endif /* AFS_PTHREAD_ENV */
626     }
627
628
629     host->hostFlags |= HCPS_INPROGRESS; /* mark as CPSCall in progress */
630     if (host->hcps.prlist_val)
631         free(host->hcps.prlist_val);    /* this is for hostaclRefresh */
632     host->hcps.prlist_val = NULL;
633     host->hcps.prlist_len = 0;
634     host->cpsCall = slept ? (FT_ApproxTime()) : (now);
635
636     H_UNLOCK;
637     code = hpr_GetHostCPS(ntohl(host->host), &host->hcps);
638     H_LOCK;
639     if (code) {
640         char hoststr[16];
641         /*
642          * Although ubik_Call (called by pr_GetHostCPS) traverses thru all protection servers
643          * and reevaluates things if no sync server or quorum is found we could still end up
644          * with one of these errors. In such case we would like to reevaluate the rpc call to
645          * find if there's cps for this guy. We treat other errors (except network failures
646          * ones - i.e. code < 0) as an indication that there is no CPS for this host. Ideally
647          * we could like to deal this problem the other way around (i.e. if code == NOCPS 
648          * ignore else retry next time) but the problem is that there're other errors (i.e.
649          * EPERM) for which we don't want to retry and we don't know the whole code list!
650          */
651         if (code < 0 || code == UNOQUORUM || code == UNOTSYNC) {
652             /* 
653              * We would have preferred to use a while loop and try again since ops in protected
654              * acls for this host will fail now but they'll be reevaluated on any subsequent
655              * call. The attempt to wait for a quorum/sync site or network error won't work
656              * since this problems really should only occurs during a complete fileserver 
657              * restart. Since the fileserver will start before the ptservers (and thus before
658              * quorums are complete) clients will be utilizing all the fileserver's lwps!!
659              */
660             host->hcpsfailed = 1;
661             ViceLog(0,
662                     ("Warning:  GetHostCPS failed (%d) for %x (%s:%d); will retry\n",
663                      code, host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
664         } else {
665             host->hcpsfailed = 0;
666             ViceLog(1,
667                     ("gethost:  GetHostCPS failed (%d) for %x (%s:%d); ignored\n",
668                      code, host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
669         }
670         if (host->hcps.prlist_val)
671             free(host->hcps.prlist_val);
672         host->hcps.prlist_val = NULL;
673         host->hcps.prlist_len = 0;      /* Make sure it's zero */
674     } else
675         host->hcpsfailed = 0;
676
677     host->hostFlags &= ~HCPS_INPROGRESS;
678     /* signal all who are waiting */
679     if (host->hostFlags & HCPS_WAITING) {       /* somebody is waiting */
680         host->hostFlags &= ~HCPS_WAITING;
681 #ifdef AFS_PTHREAD_ENV
682         assert(pthread_cond_broadcast(&host->cond) == 0);
683 #else /* AFS_PTHREAD_ENV */
684         if ((code = LWP_NoYieldSignal(&(host->hostFlags))) != LWP_SUCCESS)
685             ViceLog(0, ("LWP_NoYieldSignal returns %d\n", code));
686 #endif /* AFS_PTHREAD_ENV */
687     }
688 }
689
690 /* args in net byte order */
691 void
692 h_flushhostcps(register afs_uint32 hostaddr, register afs_uint16 hport)
693 {
694     struct host *host;
695
696     H_LOCK;
697     h_Lookup_r(hostaddr, hport, &host);
698     if (host) {
699         host->hcpsfailed = 1;
700         h_Release_r(host);
701     }
702     H_UNLOCK;
703     return;
704 }
705
706
707 /*
708  * Allocate a host.  It will be identified by the peer (ip,port) info in the
709  * rx connection provided.  The host is returned held and locked
710  */
711 #define DEF_ROPCONS 2115
712
713 struct host *
714 h_Alloc_r(register struct rx_connection *r_con)
715 {
716     struct servent *serverentry;
717     struct host *host;
718     afs_int32 now;
719 #if FS_STATS_DETAILED
720     afs_uint32 newHostAddr_HBO; /*New host IP addr, in host byte order */
721 #endif /* FS_STATS_DETAILED */
722
723     host = GetHT();
724
725     host->host = rxr_HostOf(r_con);
726     host->port = rxr_PortOf(r_con);
727
728     h_AddHostToAddrHashTable_r(host->host, host->port, host);
729
730     if (consolePort == 0) {     /* find the portal number for console */
731 #if     defined(AFS_OSF_ENV)
732         serverentry = getservbyname("ropcons", "");
733 #else
734         serverentry = getservbyname("ropcons", 0);
735 #endif
736         if (serverentry)
737             consolePort = serverentry->s_port;
738         else
739             consolePort = htons(DEF_ROPCONS);   /* Use a default */
740     }
741     if (host->port == consolePort)
742         host->Console = 1;
743     /* Make a callback channel even for the console, on the off chance that it
744      * makes a request that causes a break call back.  It shouldn't. */
745     h_SetupCallbackConn_r(host);
746     now = host->LastCall = host->cpsCall = host->ActiveCall = FT_ApproxTime();
747     host->hostFlags = 0;
748     host->hcps.prlist_val = NULL;
749     host->hcps.prlist_len = 0;
750     host->interface = NULL;
751 #ifdef undef
752     host->hcpsfailed = 0;       /* save cycles */
753     h_gethostcps(host);         /* do this under host hold/lock */
754 #endif
755     host->FirstClient = NULL;
756     h_Hold_r(host);
757     h_Lock_r(host);
758     h_InsertList_r(host);       /* update global host List */
759 #if FS_STATS_DETAILED
760     /*
761      * Compare the new host's IP address (in host byte order) with ours
762      * (the File Server's), remembering if they are in the same network.
763      */
764     newHostAddr_HBO = (afs_uint32) ntohl(host->host);
765     host->InSameNetwork =
766         h_AddrInSameNetwork(FS_HostAddr_HBO, newHostAddr_HBO);
767 #endif /* FS_STATS_DETAILED */
768     return host;
769
770 }                               /*h_Alloc_r */
771
772
773
774 /* Make a callback channel even for the console, on the off chance that it
775  * makes a request that causes a break call back.  It shouldn't. */
776 static void
777 h_SetupCallbackConn_r(struct host * host)
778 {
779     if (!sc)
780         sc = rxnull_NewClientSecurityObject();
781     host->callback_rxcon =
782         rx_NewConnection(host->host, host->port, 1, sc, 0);
783     rx_SetConnDeadTime(host->callback_rxcon, 50);
784     rx_SetConnHardDeadTime(host->callback_rxcon, AFS_HARDDEADTIME);
785 }
786
787 /* h_Lookup_r
788  * Lookup a host given an IP address and UDP port number.
789  * hostaddr and hport are in network order
790  * hostaddr and hport are in network order
791  * On return, refCount is incremented.
792  */
793 int
794 h_Lookup_r(afs_uint32 haddr, afs_uint16 hport, struct host **hostp)
795 {
796     afs_int32 now;
797     struct host *host = NULL;
798     struct h_AddrHashChain *chain;
799     int index = h_HashIndex(haddr);
800     extern int hostaclRefresh;
801
802   restart:
803     for (chain = hostAddrHashTable[index]; chain; chain = chain->next) {
804         host = chain->hostPtr;
805         assert(host);
806         if (!(host->hostFlags & HOSTDELETED) && chain->addr == haddr
807             && chain->port == hport) {
808             if ((host->hostFlags & HWHO_INPROGRESS) && 
809                 h_threadquota(host->lock.num_waiting)) {
810                 *hostp = 0;
811                 return VBUSY;
812             }
813             h_Hold_r(host);
814             h_Lock_r(host);
815             if (host->hostFlags & HOSTDELETED) {
816                 h_Unlock_r(host);
817                 h_Release_r(host);
818                 host = NULL;
819                 goto restart;
820             }
821             h_Unlock_r(host);
822             now = FT_ApproxTime();      /* always evaluate "now" */
823             if (host->hcpsfailed || (host->cpsCall + hostaclRefresh < now)) {
824                 /*
825                  * Every hostaclRefresh period (def 2 hrs) get the new
826                  * membership list for the host.  Note this could be the
827                  * first time that the host is added to a group.  Also
828                  * here we also retry on previous legitimate hcps failures.
829                  *
830                  * If we get here refCount is elevated.
831                  */
832                 h_gethostcps_r(host, now);
833             }
834             break;
835         }
836         host = NULL;
837     }
838     *hostp = host;
839     return 0;
840 }                               /*h_Lookup */
841
842 /* Lookup a host given its UUID. */
843 struct host *
844 h_LookupUuid_r(afsUUID * uuidp)
845 {
846     struct host *host = 0;
847     struct h_UuidHashChain *chain;
848     int index = h_UuidHashIndex(uuidp);
849
850     for (chain = hostUuidHashTable[index]; chain; chain = chain->next) {
851         host = chain->hostPtr;
852         assert(host);
853         if (!(host->hostFlags & HOSTDELETED) && host->interface
854             && afs_uuid_equal(&host->interface->uuid, uuidp)) {
855             return host;
856         }
857     }
858     return NULL;
859 }                               /*h_Lookup */
860
861
862 /* h_TossStuff_r:  Toss anything in the host structure (the host or
863  * clients marked for deletion.  Called from h_Release_r ONLY.
864  * To be called, there must be no holds, and either host->deleted
865  * or host->clientDeleted must be set.
866  */
867 void
868 h_TossStuff_r(register struct host *host)
869 {
870     register struct client **cp, *client;
871
872     /* if somebody still has this host held */
873     if (host->refCount > 0)
874         return;
875
876     /* if somebody still has this host locked */
877     if (h_NBLock_r(host) != 0) {
878         char hoststr[16];
879         ViceLog(0,
880                 ("Warning:  h_TossStuff_r failed; Host %" AFS_PTR_FMT " (%s:%d) was locked.\n",
881                  host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
882         return;
883     } else {
884         h_Unlock_r(host);
885     }
886
887     /* ASSUMPTION: rxi_FreeConnection() does not yield */
888     for (cp = &host->FirstClient; (client = *cp);) {
889         if ((host->hostFlags & HOSTDELETED) || client->deleted) {
890             int code;
891             ObtainWriteLockNoBlock(&client->lock, code);
892             if (code < 0) {
893                 char hoststr[16];
894                 ViceLog(0,
895                         ("Warning: h_TossStuff_r failed: Host %" AFS_PTR_FMT " (%s:%d) client %x was locked.\n",
896                          host, afs_inet_ntoa_r(host->host, hoststr),
897                          ntohs(host->port), client));
898                 return;
899             }
900                  
901             if (client->refCount) {
902                 char hoststr[16];
903                 ViceLog(0,
904                         ("Warning: h_TossStuff_r failed: Host %" AFS_PTR_FMT " (%s:%d) client %x refcount %d.\n",
905                          host, afs_inet_ntoa_r(host->host, hoststr),
906                          ntohs(host->port), client, client->refCount));
907                 /* This is the same thing we do if the host is locked */
908                 ReleaseWriteLock(&client->lock);
909                 return;
910             }
911             client->CPS.prlist_len = 0;
912             if ((client->ViceId != ANONYMOUSID) && client->CPS.prlist_val)
913                 free(client->CPS.prlist_val);
914             client->CPS.prlist_val = NULL;
915             CurrentConnections--;
916             *cp = client->next;
917             ReleaseWriteLock(&client->lock);
918             FreeCE(client);
919         } else
920             cp = &client->next;
921     }
922
923     /* We've just cleaned out all the deleted clients; clear the flag */
924     host->hostFlags &= ~CLIENTDELETED;
925
926     if (host->hostFlags & HOSTDELETED) {
927         register struct rx_connection *rxconn;
928         struct AddrPort hostAddrPort;
929         int i;
930
931         if (host->Console & 1)
932             Console--;
933         if ((rxconn = host->callback_rxcon)) {
934             host->callback_rxcon = (struct rx_connection *)0;
935             rx_DestroyConnection(rxconn);
936         }
937         if (host->hcps.prlist_val)
938             free(host->hcps.prlist_val);
939         host->hcps.prlist_val = NULL;
940         host->hcps.prlist_len = 0;
941         DeleteAllCallBacks_r(host, 1);
942         host->hostFlags &= ~RESETDONE;  /* just to be safe */
943
944         /* if alternate addresses do not exist */
945         if (!(host->interface)) {
946             h_DeleteHostFromAddrHashTable_r(host->host, host->port, host);
947         } else {
948             h_DeleteHostFromUuidHashTable_r(host);
949             h_DeleteHostFromAddrHashTable_r(host->host, host->port, host);
950             /* delete the hash entry for each valid alternate addresses */
951             for (i = 0; i < host->interface->numberOfInterfaces; i++) {
952                 hostAddrPort = host->interface->interface[i];
953                 /* 
954                  * if the interface addr/port is the primary, we already
955                  * removed it.  If the addr/port is not valid, its not
956                  * in the hash table.
957                  */
958                 if (hostAddrPort.valid &&
959                     (host->host != hostAddrPort.addr ||
960                      host->port != hostAddrPort.port))
961                     h_DeleteHostFromAddrHashTable_r(hostAddrPort.addr, hostAddrPort.port, host);
962             }
963             free(host->interface);
964             host->interface = NULL;
965         }                       /* if alternate address exists */
966
967         h_DeleteList_r(host);   /* remove host from global host List */
968         FreeHT(host);
969     }
970 }                               /*h_TossStuff_r */
971
972
973
974 /* h_Enumerate: Calls (*proc)(host, held, param) for at least each host in the
975  * system at the start of the enumeration (perhaps more).  Hosts may be deleted
976  * (have delete flag set); ditto for clients.  refCount is always incremented
977  * before (*proc) is called.  The param flags is passed to (*proc) as the
978  * param flags, permitting (*proc) to stop the enumeration (BAIL).
979  *
980  * Needed?  Why not always h_Hold_r and h_Release_r in (*proc), or even -never-
981  * h_Hold_r or h_Release_r in (*proc)?
982  *
983  * **The proc should return 0 if the host should be released, 1 if it should
984  * be held after enumeration.
985  */
986 void
987 h_Enumerate(int (*proc) (struct host*, int, void *), void *param)
988 {
989     register struct host *host, **list;
990     register int *flags;
991     register int i, count;
992
993     H_LOCK;
994     if (hostCount == 0) {
995         H_UNLOCK;
996         return;
997     }
998     list = (struct host **)malloc(hostCount * sizeof(struct host *));
999     if (!list) {
1000         ViceLog(0, ("Failed malloc in h_Enumerate (list)\n"));
1001         assert(0);
1002     }
1003     flags = (int *)malloc(hostCount * sizeof(int));
1004     if (!flags) {
1005         ViceLog(0, ("Failed malloc in h_Enumerate (flags)\n"));
1006         assert(0);
1007     }
1008     for (count = 0, host = hostList; host; host = host->next, count++) {
1009         list[count] = host;
1010         h_Hold_r(host);
1011     }
1012     if (count != hostCount) {
1013         ViceLog(0, ("h_Enumerate found %d of %d hosts\n", count, hostCount));
1014     }
1015     assert(count <= hostCount);
1016     H_UNLOCK;
1017     for (i = 0; i < count; i++) {
1018         flags[i] = (*proc) (list[i], flags[i], param);
1019         h_Release_r(list[i]);
1020         /* bail out of the enumeration early */
1021         if (H_ENUMERATE_ISSET_BAIL(flags[i]))
1022             break;
1023     }
1024     free((void *)list);
1025     free((void *)flags);
1026 }       /* h_Enumerate */
1027
1028
1029 /* h_Enumerate_r (revised):
1030  * Calls (*proc)(host, flags, param) for each host in hostList, starting
1031  * at enumstart. Called only under H_LOCK.  Hosts may be deleted (have
1032  * delete flag set); ditto for clients.  refCount is always incremented
1033  * before (*proc) is called.  The param flags is passed to (*proc) as the
1034  * param flags, permitting (*proc) to stop the enumeration (BAIL).
1035  *
1036  * Needed?  Why not always h_Hold_r and h_Release_r in (*proc), or even -never-
1037  * h_Hold_r or h_Release_r in (*proc)?
1038  *
1039  * **The proc should return 0 if the host should be released, 1 if it should
1040  * be held after enumeration.
1041  */
1042 void
1043 h_Enumerate_r(int (*proc) (struct host *, int, void *), 
1044               struct host *enumstart, void *param)
1045 {
1046     register struct host *host, *next;
1047     int flags = 0;
1048     int nflags = 0;
1049
1050     if (hostCount == 0) {
1051         return;
1052     }
1053     h_Hold_r(enumstart);
1054     for (host = enumstart; host; host = next, flags = nflags) {
1055         next = host->next;
1056         if (next && !H_ENUMERATE_ISSET_BAIL(flags))
1057             h_Hold_r(next);
1058         flags = (*proc) (host, flags, param);
1059         if (H_ENUMERATE_ISSET_BAIL(flags)) {
1060             h_Release_r(host); /* this might free up the host */
1061             break;
1062         }
1063         h_Release_r(host); /* this might free up the host */
1064     }
1065 }       /*h_Enumerate_r */
1066
1067
1068 /* inserts a new HashChain structure corresponding to this UUID */
1069 void
1070 h_AddHostToUuidHashTable_r(struct afsUUID *uuid, struct host *host)
1071 {
1072     int index;
1073     struct h_UuidHashChain *chain;
1074     char uuid1[128], uuid2[128];
1075     char hoststr[16];
1076
1077     /* hash into proper bucket */
1078     index = h_UuidHashIndex(uuid);
1079
1080     /* don't add the same entry multiple times */
1081     for (chain = hostUuidHashTable[index]; chain; chain = chain->next) {
1082         if (!chain->hostPtr)
1083             continue;
1084
1085         if (chain->hostPtr->interface && 
1086             afs_uuid_equal(&chain->hostPtr->interface->uuid, uuid)) {
1087             if (LogLevel >= 125) {
1088                 afsUUID_to_string(&chain->hostPtr->interface->uuid, uuid1, 
1089                                   127);
1090                 afsUUID_to_string(uuid, uuid2, 127);
1091                 ViceLog(125, ("h_AddHostToUuidHashTable_r: host %" AFS_PTR_FMT " (uuid %s) exists as %s:%d (uuid %s)\n", 
1092                               host, uuid1,
1093                               afs_inet_ntoa_r(chain->hostPtr->host, hoststr), 
1094                               ntohs(chain->hostPtr->port), uuid2));
1095             }
1096             return;
1097         }
1098     }
1099
1100     /* insert into beginning of list for this bucket */
1101     chain = (struct h_UuidHashChain *)malloc(sizeof(struct h_UuidHashChain));
1102     if (!chain) {
1103         ViceLog(0, ("Failed malloc in h_AddHostToUuidHashTable_r\n"));
1104         assert(0);
1105     }
1106     chain->hostPtr = host;
1107     chain->next = hostUuidHashTable[index];
1108     hostUuidHashTable[index] = chain;
1109          if (LogLevel < 125)
1110                return;
1111      afsUUID_to_string(uuid, uuid2, 127);
1112      ViceLog(125, 
1113              ("h_AddHostToUuidHashTable_r: host %" AFS_PTR_FMT " (%s:%d) added as uuid %s\n",
1114               host, afs_inet_ntoa_r(chain->hostPtr->host, hoststr), 
1115               ntohs(chain->hostPtr->port), uuid));
1116 }
1117
1118 /* deletes a HashChain structure corresponding to this host */
1119 int
1120 h_DeleteHostFromUuidHashTable_r(struct host *host)
1121 {
1122      int index;
1123      register struct h_UuidHashChain **uhp, *uth;
1124      char uuid1[128];
1125      char hoststr[16];
1126  
1127      if (!host->interface)
1128        return 0;
1129  
1130      /* hash into proper bucket */
1131      index = h_UuidHashIndex(&host->interface->uuid);
1132      
1133      if (LogLevel >= 125)
1134          afsUUID_to_string(&host->interface->uuid, uuid1, 127);
1135      for (uhp = &hostUuidHashTable[index]; (uth = *uhp); uhp = &uth->next) {
1136          assert(uth->hostPtr);
1137          if (uth->hostPtr == host) {
1138              ViceLog(125, 
1139                      ("h_DeleteHostFromUuidHashTable_r: host %" AFS_PTR_FMT " (uuid %s %s:%d)\n",
1140                       host, uuid1, afs_inet_ntoa_r(host->host, hoststr), 
1141                       ntohs(host->port)));
1142              *uhp = uth->next;
1143              free(uth);
1144              return 1;
1145          }
1146      }
1147      ViceLog(125, 
1148              ("h_DeleteHostFromUuidHashTable_r: host %" AFS_PTR_FMT " (uuid %s %s:%d) not found\n",
1149               host, uuid1, afs_inet_ntoa_r(host->host, hoststr), 
1150               ntohs(host->port)));
1151      return 0;
1152 }
1153
1154 /* inserts a new HashChain structure corresponding to this address */
1155 void
1156 h_AddHostToAddrHashTable_r(afs_uint32 addr, afs_uint16 port, struct host *host)
1157 {
1158     int index;
1159     struct h_AddrHashChain *chain;
1160     char hoststr[16], hoststr2[16];
1161
1162     /* hash into proper bucket */
1163     index = h_HashIndex(addr);
1164
1165     /* don't add the same entry multiple times */
1166     for (chain = hostAddrHashTable[index]; chain; chain = chain->next) {
1167         if (chain->hostPtr == host) {
1168             if (chain->addr != addr || chain->port != port) {
1169                 ViceLog(0, 
1170                         ("h_AddHostToAddrHashTable_r: host %" AFS_PTR_FMT " exists as %s:%d when adding %s:%d\n",
1171                          host, afs_inet_ntoa_r(chain->addr, hoststr), 
1172                          ntohs(chain->port), afs_inet_ntoa_r(addr, hoststr2), 
1173                          ntohs(port)));
1174             } else
1175                 ViceLog(125, 
1176                         ("h_AddHostToAddrHashTable_r: host %" AFS_PTR_FMT " (%s:%d) already hashed\n",
1177                          host, afs_inet_ntoa_r(chain->addr, hoststr), 
1178                          ntohs(chain->port)));
1179             
1180             return;
1181         }
1182     }
1183
1184     /* insert into beginning of list for this bucket */
1185     chain = (struct h_AddrHashChain *)malloc(sizeof(struct h_AddrHashChain));
1186     if (!chain) {
1187         ViceLog(0, ("Failed malloc in h_AddHostToAddrHashTable_r\n"));
1188         assert(0);
1189     }
1190     chain->hostPtr = host;
1191     chain->next = hostAddrHashTable[index];
1192     chain->addr = addr;
1193     chain->port = port;
1194     hostAddrHashTable[index] = chain;
1195     ViceLog(125, ("h_AddHostToAddrHashTable_r: host %" AFS_PTR_FMT " added as %s:%d\n",
1196                   host, afs_inet_ntoa_r(addr, hoststr), ntohs(port)));
1197 }
1198
1199 /*
1200  * This is called with host locked and held. 
1201  * It is called to either validate or add an additional interface
1202  * address/port on the specified host.  
1203  *
1204  * All addresses are in network byte order.
1205  */
1206 int
1207 addInterfaceAddr_r(struct host *host, afs_uint32 addr, afs_uint16 port)
1208 {
1209     int i;
1210     int number;
1211     struct Interface *interface;
1212     char hoststr[16], hoststr2[16];
1213                                                    
1214     assert(host);
1215     assert(host->interface);
1216
1217     /*
1218      * Make sure this address is on the list of known addresses
1219      * for this host.
1220      */
1221     number = host->interface->numberOfInterfaces;
1222     for (i = 0; i < number; i++) {
1223         if (host->interface->interface[i].addr == addr &&
1224              host->interface->interface[i].port == port) {
1225             ViceLog(125, 
1226                     ("addInterfaceAddr : found host %" AFS_PTR_FMT " (%s:%d) adding %s:%d%s\n",
1227                      host, afs_inet_ntoa_r(host->host, hoststr), 
1228                      ntohs(host->port), afs_inet_ntoa_r(addr, hoststr2), 
1229                      ntohs(port), host->interface->interface[i].valid ? "" : 
1230                      ", validating"));
1231      
1232             if (host->interface->interface[i].valid == 0) {
1233                 host->interface->interface[i].valid = 1;
1234                 h_AddHostToAddrHashTable_r(addr, port, host);
1235             }
1236             return 0;
1237         }
1238     }
1239
1240     ViceLog(125, ("addInterfaceAddr : host %" AFS_PTR_FMT " (%s:%d) adding %s:%d\n", 
1241                   host, afs_inet_ntoa_r(host->host, hoststr), 
1242                   ntohs(host->port), afs_inet_ntoa_r(addr, hoststr2), 
1243                   ntohs(port)));
1244     
1245     interface = (struct Interface *)
1246         malloc(sizeof(struct Interface) + (sizeof(struct AddrPort) * number));
1247     if (!interface) {
1248         ViceLog(0, ("Failed malloc in addInterfaceAddr_r\n"));
1249         assert(0);
1250     }
1251     interface->numberOfInterfaces = number + 1;
1252     interface->uuid = host->interface->uuid;
1253     for (i = 0; i < number; i++)
1254         interface->interface[i] = host->interface->interface[i];
1255     
1256     /* Add the new valid interface */
1257     interface->interface[number].addr = addr;
1258     interface->interface[number].port = port;
1259     interface->interface[number].valid = 1;
1260     h_AddHostToAddrHashTable_r(addr, port, host);
1261     free(host->interface);
1262     host->interface = interface;
1263     
1264     return 0;
1265 }
1266
1267
1268 /*
1269  * This is called with host locked and held.
1270  *
1271  * All addresses are in network byte order.
1272  */
1273 int
1274 removeInterfaceAddr_r(struct host *host, afs_uint32 addr, afs_uint16 port)
1275 {
1276     int i;
1277     int number;
1278     struct Interface *interface;
1279     char hoststr[16], hoststr2[16];
1280
1281     assert(host);
1282     assert(host->interface);
1283
1284     ViceLog(125, ("removeInterfaceAddr : host %" AFS_PTR_FMT " (%s:%d) addr %s:%d\n", 
1285                   host, afs_inet_ntoa_r(host->host, hoststr), 
1286                   ntohs(host->port), afs_inet_ntoa_r(addr, hoststr2), 
1287                   ntohs(port)));
1288
1289     /*
1290      * Make sure this address is on the list of known addresses
1291      * for this host.
1292      */
1293     interface = host->interface;
1294     number = host->interface->numberOfInterfaces;
1295     for (i = 0; i < number; i++) {
1296         if (interface->interface[i].addr == addr &&
1297             interface->interface[i].port == port) {
1298             if (interface->interface[i].valid)
1299                 h_DeleteHostFromAddrHashTable_r(addr, port, host);
1300             number--;
1301             for (; i < number; i++) {
1302                 interface->interface[i] = interface->interface[i+1];
1303             }
1304             interface->numberOfInterfaces = number;
1305             return 0;
1306         }
1307     }   
1308     /* not found */
1309     return 0;
1310 }
1311
1312 /*
1313  * This is called with host locked and held.
1314  *
1315  * All addresses are in network byte order.
1316  */
1317 int
1318 invalidateInterfaceAddr_r(struct host *host, afs_uint32 addr, afs_uint16 port)
1319 {
1320     int i;
1321     int number;
1322     struct Interface *interface;
1323     char hoststr[16], hoststr2[16];
1324     
1325     assert(host);
1326     assert(host->interface);
1327     
1328     ViceLog(125, ("invalidateInterfaceAddr : host %" AFS_PTR_FMT " (%s:%d) addr %s:%d\n", 
1329                   host, afs_inet_ntoa_r(host->host, hoststr), 
1330                   ntohs(host->port), afs_inet_ntoa_r(addr, hoststr2), 
1331                   ntohs(port)));
1332     
1333     /*
1334      * Make sure this address is on the list of known addresses
1335      * for this host.
1336      */
1337     interface = host->interface;
1338     number = host->interface->numberOfInterfaces;
1339     for (i = 0; i < number; i++) {
1340         if (interface->interface[i].addr == addr &&
1341             interface->interface[i].port == port) {
1342             if (interface->interface[i].valid) {
1343                 h_DeleteHostFromAddrHashTable_r(addr, port, host);
1344                 interface->interface[i].valid = 0;
1345             }
1346             return 0;
1347         }
1348     }
1349     
1350     /* not found */
1351     return 0;
1352 }
1353
1354 /*
1355  * This is called with host locked and held.  This function differs
1356  * from removeInterfaceAddr_r in that it is called when the address
1357  * is being removed from the host regardless of whether or not there
1358  * is an interface list for the host.  This function will delete the
1359  * host if there are no addresses left on it.
1360  *
1361  * All addresses are in network byte order.
1362  */
1363 int
1364 removeAddress_r(struct host *host, afs_uint32 addr, afs_uint16 port)
1365 {
1366     int i;
1367     char hoststr[16], hoststr2[16];
1368     struct rx_connection *rxconn;
1369
1370     if (!host->interface || host->interface->numberOfInterfaces == 1) {
1371         if (host->host == addr && host->port == port) {
1372             ViceLog(25,
1373                     ("Removing only address for host %" AFS_PTR_FMT " (%s:%d), deleting host.\n",
1374                      host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1375             host->hostFlags |= HOSTDELETED;
1376             /* 
1377              * Do not remove the primary addr/port from the hash table.
1378              * It will be ignored due to the HOSTDELETED flag and will
1379              * be removed when h_TossStuff_r() cleans up the HOSTDELETED
1380              * host.  Removing it here will only result in a search for 
1381              * the host/addr/port in the hash chain which will fail.
1382              */
1383         } else {
1384             ViceLog(0,
1385                     ("Removing address that does not belong to host %" AFS_PTR_FMT " (%s:%d).\n",
1386                      host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1387         }
1388     } else {
1389         if (host->host == addr && host->port == port)  {
1390             removeInterfaceAddr_r(host, addr, port);
1391
1392             for (i=0; i < host->interface->numberOfInterfaces; i++) {
1393                 if (host->interface->interface[i].valid) {
1394                     ViceLog(25,
1395                              ("Removed address for host %" AFS_PTR_FMT " (%s:%d), new primary interface %s:%d.\n",
1396                                host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port),
1397                                afs_inet_ntoa_r(host->interface->interface[i].addr, hoststr2), 
1398                                ntohs(host->interface->interface[i].port)));
1399                     host->host = host->interface->interface[i].addr;
1400                     host->port = host->interface->interface[i].port;
1401                     h_AddHostToAddrHashTable_r(host->host, host->port, host);
1402                     break;
1403                 }
1404             }
1405
1406             if (i == host->interface->numberOfInterfaces) {
1407                 ViceLog(25,
1408                          ("Removed only address for host %" AFS_PTR_FMT " (%s:%d), no valid alternate interfaces, deleting host.\n",
1409                            host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1410                 host->hostFlags |= HOSTDELETED;
1411                 /* addr/port was removed from the hash table */
1412                 host->host = 0;
1413                 host->port = 0;
1414             } else {
1415                 rxconn = host->callback_rxcon;
1416                 host->callback_rxcon = NULL;
1417
1418                 if (rxconn) {
1419                     rx_DestroyConnection(rxconn);
1420                     rxconn = NULL;
1421                 }
1422
1423                 if (!sc)
1424                     sc = rxnull_NewClientSecurityObject();
1425                 host->callback_rxcon =
1426                     rx_NewConnection(host->host, host->port, 1, sc, 0);
1427                 rx_SetConnDeadTime(host->callback_rxcon, 50);
1428                 rx_SetConnHardDeadTime(host->callback_rxcon, AFS_HARDDEADTIME);
1429             }
1430         } else {
1431             /* not the primary addr/port, just invalidate it */
1432             invalidateInterfaceAddr_r(host, addr, port);
1433         }
1434     }
1435
1436     return 0;
1437 }
1438 static int
1439 h_threadquota(int waiting) 
1440 {
1441     if (lwps > 64) {
1442         if (waiting > 5)
1443             return 1;
1444     } else if (lwps > 32) {
1445         if (waiting > 4)
1446             return 1;
1447     } else if (lwps > 16) {
1448         if (waiting > 3)
1449             return 1;
1450     } else {
1451         if (waiting > 2)
1452             return 1;
1453     }
1454     return 0;
1455 }
1456
1457 /* If found, host is returned with refCount incremented */
1458 struct host *
1459 h_GetHost_r(struct rx_connection *tcon)
1460 {
1461     struct host *host;
1462     struct host *oldHost;
1463     int code;
1464     struct interfaceAddr interf;
1465     int interfValid = 0;
1466     struct Identity *identP = NULL;
1467     afs_uint32 haddr;
1468     afs_uint16 hport;
1469     char hoststr[16], hoststr2[16];
1470     Capabilities caps;
1471     struct rx_connection *cb_conn = NULL;
1472     struct rx_connection *cb_in = NULL;
1473
1474     caps.Capabilities_val = NULL;
1475
1476     haddr = rxr_HostOf(tcon);
1477     hport = rxr_PortOf(tcon);
1478   retry:
1479     if (cb_in) {
1480         rx_DestroyConnection(cb_in);
1481         cb_in = NULL;
1482     }
1483     if (caps.Capabilities_val)
1484         free(caps.Capabilities_val);
1485     caps.Capabilities_val = NULL;
1486     caps.Capabilities_len = 0;
1487
1488     code = 0;
1489     if (h_Lookup_r(haddr, hport, &host))
1490         return 0;
1491     identP = (struct Identity *)rx_GetSpecific(tcon, rxcon_ident_key);
1492     if (host && !identP && !(host->Console & 1)) {
1493         /* This is a new connection, and we already have a host
1494          * structure for this address. Verify that the identity
1495          * of the caller matches the identity in the host structure.
1496          */
1497         if ((host->hostFlags & HWHO_INPROGRESS) && 
1498             h_threadquota(host->lock.num_waiting)) {
1499                 h_Release_r(host);
1500             host = NULL;
1501             goto gethost_out;
1502         }
1503         h_Lock_r(host);
1504         if (!(host->hostFlags & ALTADDR)) {
1505             /* Another thread is doing initialization */
1506             h_Unlock_r(host);
1507             ViceLog(125,
1508                     ("Host %" AFS_PTR_FMT " (%s:%d) starting h_Lookup again\n",
1509                      host, afs_inet_ntoa_r(host->host, hoststr),
1510                      ntohs(host->port)));
1511             h_Release_r(host);
1512             goto retry;
1513         }
1514         host->hostFlags |= HWHO_INPROGRESS;
1515         host->hostFlags &= ~ALTADDR;
1516
1517         /* We received a new connection from an IP address/port
1518          * that is associated with 'host' but the address/port of
1519          * the callback connection does not have to match it.
1520          * If there is a match, we can use the existing callback
1521          * connection to verify the UUID.  If they do not match
1522          * we need to use a new callback connection to verify the
1523          * UUID of the incoming caller and perhaps use the old 
1524          * callback connection to verify that the old address/port
1525          * is still valid.
1526          */
1527         
1528         cb_conn = host->callback_rxcon;
1529         rx_GetConnection(cb_conn);
1530         H_UNLOCK;
1531         if (haddr == host->host && hport == host->port) {
1532             /* The existing callback connection matches the 
1533              * incoming connection so just use it.
1534              */
1535             code =
1536                 RXAFSCB_TellMeAboutYourself(cb_conn, &interf, &caps);
1537             if (code == RXGEN_OPCODE)
1538                 code = RXAFSCB_WhoAreYou(cb_conn, &interf);
1539         } else {
1540             /* We do not have a match.  Create a new connection
1541              * for the new addr/port and use multi_Rx to probe
1542              * both of them simultaneously.
1543              */
1544             if (!sc)
1545                 sc = rxnull_NewClientSecurityObject();
1546             cb_in = rx_NewConnection(haddr, hport, 1, sc, 0);
1547             rx_SetConnDeadTime(cb_in, 50);
1548             rx_SetConnHardDeadTime(cb_in, AFS_HARDDEADTIME);
1549             
1550             code =
1551                 RXAFSCB_TellMeAboutYourself(cb_in, &interf, &caps);
1552             if (code == RXGEN_OPCODE)
1553                 code = RXAFSCB_WhoAreYou(cb_in, &interf);
1554         }
1555         rx_PutConnection(cb_conn);
1556         cb_conn=NULL;
1557         H_LOCK;
1558         if ((code == RXGEN_OPCODE) || 
1559             ((code == 0) && (afs_uuid_equal(&interf.uuid, &nulluuid)))) {
1560             identP = (struct Identity *)malloc(sizeof(struct Identity));
1561             if (!identP) {
1562                 ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1563                 assert(0);
1564             }
1565             identP->valid = 0;
1566             rx_SetSpecific(tcon, rxcon_ident_key, identP);
1567             if (cb_in == NULL) {
1568                 /* The host on this connection was unable to respond to 
1569                  * the WhoAreYou. We will treat this as a new connection
1570                  * from the existing host. The worst that can happen is
1571                  * that we maintain some extra callback state information */
1572                 if (host->interface) {
1573                     ViceLog(0,
1574                             ("Host %" AFS_PTR_FMT " (%s:%d) used to support WhoAreYou, deleting.\n",
1575                              host, 
1576                              afs_inet_ntoa_r(host->host, hoststr),
1577                              ntohs(host->port)));
1578                     host->hostFlags |= HOSTDELETED;
1579                     host->hostFlags &= ~HWHO_INPROGRESS;
1580                     h_Unlock_r(host);
1581                     h_Release_r(host);
1582                     host = NULL;
1583                     goto retry;
1584                 }
1585             } else {
1586                 /* The incoming connection does not support WhoAreYou but
1587                  * the original one might have.  Use removeAddress_r() to
1588                  * remove this addr/port from the host that was found.
1589                  * If there are no more addresses left for the host it 
1590                  * will be deleted.  Then we retry.
1591                  */
1592                 removeAddress_r(host, haddr, hport);
1593                 host->hostFlags &= ~HWHO_INPROGRESS;
1594                 host->hostFlags |= ALTADDR;
1595                 h_Unlock_r(host);
1596                 h_Release_r(host);
1597                 host = NULL;
1598                 goto retry;
1599             }
1600         } else if (code == 0) {
1601             interfValid = 1;
1602             identP = (struct Identity *)malloc(sizeof(struct Identity));
1603             if (!identP) {
1604                 ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1605                 assert(0);
1606             }
1607             identP->valid = 1;
1608             identP->uuid = interf.uuid;
1609             rx_SetSpecific(tcon, rxcon_ident_key, identP);
1610             /* Check whether the UUID on this connection matches
1611              * the UUID in the host structure. If they don't match
1612              * then this is not the same host as before. */
1613             if (!host->interface
1614                 || !afs_uuid_equal(&interf.uuid, &host->interface->uuid)) {
1615                 if (cb_in) {
1616                         ViceLog(25,
1617                                         ("Uuid doesn't match connection (%s:%d).\n",
1618                                          afs_inet_ntoa_r(haddr, hoststr), ntohs(hport)));
1619                         removeAddress_r(host, haddr, hport);
1620                 } else {
1621                     ViceLog(25,
1622                             ("Uuid doesn't match host %" AFS_PTR_FMT " (%s:%d).\n",
1623                              host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1624                     
1625                     removeAddress_r(host, host->host, host->port);
1626                 }
1627                 host->hostFlags &= ~HWHO_INPROGRESS;
1628                 host->hostFlags |= ALTADDR;
1629                 h_Unlock_r(host);
1630                 h_Release_r(host);
1631                 host = NULL;
1632                 goto retry;
1633             } else if (cb_in) {
1634                 /* the UUID matched the client at the incoming addr/port 
1635                  * but this is not the address of the active callback 
1636                  * connection.  Try that connection and see if the client
1637                  * is still there and if the reported UUID is the same.
1638                  */
1639                 int code2;
1640                 afsUUID uuid = host->interface->uuid;
1641                 cb_conn = host->callback_rxcon;
1642                 rx_GetConnection(cb_conn);
1643                 rx_SetConnDeadTime(cb_conn, 2);
1644                 rx_SetConnHardDeadTime(cb_conn, AFS_HARDDEADTIME);
1645                 H_UNLOCK;
1646                 code2 = RXAFSCB_ProbeUuid(cb_conn, &uuid);
1647                 H_LOCK;
1648                 rx_SetConnDeadTime(cb_conn, 50);
1649                 rx_SetConnHardDeadTime(cb_conn, AFS_HARDDEADTIME);
1650                 rx_PutConnection(cb_conn);
1651                 cb_conn=NULL;
1652                 if (code2) {
1653                     /* The primary address is either not responding or
1654                      * is not the client we are looking for.  Need to
1655                      * remove the primary address and add swap in the new 
1656                      * callback connection, and destroy the old one.
1657                      */
1658                     struct rx_connection *rxconn;
1659                     ViceLog(0,("CB: ProbeUuid for host %" AFS_PTR_FMT " (%s:%d) failed %d\n",
1660                                host, 
1661                                afs_inet_ntoa_r(host->host, hoststr),
1662                                ntohs(host->port),code2));
1663
1664                     /* 
1665                      * make sure we add and then remove.  otherwise, we
1666                      * might end up with no valid interfaces after the 
1667                      * remove and the host will have been marked deleted.
1668                      */
1669                     addInterfaceAddr_r(host, haddr, hport);
1670                     removeInterfaceAddr_r(host, host->host, host->port);
1671                     host->host = haddr;
1672                     host->port = hport;
1673                     rxconn = host->callback_rxcon;
1674                     host->callback_rxcon = cb_in;
1675                     cb_in = NULL;
1676                     
1677                     if (rxconn) {
1678                         /*
1679                          * If rx_DestroyConnection calls h_FreeConnection we
1680                          * will deadlock on the host_glock_mutex. Work around
1681                          * the problem by unhooking the client from the
1682                          * connection before destroying the connection.
1683                          */
1684                         rx_SetSpecific(rxconn, rxcon_client_key, (void *)0);
1685                         rx_DestroyConnection(rxconn);
1686                     }
1687                 }
1688             }
1689         } else {
1690             if (cb_in) {
1691                 /* A callback to the incoming connection address is failing.  
1692                  * Assume that the addr/port is no longer associated with the host
1693                  * returned by h_Lookup_r.
1694                  */
1695                 ViceLog(0,
1696                         ("CB: WhoAreYou failed for connection (%s:%d) , error %d\n",
1697                          afs_inet_ntoa_r(haddr, hoststr), ntohs(hport), code));
1698                 removeAddress_r(host, haddr, hport);
1699                 host->hostFlags &= ~HWHO_INPROGRESS;
1700                 host->hostFlags |= ALTADDR;
1701                 h_Unlock_r(host);
1702                 h_Release_r(host);
1703                 host = NULL;
1704                 rx_DestroyConnection(cb_in);
1705                 cb_in = NULL;
1706                 goto gethost_out;
1707             } else {
1708                 ViceLog(0,
1709                         ("CB: WhoAreYou failed for host %" AFS_PTR_FMT " (%s:%d), error %d\n",
1710                          host, afs_inet_ntoa_r(host->host, hoststr),
1711                          ntohs(host->port), code));
1712                 host->hostFlags |= VENUSDOWN;
1713             }
1714         }
1715         if (caps.Capabilities_val
1716             && (caps.Capabilities_val[0] & CLIENT_CAPABILITY_ERRORTRANS))
1717             host->hostFlags |= HERRORTRANS;
1718         else
1719             host->hostFlags &= ~(HERRORTRANS);
1720         host->hostFlags |= ALTADDR;
1721         host->hostFlags &= ~HWHO_INPROGRESS;
1722         h_Unlock_r(host);
1723     } else if (host) {
1724         if (!(host->hostFlags & ALTADDR)) {
1725             /* another thread is doing the initialisation */
1726             ViceLog(125,
1727                     ("Host %" AFS_PTR_FMT " (%s:%d) waiting for host-init to complete\n",
1728                      host, afs_inet_ntoa_r(host->host, hoststr),
1729                      ntohs(host->port)));
1730             h_Lock_r(host);
1731             h_Unlock_r(host);
1732             ViceLog(125,
1733                     ("Host %" AFS_PTR_FMT " (%s:%d) starting h_Lookup again\n",
1734                      host, afs_inet_ntoa_r(host->host, hoststr),
1735                      ntohs(host->port)));
1736             h_Release_r(host);
1737             goto retry;
1738         }
1739         /* We need to check whether the identity in the host structure
1740          * matches the identity on the connection. If they don't match
1741          * then treat this a new host. */
1742         if (!(host->Console & 1)
1743             && ((!identP->valid && host->interface)
1744                 || (identP->valid && !host->interface)
1745                 || (identP->valid
1746                     && !afs_uuid_equal(&identP->uuid,
1747                                        &host->interface->uuid)))) {
1748             char uuid1[128], uuid2[128];
1749             if (identP->valid)
1750                 afsUUID_to_string(&identP->uuid, uuid1, 127);
1751             if (host->interface)
1752                 afsUUID_to_string(&host->interface->uuid, uuid2, 127);
1753             ViceLog(0,
1754                     ("CB: new identity for host %" AFS_PTR_FMT " (%s:%d), deleting(%x %x %s %s)\n",
1755                      host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port),
1756                      identP->valid, host->interface,
1757                      identP->valid ? uuid1 : "no_uuid",
1758                      host->interface ? uuid2 : "no_uuid"));
1759
1760             /* The host in the cache is not the host for this connection */
1761             h_Lock_r(host);
1762             host->hostFlags |= HOSTDELETED;
1763             h_Unlock_r(host);
1764             h_Release_r(host);
1765             goto retry;
1766         }
1767     } else {
1768         host = h_Alloc_r(tcon); /* returned held and locked */
1769         h_gethostcps_r(host, FT_ApproxTime());
1770         if (!(host->Console & 1)) {
1771             int pident = 0;
1772             cb_conn = host->callback_rxcon;
1773             rx_GetConnection(cb_conn);
1774             host->hostFlags |= HWHO_INPROGRESS;
1775             H_UNLOCK;
1776             code =
1777                 RXAFSCB_TellMeAboutYourself(cb_conn, &interf, &caps);
1778             if (code == RXGEN_OPCODE)
1779                 code = RXAFSCB_WhoAreYou(cb_conn, &interf);
1780             rx_PutConnection(cb_conn);
1781             cb_conn=NULL;
1782             H_LOCK;
1783             if ((code == RXGEN_OPCODE) || 
1784                 ((code == 0) && (afs_uuid_equal(&interf.uuid, &nulluuid)))) {
1785                 if (!identP)
1786                     identP =
1787                         (struct Identity *)malloc(sizeof(struct Identity));
1788                 else
1789                     pident = 1;
1790
1791                 if (!identP) {
1792                     ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1793                     assert(0);
1794                 }
1795                 identP->valid = 0;
1796                 if (!pident)
1797                     rx_SetSpecific(tcon, rxcon_ident_key, identP);
1798                 ViceLog(25,
1799                         ("Host %" AFS_PTR_FMT " (%s:%d) does not support WhoAreYou.\n",
1800                          host, afs_inet_ntoa_r(host->host, hoststr),
1801                          ntohs(host->port)));
1802                 code = 0;
1803             } else if (code == 0) {
1804                 if (!identP)
1805                     identP =
1806                         (struct Identity *)malloc(sizeof(struct Identity));
1807                 else
1808                     pident = 1;
1809
1810                 if (!identP) {
1811                     ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1812                     assert(0);
1813                 }
1814                 identP->valid = 1;
1815                 interfValid = 1;
1816                 identP->uuid = interf.uuid;
1817                 if (!pident)
1818                     rx_SetSpecific(tcon, rxcon_ident_key, identP);
1819                 ViceLog(25,
1820                         ("WhoAreYou success on host %" AFS_PTR_FMT " (%s:%d)\n",
1821                          host, afs_inet_ntoa_r(host->host, hoststr),
1822                          ntohs(host->port)));
1823             }
1824             if (code == 0 && !identP->valid) {
1825                 cb_conn = host->callback_rxcon;
1826                 rx_GetConnection(cb_conn);
1827                 H_UNLOCK;
1828                 code = RXAFSCB_InitCallBackState(cb_conn);
1829                 rx_PutConnection(cb_conn);
1830                 cb_conn=NULL;
1831                 H_LOCK;
1832             } else if (code == 0) {
1833                 oldHost = h_LookupUuid_r(&identP->uuid);
1834                 if (oldHost) {
1835                     int probefail = 0;
1836
1837                     h_Hold_r(oldHost);
1838                     h_Lock_r(oldHost);
1839                     oldHost->hostFlags |= HWHO_INPROGRESS;
1840
1841                     if (oldHost->interface) {
1842                         int code2;
1843                         afsUUID uuid = oldHost->interface->uuid;
1844                         cb_conn = oldHost->callback_rxcon;
1845                         rx_GetConnection(cb_conn);
1846                         rx_SetConnDeadTime(cb_conn, 2);
1847                         rx_SetConnHardDeadTime(cb_conn, AFS_HARDDEADTIME);
1848                         H_UNLOCK;
1849                         code2 = RXAFSCB_ProbeUuid(cb_conn, &uuid);
1850                         H_LOCK;
1851                         rx_SetConnDeadTime(cb_conn, 50);
1852                         rx_SetConnHardDeadTime(cb_conn, AFS_HARDDEADTIME);
1853                         rx_PutConnection(cb_conn);
1854                         cb_conn=NULL;
1855                         if (code2) {
1856                             /* The primary address is either not responding or
1857                              * is not the client we are looking for.  
1858                              * MultiProbeAlternateAddress_r() will remove the
1859                              * alternate interfaces that do not have the same
1860                              * Uuid. */
1861                             ViceLog(0,("CB: ProbeUuid for host %" AFS_PTR_FMT " (%s:%d) failed %d\n",
1862                                          oldHost, 
1863                                          afs_inet_ntoa_r(oldHost->host, hoststr),
1864                                          ntohs(oldHost->port),code2));
1865                             MultiProbeAlternateAddress_r(oldHost);
1866                             probefail = 1;
1867                         }
1868                     } else {
1869                         probefail = 1;
1870                     }
1871
1872                     /* This is a new address for an existing host. Update
1873                      * the list of interfaces for the existing host and
1874                      * delete the host structure we just allocated. */
1875
1876                     /* prevent warnings while manipulating interface lists */
1877                     host->hostFlags |= HOSTDELETED;
1878
1879                     if (oldHost->host != haddr || oldHost->port != hport) {
1880                         struct rx_connection *rxconn;
1881
1882                         ViceLog(25,
1883                                  ("CB: Host %" AFS_PTR_FMT " (%s:%d) has new addr %s:%d\n",
1884                                    oldHost, 
1885                                    afs_inet_ntoa_r(oldHost->host, hoststr2),
1886                                    ntohs(oldHost->port),
1887                                    afs_inet_ntoa_r(haddr, hoststr),
1888                                    ntohs(hport)));
1889                         /* 
1890                          * add then remove.  otherwise the host may get marked
1891                          * deleted if we removed the only valid address.
1892                          */
1893                         addInterfaceAddr_r(oldHost, haddr, hport);
1894                         if (probefail || oldHost->host == haddr) {
1895                             /* 
1896                              * The probe failed which means that the old 
1897                              * address is either unreachable or is not the 
1898                              * same host we were just contacted by.  We will 
1899                              * also remove addresses if only the port has 
1900                              * changed because that indicates the client
1901                              * is behind a NAT. 
1902                              */
1903                             removeInterfaceAddr_r(oldHost, oldHost->host, oldHost->port);
1904                         } else {
1905                             int i;
1906                             struct Interface *interface = oldHost->interface;
1907                             int number = oldHost->interface->numberOfInterfaces;
1908                             for (i = 0; i < number; i++) {
1909                                 if (interface->interface[i].addr == haddr &&
1910                                     interface->interface[i].port != hport) {
1911                                     /* 
1912                                      * We have just been contacted by a client
1913                                      * that has been seen from behind a NAT 
1914                                      * and at least one other address.
1915                                      */
1916                                     removeInterfaceAddr_r(oldHost, haddr, 
1917                                                           interface->interface[i].port);
1918                                     break;
1919                                 }
1920                             }
1921                         }
1922                         h_AddHostToAddrHashTable_r(haddr, hport, oldHost);
1923                         oldHost->host = haddr;
1924                         oldHost->port = hport;
1925                         rxconn = oldHost->callback_rxcon;
1926                         oldHost->callback_rxcon = host->callback_rxcon;
1927                         host->callback_rxcon = rxconn;
1928                         
1929                         /* don't destroy rxconn here; let h_TossStuff_r
1930                          * take care of that via h_Release_r below */
1931                     }
1932                     host->hostFlags &= ~HWHO_INPROGRESS;
1933                     h_Unlock_r(host);
1934                     /* release host because it was allocated by h_Alloc_r */
1935                     h_Release_r(host);
1936                     host = oldHost;
1937                     /* the new host is held and locked */
1938                 } else {
1939                     /* This really is a new host */
1940                     h_AddHostToUuidHashTable_r(&identP->uuid, host);
1941                     cb_conn = host->callback_rxcon;
1942                     rx_GetConnection(cb_conn);          
1943                     H_UNLOCK;
1944                     code =
1945                         RXAFSCB_InitCallBackState3(cb_conn,
1946                                                    &FS_HostUUID);
1947                     rx_PutConnection(cb_conn);
1948                     cb_conn=NULL;
1949                     H_LOCK;
1950                     if (code == 0) {
1951                         ViceLog(25,
1952                                 ("InitCallBackState3 success on host %" AFS_PTR_FMT " (%s:%d)\n",
1953                                  host, afs_inet_ntoa_r(host->host, hoststr),
1954                                  ntohs(host->port)));
1955                         assert(interfValid == 1);
1956                         initInterfaceAddr_r(host, &interf);
1957                     }
1958                 }
1959             }
1960             if (code) {
1961                 ViceLog(0,
1962                         ("CB: RCallBackConnectBack failed for %" AFS_PTR_FMT " (%s:%d)\n",
1963                          host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1964                 host->hostFlags |= VENUSDOWN;
1965             } else {
1966                 ViceLog(125,
1967                         ("CB: RCallBackConnectBack succeeded for %" AFS_PTR_FMT " (%s:%d)\n",
1968                          host, afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port)));
1969                 host->hostFlags |= RESETDONE;
1970             }
1971         }
1972         if (caps.Capabilities_val
1973             && (caps.Capabilities_val[0] & CLIENT_CAPABILITY_ERRORTRANS))
1974             host->hostFlags |= HERRORTRANS;
1975         else
1976             host->hostFlags &= ~(HERRORTRANS);
1977         host->hostFlags |= ALTADDR;     /* host structure initialization complete */
1978         host->hostFlags &= ~HWHO_INPROGRESS;
1979         h_Unlock_r(host);
1980     }
1981
1982  gethost_out:
1983     if (caps.Capabilities_val)
1984         free(caps.Capabilities_val);
1985     caps.Capabilities_val = NULL;
1986     caps.Capabilities_len = 0;
1987     if (cb_in) {
1988         rx_DestroyConnection(cb_in);
1989         cb_in = NULL;
1990     }
1991     return host;
1992
1993 }                               /*h_GetHost_r */
1994
1995
1996 static char localcellname[PR_MAXNAMELEN + 1];
1997 char local_realms[AFS_NUM_LREALMS][AFS_REALM_SZ];
1998 int  num_lrealms = -1;
1999
2000 /* not reentrant */
2001 void
2002 h_InitHostPackage(void)
2003 {
2004     memset(&nulluuid, 0, sizeof(afsUUID));
2005     afsconf_GetLocalCell(confDir, localcellname, PR_MAXNAMELEN);
2006     if (num_lrealms == -1) {
2007         int i;
2008         for (i=0; i<AFS_NUM_LREALMS; i++) {
2009             if (afs_krb_get_lrealm(local_realms[i], i) != 0 /*KSUCCESS*/)
2010                 break;
2011         }
2012
2013         if (i == 0) {
2014             ViceLog(0,
2015                     ("afs_krb_get_lrealm failed, using %s.\n",
2016                      localcellname));
2017             strncpy(local_realms[0], localcellname, AFS_REALM_SZ);
2018             num_lrealms = i =1;
2019         } else {
2020             num_lrealms = i;
2021         }
2022
2023         /* initialize the rest of the local realms to nullstring for debugging */
2024         for (; i<AFS_NUM_LREALMS; i++)
2025             local_realms[i][0] = '\0';
2026     }
2027     rxcon_ident_key = rx_KeyCreate((rx_destructor_t) free);
2028     rxcon_client_key = rx_KeyCreate((rx_destructor_t) 0);
2029 #ifdef AFS_PTHREAD_ENV
2030     assert(pthread_mutex_init(&host_glock_mutex, NULL) == 0);
2031 #endif /* AFS_PTHREAD_ENV */
2032 }
2033
2034 static int
2035 MapName_r(char *aname, char *acell, afs_int32 * aval)
2036 {
2037     namelist lnames;
2038     idlist lids;
2039     afs_int32 code;
2040     afs_int32 anamelen, cnamelen;
2041     int foreign = 0;
2042     char *tname;
2043
2044     anamelen = strlen(aname);
2045     if (anamelen >= PR_MAXNAMELEN)
2046         return -1;              /* bad name -- caller interprets this as anonymous, but retries later */
2047
2048     lnames.namelist_len = 1;
2049     lnames.namelist_val = (prname *) aname;     /* don't malloc in the common case */
2050     lids.idlist_len = 0;
2051     lids.idlist_val = NULL;
2052
2053     cnamelen = strlen(acell);
2054     if (cnamelen) {
2055         if (afs_is_foreign_ticket_name(aname, NULL, acell, localcellname)) {
2056             ViceLog(2,
2057                     ("MapName: cell is foreign.  cell=%s, localcell=%s, localrealms={%s,%s,%s,%s}\n",
2058                     acell, localcellname, local_realms[0],local_realms[1],local_realms[2],local_realms[3]));
2059             if ((anamelen + cnamelen + 1) >= PR_MAXNAMELEN) {
2060                 ViceLog(2,
2061                         ("MapName: Name too long, using AnonymousID for %s@%s\n",
2062                          aname, acell));
2063                 *aval = AnonymousID;
2064                 return 0;
2065             }
2066             foreign = 1;        /* attempt cross-cell authentication */
2067             tname = (char *)malloc(PR_MAXNAMELEN);
2068             if (!tname) {
2069                 ViceLog(0, ("Failed malloc in MapName_r\n"));
2070                 assert(0);
2071             }
2072             strcpy(tname, aname);
2073             tname[anamelen] = '@';
2074             strcpy(tname + anamelen + 1, acell);
2075             lnames.namelist_val = (prname *) tname;
2076         }
2077     }
2078
2079     H_UNLOCK;
2080     code = hpr_NameToId(&lnames, &lids);
2081     H_LOCK;
2082     if (code == 0) {
2083         if (lids.idlist_val) {
2084             *aval = lids.idlist_val[0];
2085             if (*aval == AnonymousID) {
2086                 ViceLog(2,
2087                         ("MapName: NameToId on %s returns anonymousID\n",
2088                          lnames.namelist_val));
2089             }
2090             free(lids.idlist_val);      /* return parms are not malloced in stub if server proc aborts */
2091         } else {
2092             ViceLog(0,
2093                     ("MapName: NameToId on '%s' is unknown\n",
2094                      lnames.namelist_val));
2095             code = -1;
2096         }
2097     }
2098
2099     if (foreign) {
2100         free(lnames.namelist_val);      /* We allocated this above, so we must free it now. */
2101     }
2102     return code;
2103 }
2104
2105 /*MapName*/
2106
2107
2108 /* NOTE: this returns the client with a Write lock and a refCount */
2109 struct client *
2110 h_ID2Client(afs_int32 vid)
2111 {
2112     register struct client *client;
2113     register struct host *host;
2114
2115     H_LOCK;
2116     for (host = hostList; host; host = host->next) {
2117         if (host->hostFlags & HOSTDELETED)
2118             continue;
2119         for (client = host->FirstClient; client; client = client->next) {
2120             if (!client->deleted && client->ViceId == vid) {
2121                 client->refCount++;
2122                 H_UNLOCK;
2123                 ObtainWriteLock(&client->lock);
2124                 return client;
2125             }
2126         }
2127     }
2128
2129     H_UNLOCK;
2130     return NULL;
2131 }
2132
2133 /*
2134  * Called by the server main loop.  Returns a h_Held client, which must be
2135  * released later the main loop.  Allocates a client if the matching one
2136  * isn't around. The client is returned with its reference count incremented
2137  * by one. The caller must call h_ReleaseClient_r when finished with
2138  * the client.
2139  *
2140  * The refCount on client->host is returned incremented.  h_ReleaseClient_r
2141  * does not decrement the refCount on client->host.
2142  */
2143 struct client *
2144 h_FindClient_r(struct rx_connection *tcon)
2145 {
2146     register struct client *client;
2147     struct host *host = NULL;
2148     struct client *oldClient;
2149     afs_int32 viceid = 0;
2150     afs_int32 expTime;
2151     afs_int32 code;
2152     int authClass;
2153 #if (64-MAXKTCNAMELEN)
2154     ticket name length != 64
2155 #endif
2156     char tname[64];
2157     char tinst[64];
2158     char uname[PR_MAXNAMELEN];
2159     char tcell[MAXKTCREALMLEN];
2160     int fail = 0;
2161     int created = 0;
2162
2163     client = (struct client *)rx_GetSpecific(tcon, rxcon_client_key);
2164     if (client && client->sid == rxr_CidOf(tcon) 
2165         && client->VenusEpoch == rxr_GetEpoch(tcon)) {
2166         client->refCount++;
2167         h_Hold_r(client->host);
2168         if (!client->deleted && client->prfail != 2) {  
2169             /* Could add shared lock on client here */
2170             /* note that we don't have to lock entry in this path to
2171              * ensure CPS is initialized, since we don't call rx_SetSpecific
2172              * until initialization is done, and we only get here if
2173              * rx_GetSpecific located the client structure.
2174              */
2175             return client;
2176         }
2177         H_UNLOCK;
2178         ObtainWriteLock(&client->lock); /* released at end */
2179         H_LOCK;
2180     } else {
2181         client = NULL;
2182     }
2183
2184     authClass = rx_SecurityClassOf((struct rx_connection *)tcon);
2185     ViceLog(5,
2186             ("FindClient: authenticating connection: authClass=%d\n",
2187              authClass));
2188     if (authClass == 1) {
2189         /* A bcrypt tickets, no longer supported */
2190         ViceLog(1, ("FindClient: bcrypt ticket, using AnonymousID\n"));
2191         viceid = AnonymousID;
2192         expTime = 0x7fffffff;
2193     } else if (authClass == 2) {
2194         afs_int32 kvno;
2195     
2196         /* kerberos ticket */
2197         code = rxkad_GetServerInfo(tcon, /*level */ 0, (afs_uint32 *)&expTime,
2198                                    tname, tinst, tcell, &kvno);
2199         if (code) {
2200             ViceLog(1, ("Failed to get rxkad ticket info\n"));
2201             viceid = AnonymousID;
2202             expTime = 0x7fffffff;
2203         } else {
2204             int ilen = strlen(tinst);
2205             ViceLog(5,
2206                     ("FindClient: rxkad conn: name=%s,inst=%s,cell=%s,exp=%d,kvno=%d\n",
2207                      tname, tinst, tcell, expTime, kvno));
2208             strncpy(uname, tname, sizeof(uname));
2209             if (ilen) {
2210                 if (strlen(uname) + 1 + ilen >= sizeof(uname))
2211                     goto bad_name;
2212                 strcat(uname, ".");
2213                 strcat(uname, tinst);
2214             }
2215             /* translate the name to a vice id */
2216             code = MapName_r(uname, tcell, &viceid);
2217             if (code) {
2218               bad_name:
2219                 ViceLog(1,
2220                         ("failed to map name=%s, cell=%s -> code=%d\n", uname,
2221                          tcell, code));
2222                 fail = 1;
2223                 viceid = AnonymousID;
2224                 expTime = 0x7fffffff;
2225             }
2226         }
2227     } else {
2228         viceid = AnonymousID;   /* unknown security class */
2229         expTime = 0x7fffffff;
2230     }
2231
2232     if (!client) { /* loop */
2233         host = h_GetHost_r(tcon);       /* Returns with incremented refCount  */
2234
2235         if (!host) 
2236             return 0;
2237
2238     retryfirstclient:
2239         /* First try to find the client structure */
2240         for (client = host->FirstClient; client; client = client->next) {
2241             if (!client->deleted && (client->sid == rxr_CidOf(tcon))
2242                 && (client->VenusEpoch == rxr_GetEpoch(tcon))) {
2243                 client->refCount++;
2244                 H_UNLOCK;
2245                 ObtainWriteLock(&client->lock);
2246                 H_LOCK;
2247                 break;
2248             }
2249         }
2250
2251         /* Still no client structure - get one */
2252         if (!client) {
2253             h_Lock_r(host);
2254             /* Retry to find the client structure */
2255             for (client = host->FirstClient; client; client = client->next) {
2256                 if (!client->deleted && (client->sid == rxr_CidOf(tcon))
2257                     && (client->VenusEpoch == rxr_GetEpoch(tcon))) {
2258                     h_Unlock_r(host);
2259                     goto retryfirstclient;
2260                 }
2261             }
2262             created = 1;
2263             client = GetCE();
2264             ObtainWriteLock(&client->lock);
2265             client->refCount = 1;
2266             client->host = host;
2267 #if FS_STATS_DETAILED
2268             client->InSameNetwork = host->InSameNetwork;
2269 #endif /* FS_STATS_DETAILED */
2270             client->ViceId = viceid;
2271             client->expTime = expTime;  /* rx only */
2272             client->authClass = authClass;      /* rx only */
2273             client->sid = rxr_CidOf(tcon);
2274             client->VenusEpoch = rxr_GetEpoch(tcon);
2275             client->CPS.prlist_val = NULL;
2276             client->CPS.prlist_len = 0;
2277             h_Unlock_r(host);
2278         }
2279     }
2280     client->prfail = fail;
2281
2282     if (!(client->CPS.prlist_val) || (viceid != client->ViceId)) {
2283         client->CPS.prlist_len = 0;
2284         if (client->CPS.prlist_val && (client->ViceId != ANONYMOUSID))
2285             free(client->CPS.prlist_val);
2286         client->CPS.prlist_val = NULL;
2287         client->ViceId = viceid;
2288         client->expTime = expTime;
2289
2290         if (viceid == ANONYMOUSID) {
2291             client->CPS.prlist_len = AnonCPS.prlist_len;
2292             client->CPS.prlist_val = AnonCPS.prlist_val;
2293         } else {
2294             H_UNLOCK;
2295             code = hpr_GetCPS(viceid, &client->CPS);
2296             H_LOCK;
2297             if (code) {
2298                 char hoststr[16];
2299                 ViceLog(0,
2300                         ("pr_GetCPS failed(%d) for user %d, host %" AFS_PTR_FMT " (%s:%d)\n",
2301                          code, viceid, client->host, 
2302                          afs_inet_ntoa_r(client->host->host,hoststr),
2303                          ntohs(client->host->port)));
2304
2305                 /* Although ubik_Call (called by pr_GetCPS) traverses thru
2306                  * all protection servers and reevaluates things if no
2307                  * sync server or quorum is found we could still end up
2308                  * with one of these errors. In such case we would like to
2309                  * reevaluate the rpc call to find if there's cps for this
2310                  * guy. We treat other errors (except network failures
2311                  * ones - i.e. code < 0) as an indication that there is no
2312                  * CPS for this host.  Ideally we could like to deal this
2313                  * problem the other way around (i.e.  if code == NOCPS
2314                  * ignore else retry next time) but the problem is that
2315                  * there're other errors (i.e.  EPERM) for which we don't
2316                  * want to retry and we don't know the whole code list!
2317                  */
2318                 if (code < 0 || code == UNOQUORUM || code == UNOTSYNC)
2319                     client->prfail = 1;
2320             }
2321         }
2322         /* the disabling of system:administrators is so iffy and has so many
2323          * possible failure modes that we will disable it again */
2324         /* Turn off System:Administrator for safety  
2325          * if (AL_IsAMember(SystemId, client->CPS) == 0)
2326          * assert(AL_DisableGroup(SystemId, client->CPS) == 0); */
2327     }
2328
2329     /* Now, tcon may already be set to a rock, since we blocked with no host
2330      * or client locks set above in pr_GetCPS (XXXX some locking is probably
2331      * required).  So, before setting the RPC's rock, we should disconnect
2332      * the RPC from the other client structure's rock.
2333      */
2334     oldClient = (struct client *)rx_GetSpecific(tcon, rxcon_client_key);
2335     if (oldClient && oldClient != client && oldClient->sid == rxr_CidOf(tcon)
2336         && oldClient->VenusEpoch == rxr_GetEpoch(tcon)) {
2337         char hoststr[16];
2338         if (!oldClient->deleted) {
2339             /* if we didn't create it, it's not ours to put back */
2340             if (created) {
2341                 ViceLog(0, ("FindClient: stillborn client %x(%x); conn %x (host %s:%d) had client %x(%x)\n", 
2342                             client, client->sid, tcon, 
2343                             afs_inet_ntoa_r(rxr_HostOf(tcon), hoststr),
2344                             ntohs(rxr_PortOf(tcon)),
2345                             oldClient, oldClient->sid));
2346                 if ((client->ViceId != ANONYMOUSID) && client->CPS.prlist_val)
2347                     free(client->CPS.prlist_val);
2348                 client->CPS.prlist_val = NULL;
2349                 client->CPS.prlist_len = 0;
2350             }
2351             /* We should perhaps check for 0 here */
2352             client->refCount--;
2353             ReleaseWriteLock(&client->lock);
2354             if (created) {
2355                 FreeCE(client);
2356                 created = 0;
2357             } 
2358             oldClient->refCount++;
2359             H_UNLOCK;
2360             ObtainWriteLock(&oldClient->lock);
2361             H_LOCK;
2362             client = oldClient;
2363         } else {
2364             ViceLog(0, ("FindClient: deleted client %x(%x) already had conn %x (host %s:%d), stolen by client %x(%x)\n", 
2365                         oldClient, oldClient->sid, tcon, 
2366                         afs_inet_ntoa_r(rxr_HostOf(tcon), hoststr),
2367                         ntohs(rxr_PortOf(tcon)),
2368                         client, client->sid));
2369             /* rx_SetSpecific will be done immediately below */
2370         }
2371     }
2372     /* Avoid chaining in more than once. */
2373     if (created) {
2374         h_Lock_r(host);
2375         client->next = host->FirstClient;
2376         host->FirstClient = client;
2377         h_Unlock_r(host);
2378         CurrentConnections++;   /* increment number of connections */
2379     }
2380     rx_SetSpecific(tcon, rxcon_client_key, client);
2381     ReleaseWriteLock(&client->lock);
2382
2383     return client;
2384
2385 }                               /*h_FindClient_r */
2386
2387 int
2388 h_ReleaseClient_r(struct client *client)
2389 {
2390     assert(client->refCount > 0);
2391     client->refCount--;
2392     return 0;
2393 }
2394
2395
2396 /*
2397  * Sigh:  this one is used to get the client AGAIN within the individual
2398  * server routines.  This does not bother h_Holding the host, since
2399  * this is assumed already have been done by the server main loop.
2400  * It does check tokens, since only the server routines can return the
2401  * VICETOKENDEAD error code
2402  */
2403 int
2404 GetClient(struct rx_connection *tcon, struct client **cp)
2405 {
2406     register struct client *client;
2407     char hoststr[16];
2408
2409     H_LOCK;
2410     *cp = NULL;
2411     client = (struct client *)rx_GetSpecific(tcon, rxcon_client_key);
2412     if (client == NULL) {
2413         ViceLog(0,
2414                 ("GetClient: no client in conn %x (host %s:%d), VBUSYING\n",
2415                  tcon, afs_inet_ntoa_r(rxr_HostOf(tcon), hoststr),
2416                  ntohs(rxr_PortOf(tcon))));
2417         H_UNLOCK;
2418         return VBUSY;
2419     }
2420     if (rxr_CidOf(tcon) != client->sid || rxr_GetEpoch(tcon) != client->VenusEpoch) {
2421         ViceLog(0,
2422                 ("GetClient: tcon %x tcon sid %d client sid %d\n",
2423                  tcon, rxr_CidOf(tcon), client->sid));
2424         H_UNLOCK;
2425         return VBUSY;
2426     }
2427     if (client && client->LastCall > client->expTime && client->expTime) {
2428         ViceLog(1,
2429                 ("Token for %s at %s:%d expired %d\n", h_UserName(client),
2430                  afs_inet_ntoa_r(client->host->host, hoststr),
2431                  ntohs(client->host->port), client->expTime));
2432         H_UNLOCK;
2433         return VICETOKENDEAD;
2434     }
2435
2436     client->refCount++;
2437     *cp = client;
2438     H_UNLOCK;
2439     return 0;
2440 }                               /*GetClient */
2441
2442 int
2443 PutClient(struct client **cp)
2444 {
2445     if (*cp == NULL) 
2446         return -1;
2447
2448     H_LOCK;
2449     h_ReleaseClient_r(*cp);
2450     *cp = NULL;
2451     H_UNLOCK;
2452     return 0;
2453 }                               /*PutClient */
2454
2455
2456 /* Client user name for short term use.  Note that this is NOT inexpensive */
2457 char *
2458 h_UserName(struct client *client)
2459 {
2460     static char User[PR_MAXNAMELEN + 1];
2461     namelist lnames;
2462     idlist lids;
2463
2464     lids.idlist_len = 1;
2465     lids.idlist_val = (afs_int32 *) malloc(1 * sizeof(afs_int32));
2466     if (!lids.idlist_val) {
2467         ViceLog(0, ("Failed malloc in h_UserName\n"));
2468         assert(0);
2469     }
2470     lnames.namelist_len = 0;
2471     lnames.namelist_val = (prname *) 0;
2472     lids.idlist_val[0] = client->ViceId;
2473     if (hpr_IdToName(&lids, &lnames)) {
2474         /* We need to free id we alloced above! */
2475         free(lids.idlist_val);
2476         return "*UNKNOWN USER NAME*";
2477     }
2478     strncpy(User, lnames.namelist_val[0], PR_MAXNAMELEN);
2479     free(lids.idlist_val);
2480     free(lnames.namelist_val);
2481     return User;
2482 }                               /*h_UserName */
2483
2484
2485 void
2486 h_PrintStats(void)
2487 {
2488     ViceLog(0,
2489             ("Total Client entries = %d, blocks = %d; Host entries = %d, blocks = %d\n",
2490              CEs, CEBlocks, HTs, HTBlocks));
2491
2492 }                               /*h_PrintStats */
2493
2494
2495 static int
2496 h_PrintClient(register struct host *host, int flags, void *rock)
2497 {
2498     StreamHandle_t *file = (StreamHandle_t *)rock;
2499     register struct client *client;
2500     int i;
2501     char tmpStr[256];
2502     char tbuffer[32];
2503     char hoststr[16];
2504     time_t LastCall, expTime;
2505
2506     H_LOCK;
2507     LastCall = host->LastCall;
2508     if (host->hostFlags & HOSTDELETED) {
2509         H_UNLOCK;
2510         return flags;
2511     }
2512     (void)afs_snprintf(tmpStr, sizeof tmpStr,
2513                        "Host %s:%d down = %d, LastCall %s",
2514                        afs_inet_ntoa_r(host->host, hoststr),
2515                        ntohs(host->port), (host->hostFlags & VENUSDOWN),
2516                        afs_ctime(&LastCall, tbuffer,
2517                                  sizeof(tbuffer)));
2518     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2519     for (client = host->FirstClient; client; client = client->next) {
2520         if (!client->deleted) {
2521                 expTime = client->expTime;
2522                 (void)afs_snprintf(tmpStr, sizeof tmpStr,
2523                                    "    user id=%d,  name=%s, sl=%s till %s",
2524                                    client->ViceId, h_UserName(client),
2525                                    client->
2526                                    authClass ? "Authenticated" :
2527                                    "Not authenticated",
2528                                    client->
2529                                    authClass ? afs_ctime(&expTime, tbuffer,
2530                                                          sizeof(tbuffer))
2531                                    : "No Limit\n");
2532                 (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2533             (void)afs_snprintf(tmpStr, sizeof tmpStr, "      CPS-%d is [",
2534                                client->CPS.prlist_len);
2535             (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2536             if (client->CPS.prlist_val) {
2537                 for (i = 0; i > client->CPS.prlist_len; i++) {
2538                     (void)afs_snprintf(tmpStr, sizeof tmpStr, " %d",
2539                                        client->CPS.prlist_val[i]);
2540                     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2541                 }
2542             }
2543             sprintf(tmpStr, "]\n");
2544             (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2545         }
2546     }
2547     H_UNLOCK;
2548     return flags;
2549
2550 }                               /*h_PrintClient */
2551
2552
2553
2554 /*
2555  * Print a list of clients, with last security level and token value seen,
2556  * if known
2557  */
2558 void
2559 h_PrintClients(void)
2560 {
2561     time_t now;
2562     char tmpStr[256];
2563     char tbuffer[32];
2564
2565     StreamHandle_t *file = STREAM_OPEN(AFSDIR_SERVER_CLNTDUMP_FILEPATH, "w");
2566
2567     if (file == NULL) {
2568         ViceLog(0,
2569                 ("Couldn't create client dump file %s\n",
2570                  AFSDIR_SERVER_CLNTDUMP_FILEPATH));
2571         return;
2572     }
2573     now = FT_ApproxTime();
2574     (void)afs_snprintf(tmpStr, sizeof tmpStr, "List of active users at %s\n",
2575                        afs_ctime(&now, tbuffer, sizeof(tbuffer)));
2576     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2577     h_Enumerate(h_PrintClient, (char *)file);
2578     STREAM_REALLYCLOSE(file);
2579     ViceLog(0, ("Created client dump %s\n", AFSDIR_SERVER_CLNTDUMP_FILEPATH));
2580 }
2581
2582
2583
2584
2585 static int
2586 h_DumpHost(register struct host *host, int flags, void *rock)
2587 {
2588     StreamHandle_t *file = (StreamHandle_t *)rock;
2589     
2590     int i;
2591     char tmpStr[256];
2592     char hoststr[16];
2593
2594     H_LOCK;
2595     (void)afs_snprintf(tmpStr, sizeof tmpStr,
2596                        "ip:%s port:%d hidx:%d cbid:%d lock:%x last:%u active:%u down:%d del:%d cons:%d cldel:%d\n\t hpfailed:%d hcpsCall:%u hcps [",
2597                        afs_inet_ntoa_r(host->host, hoststr), ntohs(host->port), host->index,
2598                        host->cblist, CheckLock(&host->lock), host->LastCall,
2599                        host->ActiveCall, (host->hostFlags & VENUSDOWN),
2600                        host->hostFlags & HOSTDELETED, host->Console,
2601                        host->hostFlags & CLIENTDELETED, host->hcpsfailed,
2602                        host->cpsCall);
2603     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2604     if (host->hcps.prlist_val)
2605         for (i = 0; i < host->hcps.prlist_len; i++) {
2606             (void)afs_snprintf(tmpStr, sizeof tmpStr, " %d",
2607                                host->hcps.prlist_val[i]);
2608             (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2609         }
2610     sprintf(tmpStr, "] [");
2611     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2612     if (host->interface)
2613         for (i = 0; i < host->interface->numberOfInterfaces; i++) {
2614             char hoststr[16];
2615             sprintf(tmpStr, " %s:%d", 
2616                      afs_inet_ntoa_r(host->interface->interface[i].addr, hoststr),
2617                      ntohs(host->interface->interface[i].port));
2618             (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2619         }
2620     sprintf(tmpStr, "] refCount: %d\n", host->refCount);
2621     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2622
2623     H_UNLOCK;
2624     return flags;
2625
2626 }                               /*h_DumpHost */
2627
2628
2629 void
2630 h_DumpHosts(void)
2631 {
2632     time_t now;
2633     StreamHandle_t *file = STREAM_OPEN(AFSDIR_SERVER_HOSTDUMP_FILEPATH, "w");
2634     char tmpStr[256];
2635     char tbuffer[32];
2636
2637     if (file == NULL) {
2638         ViceLog(0,
2639                 ("Couldn't create host dump file %s\n",
2640                  AFSDIR_SERVER_HOSTDUMP_FILEPATH));
2641         return;
2642     }
2643     now = FT_ApproxTime();
2644     (void)afs_snprintf(tmpStr, sizeof tmpStr, "List of active hosts at %s\n",
2645                        afs_ctime(&now, tbuffer, sizeof(tbuffer)));
2646     (void)STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
2647     h_Enumerate(h_DumpHost, (char *)file);
2648     STREAM_REALLYCLOSE(file);
2649     ViceLog(0, ("Created host dump %s\n", AFSDIR_SERVER_HOSTDUMP_FILEPATH));
2650
2651 }                               /*h_DumpHosts */
2652
2653 #ifdef AFS_DEMAND_ATTACH_FS
2654 /*
2655  * demand attach fs
2656  * host state serialization
2657  */
2658 static int h_stateFillHeader(struct host_state_header * hdr);
2659 static int h_stateCheckHeader(struct host_state_header * hdr);
2660 static int h_stateAllocMap(struct fs_dump_state * state);
2661 static int h_stateSaveHost(struct host * host, int flags, void *rock);
2662 static int h_stateRestoreHost(struct fs_dump_state * state);
2663 static int h_stateRestoreIndex(struct host * h, int flags, void *rock);
2664 static int h_stateVerifyHost(struct host * h, int flags, void *rock);
2665 static int h_stateVerifyAddrHash(struct fs_dump_state * state, struct host * h, afs_uint32 addr, afs_uint16 port);
2666 static int h_stateVerifyUuidHash(struct fs_dump_state * state, struct host * h);
2667 static void h_hostToDiskEntry_r(struct host * in, struct hostDiskEntry * out);
2668 static void h_diskEntryToHost_r(struct hostDiskEntry * in, struct host * out);
2669
2670
2671 /* this procedure saves all host state to disk for fast startup */
2672 int
2673 h_stateSave(struct fs_dump_state * state)
2674 {
2675     AssignInt64(state->eof_offset, &state->hdr->h_offset);
2676
2677     /* XXX debug */
2678     ViceLog(0, ("h_stateSave:  hostCount=%d\n", hostCount));
2679
2680     /* invalidate host state header */
2681     memset(state->h_hdr, 0, sizeof(struct host_state_header));
2682
2683     if (fs_stateWriteHeader(state, &state->hdr->h_offset, state->h_hdr,
2684                             sizeof(struct host_state_header))) {
2685         state->bail = 1;
2686         goto done;
2687     }
2688
2689     fs_stateIncEOF(state, sizeof(struct host_state_header));
2690
2691     h_Enumerate_r(h_stateSaveHost, hostList, (char *)state);
2692     if (state->bail) {
2693         goto done;
2694     }
2695
2696     h_stateFillHeader(state->h_hdr);
2697
2698     /* write the real header to disk */
2699     state->bail = fs_stateWriteHeader(state, &state->hdr->h_offset, state->h_hdr,
2700                                       sizeof(struct host_state_header));
2701
2702  done:
2703     return state->bail;
2704 }
2705
2706 /* demand attach fs
2707  * host state serialization
2708  *
2709  * this procedure restores all host state from a disk for fast startup 
2710  */
2711 int
2712 h_stateRestore(struct fs_dump_state * state)
2713 {
2714     int i, records;
2715
2716     /* seek to the right position and read in the host state header */
2717     if (fs_stateReadHeader(state, &state->hdr->h_offset, state->h_hdr,
2718                            sizeof(struct host_state_header))) {
2719         state->bail = 1;
2720         goto done;
2721     }
2722
2723     /* check the validity of the header */
2724     if (h_stateCheckHeader(state->h_hdr)) {
2725         state->bail = 1;
2726         goto done;
2727     }
2728
2729     records = state->h_hdr->records;
2730
2731     if (h_stateAllocMap(state)) {
2732         state->bail = 1;
2733         goto done;
2734     }
2735
2736     /* iterate over records restoring host state */
2737     for (i=0; i < records; i++) {
2738         if (h_stateRestoreHost(state) != 0) {
2739             state->bail = 1;
2740             break;
2741         }
2742     }
2743
2744  done:
2745     return state->bail;
2746 }
2747
2748 int
2749 h_stateRestoreIndices(struct fs_dump_state * state)
2750 {
2751     h_Enumerate_r(h_stateRestoreIndex, hostList, (char *)state);
2752     return state->bail;
2753 }
2754
2755 static int
2756 h_stateRestoreIndex(struct host * h, int flags, void *rock)
2757 {
2758     struct fs_dump_state *state = (struct fs_dump_state *)rock;
2759     if (cb_OldToNew(state, h->cblist, &h->cblist)) {
2760         return H_ENUMERATE_BAIL(flags);
2761     }
2762     return flags;
2763 }
2764
2765 int
2766 h_stateVerify(struct fs_dump_state * state)
2767 {
2768     h_Enumerate_r(h_stateVerifyHost, hostList, (char *)state);
2769     return state->bail;
2770 }
2771
2772 static int
2773 h_stateVerifyHost(struct host * h, int flags, void* rock)
2774 {
2775     struct fs_dump_state *state = (struct fs_dump_state *)rock;
2776     int i;
2777
2778     if (h == NULL) {
2779         ViceLog(0, ("h_stateVerifyHost: error: NULL host pointer in linked list\n"));
2780         return H_ENUMERATE_BAIL(flags);
2781     }
2782
2783     if (h->interface) {
2784         for (i = h->interface->numberOfInterfaces-1; i >= 0; i--) {
2785             if (h_stateVerifyAddrHash(state, h, h->interface->interface[i].addr, 
2786                                       h->interface->interface[i].port)) {
2787                 state->bail = 1;
2788             }
2789         }
2790         if (h_stateVerifyUuidHash(state, h)) {
2791             state->bail = 1;
2792         }
2793     } else if (h_stateVerifyAddrHash(state, h, h->host, h->port)) {
2794         state->bail = 1;
2795     }
2796
2797     if (cb_stateVerifyHCBList(state, h)) {
2798         state->bail = 1;
2799     }
2800
2801     return flags;
2802 }
2803
2804 static int
2805 h_stateVerifyAddrHash(struct fs_dump_state * state, struct host * h, afs_uint32 addr, afs_uint16 port)
2806 {
2807     int ret = 0, found = 0;
2808     struct host *host = NULL;
2809     struct h_AddrHashChain *chain;
2810     int index = h_HashIndex(addr);
2811     char tmp[16];
2812     int chain_len = 0;
2813
2814     for (chain = hostAddrHashTable[index]; chain; chain = chain->next) {
2815         host = chain->hostPtr;
2816         if (host == NULL) {
2817             afs_inet_ntoa_r(addr, tmp);
2818             ViceLog(0, ("h_stateVerifyAddrHash: error: addr hash chain has NULL host ptr (lookup addr %s)\n", tmp));
2819             ret = 1;
2820             goto done;
2821         }
2822         if ((chain->addr == addr) && (chain->port == port)) {
2823             if (host != h) {
2824                 ViceLog(0, ("h_stateVerifyAddrHash: warning: addr hash entry points to different host struct (%d, %d)\n", 
2825                             h->index, host->index));
2826                 state->flags.warnings_generated = 1;
2827             }
2828             found = 1;
2829             break;
2830         }
2831         if (chain_len > FS_STATE_H_MAX_ADDR_HASH_CHAIN_LEN) {
2832             ViceLog(0, ("h_stateVerifyAddrHash: error: hash chain length exceeds %d; assuming there's a loop\n",
2833                         FS_STATE_H_MAX_ADDR_HASH_CHAIN_LEN));
2834             ret = 1;
2835             goto done;
2836         }
2837         chain_len++;
2838     }
2839
2840     if (!found) {
2841         afs_inet_ntoa_r(addr, tmp);
2842         if (state->mode == FS_STATE_LOAD_MODE) {
2843             ViceLog(0, ("h_stateVerifyAddrHash: error: addr %s not found in hash\n", tmp));
2844             ret = 1;
2845             goto done;
2846         } else {
2847             ViceLog(0, ("h_stateVerifyAddrHash: warning: addr %s not found in hash\n", tmp));
2848             state->flags.warnings_generated = 1;
2849         }
2850     }
2851
2852  done:
2853     return ret;
2854 }
2855
2856 static int
2857 h_stateVerifyUuidHash(struct fs_dump_state * state, struct host * h)
2858 {
2859     int ret = 0, found = 0;
2860     struct host *host = NULL;
2861     struct h_UuidHashChain *chain;
2862     afsUUID * uuidp = &h->interface->uuid;
2863     int index = h_UuidHashIndex(uuidp);
2864     char tmp[40];
2865     int chain_len = 0;
2866
2867     for (chain = hostUuidHashTable[index]; chain; chain = chain->next) {
2868         host = chain->hostPtr;
2869         if (host == NULL) {
2870             afsUUID_to_string(uuidp, tmp, sizeof(tmp));
2871             ViceLog(0, ("h_stateVerifyUuidHash: error: uuid hash chain has NULL host ptr (lookup uuid %s)\n", tmp));
2872             ret = 1;
2873             goto done;
2874         }
2875         if (host->interface &&
2876             afs_uuid_equal(&host->interface->uuid, uuidp)) {
2877             if (host != h) {
2878                 ViceLog(0, ("h_stateVerifyUuidHash: warning: uuid hash entry points to different host struct (%d, %d)\n", 
2879                             h->index, host->index));
2880                 state->flags.warnings_generated = 1;
2881             }
2882             found = 1;
2883             goto done;
2884         }
2885         if (chain_len > FS_STATE_H_MAX_UUID_HASH_CHAIN_LEN) {
2886             ViceLog(0, ("h_stateVerifyUuidHash: error: hash chain length exceeds %d; assuming there's a loop\n",
2887                         FS_STATE_H_MAX_UUID_HASH_CHAIN_LEN));
2888             ret = 1;
2889             goto done;
2890         }
2891         chain_len++;
2892     }
2893
2894     if (!found) {
2895         afsUUID_to_string(uuidp, tmp, sizeof(tmp));
2896         if (state->mode == FS_STATE_LOAD_MODE) {
2897             ViceLog(0, ("h_stateVerifyUuidHash: error: uuid %s not found in hash\n", tmp));
2898             ret = 1;
2899             goto done;
2900         } else {
2901             ViceLog(0, ("h_stateVerifyUuidHash: warning: uuid %s not found in hash\n", tmp));
2902             state->flags.warnings_generated = 1;
2903         }
2904     }
2905
2906  done:
2907     return ret;
2908 }
2909
2910 /* create the host state header structure */
2911 static int
2912 h_stateFillHeader(struct host_state_header * hdr)
2913 {
2914     hdr->stamp.magic = HOST_STATE_MAGIC;
2915     hdr->stamp.version = HOST_STATE_VERSION;
2916     return 0;
2917 }
2918
2919 /* check the contents of the host state header structure */
2920 static int
2921 h_stateCheckHeader(struct host_state_header * hdr)
2922 {
2923     int ret=0;
2924
2925     if (hdr->stamp.magic != HOST_STATE_MAGIC) {
2926         ViceLog(0, ("check_host_state_header: invalid state header\n"));
2927         ret = 1;
2928     }
2929     else if (hdr->stamp.version != HOST_STATE_VERSION) {
2930         ViceLog(0, ("check_host_state_header: unknown version number\n"));
2931         ret = 1;
2932     }
2933     return ret;
2934 }
2935
2936 /* allocate the host id mapping table */
2937 static int
2938 h_stateAllocMap(struct fs_dump_state * state)
2939 {
2940     state->h_map.len = state->h_hdr->index_max + 1;
2941     state->h_map.entries = (struct idx_map_entry_t *)
2942         calloc(state->h_map.len, sizeof(struct idx_map_entry_t));
2943     return (state->h_map.entries != NULL) ? 0 : 1;
2944 }
2945
2946 /* function called by h_Enumerate to save a host to disk */
2947 static int
2948 h_stateSaveHost(struct host * host, int flags, void* rock)
2949 {
2950     struct fs_dump_state *state = (struct fs_dump_state *) rock;
2951     int if_len=0, hcps_len=0;
2952     struct hostDiskEntry hdsk;
2953     struct host_state_entry_header hdr;
2954     struct Interface * ifp = NULL;
2955     afs_int32 * hcps = NULL;
2956     struct iovec iov[4];
2957     int iovcnt = 2;
2958
2959     memset(&hdr, 0, sizeof(hdr));
2960
2961     if (state->h_hdr->index_max < host->index) {
2962         state->h_hdr->index_max = host->index;
2963     }
2964
2965     h_hostToDiskEntry_r(host, &hdsk);
2966     if (host->interface) {
2967         if_len = sizeof(struct Interface) + 
2968             ((host->interface->numberOfInterfaces-1) * sizeof(struct AddrPort));
2969         ifp = (struct Interface *) malloc(if_len);
2970         assert(ifp != NULL);
2971         memcpy(ifp, host->interface, if_len);
2972         hdr.interfaces = host->interface->numberOfInterfaces;
2973         iov[iovcnt].iov_base = (char *) ifp;
2974         iov[iovcnt].iov_len = if_len;
2975         iovcnt++;
2976     }
2977     if (host->hcps.prlist_val) {
2978         hdr.hcps = host->hcps.prlist_len;
2979         hcps_len = hdr.hcps * sizeof(afs_int32);
2980         hcps = (afs_int32 *) malloc(hcps_len);
2981         assert(hcps != NULL);
2982         memcpy(hcps, host->hcps.prlist_val, hcps_len);
2983         iov[iovcnt].iov_base = (char *) hcps;
2984         iov[iovcnt].iov_len = hcps_len;
2985         iovcnt++;
2986     }
2987
2988     if (hdsk.index > state->h_hdr->index_max)
2989         state->h_hdr->index_max = hdsk.index;
2990
2991     hdr.len = sizeof(struct host_state_entry_header) + 
2992         sizeof(struct hostDiskEntry) + if_len + hcps_len;
2993     hdr.magic = HOST_STATE_ENTRY_MAGIC;
2994
2995     iov[0].iov_base = (char *) &hdr;
2996     iov[0].iov_len = sizeof(hdr);
2997     iov[1].iov_base = (char *) &hdsk;
2998     iov[1].iov_len = sizeof(struct hostDiskEntry);
2999     
3000     if (fs_stateWriteV(state, iov, iovcnt)) {
3001         ViceLog(0, ("h_stateSaveHost: failed to save host %d", host->index));
3002         state->bail = 1;
3003     }
3004
3005     fs_stateIncEOF(state, hdr.len);
3006
3007     state->h_hdr->records++;
3008
3009     if (ifp)
3010         free(ifp);
3011     if (hcps)
3012         free(hcps);
3013     if (state->bail) {
3014         return H_ENUMERATE_BAIL(flags);
3015     }
3016     return flags;
3017 }
3018
3019 /* restores a host from disk */
3020 static int
3021 h_stateRestoreHost(struct fs_dump_state * state)
3022 {
3023     int ifp_len=0, hcps_len=0, bail=0;
3024     struct host_state_entry_header hdr;
3025     struct hostDiskEntry hdsk;
3026     struct host *host = NULL;
3027     struct Interface *ifp = NULL;
3028     afs_int32 * hcps = NULL;
3029     struct iovec iov[3];
3030     int iovcnt = 1;
3031
3032     if (fs_stateRead(state, &hdr, sizeof(hdr))) {
3033         ViceLog(0, ("h_stateRestoreHost: failed to read host entry header from dump file '%s'\n",
3034                     state->fn));
3035         bail = 1;
3036         goto done;
3037     }
3038
3039     if (hdr.magic != HOST_STATE_ENTRY_MAGIC) {
3040         ViceLog(0, ("h_stateRestoreHost: fileserver state dump file '%s' is corrupt.\n",
3041                     state->fn));
3042         bail = 1;
3043         goto done;
3044     }
3045
3046     iov[0].iov_base = (char *) &hdsk;
3047     iov[0].iov_len = sizeof(struct hostDiskEntry);
3048
3049     if (hdr.interfaces) {
3050         ifp_len = sizeof(struct Interface) +
3051             ((hdr.interfaces-1) * sizeof(struct AddrPort));
3052         ifp = (struct Interface *) malloc(ifp_len);
3053         assert(ifp != NULL);
3054         iov[iovcnt].iov_base = (char *) ifp;
3055         iov[iovcnt].iov_len = ifp_len;
3056         iovcnt++;
3057     }
3058     if (hdr.hcps) {
3059         hcps_len = hdr.hcps * sizeof(afs_int32);
3060         hcps = (afs_int32 *) malloc(hcps_len);
3061         assert(hcps != NULL);
3062         iov[iovcnt].iov_base = (char *) hcps;
3063         iov[iovcnt].iov_len = hcps_len;
3064         iovcnt++;
3065     }
3066
3067     if ((ifp_len + hcps_len + sizeof(hdsk) + sizeof(hdr)) != hdr.len) {
3068         ViceLog(0, ("h_stateRestoreHost: host entry header length fields are inconsistent\n"));
3069         bail = 1;
3070         goto done;
3071     }
3072
3073     if (fs_stateReadV(state, iov, iovcnt)) {
3074         ViceLog(0, ("h_stateRestoreHost: failed to read host entry\n"));
3075         bail = 1;
3076         goto done;
3077     }
3078
3079     if (!hdr.hcps && hdsk.hcps_valid) {
3080         /* valid, zero-length host cps ; does this ever happen? */
3081         hcps = (afs_int32 *) malloc(sizeof(afs_int32));
3082         assert(hcps != NULL);
3083     }
3084
3085     host = GetHT();
3086     assert(host != NULL);
3087
3088     if (ifp) {
3089         host->interface = ifp;
3090     }
3091     if (hcps) {
3092         host->hcps.prlist_val = hcps;
3093         host->hcps.prlist_len = hdr.hcps;
3094     }
3095
3096     h_diskEntryToHost_r(&hdsk, host);
3097     h_SetupCallbackConn_r(host);
3098
3099     h_AddHostToAddrHashTable_r(host->host, host->port, host);
3100     if (ifp) {
3101         int i;
3102         for (i = ifp->numberOfInterfaces-1; i >= 0; i--) {
3103             if (ifp->interface[i].valid && 
3104                 !(ifp->interface[i].addr == host->host &&
3105                   ifp->interface[i].port == host->port)) {
3106                 h_AddHostToAddrHashTable_r(ifp->interface[i].addr, 
3107                                            ifp->interface[i].port, 
3108                                            host);
3109             }
3110         }
3111         h_AddHostToUuidHashTable_r(&ifp->uuid, host);
3112     }
3113     h_InsertList_r(host);
3114
3115     /* setup host id map entry */
3116     state->h_map.entries[hdsk.index].old_idx = hdsk.index;
3117     state->h_map.entries[hdsk.index].new_idx = host->index;
3118
3119  done:
3120     if (bail) {
3121         if (ifp)
3122             free(ifp);
3123         if (hcps)
3124             free(hcps);
3125     }
3126     return bail;
3127 }
3128
3129 /* serialize a host structure to disk */
3130 static void
3131 h_hostToDiskEntry_r(struct host * in, struct hostDiskEntry * out)
3132 {
3133     out->host = in->host;
3134     out->port = in->port;
3135     out->hostFlags = in->hostFlags;
3136     out->Console = in->Console;
3137     out->hcpsfailed = in->hcpsfailed;
3138     out->LastCall = in->LastCall;
3139     out->ActiveCall = in->ActiveCall;
3140     out->cpsCall = in->cpsCall;
3141     out->cblist = in->cblist;
3142 #ifdef FS_STATS_DETAILED
3143     out->InSameNetwork = in->InSameNetwork;
3144 #endif
3145
3146     /* special fields we save, but are not memcpy'd back on restore */
3147     out->index = in->index;
3148     out->hcps_len = in->hcps.prlist_len;
3149     out->hcps_valid = (in->hcps.prlist_val == NULL) ? 0 : 1;
3150 }
3151
3152 /* restore a host structure from disk */
3153 static void
3154 h_diskEntryToHost_r(struct hostDiskEntry * in, struct host * out)
3155 {
3156     out->host = in->host;
3157     out->port = in->port;
3158     out->hostFlags = in->hostFlags;
3159     out->Console = in->Console;
3160     out->hcpsfailed = in->hcpsfailed;
3161     out->LastCall = in->LastCall;
3162     out->ActiveCall = in->ActiveCall;
3163     out->cpsCall = in->cpsCall;
3164     out->cblist = in->cblist;
3165 #ifdef FS_STATS_DETAILED
3166     out->InSameNetwork = in->InSameNetwork;
3167 #endif
3168 }
3169
3170 /* index translation routines */
3171 int
3172 h_OldToNew(struct fs_dump_state * state, afs_uint32 old, afs_uint32 * new)
3173 {
3174     int ret = 0;
3175
3176     /* hosts use a zero-based index, so old==0 is valid */
3177
3178     if (old >= state->h_map.len) {
3179         ViceLog(0, ("h_OldToNew: index %d is out of range\n", old));
3180         ret = 1;
3181     } else if (state->h_map.entries[old].old_idx != old) { /* sanity check */
3182         ViceLog(0, ("h_OldToNew: index %d points to an invalid host record\n", old));
3183         ret = 1;
3184     } else {
3185         *new = state->h_map.entries[old].new_idx;
3186     }
3187
3188     return ret;
3189 }
3190 #endif /* AFS_DEMAND_ATTACH_FS */
3191
3192
3193 /*
3194  * This counts the number of workstations, the number of active workstations,
3195  * and the number of workstations declared "down" (i.e. not heard from
3196  * recently).  An active workstation has received a call since the cutoff
3197  * time argument passed.
3198  */
3199 void
3200 h_GetWorkStats(int *nump, int *activep, int *delp, afs_int32 cutofftime)
3201 {
3202     register struct host *host;
3203     register int num = 0, active = 0, del = 0;
3204
3205     H_LOCK;
3206     for (host = hostList; host; host = host->next) {
3207         if (!(host->hostFlags & HOSTDELETED)) {
3208             num++;
3209             if (host->ActiveCall > cutofftime)
3210                 active++;
3211             if (host->hostFlags & VENUSDOWN)
3212                 del++;
3213         }
3214     }
3215     H_UNLOCK;
3216     if (nump)
3217         *nump = num;
3218     if (activep)
3219         *activep = active;
3220     if (delp)
3221         *delp = del;
3222
3223 }                               /*h_GetWorkStats */
3224
3225
3226 /*------------------------------------------------------------------------
3227  * PRIVATE h_ClassifyAddress
3228  *
3229  * Description:
3230  *      Given a target IP address and a candidate IP address (both
3231  *      in host byte order), classify the candidate into one of three
3232  *      buckets in relation to the target by bumping the counters passed
3233  *      in as parameters.
3234  *
3235  * Arguments:
3236  *      a_targetAddr       : Target address.
3237  *      a_candAddr         : Candidate address.
3238  *      a_sameNetOrSubnetP : Ptr to counter to bump when the two
3239  *                           addresses are either in the same network
3240  *                           or the same subnet.
3241  *      a_diffSubnetP      : ...when the candidate is in a different
3242  *                           subnet.
3243  *      a_diffNetworkP     : ...when the candidate is in a different
3244  *                           network.
3245  *
3246  * Returns:
3247  *      Nothing.
3248  *
3249  * Environment:
3250  *      The target and candidate addresses are both in host byte
3251  *      order, NOT network byte order, when passed in.
3252  *
3253  * Side Effects:
3254  *      As advertised.
3255  *------------------------------------------------------------------------*/
3256
3257 static void
3258 h_ClassifyAddress(afs_uint32 a_targetAddr, afs_uint32 a_candAddr,
3259                   afs_int32 * a_sameNetOrSubnetP, afs_int32 * a_diffSubnetP,
3260                   afs_int32 * a_diffNetworkP)
3261 {                               /*h_ClassifyAddress */
3262
3263     afs_uint32 targetNet;
3264     afs_uint32 targetSubnet;
3265     afs_uint32 candNet;
3266     afs_uint32 candSubnet;
3267
3268     /*
3269      * Put bad values into the subnet info to start with.
3270      */
3271     targetSubnet = (afs_uint32) 0;
3272     candSubnet = (afs_uint32) 0;
3273
3274     /*
3275      * Pull out the network and subnetwork numbers from the target
3276      * and candidate addresses.  We can short-circuit this whole
3277      * affair if the target and candidate addresses are not of the
3278      * same class.
3279      */
3280     if (IN_CLASSA(a_targetAddr)) {
3281         if (!(IN_CLASSA(a_candAddr))) {
3282             (*a_diffNetworkP)++;
3283             return;
3284         }
3285         targetNet = a_targetAddr & IN_CLASSA_NET;
3286         candNet = a_candAddr & IN_CLASSA_NET;
3287         if (IN_SUBNETA(a_targetAddr))
3288             targetSubnet = a_targetAddr & IN_CLASSA_SUBNET;
3289         if (IN_SUBNETA(a_candAddr))
3290             candSubnet = a_candAddr & IN_CLASSA_SUBNET;
3291     } else if (IN_CLASSB(a_targetAddr)) {
3292         if (!(IN_CLASSB(a_candAddr))) {
3293             (*a_diffNetworkP)++;
3294             return;
3295         }
3296         targetNet = a_targetAddr & IN_CLASSB_NET;
3297         candNet = a_candAddr & IN_CLASSB_NET;
3298         if (IN_SUBNETB(a_targetAddr))
3299             targetSubnet = a_targetAddr & IN_CLASSB_SUBNET;
3300         if (IN_SUBNETB(a_candAddr))
3301             candSubnet = a_candAddr & IN_CLASSB_SUBNET;
3302     } /*Class B target */
3303     else if (IN_CLASSC(a_targetAddr)) {
3304         if (!(IN_CLASSC(a_candAddr))) {
3305             (*a_diffNetworkP)++;
3306             return;
3307         }
3308         targetNet = a_targetAddr & IN_CLASSC_NET;
3309         candNet = a_candAddr & IN_CLASSC_NET;
3310
3311         /*
3312          * Note that class C addresses can't have subnets,
3313          * so we leave the defaults untouched.
3314          */
3315     } /*Class C target */
3316     else {
3317         targetNet = a_targetAddr;
3318         candNet = a_candAddr;
3319     }                           /*Class D address */
3320
3321     /*
3322      * Now, simply compare the extracted net and subnet values for
3323      * the two addresses (which at this point are known to be of the
3324      * same class)
3325      */
3326     if (targetNet == candNet) {
3327         if (targetSubnet == candSubnet)
3328             (*a_sameNetOrSubnetP)++;
3329         else
3330             (*a_diffSubnetP)++;
3331     } else
3332         (*a_diffNetworkP)++;
3333
3334 }                               /*h_ClassifyAddress */
3335
3336
3337 /*------------------------------------------------------------------------
3338  * EXPORTED h_GetHostNetStats
3339  *
3340  * Description:
3341  *      Iterate through the host table, and classify each (non-deleted)
3342  *      host entry into ``proximity'' categories (same net or subnet,
3343  *      different subnet, different network).
3344  *
3345  * Arguments:
3346  *      a_numHostsP        : Set to total number of (non-deleted) hosts.
3347  *      a_sameNetOrSubnetP : Set to # hosts on same net/subnet as server.
3348  *      a_diffSubnetP      : Set to # hosts on diff subnet as server.
3349  *      a_diffNetworkP     : Set to # hosts on diff network as server.
3350  *
3351  * Returns:
3352  *      Nothing.
3353  *
3354  * Environment:
3355  *      We only count non-deleted hosts.  The storage pointed to by our
3356  *      parameters is zeroed upon entry.
3357  *
3358  * Side Effects:
3359  *      As advertised.
3360  *------------------------------------------------------------------------*/
3361
3362 void
3363 h_GetHostNetStats(afs_int32 * a_numHostsP, afs_int32 * a_sameNetOrSubnetP,
3364                   afs_int32 * a_diffSubnetP, afs_int32 * a_diffNetworkP)
3365 {                               /*h_GetHostNetStats */
3366
3367     register struct host *hostP;        /*Ptr to current host entry */
3368     register afs_uint32 currAddr_HBO;   /*Curr host addr, host byte order */
3369
3370     /*
3371      * Clear out the storage pointed to by our parameters.
3372      */
3373     *a_numHostsP = (afs_int32) 0;
3374     *a_sameNetOrSubnetP = (afs_int32) 0;
3375     *a_diffSubnetP = (afs_int32) 0;
3376     *a_diffNetworkP = (afs_int32) 0;
3377
3378     H_LOCK;
3379     for (hostP = hostList; hostP; hostP = hostP->next) {
3380         if (!(hostP->hostFlags & HOSTDELETED)) {
3381             /*
3382              * Bump the number of undeleted host entries found.
3383              * In classifying the current entry's address, make
3384              * sure to first convert to host byte order.
3385              */
3386             (*a_numHostsP)++;
3387             currAddr_HBO = (afs_uint32) ntohl(hostP->host);
3388             h_ClassifyAddress(FS_HostAddr_HBO, currAddr_HBO,
3389                               a_sameNetOrSubnetP, a_diffSubnetP,
3390                               a_diffNetworkP);
3391         }                       /*Only look at non-deleted hosts */
3392     }                           /*For each host record hashed to this index */
3393     H_UNLOCK;
3394 }                               /*h_GetHostNetStats */
3395
3396 static afs_uint32 checktime;
3397 static afs_uint32 clientdeletetime;
3398 static struct AFSFid zerofid;
3399
3400
3401 /*
3402  * XXXX: This routine could use Multi-Rx to avoid serializing the timeouts.
3403  * Since it can serialize them, and pile up, it should be a separate LWP
3404  * from other events.
3405  */
3406 #if 0
3407 static int
3408 CheckHost(register struct host *host, int flags, void *rock)
3409 {
3410     register struct client *client;
3411     struct rx_connection *cb_conn = NULL;
3412     int code;
3413
3414 #ifdef AFS_DEMAND_ATTACH_FS
3415     /* kill the checkhost lwp ASAP during shutdown */
3416     FS_STATE_RDLOCK;
3417     if (fs_state.mode == FS_MODE_SHUTDOWN) {
3418         FS_STATE_UNLOCK;
3419         return H_ENUMERATE_BAIL(flags);
3420     }
3421     FS_STATE_UNLOCK;
3422 #endif
3423
3424     /* Host is held by h_Enumerate */
3425     H_LOCK;
3426     for (client = host->FirstClient; client; client = client->next) {
3427         if (client->refCount == 0 && client->LastCall < clientdeletetime) {
3428             client->deleted = 1;
3429             host->hostFlags |= CLIENTDELETED;
3430         }
3431     }
3432     if (host->LastCall < checktime) {
3433         h_Lock_r(host);
3434         host->hostFlags |= HWHO_INPROGRESS;
3435         if (!(host->hostFlags & HOSTDELETED)) {
3436             cb_conn = host->callback_rxcon;
3437             rx_GetConnection(cb_conn);
3438             if (host->LastCall < clientdeletetime) {
3439                 host->hostFlags |= HOSTDELETED;
3440                 if (!(host->hostFlags & VENUSDOWN)) {
3441                     host->hostFlags &= ~ALTADDR;        /* alternate address invalid */
3442                     if (host->interface) {
3443                         H_UNLOCK;
3444                         code =
3445                             RXAFSCB_InitCallBackState3(cb_conn,
3446                                                        &FS_HostUUID);
3447                         H_LOCK;
3448                     } else {
3449                         H_UNLOCK;
3450                         code =
3451                             RXAFSCB_InitCallBackState(cb_conn);
3452                         H_LOCK;
3453                     }
3454                     host->hostFlags |= ALTADDR; /* alternate addresses valid */
3455                     if (code) {
3456                         char hoststr[16];
3457                         (void)afs_inet_ntoa_r(host->host, hoststr);
3458                         ViceLog(0,
3459                                 ("CB: RCallBackConnectBack (host.c) failed for host %s:%d\n",
3460                                  hoststr, ntohs(host->port)));
3461                         host->hostFlags |= VENUSDOWN;
3462                     }
3463                     /* Note:  it's safe to delete hosts even if they have call
3464                      * back state, because break delayed callbacks (called when a
3465                      * message is received from the workstation) will always send a 
3466                      * break all call backs to the workstation if there is no
3467                      * callback.
3468                      */
3469                 }
3470             } else {
3471                 if (!(host->hostFlags & VENUSDOWN) && host->cblist) {
3472                     char hoststr[16];
3473                     (void)afs_inet_ntoa_r(host->host, hoststr);
3474                     if (host->interface) {
3475                         afsUUID uuid = host->interface->uuid;
3476                         H_UNLOCK;
3477                         code = RXAFSCB_ProbeUuid(cb_conn, &uuid);
3478                         H_LOCK;
3479                         if (code) {
3480                             if (MultiProbeAlternateAddress_r(host)) {
3481                                 ViceLog(0,("CheckHost: Probing all interfaces of host %s:%d failed, code %d\n",
3482                                             hoststr, ntohs(host->port), code));
3483                                 host->hostFlags |= VENUSDOWN;
3484                             }
3485                         }
3486                     } else {
3487                         H_UNLOCK;
3488                         code = RXAFSCB_Probe(cb_conn);
3489                         H_LOCK;
3490                         if (code) {
3491                             ViceLog(0,
3492                                     ("CheckHost: Probe failed for host %s:%d, code %d\n", 
3493                                      hoststr, ntohs(host->port), code));
3494                             host->hostFlags |= VENUSDOWN;
3495                         }
3496                     }
3497                 }
3498             }
3499             H_UNLOCK;
3500             rx_PutConnection(cb_conn);
3501             cb_conn=NULL;
3502             H_LOCK;
3503         }
3504         host->hostFlags &= ~HWHO_INPROGRESS;
3505         h_Unlock_r(host);
3506     }
3507     H_UNLOCK;
3508     return held;
3509
3510 }                               /*CheckHost */
3511 #endif
3512
3513 int
3514 CheckHost_r(register struct host *host, int flags, void *dummy)
3515 {
3516     register struct client *client;
3517     struct rx_connection *cb_conn = NULL;
3518     int code;
3519
3520 #ifdef AFS_DEMAND_ATTACH_FS
3521     /* kill the checkhost lwp ASAP during shutdown */
3522     FS_STATE_RDLOCK;
3523     if (fs_state.mode == FS_MODE_SHUTDOWN) {
3524         FS_STATE_UNLOCK;
3525         return H_ENUMERATE_BAIL(flags);
3526     }
3527     FS_STATE_UNLOCK;
3528 #endif
3529
3530     /* Host is held by h_Enumerate_r */
3531     for (client = host->FirstClient; client; client = client->next) {
3532         if (client->refCount == 0 && client->LastCall < clientdeletetime) {
3533             client->deleted = 1;
3534             host->hostFlags |= CLIENTDELETED;
3535         }
3536     }
3537     if (host->LastCall < checktime) {
3538         h_Lock_r(host);
3539         if (!(host->hostFlags & HOSTDELETED)) {
3540             cb_conn = host->callback_rxcon;
3541             rx_GetConnection(cb_conn);
3542             if (host->LastCall < clientdeletetime) {
3543                 host->hostFlags |= HOSTDELETED;
3544                 if (!(host->hostFlags & VENUSDOWN)) {
3545                     host->hostFlags &= ~ALTADDR;        /* alternate address invalid */
3546                     if (host->interface) {
3547                         H_UNLOCK;
3548                         code =
3549                             RXAFSCB_InitCallBackState3(cb_conn,
3550                                                        &FS_HostUUID);
3551                         H_LOCK;
3552                     } else {
3553                         H_UNLOCK;
3554                         code =
3555                             RXAFSCB_InitCallBackState(cb_conn);
3556                         H_LOCK;
3557                     }
3558                     host->hostFlags |= ALTADDR; /* alternate addresses valid */
3559                     if (code) {
3560                         char hoststr[16];