89cde4fa75c11a327c3a7a532b9dd6502f7b0885
[openafs.git] / src / viced / host.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #include <afsconfig.h>
11 #include <afs/param.h>
12
13 RCSID("$Header$");
14
15 #include <stdio.h>
16 #include <errno.h>
17 #ifdef AFS_NT40_ENV
18 #include <fcntl.h>
19 #include <winsock2.h>
20 #else
21 #include <sys/file.h>
22 #include <netdb.h>
23 #include <netinet/in.h>
24 #endif
25
26 #ifdef HAVE_STRING_H
27 #include <string.h>
28 #else
29 #ifdef HAVE_STRINGS_H
30 #include <strings.h>
31 #endif
32 #endif
33
34 #include <afs/stds.h>
35 #include <rx/xdr.h>
36 #include <afs/assert.h>
37 #include <lwp.h>
38 #include <lock.h>
39 #include <afs/afsint.h>
40 #include <afs/rxgen_consts.h>
41 #include <afs/nfs.h>
42 #include <afs/errors.h>
43 #include <afs/ihandle.h>
44 #include <afs/vnode.h>
45 #include <afs/volume.h>
46 #ifdef AFS_ATHENA_STDENV
47 #include <krb.h>
48 #endif
49 #include <afs/acl.h>
50 #include <afs/ptclient.h>
51 #include <afs/prs_fs.h>
52 #include <afs/auth.h>
53 #include <afs/afsutil.h>
54 #include <rx/rx.h>
55 #include <afs/cellconfig.h>
56 #include <stdlib.h>
57 #include "viced_prototypes.h"
58 #include "viced.h"
59 #include "host.h"
60
61
62 #ifdef AFS_PTHREAD_ENV
63 pthread_mutex_t host_glock_mutex;
64 #endif /* AFS_PTHREAD_ENV */
65
66 extern  int     Console;
67 extern  int     CurrentConnections;
68 extern  int     SystemId;
69 extern  int     AnonymousID;
70 extern  prlist  AnonCPS;
71 extern  int     LogLevel;
72 extern  struct afsconf_dir *confDir; /* config dir object */
73 extern  int     lwps;   /* the max number of server threads */
74 extern  afsUUID FS_HostUUID;
75
76 int     CEs = 0;            /* active clients */
77 int     CEBlocks = 0;       /* number of blocks of CEs */
78 struct  client *CEFree = 0; /* first free client */
79 struct  host *hostList = 0; /* linked list of all hosts */
80 int     hostCount = 0;      /* number of hosts in hostList */
81 int     rxcon_ident_key;
82 int     rxcon_client_key;
83
84 #define CESPERBLOCK 73
85 struct CEBlock              /* block of CESPERBLOCK file entries */
86 {
87     struct client entry[CESPERBLOCK];
88 };
89
90 /*
91  * Make sure the subnet macros have been defined.
92  */
93 #ifndef IN_SUBNETA
94 #define IN_SUBNETA(i)           ((((afs_int32)(i))&0x80800000)==0x00800000)
95 #endif
96
97 #ifndef IN_CLASSA_SUBNET
98 #define IN_CLASSA_SUBNET        0xffff0000
99 #endif
100
101 #ifndef IN_SUBNETB
102 #define IN_SUBNETB(i)           ((((afs_int32)(i))&0xc0008000)==0x80008000)
103 #endif
104
105 #ifndef IN_CLASSB_SUBNET
106 #define IN_CLASSB_SUBNET        0xffffff00
107 #endif
108
109 #define rxr_GetEpoch(aconn) (((struct rx_connection *)(aconn))->epoch)
110
111 #define rxr_CidOf(aconn) (((struct rx_connection *)(aconn))->cid)
112
113 #define rxr_PortOf(aconn) \
114     rx_PortOf(rx_PeerOf(((struct rx_connection *)(aconn))))
115
116 #define rxr_HostOf(aconn) \
117     rx_HostOf(rx_PeerOf((struct rx_connection *)(aconn)))
118
119
120 /* get a new block of CEs and chain it on CEFree */
121 static void GetCEBlock()
122 {
123     register struct CEBlock *block;
124     register int i;
125
126     block = (struct CEBlock *)malloc(sizeof(struct CEBlock));
127     if (!block) {
128         ViceLog(0, ("Failed malloc in GetCEBlock\n"));
129         ShutDownAndCore(PANIC);
130     }
131
132     for(i = 0; i < (CESPERBLOCK -1); i++) {
133         Lock_Init(&block->entry[i].lock);
134         block->entry[i].next = &(block->entry[i+1]);
135     }
136     block->entry[CESPERBLOCK-1].next = 0;
137     Lock_Init(&block->entry[CESPERBLOCK-1].lock);
138     CEFree = (struct client *)block;
139     CEBlocks++;
140
141 } /*GetCEBlock*/
142
143
144 /* get the next available CE */
145 static struct client *GetCE()
146 {
147     register struct client *entry;
148
149     if (CEFree == 0)
150         GetCEBlock();
151     if (CEFree == 0) {
152         ViceLog(0, ("CEFree NULL in GetCE\n"));
153         ShutDownAndCore(PANIC);
154     }
155
156     entry = CEFree;
157     CEFree = entry->next;
158     CEs++;
159     memset((char *)entry, 0, CLIENT_TO_ZERO(entry));
160     return(entry);
161
162 } /*GetCE*/
163
164
165 /* return an entry to the free list */
166 static void FreeCE(register struct client *entry)
167 {
168     entry->next = CEFree;
169     CEFree = entry;
170     CEs--;
171
172 } /*FreeCE*/
173
174 /*
175  * The HTs and HTBlocks variables were formerly static, but they are
176  * now referenced elsewhere in the FileServer.
177  */
178 int HTs = 0;                            /* active file entries */
179 int HTBlocks = 0;                       /* number of blocks of HTs */
180 static struct host *HTFree = 0;         /* first free file entry */
181
182 /*
183  * Hash tables of host pointers. We need two tables, one
184  * to map IP addresses onto host pointers, and another
185  * to map host UUIDs onto host pointers.
186  */
187 static struct h_hashChain *hostHashTable[h_HASHENTRIES];
188 static struct h_hashChain *hostUuidHashTable[h_HASHENTRIES];
189 #define h_HashIndex(hostip) ((hostip) & (h_HASHENTRIES-1))
190 #define h_UuidHashIndex(uuidp) (((int)(afs_uuid_hash(uuidp))) & (h_HASHENTRIES-1))
191
192 struct HTBlock          /* block of HTSPERBLOCK file entries */
193 {
194     struct host entry[h_HTSPERBLOCK];
195 };
196
197
198 /* get a new block of HTs and chain it on HTFree */
199 static void GetHTBlock()
200 {
201     register struct HTBlock *block;
202     register int i;
203     static int index = 0;
204
205     block = (struct HTBlock *)malloc(sizeof(struct HTBlock));
206     if (!block) {
207         ViceLog(0, ("Failed malloc in GetHTBlock\n"));
208         ShutDownAndCore(PANIC);
209     }
210
211 #ifdef AFS_PTHREAD_ENV
212     for(i=0; i < (h_HTSPERBLOCK); i++)
213         assert(pthread_cond_init(&block->entry[i].cond, NULL) == 0);
214 #endif /* AFS_PTHREAD_ENV */
215     for(i=0; i < (h_HTSPERBLOCK); i++)
216         Lock_Init(&block->entry[i].lock);
217     for(i=0; i < (h_HTSPERBLOCK -1); i++)
218         block->entry[i].next = &(block->entry[i+1]);
219     for (i=0; i< (h_HTSPERBLOCK); i++)
220         block->entry[i].index = index++;
221     block->entry[h_HTSPERBLOCK-1].next = 0;
222     HTFree = (struct host *)block;
223     hosttableptrs[HTBlocks++] = block->entry;
224
225 } /*GetHTBlock*/
226
227
228 /* get the next available HT */
229 static struct host *GetHT()
230 {
231     register struct host *entry;
232
233     if (HTFree == 0)
234         GetHTBlock();
235     assert(HTFree != 0);
236     entry = HTFree;
237     HTFree = entry->next;
238     HTs++;
239     memset((char *)entry, 0, HOST_TO_ZERO(entry));
240     return(entry);
241
242 } /*GetHT*/
243
244
245 /* return an entry to the free list */
246 static void FreeHT(register struct host *entry)
247 {
248     entry->next = HTFree;
249     HTFree = entry;
250     HTs--;
251
252 } /*FreeHT*/
253
254
255 static short consolePort = 0;
256
257 int h_Release(register struct host *host)
258 {
259     H_LOCK
260     h_Release_r(host);
261     H_UNLOCK
262     return 0;
263 }
264
265 /**
266  * If this thread does not have a hold on this host AND
267  * if other threads also dont have any holds on this host AND
268  * If either the HOSTDELETED or CLIENTDELETED flags are set
269  * then toss the host
270  */
271 int h_Release_r(register struct host *host)
272 {       
273     
274     if (!((host)->holds[h_holdSlot()] & ~h_holdbit()) ) {
275         if (! h_OtherHolds_r(host) ) {
276             /* must avoid masking this until after h_OtherHolds_r runs
277                but it should be run before h_TossStuff_r */
278             (host)->holds[h_holdSlot()] &= ~h_holdbit();
279             if ( (host->hostFlags & HOSTDELETED) || 
280                 (host->hostFlags & CLIENTDELETED) ) {
281                 h_TossStuff_r(host);
282             }           
283         } else 
284             (host)->holds[h_holdSlot()] &= ~h_holdbit();
285     } else 
286       (host)->holds[h_holdSlot()] &= ~h_holdbit();
287
288     return 0;
289 }
290
291 int h_OtherHolds_r(register struct host *host)
292 {
293     register int i, bit, slot;
294     bit = h_holdbit();
295     slot = h_holdSlot();
296     for (i = 0 ; i < h_maxSlots ; i++) {
297         if (host->holds[i] != ((i == slot) ? bit : 0)) {
298             return 1;
299         }
300     }
301     return 0;
302 }
303
304 int h_Lock_r(register struct host *host)
305 {
306     H_UNLOCK
307     h_Lock(host);
308     H_LOCK
309     return 0;
310 }
311
312 /**
313   * Non-blocking lock
314   * returns 1 if already locked
315   * else returns locks and returns 0
316   */
317
318 int h_NBLock_r(register struct host *host)
319 {
320     struct Lock *hostLock = &host->lock;
321     int locked = 0;
322
323     H_UNLOCK
324     LOCK_LOCK(hostLock)
325     if ( !(hostLock->excl_locked) && !(hostLock->readers_reading) )
326         hostLock->excl_locked = WRITE_LOCK;
327     else
328         locked = 1;
329
330     LOCK_UNLOCK(hostLock)
331     H_LOCK
332     if ( locked )
333         return 1;
334     else
335         return 0;
336 }
337
338
339 #if FS_STATS_DETAILED
340 /*------------------------------------------------------------------------
341  * PRIVATE h_AddrInSameNetwork
342  *
343  * Description:
344  *      Given a target IP address and a candidate IP address (both
345  *      in host byte order), return a non-zero value (1) if the
346  *      candidate address is in a different network from the target
347  *      address.
348  *
349  * Arguments:
350  *      a_targetAddr       : Target address.
351  *      a_candAddr         : Candidate address.
352  *
353  * Returns:
354  *      1 if the candidate address is in the same net as the target,
355  *      0 otherwise.
356  *
357  * Environment:
358  *      The target and candidate addresses are both in host byte
359  *      order, NOT network byte order, when passed in.  We return
360  *      our value as a character, since that's the type of field in
361  *      the host structure, where this info will be stored.
362  *
363  * Side Effects:
364  *      As advertised.
365  *------------------------------------------------------------------------*/
366
367 static char h_AddrInSameNetwork(afs_uint32 a_targetAddr, afs_uint32 a_candAddr)
368 { /*h_AddrInSameNetwork*/
369
370     afs_uint32 targetNet;
371     afs_uint32 candNet;
372
373     /*
374      * Pull out the network and subnetwork numbers from the target
375      * and candidate addresses.  We can short-circuit this whole
376      * affair if the target and candidate addresses are not of the
377      * same class.
378      */
379     if (IN_CLASSA(a_targetAddr)) {
380         if (!(IN_CLASSA(a_candAddr))) {
381             return(0);
382         }
383         targetNet = a_targetAddr & IN_CLASSA_NET;
384         candNet   = a_candAddr   & IN_CLASSA_NET;
385     }
386     else
387         if (IN_CLASSB(a_targetAddr)) {
388             if (!(IN_CLASSB(a_candAddr))) {
389                 return(0);
390             }
391             targetNet = a_targetAddr & IN_CLASSB_NET;
392             candNet   = a_candAddr   & IN_CLASSB_NET;
393         } /*Class B target*/
394         else
395             if (IN_CLASSC(a_targetAddr)) {
396                 if (!(IN_CLASSC(a_candAddr))) {
397                     return(0);
398                 }
399                 targetNet = a_targetAddr & IN_CLASSC_NET;
400                 candNet   = a_candAddr   & IN_CLASSC_NET;
401             } /*Class C target*/
402             else {
403                 targetNet = a_targetAddr;
404                 candNet = a_candAddr;
405             } /*Class D address*/
406     
407     /*
408      * Now, simply compare the extracted net values for the two addresses
409      * (which at this point are known to be of the same class)
410      */
411     if (targetNet == candNet)
412         return(1);
413     else
414         return(0);
415
416 } /*h_AddrInSameNetwork*/
417 #endif /* FS_STATS_DETAILED */
418
419
420 /* Assumptions: called with held host */
421 void
422 h_gethostcps_r(register struct host *host, register afs_int32 now)
423 {
424     register int code;
425     int  slept=0;
426
427     /* wait if somebody else is already doing the getCPS call */
428     while ( host->hostFlags & HCPS_INPROGRESS ) 
429     {
430         slept = 1;              /* I did sleep */
431         host->hostFlags |= HCPS_WAITING; /* I am sleeping now */
432 #ifdef AFS_PTHREAD_ENV
433         pthread_cond_wait(&host->cond, &host_glock_mutex);
434 #else /* AFS_PTHREAD_ENV */
435         if (( code = LWP_WaitProcess( &(host->hostFlags ))) != LWP_SUCCESS)
436                 ViceLog(0, ("LWP_WaitProcess returned %d\n", code));
437 #endif /* AFS_PTHREAD_ENV */
438     }
439
440
441     host->hostFlags |= HCPS_INPROGRESS; /* mark as CPSCall in progress */
442     if (host->hcps.prlist_val)
443         free(host->hcps.prlist_val);    /* this is for hostaclRefresh */
444     host->hcps.prlist_val = NULL;
445     host->hcps.prlist_len = 0;
446     slept? (host->cpsCall = FT_ApproxTime()): (host->cpsCall = now );
447
448     H_UNLOCK
449     code = pr_GetHostCPS(htonl(host->host), &host->hcps);
450     H_LOCK
451     if (code) {
452         /*
453          * Although ubik_Call (called by pr_GetHostCPS) traverses thru all protection servers
454          * and reevaluates things if no sync server or quorum is found we could still end up
455          * with one of these errors. In such case we would like to reevaluate the rpc call to
456          * find if there's cps for this guy. We treat other errors (except network failures
457          * ones - i.e. code < 0) as an indication that there is no CPS for this host. Ideally
458          * we could like to deal this problem the other way around (i.e. if code == NOCPS 
459          * ignore else retry next time) but the problem is that there're other errors (i.e.
460          * EPERM) for which we don't want to retry and we don't know the whole code list!
461          */
462         if (code < 0 || code == UNOQUORUM || code == UNOTSYNC) {
463             /* 
464              * We would have preferred to use a while loop and try again since ops in protected
465              * acls for this host will fail now but they'll be reevaluated on any subsequent
466              * call. The attempt to wait for a quorum/sync site or network error won't work
467              * since this problems really should only occurs during a complete fileserver 
468              * restart. Since the fileserver will start before the ptservers (and thus before
469              * quorums are complete) clients will be utilizing all the fileserver's lwps!!
470              */
471             host->hcpsfailed = 1;
472             ViceLog(0, ("Warning:  GetHostCPS failed (%d) for %x; will retry\n", code, host->host));
473         } else {
474             host->hcpsfailed = 0;
475             ViceLog(1, ("gethost:  GetHostCPS failed (%d) for %x; ignored\n", code, host->host));
476         }
477         if (host->hcps.prlist_val)
478             free(host->hcps.prlist_val);
479         host->hcps.prlist_val = NULL;
480         host->hcps.prlist_len = 0;      /* Make sure it's zero */
481     } else
482         host->hcpsfailed = 0;
483
484     host->hostFlags &=  ~HCPS_INPROGRESS;
485                                         /* signal all who are waiting */
486     if ( host->hostFlags & HCPS_WAITING) /* somebody is waiting */
487     {
488         host->hostFlags &= ~HCPS_WAITING;
489 #ifdef AFS_PTHREAD_ENV
490         assert(pthread_cond_broadcast(&host->cond) == 0);
491 #else /* AFS_PTHREAD_ENV */
492         if ( (code = LWP_NoYieldSignal( &(host->hostFlags) )) != LWP_SUCCESS )
493                 ViceLog(0, ("LWP_NoYieldSignal returns %d\n", code));
494 #endif /* AFS_PTHREAD_ENV */
495     }
496 }
497
498 /* args in net byte order */
499 void h_flushhostcps(register afs_uint32 hostaddr, register afs_uint32 hport)
500 {
501     register struct host *host;
502     int held;
503     
504     H_LOCK
505     host = h_Lookup_r(hostaddr, hport, &held);
506     if (host) {
507       host->hcpsfailed = 1;
508     }
509     if (!held)
510       h_Release_r(host);
511     H_UNLOCK
512
513     return;
514 }
515
516
517 /*
518  * Allocate a host.  It will be identified by the peer (ip,port) info in the
519  * rx connection provided.  The host is returned held and locked
520  */
521 #define DEF_ROPCONS 2115
522
523 struct host *h_Alloc_r(register struct rx_connection *r_con)
524 {
525     register int code;
526     struct servent *serverentry;
527     register index = h_HashIndex(rxr_HostOf(r_con));
528     register struct host *host;
529     static struct rx_securityClass *sc = 0;
530     afs_int32   now;
531     struct h_hashChain* h_hashChain;
532 #if FS_STATS_DETAILED
533     afs_uint32 newHostAddr_HBO; /*New host IP addr, in host byte order*/
534 #endif /* FS_STATS_DETAILED */
535
536     host = GetHT();
537
538     h_hashChain = (struct h_hashChain*) malloc(sizeof(struct h_hashChain));
539     if (!h_hashChain) {
540         ViceLog(0, ("Failed malloc in h_Alloc_r\n"));
541         assert(0);
542     }
543     h_hashChain->hostPtr = host;
544     h_hashChain->addr = rxr_HostOf(r_con);
545     h_hashChain->next = hostHashTable[index];
546     hostHashTable[index] = h_hashChain;
547
548     host->host = rxr_HostOf(r_con);
549     host->port = rxr_PortOf(r_con);
550     if(consolePort == 0 ) { /* find the portal number for console */
551 #if     defined(AFS_OSF_ENV)
552         serverentry = getservbyname("ropcons", "");
553 #else
554         serverentry = getservbyname("ropcons", 0);
555 #endif 
556         if (serverentry)
557             consolePort = serverentry->s_port;
558         else
559             consolePort = DEF_ROPCONS;  /* Use a default */
560     }
561     if (host->port == consolePort) host->Console = 1;
562     /* Make a callback channel even for the console, on the off chance that it
563        makes a request that causes a break call back.  It shouldn't. */
564     {
565         if (!sc)
566             sc = rxnull_NewClientSecurityObject();
567         host->callback_rxcon = rx_NewConnection (host->host, host->port,
568                                                  1, sc, 0);
569         rx_SetConnDeadTime(host->callback_rxcon, 50);
570         rx_SetConnHardDeadTime(host->callback_rxcon, AFS_HARDDEADTIME);
571     }
572     now = host->LastCall = host->cpsCall = host->ActiveCall = FT_ApproxTime();
573     host->hostFlags = 0;
574     host->hcps.prlist_val = NULL;
575     host->hcps.prlist_len = 0;
576     host->interface = 0;
577 #ifdef undef
578     host->hcpsfailed = 0;       /* save cycles */
579     h_gethostcps(host);      /* do this under host hold/lock */
580 #endif
581     host->FirstClient = 0;      
582     h_Hold_r(host);
583     h_Lock_r(host);
584     h_InsertList_r(host);       /* update global host List */
585 #if FS_STATS_DETAILED
586     /*
587      * Compare the new host's IP address (in host byte order) with ours
588      * (the File Server's), remembering if they are in the same network.
589      */
590     newHostAddr_HBO = (afs_uint32)ntohl(host->host);
591     host->InSameNetwork = h_AddrInSameNetwork(FS_HostAddr_HBO,
592                                               newHostAddr_HBO);
593 #endif /* FS_STATS_DETAILED */
594     return host;
595
596 } /*h_Alloc_r*/
597
598
599 /* Lookup a host given an IP address and UDP port number. */
600 /* hostaddr and hport are in network order */
601 /* Note: host should be released by caller if 0 == *heldp and non-null */
602 /* hostaddr and hport are in network order */
603 struct host *h_Lookup_r(afs_uint32 hostaddr, afs_uint32 hport, int *heldp)
604 {
605     register afs_int32 now;
606     register struct host *host=0;
607     register struct h_hashChain* chain;
608     register index = h_HashIndex(hostaddr);
609     extern int hostaclRefresh;
610
611 restart:
612     for (chain=hostHashTable[index]; chain; chain=chain->next) {
613         host = chain->hostPtr;
614         assert(host);
615         if (!(host->hostFlags & HOSTDELETED) && chain->addr == hostaddr
616             && host->port == hport) {
617             *heldp = h_Held_r(host);
618             if (!*heldp)
619                 h_Hold_r(host);
620             h_Lock_r(host);
621             if (host->hostFlags & HOSTDELETED) {
622                 h_Unlock_r(host);
623                 if (!*heldp)
624                     h_Release_r(host);
625                 goto restart;
626             }
627             h_Unlock_r(host);
628             now = FT_ApproxTime();              /* always evaluate "now" */
629             if (host->hcpsfailed || (host->cpsCall+hostaclRefresh < now )) {
630                 /*
631                  * Every hostaclRefresh period (def 2 hrs) get the new
632                  * membership list for the host.  Note this could be the
633                  * first time that the host is added to a group.  Also
634                  * here we also retry on previous legitimate hcps failures.
635                  *
636                  * If we get here we still have a host hold.
637                  */
638                 h_gethostcps_r(host,now); 
639             }
640             break;
641         }
642         host = NULL;
643     }
644     return host;
645
646 } /*h_Lookup*/
647
648 /* Lookup a host given its UUID. */
649 struct host *h_LookupUuid_r(afsUUID *uuidp)
650 {
651     register struct host *host=0;
652     register struct h_hashChain* chain;
653     register index = h_UuidHashIndex(uuidp);
654
655     for (chain=hostUuidHashTable[index]; chain; chain=chain->next) {
656         host = chain->hostPtr;
657         assert(host);
658         if (!(host->hostFlags & HOSTDELETED) && host->interface
659          && afs_uuid_equal(&host->interface->uuid, uuidp)) {
660             break;
661         }
662         host = NULL;
663     }
664     return host;
665
666 } /*h_Lookup*/
667
668
669 /*
670  * h_Hold_r: Establish a hold by the current LWP on this host--the host
671  * or its clients will not be physically deleted until all holds have
672  * been released.
673  * NOTE: h_Hold_r is a macro defined in host.h.
674  */
675
676 /* h_TossStuff_r:  Toss anything in the host structure (the host or
677  * clients marked for deletion.  Called from h_Release_r ONLY.
678  * To be called, there must be no holds, and either host->deleted
679  * or host->clientDeleted must be set.
680  */
681 int h_TossStuff_r(register struct host *host)
682 {
683     register struct client **cp, *client;
684     int         i;
685
686     /* if somebody still has this host held */
687     for (i=0; (i<h_maxSlots)&&(!(host)->holds[i]); i++);
688     if  (i!=h_maxSlots)
689         return;
690
691     /* if somebody still has this host locked */
692     if (h_NBLock_r(host) != 0) {
693         char hoststr[16];
694         ViceLog(0, ("Warning:  h_TossStuff_r failed; Host %s:%d was locked.\n",
695                     afs_inet_ntoa_r(host->host, hoststr), host->port)); 
696         return;
697     } else {
698         h_Unlock_r(host);
699     }
700
701     /* ASSUMPTION: rxi_FreeConnection() does not yield */
702     for (cp = &host->FirstClient; (client = *cp); ) {
703         if ((host->hostFlags & HOSTDELETED) || client->deleted) {
704             if ((client->ViceId != ANONYMOUSID) && client->CPS.prlist_val) {
705                 free(client->CPS.prlist_val);
706                 client->CPS.prlist_val = NULL;
707             }
708             client->CPS.prlist_len = 0;
709             if (client->tcon) {
710                 rx_SetSpecific(client->tcon, rxcon_client_key, (void *)0);
711             }
712             CurrentConnections--;
713             *cp = client->next;
714             FreeCE(client);
715         } else cp = &client->next;
716     }
717
718     /* We've just cleaned out all the deleted clients; clear the flag */
719     host->hostFlags &= ~CLIENTDELETED;
720
721     if (host->hostFlags & HOSTDELETED) {
722         register struct h_hashChain **hp, *th;
723         register struct rx_connection *rxconn;
724         afsUUID *uuidp;
725         afs_uint32 hostAddr;
726         int i;
727
728         if (host->Console & 1) Console--;
729         if ((rxconn = host->callback_rxcon)) {
730             host->callback_rxcon = (struct rx_connection *)0;
731             /*
732              * If rx_DestroyConnection calls h_FreeConnection we will
733              * deadlock on the host_glock_mutex. Work around the problem
734              * by unhooking the client from the connection before
735              * destroying the connection.
736              */
737             client = rx_GetSpecific(rxconn, rxcon_client_key);
738             if (client && client->tcon == rxconn)
739                 client->tcon = NULL;
740             rx_SetSpecific(rxconn, rxcon_client_key, (void *)0);
741             rx_DestroyConnection(rxconn);
742         }
743         if (host->hcps.prlist_val)
744             free(host->hcps.prlist_val);
745         host->hcps.prlist_val = NULL;
746         host->hcps.prlist_len = 0;
747         DeleteAllCallBacks_r(host, 1);
748         host->hostFlags &= ~RESETDONE;  /* just to be safe */
749
750         /* if alternate addresses do not exist */
751         if ( !(host->interface) )
752         {
753                 for (hp = &hostHashTable[h_HashIndex(host->host)];
754                         (th = *hp); hp = &th->next) 
755                 {
756                         assert(th->hostPtr);
757                         if (th->hostPtr == host) 
758                         {
759                                 *hp = th->next;
760                                 h_DeleteList_r(host); 
761                                 FreeHT(host);
762                                 break;
763                         }               
764                 }
765         }
766         else 
767         {
768             /* delete all hash entries for the UUID */
769             uuidp = &host->interface->uuid;
770             for (hp = &hostUuidHashTable[h_UuidHashIndex(uuidp)];
771                  (th = *hp); hp = &th->next) {
772                 assert(th->hostPtr);
773                 if (th->hostPtr == host)
774                 {
775                     *hp = th->next;
776                     free(th);
777                     break;
778                 }
779             }
780             /* delete all hash entries for alternate addresses */
781             assert(host->interface->numberOfInterfaces > 0 );
782             for ( i=0; i < host->interface->numberOfInterfaces; i++)
783             {
784                 hostAddr = host->interface->addr[i];
785                 for (hp = &hostHashTable[h_HashIndex(hostAddr)];
786                         (th = *hp); hp = &th->next) 
787                 {
788                         assert(th->hostPtr);
789                         if (th->hostPtr == host) 
790                         {
791                                 *hp = th->next;
792                                 free(th);
793                                 break;
794                         }
795                 }
796             }
797             free(host->interface);
798             host->interface = NULL;
799             h_DeleteList_r(host); /* remove host from global host List */
800             FreeHT(host);
801         }                       /* if alternate address exists */
802     } 
803 } /*h_TossStuff_r*/
804
805
806 /* Called by rx when a server connection disappears */
807 int h_FreeConnection(struct rx_connection *tcon)
808 {
809     register struct client *client;
810
811     client = (struct client *) rx_GetSpecific(tcon, rxcon_client_key);
812     if (client) {
813         H_LOCK
814         if (client->tcon == tcon)
815             client->tcon = (struct rx_connection *)0;
816         H_UNLOCK
817     }
818 } /*h_FreeConnection*/
819
820
821 /* h_Enumerate: Calls (*proc)(host, held, param) for at least each host in the
822  * system at the start of the enumeration (perhaps more).  Hosts may be deleted
823  * (have delete flag set); ditto for clients.  (*proc) is always called with
824  * host h_held().  The hold state of the host with respect to this lwp is passed
825  * to (*proc) as the param held.  The proc should return 0 if the host should be
826  * released, 1 if it should be held after enumeration.
827  */
828 void h_Enumerate(int (*proc)(), char *param)
829 {
830     register struct host *host, **list;
831     register int *held;
832     register int i, count;
833     
834     H_LOCK
835     if (hostCount == 0) {
836         H_UNLOCK
837         return;
838     }
839     list = (struct host **)malloc(hostCount * sizeof(struct host *));
840     if (!list) {
841         ViceLog(0, ("Failed malloc in h_Enumerate\n"));
842         assert(0);
843     }
844     held = (int *)malloc(hostCount * sizeof(int));
845     if (!held) {
846         ViceLog(0, ("Failed malloc in h_Enumerate\n"));
847         assert(0);
848     }
849     for (count = 0, host = hostList ; host ; host = host->next, count++) {
850         list[count] = host;
851         if (!(held[count] = h_Held_r(host)))
852             h_Hold_r(host);
853     }
854     assert(count == hostCount);
855     H_UNLOCK
856     for ( i = 0 ; i < count ; i++) {
857         held[i] = (*proc)(list[i], held[i], param);
858         if (!held[i])
859             h_Release(list[i]);/* this might free up the host */
860     }
861     free((void *)list);
862     free((void *)held);
863 } /*h_Enumerate*/
864
865 /* h_Enumerate_r (revised):
866  * Calls (*proc)(host, held, param) for each host in hostList, starting
867  * at enumstart
868  * Hosts may be deleted (have delete flag set); ditto for clients.
869  * (*proc) is always called with
870  * host h_held() and the global host lock (H_LOCK) locked.The hold state of the
871  * host with respect to this lwp is passed to (*proc) as the param held.
872  * The proc should return 0 if the host should be released, 1 if it should
873  * be held after enumeration.
874  */
875 void h_Enumerate_r(int (*proc)(), struct host* enumstart, char *param)
876 {
877     register struct host *host;
878     register int held;
879     
880     if (hostCount == 0) {
881         return;
882     }
883     for (host = enumstart ; host ; host = host->next) {
884         if (!(held = h_Held_r(host)))
885             h_Hold_r(host);
886         held = (*proc)(host, held, param);
887         if (!held)
888             h_Release_r(host);/* this might free up the host */
889     }
890 } /*h_Enumerate_r*/
891
892 /* inserts a new HashChain structure corresponding to this UUID */
893 void hashInsertUuid_r(struct afsUUID *uuid, struct host* host)
894 {
895         int index;
896         struct h_hashChain*     chain;
897
898         /* hash into proper bucket */
899         index = h_UuidHashIndex(uuid);
900
901         /* insert into beginning of list for this bucket */
902         chain = (struct h_hashChain *)malloc(sizeof(struct h_hashChain));
903         if (!chain) {
904             ViceLog(0, ("Failed malloc in hashInsertUuid_r\n"));
905             assert(0);
906         }
907         assert(chain);
908         chain->hostPtr = host;
909         chain->next = hostUuidHashTable[index];
910         hostUuidHashTable[index] = chain;
911 }
912
913 /* Host is returned held */
914 struct host *h_GetHost_r(struct rx_connection *tcon)
915 {
916     struct host *host;
917     struct host *oldHost;
918     int code;
919     int held;
920     struct interfaceAddr interf;
921     int interfValid = 0;
922     struct Identity *identP = NULL;
923     afs_int32 haddr;
924     afs_int32 hport;
925     int i, j, count;
926     char hoststr[16], hoststr2[16];
927
928     haddr = rxr_HostOf(tcon);
929     hport = rxr_PortOf(tcon);
930 retry:
931     code = 0;
932     identP = (struct Identity *)rx_GetSpecific(tcon, rxcon_ident_key);
933     host = h_Lookup_r(haddr, hport, &held);
934     if (host && !identP && !(host->Console&1)) {
935         /* This is a new connection, and we already have a host
936          * structure for this address. Verify that the identity
937          * of the caller matches the identity in the host structure.
938          */
939         h_Lock_r(host);
940         if ( !(host->hostFlags & ALTADDR) )
941         {
942                 /* Another thread is doing initialization */
943                 h_Unlock_r(host);
944                 if ( !held) h_Release_r(host);
945                 ViceLog(125, ("Host %s:%d starting h_Lookup again\n",
946                              afs_inet_ntoa_r(host->host, hoststr), host->port));
947                 goto retry;
948         }
949         host->hostFlags &= ~ALTADDR;
950         H_UNLOCK
951         code = RXAFSCB_WhoAreYou(host->callback_rxcon, &interf);
952         H_LOCK
953         if ( code == RXGEN_OPCODE ) {
954                 identP = (struct Identity *)malloc(sizeof(struct Identity));
955                 if (!identP) {
956                     ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
957                     assert(0);
958                 }
959                 identP->valid = 0;
960                 rx_SetSpecific(tcon, rxcon_ident_key, identP);
961                 /* The host on this connection was unable to respond to 
962                  * the WhoAreYou. We will treat this as a new connection
963                  * from the existing host. The worst that can happen is
964                  * that we maintain some extra callback state information */
965                 if (host->interface) {
966                     ViceLog(0,
967                             ("Host %s:%d used to support WhoAreYou, deleting.\n",
968                             afs_inet_ntoa_r(host->host, hoststr), host->port));
969                     host->hostFlags |= HOSTDELETED;
970                     h_Unlock_r(host);
971                     if (!held) h_Release_r(host);
972                     host = NULL;
973                     goto retry;
974                 }
975         } else if (code == 0) {
976                 interfValid = 1;
977                 identP = (struct Identity *)malloc(sizeof(struct Identity));
978                 if (!identP) {
979                     ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
980                     assert(0);
981                 }
982                 identP->valid = 1;
983                 identP->uuid = interf.uuid;
984                 rx_SetSpecific(tcon, rxcon_ident_key, identP);
985                 /* Check whether the UUID on this connection matches
986                  * the UUID in the host structure. If they don't match
987                  * then this is not the same host as before. */
988                 if ( !host->interface
989                   || !afs_uuid_equal(&interf.uuid, &host->interface->uuid) ) {
990                     ViceLog(25,
991                             ("Host %s:%d has changed its identity, deleting.\n",
992                             afs_inet_ntoa_r(host->host, hoststr), host->port));
993                     host->hostFlags |= HOSTDELETED;
994                     h_Unlock_r(host);
995                     if (!held) h_Release_r(host);
996                     host = NULL;
997                     goto retry;
998                 }
999         } else {
1000             afs_inet_ntoa_r(host->host, hoststr);
1001             ViceLog(0,("CB: WhoAreYou failed for %s:%d, error %d\n", 
1002                        hoststr, ntohs(host->port), code));
1003             host->hostFlags |= VENUSDOWN;
1004         }
1005         host->hostFlags |= ALTADDR;
1006         h_Unlock_r(host);
1007     } else if (host) {
1008         if ( ! (host->hostFlags & ALTADDR) ) 
1009         {
1010                 /* another thread is doing the initialisation */
1011                 ViceLog(125, ("Host %s:%d waiting for host-init to complete\n",
1012                              afs_inet_ntoa_r(host->host, hoststr), host->port));
1013                 h_Lock_r(host);
1014                 h_Unlock_r(host);
1015                 if ( !held) h_Release_r(host);
1016                 ViceLog(125, ("Host %s:%d starting h_Lookup again\n",
1017                              afs_inet_ntoa_r(host->host, hoststr), host->port));
1018                 goto retry;
1019         }
1020         /* We need to check whether the identity in the host structure
1021          * matches the identity on the connection. If they don't match
1022          * then treat this a new host. */
1023         if ( !(host->Console&1)
1024           && ( ( !identP->valid && host->interface )
1025             || ( identP->valid && !host->interface )
1026             || ( identP->valid
1027               && !afs_uuid_equal(&identP->uuid, &host->interface->uuid) ) ) ) 
1028         {
1029             char uuid1[128], uuid2[128];
1030             /* The host in the cache is not the host for this connection */
1031             host->hostFlags |= HOSTDELETED;
1032             h_Unlock_r(host);
1033             if (!held) h_Release_r(host);
1034
1035             if (identP->valid)
1036                 afsUUID_to_string(identP->uuid, uuid1, 127);
1037             if (host->interface)
1038                 afsUUID_to_string(host->interface->uuid, uuid2, 127);
1039             ViceLog(0, 
1040                     ("CB: new identity for host %s:%d, deleting(%x %x %s %s)\n", 
1041                      afs_inet_ntoa_r(host->host, hoststr), host->port, 
1042                      identP->valid, host->interface, identP->valid ? uuid1 : 
1043                      "", host->interface ? uuid2 : ""));
1044             goto retry;
1045         }
1046     } else {
1047         host = h_Alloc_r(tcon); /* returned held and locked */
1048         h_gethostcps_r(host,FT_ApproxTime());
1049         if (!(host->Console&1)) {
1050             if (!identP || !interfValid) {
1051                 H_UNLOCK
1052                 code = RXAFSCB_WhoAreYou(host->callback_rxcon, &interf);
1053                 H_LOCK
1054                 if ( code == RXGEN_OPCODE ) {
1055                     identP = (struct Identity *)malloc(sizeof(struct Identity));
1056                     if (!identP) {
1057                         ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1058                         assert(0);
1059                     }
1060                     identP->valid = 0;
1061                     rx_SetSpecific(tcon, rxcon_ident_key, identP);
1062                     ViceLog(25,
1063                             ("Host %s:%d does not support WhoAreYou.\n",
1064                             afs_inet_ntoa_r(host->host, hoststr), host->port));
1065                     code = 0;
1066                 } else if (code == 0) {
1067                     interfValid = 1;
1068                     identP = (struct Identity *)malloc(sizeof(struct Identity));
1069                     if (!identP) {
1070                         ViceLog(0, ("Failed malloc in h_GetHost_r\n"));
1071                         assert(0);
1072                     }
1073                     identP->valid = 1;
1074                     identP->uuid = interf.uuid;
1075                     rx_SetSpecific(tcon, rxcon_ident_key, identP);
1076                     ViceLog(25, ("WhoAreYou success on %s:%d\n",
1077                                 afs_inet_ntoa_r(host->host, hoststr), host->port));
1078                 }
1079             }
1080             if (code == 0 && !identP->valid) {
1081                 H_UNLOCK
1082                 code = RXAFSCB_InitCallBackState(host->callback_rxcon);
1083                 H_LOCK
1084             } else if (code == 0) {
1085                 oldHost = h_LookupUuid_r(&identP->uuid);
1086                 if (oldHost) {
1087                     /* This is a new address for an existing host. Update
1088                      * the list of interfaces for the existing host and
1089                      * delete the host structure we just allocated. */
1090                     if (!(held = h_Held_r(oldHost)))
1091                         h_Hold_r(oldHost);
1092                     h_Lock_r(oldHost);
1093                     ViceLog(25, ("CB: new addr %s:%d for old host %s:%d\n",
1094                                 afs_inet_ntoa_r(host->host, hoststr), host->port,
1095                                 afs_inet_ntoa_r(oldHost->host, hoststr2), oldHost->port));
1096                     host->hostFlags |= HOSTDELETED;
1097                     h_Unlock_r(host);
1098                     h_Release_r(host);
1099                     host = oldHost;
1100                     addInterfaceAddr_r(host, haddr);
1101                 } else {
1102                     /* This really is a new host */
1103                     hashInsertUuid_r(&identP->uuid, host);
1104                     H_UNLOCK
1105                     code = RXAFSCB_InitCallBackState3(host->callback_rxcon,
1106                                                       &FS_HostUUID);
1107                     H_LOCK
1108                     if (code == 0) {
1109                         ViceLog(25, ("InitCallBackState3 success on %s:%d\n",
1110                                     afs_inet_ntoa_r(host->host, hoststr), host->port));
1111                         assert(interfValid == 1);
1112                         initInterfaceAddr_r(host, &interf);
1113                     }
1114                 }
1115            }
1116            if (code) {
1117                afs_inet_ntoa_r(host->host, hoststr);
1118                ViceLog(0,("CB: RCallBackConnectBack failed for %s:%d\n", 
1119                           hoststr, ntohs(host->port)));
1120                host->hostFlags |= VENUSDOWN;
1121             }
1122             else
1123                 host->hostFlags |= RESETDONE;
1124
1125         }
1126         host->hostFlags |= ALTADDR;/* host structure iniatilisation complete */
1127         h_Unlock_r(host);
1128     }
1129     return host;
1130
1131 } /*h_GetHost_r*/
1132
1133
1134 static char localcellname[PR_MAXNAMELEN+1];
1135 char local_realm[AFS_REALM_SZ] = "";
1136
1137 /* not reentrant */
1138 void h_InitHostPackage()
1139 {
1140     afsconf_GetLocalCell (confDir, localcellname, PR_MAXNAMELEN);
1141     if (!local_realm[0]) {
1142         if (afs_krb_get_lrealm(local_realm, 0) != 0/*KSUCCESS*/) {
1143             ViceLog(0, ("afs_krb_get_lrealm failed, using %s.\n",localcellname));
1144             strcpy (local_realm, localcellname);
1145         }
1146     }
1147     rxcon_ident_key = rx_KeyCreate((rx_destructor_t)free);
1148     rxcon_client_key = rx_KeyCreate((rx_destructor_t)0);
1149 #ifdef AFS_PTHREAD_ENV
1150     assert(pthread_mutex_init(&host_glock_mutex, NULL) == 0);
1151 #endif /* AFS_PTHREAD_ENV */
1152 }
1153
1154 static int MapName_r(char *aname, char *acell, afs_int32 *aval)
1155 {
1156     namelist lnames;
1157     idlist lids;
1158     afs_int32 code;
1159     afs_int32 anamelen, cnamelen;
1160     int foreign = 0;
1161     char *tname;
1162
1163     anamelen=strlen(aname);
1164     if (anamelen >= PR_MAXNAMELEN)
1165         return -1; /* bad name -- caller interprets this as anonymous, but retries later */
1166
1167     lnames.namelist_len = 1;
1168     lnames.namelist_val = (prname *) aname;  /* don't malloc in the common case */
1169     lids.idlist_len = 0;
1170     lids.idlist_val = NULL;
1171
1172     cnamelen=strlen(acell);
1173     if (cnamelen) {
1174         if (strcasecmp(local_realm, acell) && strcasecmp(localcellname, acell))  {
1175             ViceLog(2, ("MapName: cell is foreign.  cell=%s, localcell=%s, localrealm=%s\n",
1176                         acell, localcellname, local_realm));
1177             if ((anamelen+cnamelen+1) >= PR_MAXNAMELEN) {
1178                 ViceLog(2, ("MapName: Name too long, using AnonymousID for %s@%s\n",
1179                             aname, acell));
1180                 *aval = AnonymousID;
1181                 return 0;
1182             }               
1183             foreign = 1;  /* attempt cross-cell authentication */
1184             tname = (char *) malloc(anamelen+cnamelen+2);
1185             if (!tname) {
1186                 ViceLog(0, ("Failed malloc in MapName_r\n"));
1187                 assert(0);
1188             }
1189             strcpy(tname, aname);
1190             tname[anamelen] = '@';
1191             strcpy(tname+anamelen+1, acell);
1192             lnames.namelist_val = (prname *) tname;
1193         }
1194     }
1195
1196     H_UNLOCK
1197     code = pr_NameToId(&lnames, &lids); 
1198     H_LOCK
1199     if (code == 0) {
1200        if (lids.idlist_val) {
1201           *aval = lids.idlist_val[0];
1202           if (*aval == AnonymousID) {
1203              ViceLog(2, ("MapName: NameToId on %s returns anonymousID\n", lnames.namelist_val));
1204           }
1205           free(lids.idlist_val);  /* return parms are not malloced in stub if server proc aborts */
1206        } else {
1207           ViceLog(0, ("MapName: NameToId on '%s' is unknown\n", lnames.namelist_val));
1208           code = -1;
1209        }
1210     }
1211
1212     if (foreign) {
1213         free(lnames.namelist_val);  /* We allocated this above, so we must free it now. */
1214     }
1215     return code;
1216 }
1217 /*MapName*/
1218
1219
1220 /* NOTE: this returns the client with a Shared lock */
1221 struct client *h_ID2Client(afs_int32 vid)
1222 {
1223     register struct client *client;
1224     register struct host *host;
1225
1226     H_LOCK
1227
1228       for (host=hostList; host; host=host->next) {
1229         if (host->hostFlags & HOSTDELETED)
1230           continue;
1231         for (client = host->FirstClient; client; client = client->next) {
1232           if (!client->deleted && client->ViceId == vid) {
1233             client->refCount++;
1234             H_UNLOCK
1235             ObtainSharedLock(&client->lock);
1236             H_LOCK
1237             client->refCount--;
1238             H_UNLOCK
1239             return client;
1240           }
1241         }
1242       }
1243
1244     H_UNLOCK
1245     return 0;
1246 }
1247
1248 /*
1249  * Called by the server main loop.  Returns a h_Held client, which must be
1250  * released later the main loop.  Allocates a client if the matching one
1251  * isn't around. The client is returned with its reference count incremented
1252  * by one. The caller must call h_ReleaseClient_r when finished with
1253  * the client.
1254  */
1255 struct client *h_FindClient_r(struct rx_connection *tcon)
1256 {
1257     register struct client *client;
1258     register struct host *host;
1259     struct client *oldClient;
1260     afs_int32 viceid;
1261     afs_int32 expTime;
1262     afs_int32 code;
1263     int authClass;
1264 #if (64-MAXKTCNAMELEN)
1265 ticket name length != 64
1266 #endif
1267     char tname[64];
1268     char tinst[64];
1269     char uname[PR_MAXNAMELEN];
1270     char tcell[MAXKTCREALMLEN];
1271     int fail = 0;
1272
1273     client = (struct client *) rx_GetSpecific(tcon, rxcon_client_key);
1274     if (client && !client->deleted) {
1275        client->refCount++;
1276        h_Hold_r(client->host);
1277        if (client->prfail != 2) {  /* Could add shared lock on client here */
1278           /* note that we don't have to lock entry in this path to
1279            * ensure CPS is initialized, since we don't call rx_SetSpecific
1280            * until initialization is done, and we only get here if
1281            * rx_GetSpecific located the client structure.
1282            */
1283           return client;
1284        }
1285        H_UNLOCK
1286        ObtainWriteLock(&client->lock); /* released at end */
1287        H_LOCK
1288     } else if (client) {
1289        client->refCount++;
1290     }
1291
1292     authClass = rx_SecurityClassOf((struct rx_connection *)tcon);
1293     ViceLog(5,("FindClient: authenticating connection: authClass=%d\n",
1294                authClass));
1295     if (authClass == 1) {
1296        /* A bcrypt tickets, no longer supported */
1297        ViceLog(1, ("FindClient: bcrypt ticket, using AnonymousID\n"));
1298        viceid = AnonymousID;
1299        expTime = 0x7fffffff;
1300     } else if (authClass == 2) {
1301        afs_int32 kvno;
1302
1303        /* kerberos ticket */
1304        code = rxkad_GetServerInfo (tcon, /*level*/0, &expTime,
1305                                    tname, tinst, tcell, &kvno);
1306        if (code) {
1307           ViceLog(1, ("Failed to get rxkad ticket info\n"));
1308           viceid = AnonymousID;
1309           expTime = 0x7fffffff;
1310        } else {
1311           int ilen = strlen(tinst);
1312           ViceLog(5,
1313                   ("FindClient: rxkad conn: name=%s,inst=%s,cell=%s,exp=%d,kvno=%d\n",
1314                    tname, tinst, tcell, expTime, kvno));
1315           strncpy (uname, tname, sizeof(uname));
1316           if (ilen) {
1317              if (strlen(uname) + 1 + ilen >= sizeof(uname))
1318                 goto bad_name;
1319              strcat (uname, ".");
1320              strcat (uname, tinst);
1321           }
1322           /* translate the name to a vice id */
1323           code = MapName_r(uname, tcell, &viceid);
1324           if (code) {
1325           bad_name:
1326              ViceLog(1, ("failed to map name=%s, cell=%s -> code=%d\n",
1327                          uname, tcell, code));
1328              fail = 1;
1329              viceid = AnonymousID;
1330              expTime = 0x7fffffff;
1331           }
1332        }
1333     } else {
1334        viceid = AnonymousID;    /* unknown security class */
1335        expTime = 0x7fffffff;
1336     }
1337
1338     if (!client) {
1339        host = h_GetHost_r(tcon); /* Returns it h_Held */
1340
1341        /* First try to find the client structure */
1342        for (client = host->FirstClient; client; client = client->next) {
1343           if (!client->deleted && (client->sid == rxr_CidOf(tcon)) &&
1344                                   (client->VenusEpoch == rxr_GetEpoch(tcon))) {
1345              if (client->tcon && (client->tcon != tcon)) {
1346                 ViceLog(0, ("*** Vid=%d, sid=%x, tcon=%x, Tcon=%x ***\n", 
1347                             client->ViceId, client->sid, client->tcon, tcon));
1348                 oldClient = (struct client *) rx_GetSpecific(client->tcon,
1349                                                              rxcon_client_key);
1350                 if (oldClient) {
1351                     if (oldClient == client)
1352                         rx_SetSpecific(client->tcon, rxcon_client_key, NULL);
1353                     else
1354                         ViceLog(0,
1355                             ("Client-conn mismatch: CL1=%x, CN=%x, CL2=%x\n",
1356                              client, client->tcon, oldClient));
1357                 }
1358                 client->tcon = (struct rx_connection *)0;
1359              }
1360              client->refCount++;
1361              H_UNLOCK
1362              ObtainWriteLock(&client->lock);
1363              H_LOCK
1364              break;
1365           }
1366        }
1367
1368        /* Still no client structure - get one */
1369        if (!client) {
1370           client = GetCE();
1371           ObtainWriteLock(&client->lock);
1372           client->refCount = 1;
1373           client->host = host;
1374           client->next = host->FirstClient;
1375           host->FirstClient = client;
1376 #if FS_STATS_DETAILED
1377           client->InSameNetwork = host->InSameNetwork;
1378 #endif /* FS_STATS_DETAILED */
1379           client->ViceId = viceid;
1380           client->expTime       = expTime;      /* rx only */
1381           client->authClass = authClass;        /* rx only */
1382           client->sid = rxr_CidOf(tcon);
1383           client->VenusEpoch = rxr_GetEpoch(tcon);
1384           client->CPS.prlist_val = 0;
1385           client->CPS.prlist_len = 0;
1386           CurrentConnections++; /* increment number of connections */
1387        }
1388     }
1389     client->prfail = fail;
1390
1391     if (!(client->CPS.prlist_val) || (viceid != client->ViceId)) {
1392         if (client->CPS.prlist_val && (client->ViceId != ANONYMOUSID)) {
1393            free(client->CPS.prlist_val);
1394         }
1395         client->CPS.prlist_val = NULL;
1396         client->CPS.prlist_len = 0;
1397         client->ViceId = viceid;
1398         client->expTime = expTime;
1399
1400         if (viceid == ANONYMOUSID) {
1401           client->CPS.prlist_len = AnonCPS.prlist_len;
1402           client->CPS.prlist_val = AnonCPS.prlist_val;
1403         } else {
1404           H_UNLOCK
1405           code = pr_GetCPS(viceid, &client->CPS);
1406           H_LOCK
1407           if (code) {
1408             char hoststr[16];
1409             ViceLog(0, ("pr_GetCPS failed(%d) for user %d, host %s:%d\n",
1410                        code, viceid,
1411                        afs_inet_ntoa_r(client->host->host, hoststr),
1412                        client->host->port));
1413
1414             /* Although ubik_Call (called by pr_GetCPS) traverses thru
1415              * all protection servers and reevaluates things if no
1416              * sync server or quorum is found we could still end up
1417              * with one of these errors. In such case we would like to
1418              * reevaluate the rpc call to find if there's cps for this
1419              * guy. We treat other errors (except network failures
1420              * ones - i.e. code < 0) as an indication that there is no
1421              * CPS for this host.  Ideally we could like to deal this
1422              * problem the other way around (i.e.  if code == NOCPS
1423              * ignore else retry next time) but the problem is that
1424              * there're other errors (i.e.  EPERM) for which we don't
1425              * want to retry and we don't know the whole code list!
1426              */
1427             if (code < 0 || code == UNOQUORUM || code == UNOTSYNC) 
1428                 client->prfail = 1;
1429           }
1430         }
1431         /* the disabling of system:administrators is so iffy and has so many
1432          * possible failure modes that we will disable it again */
1433         /* Turn off System:Administrator for safety  
1434            if (AL_IsAMember(SystemId, client->CPS) == 0)
1435            assert(AL_DisableGroup(SystemId, client->CPS) == 0); */
1436     }
1437
1438     /* Now, tcon may already be set to a rock, since we blocked with no host
1439      * or client locks set above in pr_GetCPS (XXXX some locking is probably
1440      * required).  So, before setting the RPC's rock, we should disconnect
1441      * the RPC from the other client structure's rock.
1442      */
1443     oldClient = (struct client *) rx_GetSpecific(tcon, rxcon_client_key);
1444     if (oldClient && oldClient->tcon == tcon) {
1445         oldClient->tcon = (struct rx_connection *) 0;
1446         /* rx_SetSpecific will be done immediately below */
1447     }
1448     client->tcon = tcon;
1449     rx_SetSpecific(tcon, rxcon_client_key, client);
1450     ReleaseWriteLock(&client->lock);
1451
1452     return client;
1453
1454 } /*h_FindClient_r*/
1455
1456 int h_ReleaseClient_r(struct client *client)
1457 {
1458     assert(client->refCount > 0);
1459     client->refCount--;
1460     return 0;
1461 }
1462
1463
1464 /*
1465  * Sigh:  this one is used to get the client AGAIN within the individual
1466  * server routines.  This does not bother h_Holding the host, since
1467  * this is assumed already have been done by the server main loop.
1468  * It does check tokens, since only the server routines can return the
1469  * VICETOKENDEAD error code
1470  */
1471 int GetClient(struct rx_connection * tcon, struct client **cp)
1472 {
1473     register struct client *client;
1474
1475     H_LOCK
1476
1477     *cp = client = (struct client *) rx_GetSpecific(tcon, rxcon_client_key);
1478     if (!(client && client->tcon && rxr_CidOf(client->tcon) == client->sid)) {
1479         if (!client)
1480             ViceLog(0, ("GetClient: no client in conn %x\n", tcon));
1481         else
1482             ViceLog(0, ("GetClient: tcon %x tcon sid %d client sid %d\n", 
1483                         client->tcon, client->tcon ? rxr_CidOf(client->tcon)
1484                         : -1, client->sid));
1485         assert(0);
1486     }
1487     if (client &&
1488         client->LastCall > client->expTime && client->expTime) {
1489         char hoststr[16];
1490         ViceLog(1, ("Token for %s at %s:%d expired %d\n",
1491                 h_UserName(client),
1492                 afs_inet_ntoa_r(client->host->host, hoststr),
1493                 client->host->port, client->expTime));
1494         H_UNLOCK
1495         return VICETOKENDEAD;
1496     }
1497
1498     H_UNLOCK
1499     return 0;
1500
1501 } /*GetClient*/
1502
1503
1504 /* Client user name for short term use.  Note that this is NOT inexpensive */
1505 char *h_UserName(struct client *client)
1506 {
1507     static char User[PR_MAXNAMELEN+1];
1508     namelist lnames;
1509     idlist lids;
1510
1511     lids.idlist_len = 1;
1512     lids.idlist_val = (afs_int32 *)malloc(1*sizeof(afs_int32));
1513     if (!lids.idlist_val) {
1514         ViceLog(0, ("Failed malloc in h_UserName\n"));
1515         assert(0);
1516     }
1517     lnames.namelist_len = 0;
1518     lnames.namelist_val = (prname *)0;
1519     lids.idlist_val[0] = client->ViceId;
1520     if (pr_IdToName(&lids,&lnames)) {
1521         /* We need to free id we alloced above! */
1522         free(lids.idlist_val);
1523         return "*UNKNOWN USER NAME*";
1524     }
1525     strncpy(User,lnames.namelist_val[0],PR_MAXNAMELEN);
1526     free(lids.idlist_val);
1527     free(lnames.namelist_val);
1528     return User;
1529
1530 } /*h_UserName*/
1531
1532
1533 void h_PrintStats()
1534 {
1535     ViceLog(0,
1536             ("Total Client entries = %d, blocks = %d; Host entries = %d, blocks = %d\n",
1537             CEs, CEBlocks, HTs, HTBlocks));
1538
1539 } /*h_PrintStats*/
1540
1541
1542 static int 
1543 h_PrintClient(register struct host *host, int held, StreamHandle_t *file)
1544 {
1545     register struct client *client;
1546     int i;
1547     char tmpStr[256];
1548     char tbuffer[32];
1549     char hoststr[16];
1550
1551     H_LOCK
1552     if (host->hostFlags & HOSTDELETED) {
1553         H_UNLOCK
1554         return held;
1555     }
1556     sprintf(tmpStr,"Host %s:%d down = %d, LastCall %s",
1557             afs_inet_ntoa_r(host->host, hoststr), host->port,
1558             (host->hostFlags & VENUSDOWN),
1559             afs_ctime((time_t *)&host->LastCall, tbuffer, sizeof(tbuffer)));
1560     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1561     for (client = host->FirstClient; client; client=client->next) {
1562         if (!client->deleted) {
1563             if (client->tcon) {
1564                 sprintf(tmpStr, "    user id=%d,  name=%s, sl=%s till %s",
1565                         client->ViceId, h_UserName(client),
1566                         client->authClass ? "Authenticated" : "Not authenticated",
1567                         client->authClass ?
1568                         afs_ctime((time_t *)&client->expTime, tbuffer, sizeof(tbuffer))
1569                         : "No Limit\n");
1570                 STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1571             }
1572             else {
1573                 sprintf(tmpStr, "    user=%s, no current server connection\n",
1574                         h_UserName(client));
1575                 STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1576             }
1577             sprintf(tmpStr, "      CPS-%d is [", client->CPS.prlist_len);
1578             STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1579             if (client->CPS.prlist_val) {
1580                 for (i=0; i > client->CPS.prlist_len; i++) {
1581                     sprintf(tmpStr, " %d", client->CPS.prlist_val[i]);
1582                     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1583                 }
1584             }
1585             sprintf(tmpStr, "]\n");         
1586             STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1587         }
1588     }
1589     H_UNLOCK
1590     return held;
1591
1592 } /*h_PrintClient*/
1593
1594
1595
1596 /*
1597  * Print a list of clients, with last security level and token value seen,
1598  * if known
1599  */
1600 void h_PrintClients()
1601 {
1602     time_t now;
1603     char tmpStr[256];
1604     char tbuffer[32];
1605
1606     StreamHandle_t *file = STREAM_OPEN(AFSDIR_SERVER_CLNTDUMP_FILEPATH, "w");
1607
1608     if (file == NULL) {
1609         ViceLog(0, ("Couldn't create client dump file %s\n", AFSDIR_SERVER_CLNTDUMP_FILEPATH));
1610         return;
1611     }
1612     now = FT_ApproxTime();
1613     sprintf(tmpStr, "List of active users at %s\n",
1614             afs_ctime(&now, tbuffer, sizeof(tbuffer)));
1615     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1616     h_Enumerate(h_PrintClient, (char *)file);
1617     STREAM_REALLYCLOSE(file);
1618     ViceLog(0, ("Created client dump %s\n", AFSDIR_SERVER_CLNTDUMP_FILEPATH));
1619 }
1620
1621
1622
1623
1624 static int 
1625 h_DumpHost(register struct host *host, int held, StreamHandle_t *file)
1626 {
1627     int i;
1628     char tmpStr[256];
1629
1630     H_LOCK
1631     sprintf(tmpStr, "ip:%x port:%d hidx:%d cbid:%d lock:%x last:%u active:%u down:%d del:%d cons:%d cldel:%d\n\t hpfailed:%d hcpsCall:%u hcps [",
1632             host->host, host->port, host->index, host->cblist,
1633             CheckLock(&host->lock), host->LastCall, host->ActiveCall, 
1634             (host->hostFlags & VENUSDOWN), host->hostFlags&HOSTDELETED, 
1635             host->Console, host->hostFlags & CLIENTDELETED, 
1636             host->hcpsfailed, host->cpsCall);
1637     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1638     if (host->hcps.prlist_val)
1639         for (i=0; i < host->hcps.prlist_len; i++) {
1640             sprintf(tmpStr, " %d", host->hcps.prlist_val[i]);
1641             STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1642         }
1643     sprintf(tmpStr, "] [");
1644     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1645     if ( host->interface)
1646         for (i=0; i < host->interface->numberOfInterfaces; i++) {
1647             sprintf(tmpStr, " %x", host->interface->addr[i]);
1648             STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1649         }
1650     sprintf(tmpStr, "] holds: ");
1651     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1652
1653     for (i = 0 ; i < h_maxSlots ; i++) {
1654       sprintf(tmpStr, "%04x", host->holds[i]);
1655       STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1656     }
1657     sprintf(tmpStr, " slot/bit: %d/%d\n", h_holdSlot(), h_holdbit());
1658     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1659
1660     H_UNLOCK
1661     return held;
1662
1663 } /*h_DumpHost*/
1664
1665
1666 void h_DumpHosts()
1667 {
1668     time_t now;
1669     StreamHandle_t *file = STREAM_OPEN(AFSDIR_SERVER_HOSTDUMP_FILEPATH, "w");
1670     char tmpStr[256];
1671     char tbuffer[32];
1672
1673     if (file == NULL) {
1674         ViceLog(0, ("Couldn't create host dump file %s\n", AFSDIR_SERVER_HOSTDUMP_FILEPATH));
1675         return;
1676     }
1677     now = FT_ApproxTime();
1678     sprintf(tmpStr, "List of active hosts at %s\n",
1679             afs_ctime(&now, tbuffer, sizeof(tbuffer)));
1680     STREAM_WRITE(tmpStr, strlen(tmpStr), 1, file);
1681     h_Enumerate(h_DumpHost, (char *) file);
1682     STREAM_REALLYCLOSE(file);
1683     ViceLog(0, ("Created host dump %s\n", AFSDIR_SERVER_HOSTDUMP_FILEPATH));
1684
1685 } /*h_DumpHosts*/
1686
1687
1688 /*
1689  * This counts the number of workstations, the number of active workstations,
1690  * and the number of workstations declared "down" (i.e. not heard from
1691  * recently).  An active workstation has received a call since the cutoff
1692  * time argument passed.
1693  */
1694 void 
1695 h_GetWorkStats(int *nump, int *activep, int *delp, afs_int32 cutofftime)
1696 {
1697     register int i;
1698     register struct host *host;
1699     register int num=0, active=0, del=0;
1700
1701     H_LOCK
1702     for (host = hostList; host; host = host->next) {
1703             if (!(host->hostFlags & HOSTDELETED)) {
1704                 num++;
1705                 if (host->ActiveCall > cutofftime)
1706                     active++;
1707                 if (host->hostFlags & VENUSDOWN)
1708                     del++;
1709             }
1710     }
1711     H_UNLOCK
1712     if (nump)
1713         *nump = num;
1714     if (activep)
1715         *activep = active;
1716     if (delp)
1717         *delp = del;
1718
1719 } /*h_GetWorkStats*/
1720
1721
1722 /*------------------------------------------------------------------------
1723  * PRIVATE h_ClassifyAddress
1724  *
1725  * Description:
1726  *      Given a target IP address and a candidate IP address (both
1727  *      in host byte order), classify the candidate into one of three
1728  *      buckets in relation to the target by bumping the counters passed
1729  *      in as parameters.
1730  *
1731  * Arguments:
1732  *      a_targetAddr       : Target address.
1733  *      a_candAddr         : Candidate address.
1734  *      a_sameNetOrSubnetP : Ptr to counter to bump when the two
1735  *                           addresses are either in the same network
1736  *                           or the same subnet.
1737  *      a_diffSubnetP      : ...when the candidate is in a different
1738  *                           subnet.
1739  *      a_diffNetworkP     : ...when the candidate is in a different
1740  *                           network.
1741  *
1742  * Returns:
1743  *      Nothing.
1744  *
1745  * Environment:
1746  *      The target and candidate addresses are both in host byte
1747  *      order, NOT network byte order, when passed in.
1748  *
1749  * Side Effects:
1750  *      As advertised.
1751  *------------------------------------------------------------------------*/
1752
1753 static void h_ClassifyAddress(afs_uint32 a_targetAddr, afs_uint32 a_candAddr,
1754                               afs_int32 *a_sameNetOrSubnetP, 
1755                               afs_int32 *a_diffSubnetP, 
1756                               afs_int32 *a_diffNetworkP)
1757 { /*h_ClassifyAddress*/
1758
1759     register int i;                      /*Iterator thru host hash table*/
1760     register struct host *hostP;         /*Ptr to current host entry*/
1761     register afs_uint32 currHostAddr; /*Current host address*/
1762     afs_uint32 targetNet;
1763     afs_uint32 targetSubnet;
1764     afs_uint32 candNet;
1765     afs_uint32 candSubnet;
1766
1767     /*
1768      * Put bad values into the subnet info to start with.
1769      */
1770     targetSubnet = (afs_uint32) 0;
1771     candSubnet   = (afs_uint32) 0;
1772
1773     /*
1774      * Pull out the network and subnetwork numbers from the target
1775      * and candidate addresses.  We can short-circuit this whole
1776      * affair if the target and candidate addresses are not of the
1777      * same class.
1778      */
1779     if (IN_CLASSA(a_targetAddr)) {
1780         if (!(IN_CLASSA(a_candAddr))) {
1781             (*a_diffNetworkP)++;
1782             return;
1783         }
1784         targetNet = a_targetAddr & IN_CLASSA_NET;
1785         candNet   = a_candAddr   & IN_CLASSA_NET;
1786         if (IN_SUBNETA(a_targetAddr))
1787             targetSubnet = a_targetAddr & IN_CLASSA_SUBNET;
1788         if (IN_SUBNETA(a_candAddr))
1789             candSubnet = a_candAddr & IN_CLASSA_SUBNET;
1790     }
1791     else
1792         if (IN_CLASSB(a_targetAddr)) {
1793             if (!(IN_CLASSB(a_candAddr))) {
1794                 (*a_diffNetworkP)++;
1795                 return;
1796             }
1797             targetNet = a_targetAddr & IN_CLASSB_NET;
1798             candNet   = a_candAddr   & IN_CLASSB_NET;
1799             if (IN_SUBNETB(a_targetAddr))
1800                 targetSubnet = a_targetAddr & IN_CLASSB_SUBNET;
1801             if (IN_SUBNETB(a_candAddr))
1802                 candSubnet = a_candAddr & IN_CLASSB_SUBNET;
1803         } /*Class B target*/
1804         else
1805             if (IN_CLASSC(a_targetAddr)) {
1806                 if (!(IN_CLASSC(a_candAddr))) {
1807                     (*a_diffNetworkP)++;
1808                     return;
1809                 }
1810                 targetNet = a_targetAddr & IN_CLASSC_NET;
1811                 candNet   = a_candAddr   & IN_CLASSC_NET;
1812
1813                 /*
1814                  * Note that class C addresses can't have subnets,
1815                  * so we leave the defaults untouched.
1816                  */
1817             } /*Class C target*/
1818             else {
1819                 targetNet = a_targetAddr;
1820                 candNet = a_candAddr;
1821             } /*Class D address*/
1822     
1823     /*
1824      * Now, simply compare the extracted net and subnet values for
1825      * the two addresses (which at this point are known to be of the
1826      * same class)
1827      */
1828     if (targetNet == candNet) {
1829         if (targetSubnet == candSubnet)
1830             (*a_sameNetOrSubnetP)++;
1831         else
1832             (*a_diffSubnetP)++;
1833     }
1834     else
1835         (*a_diffNetworkP)++;
1836
1837 } /*h_ClassifyAddress*/
1838
1839
1840 /*------------------------------------------------------------------------
1841  * EXPORTED h_GetHostNetStats
1842  *
1843  * Description:
1844  *      Iterate through the host table, and classify each (non-deleted)
1845  *      host entry into ``proximity'' categories (same net or subnet,
1846  *      different subnet, different network).
1847  *
1848  * Arguments:
1849  *      a_numHostsP        : Set to total number of (non-deleted) hosts.
1850  *      a_sameNetOrSubnetP : Set to # hosts on same net/subnet as server.
1851  *      a_diffSubnetP      : Set to # hosts on diff subnet as server.
1852  *      a_diffNetworkP     : Set to # hosts on diff network as server.
1853  *
1854  * Returns:
1855  *      Nothing.
1856  *
1857  * Environment:
1858  *      We only count non-deleted hosts.  The storage pointed to by our
1859  *      parameters is zeroed upon entry.
1860  *
1861  * Side Effects:
1862  *      As advertised.
1863  *------------------------------------------------------------------------*/
1864
1865 void h_GetHostNetStats(afs_int32 *a_numHostsP, afs_int32 *a_sameNetOrSubnetP,
1866                        afs_int32 *a_diffSubnetP, afs_int32 *a_diffNetworkP)
1867 { /*h_GetHostNetStats*/
1868
1869     register struct host *hostP;         /*Ptr to current host entry*/
1870     register afs_uint32 currAddr_HBO; /*Curr host addr, host byte order*/
1871
1872     /*
1873      * Clear out the storage pointed to by our parameters.
1874      */
1875     *a_numHostsP        = (afs_int32) 0;
1876     *a_sameNetOrSubnetP = (afs_int32) 0;
1877     *a_diffSubnetP      = (afs_int32) 0;
1878     *a_diffNetworkP     = (afs_int32) 0;
1879
1880     H_LOCK
1881     for (hostP = hostList; hostP; hostP = hostP->next) {
1882             if (!(hostP->hostFlags & HOSTDELETED)) {
1883                 /*
1884                  * Bump the number of undeleted host entries found.
1885                  * In classifying the current entry's address, make
1886                  * sure to first convert to host byte order.
1887                  */
1888                 (*a_numHostsP)++;
1889                 currAddr_HBO = (afs_uint32)ntohl(hostP->host);
1890                 h_ClassifyAddress(FS_HostAddr_HBO,
1891                                   currAddr_HBO,
1892                                   a_sameNetOrSubnetP,
1893                                   a_diffSubnetP,
1894                                   a_diffNetworkP);
1895             } /*Only look at non-deleted hosts*/
1896     } /*For each host record hashed to this index*/
1897     H_UNLOCK
1898
1899 } /*h_GetHostNetStats*/
1900
1901 static afs_uint32       checktime;
1902 static afs_uint32    clientdeletetime;
1903 static struct AFSFid zerofid;
1904
1905
1906 /*
1907  * XXXX: This routine could use Multi-Rx to avoid serializing the timeouts.
1908  * Since it can serialize them, and pile up, it should be a separate LWP
1909  * from other events.
1910  */
1911 int CheckHost(register struct host *host, int held)
1912 {
1913     register struct client *client;
1914     int code;
1915
1916     /* Host is held by h_Enumerate */
1917     H_LOCK
1918     for (client = host->FirstClient; client; client = client->next) {
1919         if (client->refCount == 0 && client->LastCall < clientdeletetime) {
1920             client->deleted = 1;
1921             host->hostFlags  |= CLIENTDELETED;
1922         }
1923     }
1924     if (host->LastCall < checktime) {
1925         h_Lock_r(host);
1926         if (!(host->hostFlags & HOSTDELETED)) {
1927             if (host->LastCall < clientdeletetime) {
1928                 host->hostFlags |= HOSTDELETED;
1929                 if (!(host->hostFlags & VENUSDOWN)) {
1930                     host->hostFlags &= ~ALTADDR; /* alternate address invalid*/
1931                     if (host->interface) {
1932                         H_UNLOCK
1933                         code = RXAFSCB_InitCallBackState3(host->callback_rxcon,
1934                                                           &FS_HostUUID);
1935                         H_LOCK
1936                     } else {
1937                         H_UNLOCK
1938                         code = RXAFSCB_InitCallBackState(host->callback_rxcon);
1939                         H_LOCK
1940                     }
1941                     host->hostFlags |= ALTADDR; /* alternate addresses valid */
1942                     if ( code )
1943                     {
1944                         char hoststr[16];
1945                         afs_inet_ntoa_r(host->host, hoststr);
1946                         ViceLog(0,
1947                                 ("CB: RCallBackConnectBack (host.c) failed for host %s:%d\n",
1948                                  hoststr, ntohs(host->port)));
1949                         host->hostFlags |= VENUSDOWN;
1950                     }
1951                     /* Note:  it's safe to delete hosts even if they have call
1952                      * back state, because break delayed callbacks (called when a
1953                      * message is received from the workstation) will always send a 
1954                      * break all call backs to the workstation if there is no
1955                      *callback.
1956                      */
1957                 }
1958             }
1959             else {
1960                 if (!(host->hostFlags & VENUSDOWN) && host->cblist) {
1961                     if (host->interface) {
1962                         afsUUID uuid = host->interface->uuid;
1963                         H_UNLOCK
1964                         code = RXAFSCB_ProbeUuid(host->callback_rxcon, &uuid);
1965                         H_LOCK
1966                         if(code) {
1967                             if ( MultiProbeAlternateAddress_r(host) ) {
1968                                 char hoststr[16];
1969                                 afs_inet_ntoa_r(host->host, hoststr);
1970                                 ViceLog(0,
1971                                         ("ProbeUuid failed for host %s:%d\n",
1972                                          hoststr, ntohs(host->port)));
1973                                 host->hostFlags |= VENUSDOWN;
1974                             }
1975                         }
1976                     } else {
1977                         H_UNLOCK
1978                         code = RXAFSCB_Probe(host->callback_rxcon);
1979                         H_LOCK
1980                         if (code) {
1981                             char hoststr[16];
1982                             afs_inet_ntoa_r(host->host, hoststr);
1983                             ViceLog(0, ("ProbeUuid failed for host %s:%d\n",
1984                                         hoststr, ntohs(host->port)));
1985                             host->hostFlags |= VENUSDOWN;
1986                         }
1987                     }
1988                 }
1989             }
1990         }
1991         h_Unlock_r(host);
1992     }
1993     H_UNLOCK
1994     return held;
1995
1996 } /*CheckHost*/
1997
1998
1999 /*
2000  * Set VenusDown for any hosts that have not had a call in 15 minutes and
2001  * don't respond to a probe.  Note that VenusDown can only be cleared if
2002  * a message is received from the host (see ServerLWP in file.c).
2003  * Delete hosts that have not had any calls in 1 hour, clients that
2004  * have not had any calls in 15 minutes.
2005  *
2006  * This routine is called roughly every 5 minutes.
2007  */
2008 void h_CheckHosts() {
2009     afs_uint32 now = FT_ApproxTime();
2010
2011     memset((char *)&zerofid, 0, sizeof(zerofid));
2012     /*
2013      * Send a probe to the workstation if it hasn't been heard from in
2014      * 15 minutes
2015      */
2016     checktime = now - 15*60;
2017     clientdeletetime = now - 120*60;    /* 2 hours ago */
2018     h_Enumerate(CheckHost, NULL);
2019
2020 } /*h_CheckHosts*/
2021
2022 /*
2023  * This is called with host locked and held. At this point, the
2024  * hostHashTable should not be having entries for the alternate
2025  * interfaces. This function has to insert these entries in the
2026  * hostHashTable.
2027  *
2028  * The addresses in the ineterfaceAddr list are in host byte order.
2029  */
2030 int
2031 initInterfaceAddr_r(struct host *host, struct interfaceAddr *interf)
2032 {
2033         int i, j;
2034         int number, count;
2035         afs_int32               myPort, myHost;
2036         int found;
2037         struct Interface *interface;
2038
2039         assert(host);
2040         assert(interf);
2041
2042         ViceLog(125,("initInterfaceAddr : host %x numAddr %d\n",
2043                 host->host, interf->numberOfInterfaces));
2044
2045         number = interf->numberOfInterfaces;
2046         myPort = host->port;
2047         myHost = host->host; /* current interface address */
2048
2049         /* validation checks */
2050         if ( number < 0 || number > AFS_MAX_INTERFACE_ADDR )
2051         {
2052                 ViceLog(0,("Number of alternate addresses returned is %d\n",
2053                          number));
2054                 return  -1;
2055         }
2056
2057         /*
2058          * Convert IP addresses to network byte order, and remove for
2059          * duplicate IP addresses from the interface list.
2060          */
2061         for (i = 0, count = 0, found = 0; i < number; i++)
2062         {
2063             interf->addr_in[i] = htonl(interf->addr_in[i]);
2064             for (j = 0 ; j < count ; j++) {
2065                 if (interf->addr_in[j] == interf->addr_in[i])
2066                     break;
2067             }
2068             if (j == count) {
2069                 interf->addr_in[count] = interf->addr_in[i];
2070                 if (interf->addr_in[count] == myHost)
2071                     found = 1;
2072                 count++;
2073             }
2074         }
2075
2076         /*
2077          * Allocate and initialize an interface structure for this host.
2078          */
2079         if (found) {
2080             interface = (struct Interface *)
2081                         malloc(sizeof(struct Interface) +
2082                                (sizeof(afs_int32) * (count-1)));
2083             if (!interface) {
2084                 ViceLog(0, ("Failed malloc in initInterfaceAddr_r\n"));
2085                 assert(0);
2086             }
2087             interface->numberOfInterfaces = count;
2088         } else {
2089             interface = (struct Interface *)
2090                         malloc(sizeof(struct Interface) +
2091                                (sizeof(afs_int32) * count));
2092             assert(interface);
2093             interface->numberOfInterfaces = count + 1;
2094             interface->addr[count] = myHost;
2095         }
2096         interface->uuid = interf->uuid;
2097         for (i = 0 ; i < count ; i++)
2098             interface->addr[i] = interf->addr_in[i];
2099
2100         assert(!host->interface);
2101         host->interface = interface;
2102
2103         for ( i=0; i < host->interface->numberOfInterfaces; i++)
2104         {
2105                 ViceLog(125,("--- alt address %x\n", host->interface->addr[i]));
2106         }
2107
2108         return 0;
2109 }
2110
2111 /* inserts a new HashChain structure corresponding to this address */
2112 void hashInsert_r(afs_int32 addr, struct host* host)
2113 {
2114         int index;
2115         struct h_hashChain*     chain;
2116
2117         /* hash into proper bucket */
2118         index = h_HashIndex(addr);
2119
2120         /* insert into beginning of list for this bucket */
2121         chain = (struct h_hashChain *)malloc(sizeof(struct h_hashChain));
2122         if (!chain) {
2123             ViceLog(0, ("Failed malloc in hashInsert_r\n"));
2124             assert(0);
2125         }
2126         chain->hostPtr = host;
2127         chain->next = hostHashTable[index];
2128         chain->addr = addr;
2129         hostHashTable[index] = chain;
2130
2131 }
2132
2133 /*
2134  * This is called with host locked and held. At this point, the
2135  * hostHashTable should not be having entries for the alternate
2136  * interfaces. This function has to insert these entries in the
2137  * hostHashTable.
2138  *
2139  * All addresses are in network byte order.
2140  */
2141 int
2142 addInterfaceAddr_r(struct host *host, afs_int32 addr)
2143 {
2144         int i;
2145         int number;
2146         int found;
2147         struct Interface *interface;
2148
2149         assert(host);
2150         assert(host->interface);
2151
2152         ViceLog(125,("addInterfaceAddr : host %x addr %d\n",
2153                 host->host, addr));
2154
2155         /*
2156          * Make sure this address is on the list of known addresses
2157          * for this host.
2158          */
2159         number = host->interface->numberOfInterfaces;
2160         for ( i=0, found=0; i < number && !found; i++)
2161         {
2162             if ( host->interface->addr[i] == addr)
2163                 found = 1;
2164         }
2165         if (!found) {
2166             interface = (struct Interface *)
2167                         malloc(sizeof(struct Interface) +
2168                                (sizeof(afs_int32) * number));
2169             if (!interface) {
2170                 ViceLog(0, ("Failed malloc in addInterfaceAddr_r\n"));
2171                 assert(0);
2172             }
2173             interface->numberOfInterfaces = number + 1;
2174             interface->uuid = host->interface->uuid;
2175             for (i = 0 ; i < number ; i++)
2176                 interface->addr[i] = host->interface->addr[i];
2177             interface->addr[number] = addr;
2178             free(host->interface);
2179             host->interface = interface;
2180         }
2181
2182         /*
2183          * Create a hash table entry for this address
2184          */
2185         hashInsert_r(addr, host);
2186
2187         return 0;
2188 }
2189
2190 /* deleted a HashChain structure for this address and host */
2191 /* returns 1 on success */
2192 int
2193 hashDelete_r(afs_int32 addr, struct host* host)
2194 {
2195         int flag;
2196         int index;
2197         register struct h_hashChain **hp, *th;
2198
2199         for (hp = &hostHashTable[h_HashIndex(addr)]; (th = *hp); )
2200         {
2201                 assert(th->hostPtr);
2202                 if (th->hostPtr == host && th->addr == addr)
2203                 {
2204                         *hp = th->next;
2205                         free(th);
2206                         flag = 1;
2207                         break;
2208                 } else {
2209                         hp = &th->next;
2210                 }
2211         }
2212         return flag;
2213 }
2214
2215
2216 /*
2217 ** prints out all alternate interface address for the host. The 'level'
2218 ** parameter indicates what level of debugging sets this output
2219 */
2220 void
2221 printInterfaceAddr(struct host *host, int level)
2222 {
2223         int i, number;
2224         if ( host-> interface )
2225         {
2226                 /* check alternate addresses */
2227                 number = host->interface->numberOfInterfaces;
2228                 assert( number > 0 );
2229                 for ( i=0; i < number; i++)
2230                         ViceLog(level, ("%x ", host->interface->addr[i]));
2231         }
2232          ViceLog(level, ("\n"));
2233 }
2234