8b2dd7377182659fbedaf83e8159069ced6c7e74
[openafs.git] / src / afs / afs_conn.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * Implements:
12  */
13 #include <afsconfig.h>
14 #include "afs/param.h"
15
16
17 #include "afs/stds.h"
18 #include "afs/sysincludes.h"    /* Standard vendor system headers */
19
20 #if !defined(UKERNEL)
21 #if !defined(AFS_LINUX20_ENV)
22 #include <net/if.h>
23 #endif
24 #include <netinet/in.h>
25
26 #ifdef AFS_SGI62_ENV
27 #include "h/hashing.h"
28 #endif
29 #if !defined(AFS_HPUX110_ENV) && !defined(AFS_LINUX20_ENV) && !defined(AFS_DARWIN_ENV)
30 #include <netinet/in_var.h>
31 #endif /* ! AFS_HPUX110_ENV */
32 #endif /* !defined(UKERNEL) */
33
34 #include "afsincludes.h"        /* Afs-based standard headers */
35 #include "afs/afs_stats.h"      /* afs statistics */
36
37 #if     defined(AFS_SUN5_ENV)
38 #include <inet/led.h>
39 #include <inet/common.h>
40 #include <netinet/ip6.h>
41 #include <inet/ip.h>
42 #endif
43
44 /* Exported variables */
45 afs_rwlock_t afs_xconn;         /* allocation lock for new things */
46 afs_rwlock_t afs_xinterface;    /* for multiple client address */
47 afs_int32 cryptall = 0;         /* encrypt all communications */
48
49 /* some connection macros */
50
51 /* a constructor */
52 #define new_conn_vector(xcv) \
53 do { \
54         xcv = (struct sa_conn_vector *) \
55         afs_osi_Alloc(sizeof(struct sa_conn_vector)); \
56         if (xcv) { \
57                 memset((char *)xcv, 0, sizeof(struct sa_conn_vector)); \
58         } \
59 } while (0);
60
61 /* select a connection to return (if no connection has lower utilization
62  * than any other) */
63 #define conn_vec_select_conn(xcv, bix, conn) \
64 do { \
65     (bix) = ((xcv)->select_index)++ % CVEC_LEN; \
66     (conn) = &((xcv)->cvec[bix]); \
67 } while (0);
68
69 #define struct_conn(s) ((struct afs_conn *)(s))
70
71 #define REPORT_CONNECTIONS_ISSUED 0 /* enable to see utilization */
72
73 /**
74  * Find a connection with call slots available, allocating one
75  * if nothing is available and we find an allocated slot
76  * @param xcv  A connection vector
77  * @param create  If set, a new connection may be created
78  */
79 static struct afs_conn *
80 find_preferred_connection(struct sa_conn_vector *xcv, int create)
81 {
82     afs_int32 cix, bix;
83     struct afs_conn *tc = NULL;
84
85     bix = -1;
86     for(cix = 0; cix < CVEC_LEN; ++cix) {
87         tc = &(xcv->cvec[cix]);
88         if (!tc->id) {
89             if (create) {
90                 tc->parent = xcv;
91                 tc->forceConnectFS = 1;
92                 tc->activated = 1;
93                 bix = cix;
94                 break;
95             } /* create */
96         } else {
97             if (tc->refCount < (RX_MAXCALLS-1)) {
98                 bix = cix;
99                 goto f_conn;
100             } else if (cix == (CVEC_LEN-1))
101                 conn_vec_select_conn(xcv, bix, tc);
102         } /* tc->id */
103     } /* for cix < CVEC_LEN */
104
105     if (bix < 0) {
106         afs_warn("find_preferred_connection: no connection and !create\n");
107         tc = NULL;
108         goto out;
109     }
110
111 f_conn:
112     tc->refCount++;
113     xcv->refCount++;
114
115 #if REPORT_CONNECTIONS_ISSUED
116     afs_warn("Issuing conn %d refCount=%d parent refCount=%d\n", bix,
117              tc->refCount, xcv->refCount);
118 #endif
119
120 out:
121     return (tc);
122
123 }        /* find_preferred_connection */
124
125
126 /**
127  * Release all connections for unix user xu at server xs
128  * @param xu
129  * @param xs
130  */
131 static void
132 release_conns_user_server(struct unixuser *xu, struct server *xs)
133 {
134     int cix, glocked;
135     struct srvAddr *sa;
136     struct afs_conn *tc;
137     struct sa_conn_vector *tcv, **lcv, *tcvn;
138     for (sa = (xs)->addr; sa; sa = sa->next_sa) {
139         lcv = &sa->conns;
140         for (tcv = *lcv; tcv; lcv = &tcv->next, tcv = *lcv) {
141             if (tcv->user == (xu) && tcv->refCount == 0) {
142                 *lcv = tcv->next;
143                 /* our old friend, the GLOCK */
144                 glocked = ISAFS_GLOCK();
145                 if (glocked)
146                     AFS_GUNLOCK();
147                 for(cix = 0; cix < CVEC_LEN; ++cix) {
148                     tc = &(tcv->cvec[cix]);
149                     if (tc->activated) {
150                         rx_SetConnSecondsUntilNatPing(tc->id, 0);
151                         rx_DestroyConnection(tc->id);
152                         /* find another eligible connection */
153                         if (sa->natping == tc) {
154                             int cin;
155                             struct afs_conn *tcn;
156                             for (tcvn = sa->conns; tcvn; tcvn = tcvn->next) {
157                                 if (tcvn == tcv)
158                                     continue;
159                                 for(cin = 0; cin < CVEC_LEN; ++cin) {
160                                     tcn = &(tcvn->cvec[cin]);
161                                     if (tcn->activated) {
162                                         rx_SetConnSecondsUntilNatPing(tcn->id, 20);
163                                         sa->natping = tcn;
164                                         break;
165                                     }
166                                 }
167                             }
168                         }
169                     }
170                 }
171                 if (glocked)
172                     AFS_GLOCK();
173                 afs_osi_Free(tcv, sizeof(struct sa_conn_vector));
174                 break;    /* at most one instance per server */
175             } /*Found unreferenced connection for user */
176         }
177     } /*For each connection on the server */
178
179 }        /* release_conns_user_server */
180
181
182 static void
183 release_conns_vector(struct sa_conn_vector *xcv)
184 {
185     int cix, glocked;
186     struct afs_conn *tc;
187     struct sa_conn_vector *tcv = NULL;
188     struct sa_conn_vector **lcv = NULL;
189     for (tcv = xcv; tcv; lcv = &tcv->next, tcv = *lcv) {
190         *lcv = tcv->next;
191         /* you know it, you love it, the GLOCK */
192         glocked = ISAFS_GLOCK();
193         if (glocked)
194             AFS_GUNLOCK(); \
195         for(cix = 0; cix < CVEC_LEN; ++cix) {
196             tc = &(tcv->cvec[cix]);
197             if (tc->activated) {
198                 rx_SetConnSecondsUntilNatPing(tc->id, 0);
199                 rx_DestroyConnection(tc->id);
200                 if (tcv->srvr->natping == tc)
201                     tcv->srvr->natping = NULL;
202             }
203         }
204         if (glocked)
205             AFS_GLOCK();
206         afs_osi_Free(tcv, sizeof(struct sa_conn_vector));
207     }
208
209 }        /* release_conns_vector */
210
211
212 unsigned int VNOSERVERS = 0;
213
214 /**
215  * Pick a security object to use for a connection to a given server,
216  * by a given user
217  *
218  * @param[in] conn
219  *      The AFS connection for which the security object is required
220  * @param[out] secLevel
221  *      The security level of the returned object
222  *
223  * @return
224  *      An rx security object. This function is guaranteed to return
225  *      an object, although that object may be rxnull (with a secLevel
226  *      of 0)
227  */
228 static struct rx_securityClass *
229 afs_pickSecurityObject(struct afs_conn *conn, int *secLevel)
230 {
231     struct rx_securityClass *secObj = NULL;
232     union tokenUnion *token;
233
234     /* Do we have tokens ? */
235     if (conn->parent->user->states & UHasTokens) {
236         token = afs_FindToken(conn->parent->user->tokens, RX_SECIDX_KAD);
237         if (token) {
238             *secLevel = RX_SECIDX_KAD;
239             /* kerberos tickets on channel 2 */
240             secObj = rxkad_NewClientSecurityObject(
241                          cryptall ? rxkad_crypt : rxkad_clear,
242                          (struct ktc_encryptionKey *)
243                                token->rxkad.clearToken.HandShakeKey,
244                          token->rxkad.clearToken.AuthHandle,
245                          token->rxkad.ticketLen, token->rxkad.ticket);
246             /* We're going to use this token, so populate the viced */
247             conn->parent->user->viceId = token->rxkad.clearToken.ViceId;
248         }
249      }
250      if (secObj == NULL) {
251         *secLevel = 0;
252         secObj = rxnull_NewClientSecurityObject();
253      }
254
255      return secObj;
256 }
257
258
259 /**
260  * Try setting up a connection to the server containing the specified fid.
261  * Gets the volume, checks if it's up and does the connection by server address.
262  *
263  * @param afid
264  * @param areq Request filled in by the caller.
265  * @param locktype Type of lock that will be used.
266  *
267  * @return The conn struct, or NULL.
268  */
269 struct afs_conn *
270 afs_Conn(struct VenusFid *afid, struct vrequest *areq,
271          afs_int32 locktype, struct rx_connection **rxconn)
272 {
273     u_short fsport = AFS_FSPORT;
274     struct volume *tv;
275     struct afs_conn *tconn = NULL;
276     struct srvAddr *lowp = NULL;
277     struct unixuser *tu;
278     int notbusy;
279     int i;
280     struct srvAddr *sa1p;
281     afs_int32 replicated = -1; /* a single RO will increment to 0 */
282
283     *rxconn = NULL;
284
285     AFS_STATCNT(afs_Conn);
286     /* Get fid's volume. */
287     tv = afs_GetVolume(afid, areq, READ_LOCK);
288     if (!tv) {
289         if (areq) {
290             afs_FinalizeReq(areq);
291             areq->volumeError = 1;
292         }
293         return NULL;
294     }
295
296     if (tv->serverHost[0] && tv->serverHost[0]->cell) {
297         fsport = tv->serverHost[0]->cell->fsport;
298     } else {
299         VNOSERVERS++;
300     }
301
302     /* First is always lowest rank, if it's up */
303     if ((tv->status[0] == not_busy) && tv->serverHost[0]
304         && tv->serverHost[0]->addr
305         && !(tv->serverHost[0]->addr->sa_flags & SRVR_ISDOWN) &&
306         !(((areq->idleError > 0) || (areq->tokenError > 0))
307           && (areq->skipserver[0] == 1)))
308         lowp = tv->serverHost[0]->addr;
309
310     /* Otherwise we look at all of them. There are seven levels of
311      * not_busy. This means we will check a volume seven times before it
312      * is marked offline. Ideally, we only need two levels, but this
313      * serves a second purpose of waiting some number of seconds before
314      * the client decides the volume is offline (ie: a clone could finish
315      * in this time).
316      */
317     for (notbusy = not_busy; (!lowp && (notbusy <= end_not_busy)); notbusy++) {
318         for (i = 0; i < AFS_MAXHOSTS && tv->serverHost[i]; i++) {
319             if (tv->states & VRO)
320                 replicated++;
321             if (((areq->tokenError > 0)||(areq->idleError > 0))
322                 && (areq->skipserver[i] == 1))
323                 continue;
324             if (tv->status[i] != notbusy) {
325                 if (tv->status[i] == rd_busy || tv->status[i] == rdwr_busy) {
326                     if (!areq->busyCount)
327                         areq->busyCount++;
328                 } else if (tv->status[i] == offline) {
329                     if (!areq->volumeError)
330                         areq->volumeError = VOLMISSING;
331                 }
332                 continue;
333             }
334             for (sa1p = tv->serverHost[i]->addr; sa1p; sa1p = sa1p->next_sa) {
335                 if (sa1p->sa_flags & SRVR_ISDOWN)
336                     continue;
337                 if (!lowp || (lowp->sa_iprank > sa1p->sa_iprank))
338                     lowp = sa1p;
339             }
340         }
341     }
342     if ((replicated == -1) && (tv->states & VRO)) {
343         for (i = 0; i < AFS_MAXHOSTS && tv->serverHost[i]; i++) {
344             if (tv->states & VRO)
345                 replicated++;
346         }
347     } else
348         replicated = 0;
349
350     afs_PutVolume(tv, READ_LOCK);
351
352     if (lowp) {
353         tu = afs_GetUser(areq->uid, afid->Cell, SHARED_LOCK);
354         tconn = afs_ConnBySA(lowp, fsport, afid->Cell, tu, 0 /*!force */ ,
355                              1 /*create */ , locktype, replicated, rxconn);
356
357         afs_PutUser(tu, SHARED_LOCK);
358     }
359
360     return tconn;
361 }                               /*afs_Conn */
362
363
364 /**
365  * Connects to a server by it's server address.
366  *
367  * @param sap Server address.
368  * @param aport Server port.
369  * @param acell
370  * @param tu Connect as this user.
371  * @param force_if_down
372  * @param create
373  * @param replicated
374  * @param locktype Specifies type of lock to be used for this function.
375  *
376  * @return The new connection.
377  */
378 struct afs_conn *
379 afs_ConnBySA(struct srvAddr *sap, unsigned short aport, afs_int32 acell,
380              struct unixuser *tu, int force_if_down, afs_int32 create,
381              afs_int32 locktype, afs_int32 replicated,
382              struct rx_connection **rxconn)
383 {
384     int glocked, foundvec;
385     struct afs_conn *tc = NULL;
386     struct sa_conn_vector *tcv = NULL;
387     struct rx_securityClass *csec; /*Security class object */
388     int isec; /*Security index */
389     int service;
390     int isrep = (replicated > 0)?CONN_REPLICATED:0;
391
392     *rxconn = NULL;
393
394     /* find cached connection */
395     ObtainSharedLock(&afs_xconn, 15);
396     foundvec = 0;
397     for (tcv = sap->conns; tcv; tcv = tcv->next) {
398         if (tcv->user == tu && tcv->port == aport &&
399             (isrep == (tcv->flags & CONN_REPLICATED))) {
400             /* return most eligible conn */
401             if (!foundvec)
402                 foundvec = 1;
403             UpgradeSToWLock(&afs_xconn, 37);
404             tc = find_preferred_connection(tcv, create);
405             ConvertWToSLock(&afs_xconn);
406             break;
407         }
408     }
409
410     if (!tc && !create) {
411         /* Not found and can't create a new one. */
412         ReleaseSharedLock(&afs_xconn);
413         return NULL;
414     }
415
416     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
417         afs_warnuser("afs_ConnBySA: disconnected\n");
418         ReleaseSharedLock(&afs_xconn);
419         return NULL;
420     }
421
422     if (!foundvec && create) {
423         /* No such connection vector exists.  Create one and splice it in.
424          * Make sure the server record has been marked as used (for the purposes
425          * of calculating up & down times, it's now considered to be an
426          * ``active'' server).  Also make sure the server's lastUpdateEvalTime
427          * gets set, marking the time of its ``birth''.
428          */
429         UpgradeSToWLock(&afs_xconn, 37);
430         new_conn_vector(tcv);
431
432         tcv->user = tu;
433         tcv->port = aport;
434         tcv->srvr = sap;
435         tcv->next = sap->conns;
436         if (isrep)
437             tcv->flags |= CONN_REPLICATED;
438         sap->conns = tcv;
439
440         /* all struct afs_conn ptrs come from here */
441         tc = find_preferred_connection(tcv, create);
442
443         afs_ActivateServer(sap);
444
445         ConvertWToSLock(&afs_xconn);
446     } /* end of if (!tcv) */
447
448     if (!tc) {
449         /* Not found and no alternatives. */
450         ReleaseSharedLock(&afs_xconn);
451         return NULL;
452     }
453
454     if (tu->states & UTokensBad) {
455         /* we may still have an authenticated RPC connection here,
456          * we'll have to create a new, unauthenticated, connection.
457          * Perhaps a better way to do this would be to set
458          * conn->forceConnectFS on all conns when the token first goes
459          * bad, but that's somewhat trickier, due to locking
460          * constraints (though not impossible).
461          */
462         if (tc->id && (rx_SecurityClassOf(tc->id) != 0)) {
463             tc->forceConnectFS = 1;     /* force recreation of connection */
464         }
465         tu->states &= ~UHasTokens;      /* remove the authentication info */
466     }
467
468     glocked = ISAFS_GLOCK();
469     if (tc->forceConnectFS) {
470         UpgradeSToWLock(&afs_xconn, 38);
471         csec = (struct rx_securityClass *)0;
472         if (tc->id) {
473             if (sap->natping == tc)
474                 sap->natping = NULL;
475             if (glocked)
476                 AFS_GUNLOCK();
477             rx_SetConnSecondsUntilNatPing(tc->id, 0);
478             rx_DestroyConnection(tc->id);
479             if (glocked)
480                 AFS_GLOCK();
481         }
482         /*
483          * Stupid hack to determine if using vldb service or file system
484          * service.
485          */
486         if (aport == sap->server->cell->vlport)
487             service = 52;
488         else
489             service = 1;
490         isec = 0;
491
492         csec = afs_pickSecurityObject(tc, &isec);
493
494         if (glocked)
495             AFS_GUNLOCK();
496         tc->id = rx_NewConnection(sap->sa_ip, aport, service, csec, isec);
497         if (glocked)
498             AFS_GLOCK();
499         if (service == 52) {
500             rx_SetConnHardDeadTime(tc->id, afs_rx_harddead);
501         }
502
503         /* Setting idle dead time to non-zero activates RX_CALL_IDLE errors. */
504         if (isrep)
505             rx_SetConnIdleDeadTime(tc->id, afs_rx_idledead_rep);
506         else
507             rx_SetConnIdleDeadTime(tc->id, afs_rx_idledead);
508
509         /*
510          * Only do this for one connection
511          */
512         if ((service != 52) && (sap->natping == NULL)) {
513             sap->natping = tc;
514             rx_SetConnSecondsUntilNatPing(tc->id, 20);
515         }
516
517         tc->forceConnectFS = 0; /* apparently we're appropriately connected now */
518         if (csec)
519             rxs_Release(csec);
520         ConvertWToSLock(&afs_xconn);
521     } /* end of if (tc->forceConnectFS)*/
522
523     *rxconn = tc->id;
524     rx_GetConnection(*rxconn);
525
526     ReleaseSharedLock(&afs_xconn);
527     return tc;
528 }
529
530 /**
531  * forceConnectFS is set whenever we must recompute the connection. UTokensBad
532  * is true only if we know that the tokens are bad.  We thus clear this flag
533  * when we get a new set of tokens..
534  * Having force... true and UTokensBad true simultaneously means that the tokens
535  * went bad and we're supposed to create a new, unauthenticated, connection.
536  *
537  * @param aserver Server to connect to.
538  * @param aport Connection port.
539  * @param acell The cell where all of this happens.
540  * @param areq The request.
541  * @param aforce Force connection?
542  * @param locktype Type of lock to be used.
543  * @param replicated
544  *
545  * @return The established connection.
546  */
547 struct afs_conn *
548 afs_ConnByHost(struct server *aserver, unsigned short aport, afs_int32 acell,
549                struct vrequest *areq, int aforce, afs_int32 locktype,
550                afs_int32 replicated, struct rx_connection **rxconn)
551 {
552     struct unixuser *tu;
553     struct afs_conn *tc = NULL;
554     struct srvAddr *sa = NULL;
555
556     *rxconn = NULL;
557
558     AFS_STATCNT(afs_ConnByHost);
559
560     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
561         afs_warnuser("afs_ConnByHost: disconnected\n");
562         return NULL;
563     }
564
565 /*
566   1.  look for an existing connection
567   2.  create a connection at an address believed to be up
568       (if aforce is true, create a connection at the first address)
569 */
570
571     tu = afs_GetUser(areq->uid, acell, SHARED_LOCK);
572
573     for (sa = aserver->addr; sa; sa = sa->next_sa) {
574         tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
575                           0 /*don't create one */ ,
576                           locktype, replicated, rxconn);
577         if (tc)
578             break;
579     }
580
581     if (!tc) {
582         for (sa = aserver->addr; sa; sa = sa->next_sa) {
583             tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
584                               1 /*create one */ ,
585                               locktype, replicated, rxconn);
586             if (tc)
587                 break;
588         }
589     }
590
591     afs_PutUser(tu, SHARED_LOCK);
592     return tc;
593
594 }                               /*afs_ConnByHost */
595
596
597 /**
598  * Connect by multiple hosts.
599  * Try to connect to one of the hosts from the ahosts array.
600  *
601  * @param ahosts Multiple hosts to connect to.
602  * @param aport Connection port.
603  * @param acell The cell where all of this happens.
604  * @param areq The request.
605  * @param locktype Type of lock to be used.
606  * @param replicated
607  *
608  * @return The established connection or NULL.
609  */
610 struct afs_conn *
611 afs_ConnByMHosts(struct server *ahosts[], unsigned short aport,
612                  afs_int32 acell, struct vrequest *areq,
613                  afs_int32 locktype, afs_int32 replicated,
614                  struct rx_connection **rxconn)
615 {
616     afs_int32 i;
617     struct afs_conn *tconn;
618     struct server *ts;
619
620     *rxconn = NULL;
621
622     /* try to find any connection from the set */
623     AFS_STATCNT(afs_ConnByMHosts);
624     for (i = 0; i < AFS_MAXCELLHOSTS; i++) {
625         if ((ts = ahosts[i]) == NULL)
626             break;
627         tconn = afs_ConnByHost(ts, aport, acell, areq, 0, locktype,
628                                replicated, rxconn);
629         if (tconn) {
630             return tconn;
631         }
632     }
633     return NULL;
634
635 }                               /*afs_ConnByMHosts */
636
637
638 /**
639  * Decrement reference count to this connection.
640  * @param ac
641  * @param locktype
642  */
643 void
644 afs_PutConn(struct afs_conn *ac, struct rx_connection *rxconn,
645             afs_int32 locktype)
646 {
647     AFS_STATCNT(afs_PutConn);
648     ac->refCount--;
649     if (ac->refCount < 0) {
650         osi_Panic("afs_PutConn: refcount imbalance 0x%lx %d",
651                   (unsigned long)(uintptrsz)ac, (int)ac->refCount);
652     }
653     ac->parent->refCount--;
654     rx_PutConnection(rxconn);
655 }                               /*afs_PutConn */
656
657
658 /**
659  * Free up a connection vector, allowing, eg, code in afs_user.c
660  * to ignore how connections are stored/pooled
661  * @param tcv
662  */
663 void
664 afs_ReleaseConns(struct sa_conn_vector *tcv) {
665     release_conns_vector(tcv);
666 }
667
668
669 /**
670  * Free connection vector(s) for a user
671  * @param au
672  */
673 void
674 afs_ReleaseConnsUser(struct unixuser *au) {
675
676     int i;
677     struct server *ts;
678
679     for (i = 0; i < NSERVERS; i++) {
680         for (ts = afs_servers[i]; ts; ts = ts->next) {
681             release_conns_user_server(au, ts);
682         }       /*For each server on chain */
683     } /*For each chain */
684 }
685
686
687 /**
688  * For multi homed clients, a RPC may timeout because of a
689  * client network interface going down. We need to reopen new
690  * connections in this case.
691  *
692  * @param sap Server address.
693  */
694 void
695 ForceNewConnections(struct srvAddr *sap)
696 {
697     int cix;
698     struct afs_conn *tc = NULL;
699     struct sa_conn_vector *tcv = NULL;
700
701     if (!sap)
702         return; /* defensive check */
703
704     ObtainWriteLock(&afs_xconn, 413);
705     for (tcv = sap->conns; tcv; tcv = tcv->next) {
706         for(cix = 0; cix < CVEC_LEN; ++cix) {
707             tc = &(tcv->cvec[cix]);
708             if (tc->activated)
709                 tc->forceConnectFS = 1;
710         }
711     }
712     ReleaseWriteLock(&afs_xconn);
713 }
714
715