libafs: Get rx conn ref with afs conn ref
[openafs.git] / src / afs / afs_conn.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * Implements:
12  */
13 #include <afsconfig.h>
14 #include "afs/param.h"
15
16
17 #include "afs/stds.h"
18 #include "afs/sysincludes.h"    /* Standard vendor system headers */
19
20 #if !defined(UKERNEL)
21 #if !defined(AFS_LINUX20_ENV)
22 #include <net/if.h>
23 #endif
24 #include <netinet/in.h>
25
26 #ifdef AFS_SGI62_ENV
27 #include "h/hashing.h"
28 #endif
29 #if !defined(AFS_HPUX110_ENV) && !defined(AFS_LINUX20_ENV) && !defined(AFS_DARWIN_ENV)
30 #include <netinet/in_var.h>
31 #endif /* ! AFS_HPUX110_ENV */
32 #endif /* !defined(UKERNEL) */
33
34 #include "afsincludes.h"        /* Afs-based standard headers */
35 #include "afs/afs_stats.h"      /* afs statistics */
36
37 #if     defined(AFS_SUN56_ENV)
38 #include <inet/led.h>
39 #include <inet/common.h>
40 #if     defined(AFS_SUN58_ENV)
41 #include <netinet/ip6.h>
42 #endif
43 #include <inet/ip.h>
44 #endif
45
46 /* Exported variables */
47 afs_rwlock_t afs_xconn;         /* allocation lock for new things */
48 afs_rwlock_t afs_xinterface;    /* for multiple client address */
49 afs_int32 cryptall = 0;         /* encrypt all communications */
50
51 /* some connection macros */
52
53 /* a constructor */
54 #define new_conn_vector(xcv) \
55 do { \
56         xcv = (struct sa_conn_vector *) \
57         afs_osi_Alloc(sizeof(struct sa_conn_vector)); \
58         if (xcv) { \
59                 memset((char *)xcv, 0, sizeof(struct sa_conn_vector)); \
60         } \
61 } while (0);
62
63 /* select a connection to return (if no connection has lower utilization
64  * than any other) */
65 #define conn_vec_select_conn(xcv, bix, conn) \
66 do { \
67     (bix) = ((xcv)->select_index)++ % CVEC_LEN; \
68     (conn) = &((xcv)->cvec[bix]); \
69 } while (0);
70
71 #define struct_conn(s) ((struct afs_conn *)(s))
72
73 #define REPORT_CONNECTIONS_ISSUED 0 /* enable to see utilization */
74
75 /**
76  * Find a connection with call slots available, allocating one
77  * if nothing is available and we find an allocated slot
78  * @param xcv  A connection vector
79  * @param create  If set, a new connection may be created
80  */
81 static struct afs_conn *
82 find_preferred_connection(struct sa_conn_vector *xcv, int create)
83 {
84     afs_int32 cix, bix;
85     struct afs_conn *tc = NULL;
86
87     bix = -1;
88     for(cix = 0; cix < CVEC_LEN; ++cix) {
89         tc = &(xcv->cvec[cix]);
90         if (!tc->id) {
91             if (create) {
92                 tc->parent = xcv;
93                 tc->forceConnectFS = 1;
94                 tc->activated = 1;
95                 bix = cix;
96                 break;
97             } /* create */
98         } else {
99             if (tc->refCount < (RX_MAXCALLS-1)) {
100                 bix = cix;
101                 goto f_conn;
102             } else if (cix == (CVEC_LEN-1))
103                 conn_vec_select_conn(xcv, bix, tc);
104         } /* tc->id */
105     } /* for cix < CVEC_LEN */
106
107     if (bix < 0) {
108         afs_warn("find_preferred_connection: no connection and !create\n");
109         tc = NULL;
110         goto out;
111     }
112
113 f_conn:
114     tc->refCount++;
115     xcv->refCount++;
116
117 #if REPORT_CONNECTIONS_ISSUED
118     afs_warn("Issuing conn %d refCount=%d parent refCount=%d\n", bix,
119              tc->refCount, xcv->refCount);
120 #endif
121
122 out:
123     return (tc);
124
125 }        /* find_preferred_connection */
126
127
128 /**
129  * Release all connections for unix user xu at server xs
130  * @param xu
131  * @param xs
132  */
133 static void
134 release_conns_user_server(struct unixuser *xu, struct server *xs)
135 {
136     int cix, glocked;
137     struct srvAddr *sa;
138     struct afs_conn *tc;
139     struct sa_conn_vector *tcv, **lcv;
140     for (sa = (xs)->addr; sa; sa = sa->next_sa) {
141         lcv = &sa->conns;
142         for (tcv = *lcv; tcv; lcv = &tcv->next, tcv = *lcv) {
143             if (tcv->user == (xu) && tcv->refCount == 0) {
144                 *lcv = tcv->next;
145                 /* our old friend, the GLOCK */
146                 glocked = ISAFS_GLOCK();
147                 if (glocked)
148                     AFS_GUNLOCK();
149                 for(cix = 0; cix < CVEC_LEN; ++cix) {
150                     tc = &(tcv->cvec[cix]);
151                     if (tc->activated)
152                         rx_DestroyConnection(tc->id);
153                 }
154                 if (glocked)
155                     AFS_GLOCK();
156                 afs_osi_Free(tcv, sizeof(struct sa_conn_vector));
157                 break;    /* at most one instance per server */
158             } /*Found unreferenced connection for user */
159         }
160     } /*For each connection on the server */
161
162 }        /* release_conns_user_server */
163
164
165 static void
166 release_conns_vector(struct sa_conn_vector *xcv)
167 {
168     int cix, glocked;
169     struct afs_conn *tc;
170     struct sa_conn_vector *tcv = NULL;
171     struct sa_conn_vector **lcv = NULL;
172     for (tcv = xcv; tcv; lcv = &tcv->next, tcv = *lcv) {
173         *lcv = tcv->next;
174         /* you know it, you love it, the GLOCK */
175         glocked = ISAFS_GLOCK();
176         if (glocked)
177             AFS_GUNLOCK(); \
178         for(cix = 0; cix < CVEC_LEN; ++cix) {
179             tc = &(tcv->cvec[cix]);
180             if (tc->activated)
181                 rx_DestroyConnection( tc->id );
182         }
183         if (glocked)
184             AFS_GLOCK();
185         afs_osi_Free(tcv, sizeof(struct sa_conn_vector));
186     }
187
188 }        /* release_conns_vector */
189
190
191 unsigned int VNOSERVERS = 0;
192
193 /**
194  * Pick a security object to use for a connection to a given server,
195  * by a given user
196  *
197  * @param[in] conn
198  *      The AFS connection for which the security object is required
199  * @param[out] secLevel
200  *      The security level of the returned object
201  *
202  * @return
203  *      An rx security object. This function is guaranteed to return
204  *      an object, although that object may be rxnull (with a secLevel
205  *      of 0)
206  */
207 static struct rx_securityClass *
208 afs_pickSecurityObject(struct afs_conn *conn, int *secLevel)
209 {
210     struct rx_securityClass *secObj = NULL;
211     union tokenUnion *token;
212
213     /* Do we have tokens ? */
214     if (conn->parent->user->states & UHasTokens) {
215         token = afs_FindToken(conn->parent->user->tokens, RX_SECIDX_KAD);
216         if (token) {
217             *secLevel = RX_SECIDX_KAD;
218             /* kerberos tickets on channel 2 */
219             secObj = rxkad_NewClientSecurityObject(
220                          cryptall ? rxkad_crypt : rxkad_clear,
221                          (struct ktc_encryptionKey *)
222                                token->rxkad.clearToken.HandShakeKey,
223                          token->rxkad.clearToken.AuthHandle,
224                          token->rxkad.ticketLen, token->rxkad.ticket);
225             /* We're going to use this token, so populate the viced */
226             conn->parent->user->viceId = token->rxkad.clearToken.ViceId;
227         }
228      }
229      if (secObj == NULL) {
230         *secLevel = 0;
231         secObj = rxnull_NewClientSecurityObject();
232      }
233
234      return secObj;
235 }
236
237
238 /**
239  * Try setting up a connection to the server containing the specified fid.
240  * Gets the volume, checks if it's up and does the connection by server address.
241  *
242  * @param afid
243  * @param areq Request filled in by the caller.
244  * @param locktype Type of lock that will be used.
245  *
246  * @return The conn struct, or NULL.
247  */
248 struct afs_conn *
249 afs_Conn(struct VenusFid *afid, struct vrequest *areq,
250          afs_int32 locktype, struct rx_connection **rxconn)
251 {
252     u_short fsport = AFS_FSPORT;
253     struct volume *tv;
254     struct afs_conn *tconn = NULL;
255     struct srvAddr *lowp = NULL;
256     struct unixuser *tu;
257     int notbusy;
258     int i;
259     struct srvAddr *sa1p;
260
261     *rxconn = NULL;
262
263     AFS_STATCNT(afs_Conn);
264     /* Get fid's volume. */
265     tv = afs_GetVolume(afid, areq, READ_LOCK);
266     if (!tv) {
267         if (areq) {
268             afs_FinalizeReq(areq);
269             areq->volumeError = 1;
270         }
271         return NULL;
272     }
273
274     if (tv->serverHost[0] && tv->serverHost[0]->cell) {
275         fsport = tv->serverHost[0]->cell->fsport;
276     } else {
277         VNOSERVERS++;
278     }
279
280     /* First is always lowest rank, if it's up */
281     if ((tv->status[0] == not_busy) && tv->serverHost[0]
282         && !(tv->serverHost[0]->addr->sa_flags & SRVR_ISDOWN) &&
283         !(((areq->idleError > 0) || (areq->tokenError > 0))
284           && (areq->skipserver[0] == 1)))
285         lowp = tv->serverHost[0]->addr;
286
287     /* Otherwise we look at all of them. There are seven levels of
288      * not_busy. This means we will check a volume seven times before it
289      * is marked offline. Ideally, we only need two levels, but this
290      * serves a second purpose of waiting some number of seconds before
291      * the client decides the volume is offline (ie: a clone could finish
292      * in this time).
293      */
294     for (notbusy = not_busy; (!lowp && (notbusy <= end_not_busy)); notbusy++) {
295         for (i = 0; i < AFS_MAXHOSTS && tv->serverHost[i]; i++) {
296             if (((areq->tokenError > 0)||(areq->idleError > 0))
297                 && (areq->skipserver[i] == 1))
298                 continue;
299             if (tv->status[i] != notbusy) {
300                 if (tv->status[i] == rd_busy || tv->status[i] == rdwr_busy) {
301                     if (!areq->busyCount)
302                         areq->busyCount++;
303                 } else if (tv->status[i] == offline) {
304                     if (!areq->volumeError)
305                         areq->volumeError = VOLMISSING;
306                 }
307                 continue;
308             }
309             for (sa1p = tv->serverHost[i]->addr; sa1p; sa1p = sa1p->next_sa) {
310                 if (sa1p->sa_flags & SRVR_ISDOWN)
311                     continue;
312                 if (!lowp || (lowp->sa_iprank > sa1p->sa_iprank))
313                     lowp = sa1p;
314             }
315         }
316     }
317     afs_PutVolume(tv, READ_LOCK);
318
319     if (lowp) {
320         tu = afs_GetUser(areq->uid, afid->Cell, SHARED_LOCK);
321         tconn = afs_ConnBySA(lowp, fsport, afid->Cell, tu, 0 /*!force */ ,
322                              1 /*create */ , locktype, rxconn);
323
324         afs_PutUser(tu, SHARED_LOCK);
325     }
326
327     return tconn;
328 }                               /*afs_Conn */
329
330
331 /**
332  * Connects to a server by it's server address.
333  *
334  * @param sap Server address.
335  * @param aport Server port.
336  * @param acell
337  * @param tu Connect as this user.
338  * @param force_if_down
339  * @param create
340  * @param locktype Specifies type of lock to be used for this function.
341  *
342  * @return The new connection.
343  */
344 struct afs_conn *
345 afs_ConnBySA(struct srvAddr *sap, unsigned short aport, afs_int32 acell,
346              struct unixuser *tu, int force_if_down, afs_int32 create,
347              afs_int32 locktype, struct rx_connection **rxconn)
348 {
349     int glocked, foundvec;
350     struct afs_conn *tc = NULL;
351     struct sa_conn_vector *tcv = NULL;
352     struct rx_securityClass *csec; /*Security class object */
353     int isec; /*Security index */
354     int service;
355
356     *rxconn = NULL;
357
358     /* find cached connection */
359     ObtainSharedLock(&afs_xconn, 15);
360     foundvec = 0;
361     for (tcv = sap->conns; tcv; tcv = tcv->next) {
362         if (tcv->user == tu && tcv->port == aport) {
363             /* return most eligible conn */
364             if (!foundvec)
365                 foundvec = 1;
366             UpgradeSToWLock(&afs_xconn, 37);
367             tc = find_preferred_connection(tcv, create);
368             ConvertWToSLock(&afs_xconn);
369             break;
370         }
371     }
372
373     if (!tc && !create) {
374         /* Not found and can't create a new one. */
375         ReleaseSharedLock(&afs_xconn);
376         return NULL;
377     }
378
379     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
380         afs_warnuser("afs_ConnBySA: disconnected\n");
381         ReleaseSharedLock(&afs_xconn);
382         return NULL;
383     }
384
385     if (!foundvec && create) {
386         /* No such connection vector exists.  Create one and splice it in.
387          * Make sure the server record has been marked as used (for the purposes
388          * of calculating up & down times, it's now considered to be an
389          * ``active'' server).  Also make sure the server's lastUpdateEvalTime
390          * gets set, marking the time of its ``birth''.
391          */
392         UpgradeSToWLock(&afs_xconn, 37);
393         new_conn_vector(tcv);
394
395         tcv->user = tu;
396         tcv->port = aport;
397         tcv->srvr = sap;
398         tcv->next = sap->conns;
399         sap->conns = tcv;
400
401         /* all struct afs_conn ptrs come from here */
402         tc = find_preferred_connection(tcv, create);
403
404         afs_ActivateServer(sap);
405
406         ConvertWToSLock(&afs_xconn);
407     } /* end of if (!tcv) */
408
409     if (!tc) {
410         /* Not found and no alternatives. */
411         ReleaseSharedLock(&afs_xconn);
412         return NULL;
413     }
414
415     if (tu->states & UTokensBad) {
416         /* we may still have an authenticated RPC connection here,
417          * we'll have to create a new, unauthenticated, connection.
418          * Perhaps a better way to do this would be to set
419          * conn->forceConnectFS on all conns when the token first goes
420          * bad, but that's somewhat trickier, due to locking
421          * constraints (though not impossible).
422          */
423         if (tc->id && (rx_SecurityClassOf(tc->id) != 0)) {
424             tc->forceConnectFS = 1;     /* force recreation of connection */
425         }
426         tu->states &= ~UHasTokens;      /* remove the authentication info */
427     }
428
429     glocked = ISAFS_GLOCK();
430     if (tc->forceConnectFS) {
431         UpgradeSToWLock(&afs_xconn, 38);
432         csec = (struct rx_securityClass *)0;
433         if (tc->id) {
434             if (glocked)
435                 AFS_GUNLOCK();
436             rx_DestroyConnection(tc->id);
437             if (glocked)
438                 AFS_GLOCK();
439         }
440         /*
441          * Stupid hack to determine if using vldb service or file system
442          * service.
443          */
444         if (aport == sap->server->cell->vlport)
445             service = 52;
446         else
447             service = 1;
448         isec = 0;
449
450         csec = afs_pickSecurityObject(tc, &isec);
451
452         if (glocked)
453             AFS_GUNLOCK();
454         tc->id = rx_NewConnection(sap->sa_ip, aport, service, csec, isec);
455         if (glocked)
456             AFS_GLOCK();
457         if (service == 52) {
458             rx_SetConnHardDeadTime(tc->id, afs_rx_harddead);
459         }
460         /* set to a RX_CALL_TIMEOUT error to allow MTU retry to trigger */
461         rx_SetServerConnIdleDeadErr(tc->id, RX_CALL_DEAD);
462         rx_SetConnIdleDeadTime(tc->id, afs_rx_idledead);
463         rx_SetMsgsizeRetryErr(tc->id, RX_MSGSIZE);
464
465         /*
466          * Only do this for the base connection, not per-user.
467          * Will need to be revisited if/when CB gets security.
468          */
469         if ((isec == 0) && (service != 52) && !(tu->states & UTokensBad) &&
470             (tu->viceId == UNDEFVID))
471             rx_SetConnSecondsUntilNatPing(tc->id, 20);
472
473         tc->forceConnectFS = 0; /* apparently we're appropriately connected now */
474         if (csec)
475             rxs_Release(csec);
476         ConvertWToSLock(&afs_xconn);
477     } /* end of if (tc->forceConnectFS)*/
478
479     *rxconn = tc->id;
480     rx_GetConnection(*rxconn);
481
482     ReleaseSharedLock(&afs_xconn);
483     return tc;
484 }
485
486 /**
487  * forceConnectFS is set whenever we must recompute the connection. UTokensBad
488  * is true only if we know that the tokens are bad.  We thus clear this flag
489  * when we get a new set of tokens..
490  * Having force... true and UTokensBad true simultaneously means that the tokens
491  * went bad and we're supposed to create a new, unauthenticated, connection.
492  *
493  * @param aserver Server to connect to.
494  * @param aport Connection port.
495  * @param acell The cell where all of this happens.
496  * @param areq The request.
497  * @param aforce Force connection?
498  * @param locktype Type of lock to be used.
499  *
500  * @return The established connection.
501  */
502 struct afs_conn *
503 afs_ConnByHost(struct server *aserver, unsigned short aport, afs_int32 acell,
504                struct vrequest *areq, int aforce, afs_int32 locktype,
505                struct rx_connection **rxconn)
506 {
507     struct unixuser *tu;
508     struct afs_conn *tc = NULL;
509     struct srvAddr *sa = NULL;
510
511     *rxconn = NULL;
512
513     AFS_STATCNT(afs_ConnByHost);
514
515     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
516         afs_warnuser("afs_ConnByHost: disconnected\n");
517         return NULL;
518     }
519
520 /*
521   1.  look for an existing connection
522   2.  create a connection at an address believed to be up
523       (if aforce is true, create a connection at the first address)
524 */
525
526     tu = afs_GetUser(areq->uid, acell, SHARED_LOCK);
527
528     for (sa = aserver->addr; sa; sa = sa->next_sa) {
529         tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
530                           0 /*don't create one */ ,
531                           locktype, rxconn);
532         if (tc)
533             break;
534     }
535
536     if (!tc) {
537         for (sa = aserver->addr; sa; sa = sa->next_sa) {
538             tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
539                               1 /*create one */ ,
540                               locktype, rxconn);
541             if (tc)
542                 break;
543         }
544     }
545
546     afs_PutUser(tu, SHARED_LOCK);
547     return tc;
548
549 }                               /*afs_ConnByHost */
550
551
552 /**
553  * Connect by multiple hosts.
554  * Try to connect to one of the hosts from the ahosts array.
555  *
556  * @param ahosts Multiple hosts to connect to.
557  * @param aport Connection port.
558  * @param acell The cell where all of this happens.
559  * @param areq The request.
560  * @param locktype Type of lock to be used.
561  *
562  * @return The established connection or NULL.
563  */
564 struct afs_conn *
565 afs_ConnByMHosts(struct server *ahosts[], unsigned short aport,
566                  afs_int32 acell, struct vrequest *areq,
567                  afs_int32 locktype, struct rx_connection **rxconn)
568 {
569     afs_int32 i;
570     struct afs_conn *tconn;
571     struct server *ts;
572
573     *rxconn = NULL;
574
575     /* try to find any connection from the set */
576     AFS_STATCNT(afs_ConnByMHosts);
577     for (i = 0; i < AFS_MAXCELLHOSTS; i++) {
578         if ((ts = ahosts[i]) == NULL)
579             break;
580         tconn = afs_ConnByHost(ts, aport, acell, areq, 0, locktype, rxconn);
581         if (tconn) {
582             return tconn;
583         }
584     }
585     return NULL;
586
587 }                               /*afs_ConnByMHosts */
588
589
590 /**
591  * Decrement reference count to this connection.
592  * @param ac
593  * @param locktype
594  */
595 void
596 afs_PutConn(struct afs_conn *ac, struct rx_connection *rxconn,
597             afs_int32 locktype)
598 {
599     AFS_STATCNT(afs_PutConn);
600     ac->refCount--;
601     ac->parent->refCount--;
602     rx_PutConnection(rxconn);
603 }                               /*afs_PutConn */
604
605
606 /**
607  * Free up a connection vector, allowing, eg, code in afs_user.c
608  * to ignore how connections are stored/pooled
609  * @param tcv
610  */
611 void
612 afs_ReleaseConns(struct sa_conn_vector *tcv) {
613     release_conns_vector(tcv);
614 }
615
616
617 /**
618  * Free connection vector(s) for a user
619  * @param au
620  */
621 void
622 afs_ReleaseConnsUser(struct unixuser *au) {
623
624     int i;
625     struct server *ts;
626
627     for (i = 0; i < NSERVERS; i++) {
628         for (ts = afs_servers[i]; ts; ts = ts->next) {
629             release_conns_user_server(au, ts);
630         }       /*For each server on chain */
631     } /*For each chain */
632 }
633
634
635 /**
636  * For multi homed clients, a RPC may timeout because of a
637  * client network interface going down. We need to reopen new
638  * connections in this case.
639  *
640  * @param sap Server address.
641  */
642 void
643 ForceNewConnections(struct srvAddr *sap)
644 {
645     int cix;
646     struct afs_conn *tc = NULL;
647     struct sa_conn_vector *tcv = NULL;
648
649     if (!sap)
650         return; /* defensive check */
651
652     ObtainWriteLock(&afs_xconn, 413);
653     for (tcv = sap->conns; tcv; tcv = tcv->next) {
654         for(cix = 0; cix < CVEC_LEN; ++cix) {
655             tc = &(tcv->cvec[cix]);
656             if (tc->activated)
657                 tc->forceConnectFS = 1;
658         }
659     }
660     ReleaseWriteLock(&afs_xconn);
661 }
662
663