DEVEL15-blacklistonce-use-only-initd-vrequest-20081020
[openafs.git] / src / afs / afs_conn.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * Implements:
12  */
13 #include <afsconfig.h>
14 #include "afs/param.h"
15
16 RCSID
17     ("$Header$");
18
19 #include "afs/stds.h"
20 #include "afs/sysincludes.h"    /* Standard vendor system headers */
21
22 #if !defined(UKERNEL)
23 #if !defined(AFS_LINUX20_ENV)
24 #include <net/if.h>
25 #endif
26 #include <netinet/in.h>
27
28 #ifdef AFS_SGI62_ENV
29 #include "h/hashing.h"
30 #endif
31 #if !defined(AFS_HPUX110_ENV) && !defined(AFS_LINUX20_ENV) && !defined(AFS_DARWIN60_ENV)
32 #include <netinet/in_var.h>
33 #endif /* ! AFS_HPUX110_ENV */
34 #endif /* !defined(UKERNEL) */
35
36 #include "afsincludes.h"        /* Afs-based standard headers */
37 #include "afs/afs_stats.h"      /* afs statistics */
38
39 #if     defined(AFS_SUN56_ENV)
40 #include <inet/led.h>
41 #include <inet/common.h>
42 #if     defined(AFS_SUN58_ENV)
43 #include <netinet/ip6.h>
44 #endif
45 #include <inet/ip.h>
46 #endif
47
48 /* Exported variables */
49 afs_rwlock_t afs_xconn;         /* allocation lock for new things */
50 afs_rwlock_t afs_xinterface;    /* for multiple client address */
51 afs_int32 cryptall = 0;         /* encrypt all communications */
52
53
54 unsigned int VNOSERVERS = 0;
55
56 /**
57  * Try setting up a connection to the server containing the specified fid.
58  * Gets the volume, checks if it's up and does the connection by server address.
59  *
60  * @param afid 
61  * @param areq Request filled in by the caller.
62  * @param locktype Type of lock that will be used.
63  *
64  * @return The conn struct, or NULL.
65  */
66 struct conn *
67 afs_Conn(register struct VenusFid *afid, register struct vrequest *areq,
68          afs_int32 locktype)
69 {
70     u_short fsport = AFS_FSPORT;
71     struct volume *tv;
72     struct conn *tconn = NULL;
73     struct srvAddr *lowp = NULL;
74     struct unixuser *tu;
75     int notbusy;
76     int i;
77     struct srvAddr *sa1p;
78
79     AFS_STATCNT(afs_Conn);
80     /* Get fid's volume. */
81     tv = afs_GetVolume(afid, areq, READ_LOCK);
82     if (!tv) {
83         if (areq) {
84             afs_FinalizeReq(areq);
85             areq->volumeError = 1;
86         }
87         return NULL;
88     }
89
90     if (tv->serverHost[0] && tv->serverHost[0]->cell) {
91         fsport = tv->serverHost[0]->cell->fsport;
92     } else {
93         VNOSERVERS++;
94     }
95
96     /* First is always lowest rank, if it's up */
97     if ((tv->status[0] == not_busy) && tv->serverHost[0]
98         && !(tv->serverHost[0]->addr->sa_flags & SRVR_ISDOWN) &&
99         !((areq->initd == 1) &&
100           ((areq->idleError > 0) || (areq->tokenError > 0))
101           && (areq->skipserver[0] == 1)))
102         lowp = tv->serverHost[0]->addr;
103
104     /* Otherwise we look at all of them. There are seven levels of
105      * not_busy. This means we will check a volume seven times before it
106      * is marked offline. Ideally, we only need two levels, but this
107      * serves a second purpose of waiting some number of seconds before
108      * the client decides the volume is offline (ie: a clone could finish
109      * in this time).
110      */
111     for (notbusy = not_busy; (!lowp && (notbusy <= end_not_busy)); notbusy++) {
112         for (i = 0; i < MAXHOSTS && tv->serverHost[i]; i++) {
113             if (((areq->tokenError > 0)||(areq->idleError > 0)) 
114                 && (areq->skipserver[i] == 1))
115                 continue;
116             if (tv->status[i] != notbusy) {
117                 if (tv->status[i] == rd_busy || tv->status[i] == rdwr_busy) {
118                     if (!areq->busyCount)
119                         areq->busyCount++;
120                 } else if (tv->status[i] == offline) {
121                     if (!areq->volumeError)
122                         areq->volumeError = VOLMISSING;
123                 }
124                 continue;
125             }
126             for (sa1p = tv->serverHost[i]->addr; sa1p; sa1p = sa1p->next_sa) {
127                 if (sa1p->sa_flags & SRVR_ISDOWN)
128                     continue;
129                 if (!lowp || (lowp->sa_iprank > sa1p->sa_iprank))
130                     lowp = sa1p;
131             }
132         }
133     }
134     afs_PutVolume(tv, READ_LOCK);
135
136     if (lowp) {
137         tu = afs_GetUser(areq->uid, afid->Cell, SHARED_LOCK);
138         tconn = afs_ConnBySA(lowp, fsport, afid->Cell, tu, 0 /*!force */ ,
139                              1 /*create */ , locktype);
140
141         afs_PutUser(tu, SHARED_LOCK);
142     }
143
144     return tconn;
145 }                               /*afs_Conn */
146
147
148 /**
149  * Connects to a server by it's server address.
150  *
151  * @param sap Server address.
152  * @param aport Server port.
153  * @param acell
154  * @param tu Connect as this user.
155  * @param force_if_down
156  * @param create
157  * @param locktype Specifies type of lock to be used for this function.
158  *
159  * @return The new connection.
160  */
161 struct conn *
162 afs_ConnBySA(struct srvAddr *sap, unsigned short aport, afs_int32 acell,
163              struct unixuser *tu, int force_if_down, afs_int32 create,
164              afs_int32 locktype)
165 {
166     struct conn *tc = 0;
167     struct rx_securityClass *csec;      /*Security class object */
168     int isec;                   /*Security index */
169     int service;
170
171     if (!sap || ((sap->sa_flags & SRVR_ISDOWN) && !force_if_down)) {
172         /* sa is known down, and we don't want to force it.  */
173         return NULL;
174     }
175
176     ObtainSharedLock(&afs_xconn, 15);
177     /* Get conn by port and user. */
178     for (tc = sap->conns; tc; tc = tc->next) {
179         if (tc->user == tu && tc->port == aport) {
180             break;
181         }
182     }
183
184     if (!tc && !create) {
185         /* Not found and can't create a new one. */
186         ReleaseSharedLock(&afs_xconn);
187         return NULL;
188     }
189     
190     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
191         afs_warnuser("afs_ConnBySA: disconnected\n");
192         ReleaseSharedLock(&afs_xconn);
193         return NULL;
194     }
195
196     if (!tc) {
197         /* No such connection structure exists.  Create one and splice it in.
198          * Make sure the server record has been marked as used (for the purposes
199          * of calculating up & down times, it's now considered to be an
200          * ``active'' server).  Also make sure the server's lastUpdateEvalTime
201          * gets set, marking the time of its ``birth''.
202          */
203         UpgradeSToWLock(&afs_xconn, 37);
204         tc = (struct conn *)afs_osi_Alloc(sizeof(struct conn));
205         memset((char *)tc, 0, sizeof(struct conn));
206
207         tc->user = tu;
208         tc->port = aport;
209         tc->srvr = sap;
210         tc->refCount = 0;       /* bumped below */
211         tc->forceConnectFS = 1;
212         tc->id = (struct rx_connection *)0;
213         tc->next = sap->conns;
214         sap->conns = tc;
215         afs_ActivateServer(sap);
216
217         ConvertWToSLock(&afs_xconn);
218     } /* end of if (!tc) */
219     tc->refCount++;
220
221     if (tu->states & UTokensBad) {
222         /* we may still have an authenticated RPC connection here,
223          * we'll have to create a new, unauthenticated, connection.
224          * Perhaps a better way to do this would be to set
225          * conn->forceConnectFS on all conns when the token first goes
226          * bad, but that's somewhat trickier, due to locking
227          * constraints (though not impossible).
228          */
229         if (tc->id && (rx_SecurityClassOf(tc->id) != 0)) {
230             tc->forceConnectFS = 1;     /* force recreation of connection */
231         }
232         tu->vid = UNDEFVID;     /* forcibly disconnect the authentication info */
233     }
234
235     if (tc->forceConnectFS) {
236         UpgradeSToWLock(&afs_xconn, 38);
237         csec = (struct rx_securityClass *)0;
238         if (tc->id) {
239             AFS_GUNLOCK();
240             rx_DestroyConnection(tc->id);
241             AFS_GLOCK();
242         }
243         /*
244          * Stupid hack to determine if using vldb service or file system
245          * service.
246          */
247         if (aport == sap->server->cell->vlport)
248             service = 52;
249         else
250             service = 1;
251         isec = 0;
252         if (tu->vid != UNDEFVID) {
253             int level;
254
255             if (cryptall) {
256                 level = rxkad_crypt;
257             } else {
258                 level = rxkad_clear;
259             }
260             isec = 2;
261             /* kerberos tickets on channel 2 */
262             csec = rxkad_NewClientSecurityObject(level,
263                                                  (struct ktc_encryptionKey *)tu->ct.HandShakeKey,
264                                                  /* kvno */
265                                                  tu->ct.AuthHandle, tu->stLen,
266                                                  tu->stp);
267         }
268         if (isec == 0)
269             csec = rxnull_NewClientSecurityObject();
270         AFS_GUNLOCK();
271         tc->id = rx_NewConnection(sap->sa_ip, aport, service, csec, isec);
272         AFS_GLOCK();
273         if (service == 52) {
274             rx_SetConnHardDeadTime(tc->id, afs_rx_harddead);
275         }
276         rx_SetConnIdleDeadTime(tc->id, afs_rx_idledead);
277
278         tc->forceConnectFS = 0; /* apparently we're appropriately connected now */
279         if (csec)
280             rxs_Release(csec);
281         ConvertWToSLock(&afs_xconn);
282     } /* end of if (tc->forceConnectFS)*/
283
284     ReleaseSharedLock(&afs_xconn);
285     return tc;
286 }
287
288 /**
289  * forceConnectFS is set whenever we must recompute the connection. UTokensBad
290  * is true only if we know that the tokens are bad.  We thus clear this flag
291  * when we get a new set of tokens..
292  * Having force... true and UTokensBad true simultaneously means that the tokens
293  * went bad and we're supposed to create a new, unauthenticated, connection.
294  *
295  * @param aserver Server to connect to.
296  * @param aport Connection port.
297  * @param acell The cell where all of this happens.
298  * @param areq The request.
299  * @param aforce Force connection?
300  * @param locktype Type of lock to be used.
301  *
302  * @return The established connection.
303  */
304 struct conn *
305 afs_ConnByHost(struct server *aserver, unsigned short aport, afs_int32 acell,
306                struct vrequest *areq, int aforce, afs_int32 locktype)
307 {
308     struct unixuser *tu;
309     struct conn *tc = 0;
310     struct srvAddr *sa = 0;
311
312     AFS_STATCNT(afs_ConnByHost);
313
314     if (AFS_IS_DISCONNECTED && !AFS_IN_SYNC) {
315         afs_warnuser("afs_ConnByHost: disconnected\n");
316         return NULL;
317     }
318
319 /* 
320   1.  look for an existing connection
321   2.  create a connection at an address believed to be up
322       (if aforce is true, create a connection at the first address)
323 */
324
325     tu = afs_GetUser(areq->uid, acell, SHARED_LOCK);
326
327     for (sa = aserver->addr; sa; sa = sa->next_sa) {
328         tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
329                           0 /*don't create one */ ,
330                           locktype);
331         if (tc)
332             break;
333     }
334
335     if (!tc) {
336         for (sa = aserver->addr; sa; sa = sa->next_sa) {
337             tc = afs_ConnBySA(sa, aport, acell, tu, aforce,
338                               1 /*create one */ ,
339                               locktype);
340             if (tc)
341                 break;
342         }
343     }
344
345     afs_PutUser(tu, SHARED_LOCK);
346     return tc;
347
348 }                               /*afs_ConnByHost */
349
350
351 /**
352  * Connect by multiple hosts.
353  * Try to connect to one of the hosts from the ahosts array.
354  *
355  * @param ahosts Multiple hosts to connect to.
356  * @param aport Connection port.
357  * @param acell The cell where all of this happens.
358  * @param areq The request.
359  * @param locktype Type of lock to be used.
360  *
361  * @return The established connection or NULL.
362  */
363 struct conn *
364 afs_ConnByMHosts(struct server *ahosts[], unsigned short aport,
365                  afs_int32 acell, register struct vrequest *areq,
366                  afs_int32 locktype)
367 {
368     register afs_int32 i;
369     register struct conn *tconn;
370     register struct server *ts;
371
372     /* try to find any connection from the set */
373     AFS_STATCNT(afs_ConnByMHosts);
374     for (i = 0; i < MAXCELLHOSTS; i++) {
375         if ((ts = ahosts[i]) == NULL)
376             break;
377         tconn = afs_ConnByHost(ts, aport, acell, areq, 0, locktype);
378         if (tconn) {
379             return tconn;
380         }
381     }
382     return NULL;
383
384 }                               /*afs_ConnByMHosts */
385
386
387 /**
388  * Decrement reference count to this connection.
389  * @param ac
390  * @param locktype
391  */
392 void
393 afs_PutConn(register struct conn *ac, afs_int32 locktype)
394 {
395     AFS_STATCNT(afs_PutConn);
396     ac->refCount--;
397 }                               /*afs_PutConn */
398
399
400 /** 
401  * For multi homed clients, a RPC may timeout because of a 
402  * client network interface going down. We need to reopen new 
403  * connections in this case.
404  *
405  * @param sap Server address.
406  */
407 void
408 ForceNewConnections(struct srvAddr *sap)
409 {
410     struct conn *tc = 0;
411
412     if (!sap)
413         return;                 /* defensive check */
414
415     ObtainWriteLock(&afs_xconn, 413);
416     for (tc = sap->conns; tc; tc = tc->next)
417         tc->forceConnectFS = 1;
418     ReleaseWriteLock(&afs_xconn);
419 }