21483f5d1e13f6fb53cc66005098f99ea3274f44
[openafs.git] / src / afs / afs_daemons.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #include <afsconfig.h>
11 #include "afs/param.h"
12
13 RCSID
14     ("$Header$");
15
16 #ifdef AFS_AIX51_ENV
17 #define __FULL_PROTO
18 #include <sys/sleep.h>
19 #endif
20
21 #include "afs/sysincludes.h"    /* Standard vendor system headers */
22 #include "afsincludes.h"        /* Afs-based standard headers */
23 #include "afs/afs_stats.h"      /* statistics gathering code */
24 #include "afs/afs_cbqueue.h"
25 #ifdef AFS_AIX_ENV
26 #include <sys/adspace.h>        /* for vm_att(), vm_det() */
27 #endif
28
29 #if defined(AFS_CACHE_BYPASS)
30 #include "afs/afs_bypasscache.h"
31 #endif// defined(AFS_CACHE_BYPASS)
32 /* background request queue size */
33 afs_lock_t afs_xbrs;            /* lock for brs */
34 static int brsInit = 0;
35 short afs_brsWaiters = 0;       /* number of users waiting for brs buffers */
36 short afs_brsDaemons = 0;       /* number of daemons waiting for brs requests */
37 struct brequest afs_brs[NBRS];  /* request structures */
38 struct afs_osi_WaitHandle AFS_WaitHandler, AFS_CSWaitHandler;
39 static int afs_brs_count = 0;   /* request counter, to service reqs in order */
40
41 static int rxepoch_checked = 0;
42 #define afs_CheckRXEpoch() {if (rxepoch_checked == 0 && rxkad_EpochWasSet) { \
43         rxepoch_checked = 1; afs_GCUserData(/* force flag */ 1);  } }
44
45 /* PAG garbage collection */
46 /* We induce a compile error if param.h does not define AFS_GCPAGS */
47 afs_int32 afs_gcpags = AFS_GCPAGS;
48 afs_int32 afs_gcpags_procsize = 0;
49
50 afs_int32 afs_CheckServerDaemonStarted = 0;
51 #ifndef DEFAULT_PROBE_INTERVAL
52 #define DEFAULT_PROBE_INTERVAL 30       /* default to 3 min */
53 #endif
54 afs_int32 afs_probe_interval = DEFAULT_PROBE_INTERVAL;
55 afs_int32 afs_probe_all_interval = 600;
56 afs_int32 afs_nat_probe_interval = 60;
57 afs_int32 afs_preCache = 0;
58
59 #define PROBE_WAIT() (1000 * (afs_probe_interval - ((afs_random() & 0x7fffffff) \
60                       % (afs_probe_interval/2))))
61
62 void
63 afs_SetCheckServerNATmode(int isnat)
64 {
65     static afs_int32 old_intvl, old_all_intvl;
66     static int wasnat;
67
68     if (isnat && !wasnat) {
69         old_intvl = afs_probe_interval;
70         old_all_intvl = afs_probe_all_interval;
71         afs_probe_interval = afs_nat_probe_interval;
72         afs_probe_all_interval = afs_nat_probe_interval;
73         afs_osi_CancelWait(&AFS_CSWaitHandler);
74     } else if (!isnat && wasnat) {
75         afs_probe_interval = old_intvl;
76         afs_probe_all_interval = old_all_intvl;
77     }
78     wasnat = isnat;
79 }
80
81 void
82 afs_CheckServerDaemon(void)
83 {
84     afs_int32 now, delay, lastCheck, last10MinCheck;
85
86     afs_CheckServerDaemonStarted = 1;
87
88     while (afs_initState < 101)
89         afs_osi_Sleep(&afs_initState);
90     afs_osi_Wait(PROBE_WAIT(), &AFS_CSWaitHandler, 0);
91
92     last10MinCheck = lastCheck = osi_Time();
93     while (1) {
94         if (afs_termState == AFSOP_STOP_CS) {
95             afs_termState = AFSOP_STOP_BKG;
96             afs_osi_Wakeup(&afs_termState);
97             break;
98         }
99
100         now = osi_Time();
101         if (afs_probe_interval + lastCheck <= now) {
102             afs_CheckServers(1, NULL);  /* check down servers */
103             lastCheck = now = osi_Time();
104         }
105
106         if (afs_probe_all_interval + last10MinCheck <= now) {
107             afs_Trace1(afs_iclSetp, CM_TRACE_PROBEUP, ICL_TYPE_INT32, afs_probe_all_interval);
108             afs_CheckServers(0, NULL);
109             last10MinCheck = now = osi_Time();
110         }
111         /* shutdown check. */
112         if (afs_termState == AFSOP_STOP_CS) {
113             afs_termState = AFSOP_STOP_BKG;
114             afs_osi_Wakeup(&afs_termState);
115             break;
116         }
117
118         /* Compute time to next probe. */
119         delay = afs_probe_interval + lastCheck;
120         if (delay > afs_probe_all_interval + last10MinCheck)
121             delay = afs_probe_all_interval + last10MinCheck;
122         delay -= now;
123         if (delay < 1)
124             delay = 1;
125         afs_osi_Wait(delay * 1000, &AFS_CSWaitHandler, 0);
126     }
127     afs_CheckServerDaemonStarted = 0;
128 }
129
130 extern int vfs_context_ref;
131
132 void
133 afs_Daemon(void)
134 {
135     afs_int32 code;
136     struct afs_exporter *exporter;
137     afs_int32 now;
138     afs_int32 last3MinCheck, last10MinCheck, last60MinCheck, lastNMinCheck;
139     afs_int32 last1MinCheck;
140     afs_uint32 lastCBSlotBump;
141     char cs_warned = 0;
142
143     AFS_STATCNT(afs_Daemon);
144     last1MinCheck = last3MinCheck = last60MinCheck = last10MinCheck =
145         lastNMinCheck = 0;
146
147     afs_rootFid.Fid.Volume = 0;
148     while (afs_initState < 101)
149         afs_osi_Sleep(&afs_initState);
150
151 #ifdef AFS_DARWIN80_ENV
152     if (afs_osi_ctxtp_initialized)
153         osi_Panic("vfs context already initialized");
154     while (afs_osi_ctxtp && vfs_context_ref)
155         afs_osi_Sleep(&afs_osi_ctxtp);
156     if (afs_osi_ctxtp && !vfs_context_ref)
157        vfs_context_rele(afs_osi_ctxtp);
158     afs_osi_ctxtp = vfs_context_create(NULL);
159     afs_osi_ctxtp_initialized = 1;
160 #endif
161     now = osi_Time();
162     lastCBSlotBump = now;
163
164     /* when a lot of clients are booted simultaneously, they develop
165      * annoying synchronous VL server bashing behaviors.  So we stagger them.
166      */
167     last1MinCheck = now + ((afs_random() & 0x7fffffff) % 60);   /* an extra 30 */
168     last3MinCheck = now - 90 + ((afs_random() & 0x7fffffff) % 180);
169     last60MinCheck = now - 1800 + ((afs_random() & 0x7fffffff) % 3600);
170     last10MinCheck = now - 300 + ((afs_random() & 0x7fffffff) % 600);
171     lastNMinCheck = now - 90 + ((afs_random() & 0x7fffffff) % 180);
172
173     /* start off with afs_initState >= 101 (basic init done) */
174     while (1) {
175         afs_CheckCallbacks(20); /* unstat anything which will expire soon */
176
177         /* things to do every 20 seconds or less - required by protocol spec */
178         if (afs_nfsexporter)
179             afs_FlushActiveVcaches(0);  /* flush NFS writes */
180         afs_FlushVCBs(1);       /* flush queued callbacks */
181         afs_MaybeWakeupTruncateDaemon();        /* free cache space if have too */
182         rx_CheckPackets();      /* Does RX need more packets? */
183
184         now = osi_Time();
185         if (lastCBSlotBump + CBHTSLOTLEN < now) {       /* pretty time-dependant */
186             lastCBSlotBump = now;
187             if (afs_BumpBase()) {
188                 afs_CheckCallbacks(20); /* unstat anything which will expire soon */
189             }
190         }
191
192         if (last1MinCheck + 60 < now) {
193             /* things to do every minute */
194             DFlush();           /* write out dir buffers */
195             afs_WriteThroughDSlots();   /* write through cacheinfo entries */
196             ObtainWriteLock(&afs_xvcache, 736);
197             afs_FlushReclaimedVcaches();
198             ReleaseWriteLock(&afs_xvcache);
199             afs_FlushActiveVcaches(1);  /* keep flocks held & flush nfs writes */
200 #if 0
201 #ifdef AFS_DISCON_ENV
202             afs_StoreDirtyVcaches();
203 #endif
204 #endif
205             afs_CheckRXEpoch();
206             last1MinCheck = now;
207         }
208
209         if (last3MinCheck + 180 < now) {
210             afs_CheckTokenCache();      /* check for access cache resets due to expired
211                                          * tickets */
212             last3MinCheck = now;
213         }
214         if (!afs_CheckServerDaemonStarted) {
215             /* Do the check here if the correct afsd is not installed. */
216             if (!cs_warned) {
217                 cs_warned = 1;
218                 printf("Please install afsd with check server daemon.\n");
219             }
220             if (lastNMinCheck + afs_probe_interval < now) {
221                 /* only check down servers */
222                 afs_CheckServers(1, NULL);
223                 lastNMinCheck = now;
224             }
225         }
226         if (last10MinCheck + 600 < now) {
227 #ifdef AFS_USERSPACE_IP_ADDR
228             extern int rxi_GetcbiInfo(void);
229 #endif
230             afs_Trace1(afs_iclSetp, CM_TRACE_PROBEUP, ICL_TYPE_INT32, 600);
231 #ifdef AFS_USERSPACE_IP_ADDR
232             if (rxi_GetcbiInfo()) {     /* addresses changed from last time */
233                 afs_FlushCBs();
234             }
235 #else /* AFS_USERSPACE_IP_ADDR */
236             if (rxi_GetIFInfo()) {      /* addresses changed from last time */
237                 afs_FlushCBs();
238             }
239 #endif /* else AFS_USERSPACE_IP_ADDR */
240             if (!afs_CheckServerDaemonStarted)
241                 afs_CheckServers(0, NULL);
242             afs_GCUserData(0);  /* gc old conns */
243             /* This is probably the wrong way of doing GC for the various exporters but it will suffice for a while */
244             for (exporter = root_exported; exporter;
245                  exporter = exporter->exp_next) {
246                 (void)EXP_GC(exporter, 0);      /* Generalize params */
247             }
248             {
249                 static int cnt = 0;
250                 if (++cnt < 12) {
251                     afs_CheckVolumeNames(AFS_VOLCHECK_EXPIRED |
252                                          AFS_VOLCHECK_BUSY);
253                 } else {
254                     cnt = 0;
255                     afs_CheckVolumeNames(AFS_VOLCHECK_EXPIRED |
256                                          AFS_VOLCHECK_BUSY |
257                                          AFS_VOLCHECK_MTPTS);
258                 }
259             }
260             last10MinCheck = now;
261         }
262         if (last60MinCheck + 3600 < now) {
263             afs_Trace1(afs_iclSetp, CM_TRACE_PROBEVOLUME, ICL_TYPE_INT32,
264                        3600);
265             afs_CheckRootVolume();
266 #if AFS_GCPAGS
267             if (afs_gcpags == AFS_GCPAGS_OK) {
268                 afs_int32 didany;
269                 afs_GCPAGs(&didany);
270             }
271 #endif
272             last60MinCheck = now;
273         }
274         if (afs_initState < 300) {      /* while things ain't rosy */
275             code = afs_CheckRootVolume();
276             if (code == 0)
277                 afs_initState = 300;    /* succeeded */
278             if (afs_initState < 200)
279                 afs_initState = 200;    /* tried once */
280             afs_osi_Wakeup(&afs_initState);
281         }
282
283         /* 18285 is because we're trying to divide evenly into 128, that is,
284          * CBSlotLen, while staying just under 20 seconds.  If CBSlotLen
285          * changes, should probably change this interval, too. 
286          * Some of the preceding actions may take quite some time, so we
287          * might not want to wait the entire interval */
288         now = 18285 - (osi_Time() - now);
289         if (now > 0) {
290             afs_osi_Wait(now, &AFS_WaitHandler, 0);
291         }
292
293         if (afs_termState == AFSOP_STOP_AFS) {
294             if (afs_CheckServerDaemonStarted)
295                 afs_termState = AFSOP_STOP_CS;
296             else
297                 afs_termState = AFSOP_STOP_BKG;
298             afs_osi_Wakeup(&afs_termState);
299             return;
300         }
301     }
302 }
303
304 int
305 afs_CheckRootVolume(void)
306 {
307     char rootVolName[32];
308     struct volume *tvp = NULL;
309     int usingDynroot = afs_GetDynrootEnable();
310     int localcell;
311
312     AFS_STATCNT(afs_CheckRootVolume);
313     if (*afs_rootVolumeName == 0) {
314         strcpy(rootVolName, "root.afs");
315     } else {
316         strcpy(rootVolName, afs_rootVolumeName);
317     }
318
319     if (usingDynroot) {
320         afs_GetDynrootFid(&afs_rootFid);
321         tvp = afs_GetVolume(&afs_rootFid, NULL, READ_LOCK);
322     } else {
323         struct cell *lc = afs_GetPrimaryCell(READ_LOCK);
324
325         if (!lc)
326             return ENOENT;
327         localcell = lc->cellNum;
328         afs_PutCell(lc, READ_LOCK);
329         tvp = afs_GetVolumeByName(rootVolName, localcell, 1, NULL, READ_LOCK);
330         if (!tvp) {
331             char buf[128];
332             int len = strlen(rootVolName);
333
334             if ((len < 9) || strcmp(&rootVolName[len - 9], ".readonly")) {
335                 strcpy(buf, rootVolName);
336                 afs_strcat(buf, ".readonly");
337                 tvp = afs_GetVolumeByName(buf, localcell, 1, NULL, READ_LOCK);
338             }
339         }
340         if (tvp) {
341             int volid = (tvp->roVol ? tvp->roVol : tvp->volume);
342             afs_rootFid.Cell = localcell;
343             if (afs_rootFid.Fid.Volume && afs_rootFid.Fid.Volume != volid
344                 && afs_globalVp) {
345                 struct vcache *tvc = afs_globalVp;
346                 /* If we had a root fid before and it changed location we reset
347                  * the afs_globalVp so that it will be reevaluated.
348                  * Just decrement the reference count. This only occurs during
349                  * initial cell setup and can panic the machine if we set the
350                  * count to zero and fs checkv is executed when the current
351                  * directory is /afs.
352                  */
353 #ifdef AFS_LINUX20_ENV
354                 {
355                     struct vrequest treq;
356                     struct vattr vattr;
357                     cred_t *credp;
358                     struct dentry *dp;
359                     struct vcache *vcp;
360                     
361                     afs_rootFid.Fid.Volume = volid;
362                     afs_rootFid.Fid.Vnode = 1;
363                     afs_rootFid.Fid.Unique = 1;
364                     
365                     credp = crref();
366                     if (afs_InitReq(&treq, credp))
367                         goto out;
368                     vcp = afs_GetVCache(&afs_rootFid, &treq, NULL, NULL);
369                     if (!vcp)
370                         goto out;
371                     afs_getattr(vcp, &vattr, credp);
372                     afs_fill_inode(AFSTOV(vcp), &vattr);
373                     
374                     dp = d_find_alias(AFSTOV(afs_globalVp));
375                     
376 #if defined(AFS_LINUX24_ENV)
377                     spin_lock(&dcache_lock);
378 #if defined(AFS_LINUX26_ENV)
379                     spin_lock(&dp->d_lock);
380 #endif
381 #endif
382                     list_del_init(&dp->d_alias);
383                     list_add(&dp->d_alias, &(AFSTOV(vcp)->i_dentry));
384                     dp->d_inode = AFSTOV(vcp);
385 #if defined(AFS_LINUX24_ENV)
386 #if defined(AFS_LINUX26_ENV)
387                     spin_unlock(&dp->d_lock);
388 #endif
389                     spin_unlock(&dcache_lock);
390 #endif
391                     dput(dp);
392                     
393                     AFS_FAST_RELE(afs_globalVp);
394                     afs_globalVp = vcp;
395                 out:
396                     crfree(credp);
397                 }
398 #else
399 #ifdef AFS_DARWIN80_ENV
400                 afs_PutVCache(afs_globalVp);
401 #else
402                 AFS_FAST_RELE(afs_globalVp);
403 #endif
404                 afs_globalVp = 0;
405 #endif
406             }
407             afs_rootFid.Fid.Volume = volid;
408             afs_rootFid.Fid.Vnode = 1;
409             afs_rootFid.Fid.Unique = 1;
410         }
411     }
412     if (tvp) {
413         afs_initState = 300;    /* won */
414         afs_osi_Wakeup(&afs_initState);
415         afs_PutVolume(tvp, READ_LOCK);
416     }
417     if (afs_rootFid.Fid.Volume)
418         return 0;
419     else
420         return ENOENT;
421 }
422
423 /* ptr_parm 0 is the pathname, size_parm 0 to the fetch is the chunk number */
424 static void
425 BPath(register struct brequest *ab)
426 {
427     register struct dcache *tdc = NULL;
428     struct vcache *tvc = NULL;
429     struct vnode *tvn = NULL;
430 #ifdef AFS_LINUX22_ENV
431     struct dentry *dp = NULL;
432 #endif
433     afs_size_t offset, len;
434     struct vrequest treq;
435     afs_int32 code;
436
437     AFS_STATCNT(BPath);
438     if ((code = afs_InitReq(&treq, ab->cred)))
439         return;
440     AFS_GUNLOCK();
441 #ifdef AFS_LINUX22_ENV
442     code = gop_lookupname((char *)ab->ptr_parm[0], AFS_UIOSYS, 1, &dp);
443     if (dp)
444         tvn = (struct vnode *)dp->d_inode;
445 #else
446     code = gop_lookupname((char *)ab->ptr_parm[0], AFS_UIOSYS, 1, &tvn);
447 #endif
448     AFS_GLOCK();
449     osi_FreeLargeSpace((char *)ab->ptr_parm[0]);        /* free path name buffer here */
450     if (code)
451         return;
452     /* now path may not have been in afs, so check that before calling our cache manager */
453     if (!tvn || !IsAfsVnode(tvn)) {
454         /* release it and give up */
455         if (tvn) {
456 #ifdef AFS_LINUX22_ENV
457             dput(dp);
458 #else
459             AFS_RELE(tvn);
460 #endif
461         }
462         return;
463     }
464     tvc = VTOAFS(tvn);
465     /* here we know its an afs vnode, so we can get the data for the chunk */
466     tdc = afs_GetDCache(tvc, ab->size_parm[0], &treq, &offset, &len, 1);
467     if (tdc) {
468         afs_PutDCache(tdc);
469     }
470 #ifdef AFS_LINUX22_ENV
471     dput(dp);
472 #else
473     AFS_RELE(tvn);
474 #endif
475 }
476
477 /* size_parm 0 to the fetch is the chunk number,
478  * ptr_parm 0 is the dcache entry to wakeup,
479  * size_parm 1 is true iff we should release the dcache entry here.
480  */
481 static void
482 BPrefetch(register struct brequest *ab)
483 {
484     register struct dcache *tdc;
485     register struct vcache *tvc;
486     afs_size_t offset, len, abyte, totallen = 0;
487     struct vrequest treq;
488
489     AFS_STATCNT(BPrefetch);
490     if ((len = afs_InitReq(&treq, ab->cred)))
491         return;
492     abyte = ab->size_parm[0];
493     tvc = ab->vc;
494     do {
495         tdc = afs_GetDCache(tvc, abyte, &treq, &offset, &len, 1);
496         if (tdc) {
497             afs_PutDCache(tdc);
498         }
499         abyte+=len; 
500         totallen += len;
501     } while ((totallen < afs_preCache) && tdc && (len > 0));
502     /* now, dude may be waiting for us to clear DFFetchReq bit; do so.  Can't
503      * use tdc from GetDCache since afs_GetDCache may fail, but someone may
504      * be waiting for our wakeup anyway.
505      */
506     tdc = (struct dcache *)(ab->ptr_parm[0]);
507     ObtainSharedLock(&tdc->lock, 640);
508     if (tdc->mflags & DFFetchReq) {
509         UpgradeSToWLock(&tdc->lock, 641);
510         tdc->mflags &= ~DFFetchReq;
511         ReleaseWriteLock(&tdc->lock);
512     } else {
513         ReleaseSharedLock(&tdc->lock);
514     }
515     afs_osi_Wakeup(&tdc->validPos);
516     if (ab->size_parm[1]) {
517         afs_PutDCache(tdc);     /* put this one back, too */
518     }
519 }
520
521 #if defined(AFS_CACHE_BYPASS)
522 #if 1 /* XXX Matt debugging */
523 static
524 #endif
525 void
526 BPrefetchNoCache(register struct brequest *ab)
527 {
528     struct vrequest treq;
529     afs_size_t len;
530         
531     if ((len = afs_InitReq(&treq, ab->cred)))
532         return;
533
534 #ifndef UKERNEL
535     /* OS-specific prefetch routine */
536     afs_PrefetchNoCache(ab->vc, ab->cred, (struct nocache_read_request *) ab->ptr_parm[0]);
537 #else
538 #warning Cache-bypass code path not implemented in UKERNEL
539 #endif
540 }
541 #endif
542
543 static void
544 BStore(register struct brequest *ab)
545 {
546     register struct vcache *tvc;
547     register afs_int32 code;
548     struct vrequest treq;
549 #if defined(AFS_SGI_ENV)
550     struct cred *tmpcred;
551 #endif
552
553     AFS_STATCNT(BStore);
554     if ((code = afs_InitReq(&treq, ab->cred)))
555         return;
556     code = 0;
557     tvc = ab->vc;
558 #if defined(AFS_SGI_ENV)
559     /*
560      * Since StoreOnLastReference can end up calling osi_SyncVM which
561      * calls into VM code that assumes that u.u_cred has the
562      * correct credentials, we set our to theirs for this xaction
563      */
564     tmpcred = OSI_GET_CURRENT_CRED();
565     OSI_SET_CURRENT_CRED(ab->cred);
566
567     /*
568      * To avoid recursion since the WriteLock may be released during VM
569      * operations, we hold the VOP_RWLOCK across this transaction as
570      * do the other callers of StoreOnLastReference
571      */
572     AFS_RWLOCK((vnode_t *) tvc, 1);
573 #endif
574     ObtainWriteLock(&tvc->lock, 209);
575     code = afs_StoreOnLastReference(tvc, &treq);
576     ReleaseWriteLock(&tvc->lock);
577 #if defined(AFS_SGI_ENV)
578     OSI_SET_CURRENT_CRED(tmpcred);
579     AFS_RWUNLOCK((vnode_t *) tvc, 1);
580 #endif
581     /* now set final return code, and wakeup anyone waiting */
582     if ((ab->flags & BUVALID) == 0) {
583         ab->code = afs_CheckCode(code, &treq, 43);      /* set final code, since treq doesn't go across processes */
584         ab->flags |= BUVALID;
585         if (ab->flags & BUWAIT) {
586             ab->flags &= ~BUWAIT;
587             afs_osi_Wakeup(ab);
588         }
589     }
590 }
591
592 /* release a held request buffer */
593 void
594 afs_BRelease(register struct brequest *ab)
595 {
596
597     AFS_STATCNT(afs_BRelease);
598     MObtainWriteLock(&afs_xbrs, 294);
599     if (--ab->refCount <= 0) {
600         ab->flags = 0;
601     }
602     if (afs_brsWaiters)
603         afs_osi_Wakeup(&afs_brsWaiters);
604     MReleaseWriteLock(&afs_xbrs);
605 }
606
607 /* return true if bkg fetch daemons are all busy */
608 int
609 afs_BBusy(void)
610 {
611     AFS_STATCNT(afs_BBusy);
612     if (afs_brsDaemons > 0)
613         return 0;
614     return 1;
615 }
616
617 struct brequest *
618 afs_BQueue(register short aopcode, register struct vcache *avc,
619            afs_int32 dontwait, afs_int32 ause, struct AFS_UCRED *acred,
620            afs_size_t asparm0, afs_size_t asparm1, void *apparm0)
621 {
622     register int i;
623     register struct brequest *tb;
624
625     AFS_STATCNT(afs_BQueue);
626     MObtainWriteLock(&afs_xbrs, 296);
627     while (1) {
628         tb = afs_brs;
629         for (i = 0; i < NBRS; i++, tb++) {
630             if (tb->refCount == 0)
631                 break;
632         }
633         if (i < NBRS) {
634             /* found a buffer */
635             tb->opcode = aopcode;
636             tb->vc = avc;
637             tb->cred = acred;
638             crhold(tb->cred);
639             if (avc) {
640                 VN_HOLD(AFSTOV(avc));
641             }
642             tb->refCount = ause + 1;
643             tb->size_parm[0] = asparm0;
644             tb->size_parm[1] = asparm1;
645             tb->ptr_parm[0] = apparm0;
646             tb->flags = 0;
647             tb->code = 0;
648             tb->ts = afs_brs_count++;
649             /* if daemons are waiting for work, wake them up */
650             if (afs_brsDaemons > 0) {
651                 afs_osi_Wakeup(&afs_brsDaemons);
652             }
653             MReleaseWriteLock(&afs_xbrs);
654             return tb;
655         }
656         if (dontwait) {
657             MReleaseWriteLock(&afs_xbrs);
658             return NULL;
659         }
660         /* no free buffers, sleep a while */
661         afs_brsWaiters++;
662         MReleaseWriteLock(&afs_xbrs);
663         afs_osi_Sleep(&afs_brsWaiters);
664         MObtainWriteLock(&afs_xbrs, 301);
665         afs_brsWaiters--;
666     }
667 }
668
669 #ifdef AFS_AIX41_ENV
670 /* AIX 4.1 has a much different sleep/wakeup mechanism available for use. 
671  * The modifications here will work for either a UP or MP machine.
672  */
673 struct buf *afs_asyncbuf = (struct buf *)0;
674 tid_t afs_asyncbuf_cv = EVENT_NULL;
675 afs_int32 afs_biodcnt = 0;
676
677 /* in implementing this, I assumed that all external linked lists were
678  * null-terminated.  
679  *
680  * Several places in this code traverse a linked list.  The algorithm
681  * used here is probably unfamiliar to most people.  Careful examination
682  * will show that it eliminates an assignment inside the loop, as compared
683  * to the standard algorithm, at the cost of occasionally using an extra
684  * variable.
685  */
686
687 /* get_bioreq()
688  *
689  * This function obtains, and returns, a pointer to a buffer for
690  * processing by a daemon.  It sleeps until such a buffer is available.
691  * The source of buffers for it is the list afs_asyncbuf (see also 
692  * afs_gn_strategy).  This function may be invoked concurrently by
693  * several processes, that is, several instances of the same daemon.
694  * afs_gn_strategy, which adds buffers to the list, runs at interrupt
695  * level, while get_bioreq runs at process level.
696  *
697  * Since AIX 4.1 can wake just one process at a time, the separate sleep
698  * addresses have been removed.
699  * Note that the kernel_lock is held until the e_sleep_thread() occurs. 
700  * The afs_asyncbuf_lock is primarily used to serialize access between
701  * process and interrupts.
702  */
703 Simple_lock afs_asyncbuf_lock;
704 struct buf *
705 afs_get_bioreq()
706 {
707     struct buf *bp = NULL;
708     struct buf *bestbp;
709     struct buf **bestlbpP, **lbpP;
710     long bestage, stop;
711     struct buf *t1P, *t2P;      /* temp pointers for list manipulation */
712     int oldPriority;
713     afs_uint32 wait_ret;
714     struct afs_bioqueue *s;
715
716     /* ??? Does the forward pointer of the returned buffer need to be NULL?
717      */
718
719     /* Disable interrupts from the strategy function, and save the 
720      * prior priority level and lock access to the afs_asyncbuf.
721      */
722     AFS_GUNLOCK();
723     oldPriority = disable_lock(INTMAX, &afs_asyncbuf_lock);
724
725     while (1) {
726         if (afs_asyncbuf) {
727             /* look for oldest buffer */
728             bp = bestbp = afs_asyncbuf;
729             bestage = (long)bestbp->av_back;
730             bestlbpP = &afs_asyncbuf;
731             while (1) {
732                 lbpP = &bp->av_forw;
733                 bp = *lbpP;
734                 if (!bp)
735                     break;
736                 if ((long)bp->av_back - bestage < 0) {
737                     bestbp = bp;
738                     bestlbpP = lbpP;
739                     bestage = (long)bp->av_back;
740                 }
741             }
742             bp = bestbp;
743             *bestlbpP = bp->av_forw;
744             break;
745         } else {
746             /* If afs_asyncbuf is null, it is necessary to go to sleep.
747              * e_wakeup_one() ensures that only one thread wakes.
748              */
749             int interrupted;
750             /* The LOCK_HANDLER indicates to e_sleep_thread to only drop the
751              * lock on an MP machine.
752              */
753             interrupted =
754                 e_sleep_thread(&afs_asyncbuf_cv, &afs_asyncbuf_lock,
755                                LOCK_HANDLER | INTERRUPTIBLE);
756             if (interrupted == THREAD_INTERRUPTED) {
757                 /* re-enable interrupts from strategy */
758                 unlock_enable(oldPriority, &afs_asyncbuf_lock);
759                 AFS_GLOCK();
760                 return (NULL);
761             }
762         }                       /* end of "else asyncbuf is empty" */
763     }                           /* end of "inner loop" */
764
765     /*assert (bp); */
766
767     unlock_enable(oldPriority, &afs_asyncbuf_lock);
768     AFS_GLOCK();
769
770     /* For the convenience of other code, replace the gnodes in
771      * the b_vp field of bp and the other buffers on the b_work
772      * chain with the corresponding vnodes.   
773      *
774      * ??? what happens to the gnodes?  They're not just cut loose,
775      * are they?
776      */
777     for (t1P = bp;;) {
778         t2P = (struct buf *)t1P->b_work;
779         t1P->b_vp = ((struct gnode *)t1P->b_vp)->gn_vnode;
780         if (!t2P)
781             break;
782
783         t1P = (struct buf *)t2P->b_work;
784         t2P->b_vp = ((struct gnode *)t2P->b_vp)->gn_vnode;
785         if (!t1P)
786             break;
787     }
788
789     /* If the buffer does not specify I/O, it may immediately
790      * be returned to the caller.  This condition is detected
791      * by examining the buffer's flags (the b_flags field).  If
792      * the B_PFPROT bit is set, the buffer represents a protection
793      * violation, rather than a request for I/O.  The remainder
794      * of the outer loop handles the case where the B_PFPROT bit is clear.
795      */
796     if (bp->b_flags & B_PFPROT) {
797         return (bp);
798     }
799     return (bp);
800
801 }                               /* end of function get_bioreq() */
802
803
804 /* afs_BioDaemon
805  *
806  * This function is the daemon.  It is called from the syscall
807  * interface.  Ordinarily, a script or an administrator will run a
808  * daemon startup utility, specifying the number of I/O daemons to
809  * run.  The utility will fork off that number of processes,
810  * each making the appropriate syscall, which will cause this
811  * function to be invoked.
812  */
813 static int afs_initbiod = 0;    /* this is self-initializing code */
814 int DOvmlock = 0;
815 int
816 afs_BioDaemon(afs_int32 nbiods)
817 {
818     afs_int32 code, s, pflg = 0;
819     label_t jmpbuf;
820     struct buf *bp, *bp1, *tbp1, *tbp2; /* temp pointers only */
821     caddr_t tmpaddr;
822     struct vnode *vp;
823     struct vcache *vcp;
824     char tmperr;
825     if (!afs_initbiod) {
826         /* XXX ###1 XXX */
827         afs_initbiod = 1;
828         /* pin lock, since we'll be using it in an interrupt. */
829         lock_alloc(&afs_asyncbuf_lock, LOCK_ALLOC_PIN, 2, 1);
830         simple_lock_init(&afs_asyncbuf_lock);
831         pin(&afs_asyncbuf, sizeof(struct buf *));
832         pin(&afs_asyncbuf_cv, sizeof(afs_int32));
833     }
834
835     /* Ignore HUP signals... */
836     {
837         sigset_t sigbits, osigbits;
838         /*
839          * add SIGHUP to the set of already masked signals
840          */
841         SIGFILLSET(sigbits);    /* allow all signals    */
842         SIGDELSET(sigbits, SIGHUP);     /*   except SIGHUP      */
843         limit_sigs(&sigbits, &osigbits);        /*   and already masked */
844     }
845     /* Main body starts here -- this is an intentional infinite loop, and
846      * should NEVER exit 
847      *
848      * Now, the loop will exit if get_bioreq() returns NULL, indicating 
849      * that we've been interrupted.
850      */
851     while (1) {
852         bp = afs_get_bioreq();
853         if (!bp)
854             break;              /* we were interrupted */
855         if (code = setjmpx(&jmpbuf)) {
856             /* This should not have happend, maybe a lack of resources  */
857             AFS_GUNLOCK();
858             s = disable_lock(INTMAX, &afs_asyncbuf_lock);
859             for (bp1 = bp; bp; bp = bp1) {
860                 if (bp1)
861                     bp1 = (struct buf *)bp1->b_work;
862                 bp->b_actf = 0;
863                 bp->b_error = code;
864                 bp->b_flags |= B_ERROR;
865                 iodone(bp);
866             }
867             unlock_enable(s, &afs_asyncbuf_lock);
868             AFS_GLOCK();
869             continue;
870         }
871         vcp = VTOAFS(bp->b_vp);
872         if (bp->b_flags & B_PFSTORE) {  /* XXXX */
873             ObtainWriteLock(&vcp->lock, 404);
874             if (vcp->v.v_gnode->gn_mwrcnt) {
875                 afs_offs_t newlength =
876                     (afs_offs_t) dbtob(bp->b_blkno) + bp->b_bcount;
877                 if (vcp->f.m.Length < newlength) {
878                     afs_Trace4(afs_iclSetp, CM_TRACE_SETLENGTH,
879                                ICL_TYPE_STRING, __FILE__, ICL_TYPE_LONG,
880                                __LINE__, ICL_TYPE_OFFSET,
881                                ICL_HANDLE_OFFSET(vcp->f.m.Length),
882                                ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(newlength));
883                     vcp->f.m.Length = newlength;
884                 }
885             }
886             ReleaseWriteLock(&vcp->lock);
887         }
888         /* If the buffer represents a protection violation, rather than
889          * an actual request for I/O, no special action need be taken.  
890          */
891         if (bp->b_flags & B_PFPROT) {
892             iodone(bp);         /* Notify all users of the buffer that we're done */
893             clrjmpx(&jmpbuf);
894             continue;
895         }
896         if (DOvmlock)
897             ObtainWriteLock(&vcp->pvmlock, 211);
898         /*
899          * First map its data area to a region in the current address space
900          * by calling vm_att with the subspace identifier, and a pointer to
901          * the data area.  vm_att returns  a new data area pointer, but we
902          * also want to hang onto the old one.
903          */
904         tmpaddr = bp->b_baddr;
905         bp->b_baddr = (caddr_t) vm_att(bp->b_xmemd.subspace_id, tmpaddr);
906         tmperr = afs_ustrategy(bp);     /* temp variable saves offset calculation */
907         if (tmperr) {           /* in non-error case */
908             bp->b_flags |= B_ERROR;     /* should other flags remain set ??? */
909             bp->b_error = tmperr;
910         }
911
912         /* Unmap the buffer's data area by calling vm_det.  Reset data area
913          * to the value that we saved above.
914          */
915         vm_det(bp->b_baddr);
916         bp->b_baddr = tmpaddr;
917
918         /*
919          * buffer may be linked with other buffers via the b_work field.
920          * See also afs_gn_strategy.  For each buffer in the chain (including
921          * bp) notify all users of the buffer that the daemon is finished
922          * using it by calling iodone.  
923          * assumes iodone can modify the b_work field.
924          */
925         for (tbp1 = bp;;) {
926             tbp2 = (struct buf *)tbp1->b_work;
927             iodone(tbp1);
928             if (!tbp2)
929                 break;
930
931             tbp1 = (struct buf *)tbp2->b_work;
932             iodone(tbp2);
933             if (!tbp1)
934                 break;
935         }
936         if (DOvmlock)
937             ReleaseWriteLock(&vcp->pvmlock);    /* Unlock the vnode.  */
938         clrjmpx(&jmpbuf);
939     }                           /* infinite loop (unless we're interrupted) */
940 }                               /* end of afs_BioDaemon() */
941
942 #endif /* AFS_AIX41_ENV */
943
944
945 int afs_nbrs = 0;
946 void
947 afs_BackgroundDaemon(void)
948 {
949     struct brequest *tb;
950     int i, foundAny;
951
952     AFS_STATCNT(afs_BackgroundDaemon);
953     /* initialize subsystem */
954     if (brsInit == 0) {
955         LOCK_INIT(&afs_xbrs, "afs_xbrs");
956         memset((char *)afs_brs, 0, sizeof(afs_brs));
957         brsInit = 1;
958 #if defined (AFS_SGI_ENV) && defined(AFS_SGI_SHORTSTACK)
959         /*
960          * steal the first daemon for doing delayed DSlot flushing
961          * (see afs_GetDownDSlot)
962          */
963         AFS_GUNLOCK();
964         afs_sgidaemon();
965         return;
966 #endif
967     }
968     afs_nbrs++;
969
970     MObtainWriteLock(&afs_xbrs, 302);
971     while (1) {
972         int min_ts = 0;
973         struct brequest *min_tb = NULL;
974
975         if (afs_termState == AFSOP_STOP_BKG) {
976             if (--afs_nbrs <= 0)
977                 afs_termState = AFSOP_STOP_TRUNCDAEMON;
978             MReleaseWriteLock(&afs_xbrs);
979             afs_osi_Wakeup(&afs_termState);
980             return;
981         }
982
983         /* find a request */
984         tb = afs_brs;
985         foundAny = 0;
986         for (i = 0; i < NBRS; i++, tb++) {
987             /* look for request with smallest ts */
988             if ((tb->refCount > 0) && !(tb->flags & BSTARTED)) {
989                 /* new request, not yet picked up */
990                 if ((min_tb && (min_ts - tb->ts > 0)) || !min_tb) {
991                     min_tb = tb;
992                     min_ts = tb->ts;
993                 }
994             }
995         }
996         if ((tb = min_tb)) {
997             /* claim and process this request */
998             tb->flags |= BSTARTED;
999             MReleaseWriteLock(&afs_xbrs);
1000             foundAny = 1;
1001             afs_Trace1(afs_iclSetp, CM_TRACE_BKG1, ICL_TYPE_INT32,
1002                        tb->opcode);
1003             if (tb->opcode == BOP_FETCH)
1004                 BPrefetch(tb);
1005 #if defined(AFS_CACHE_BYPASS)           
1006                 else if (tb->opcode == BOP_FETCH_NOCACHE)
1007                 BPrefetchNoCache(tb);
1008 #endif          
1009             else if (tb->opcode == BOP_STORE)
1010                 BStore(tb);
1011             else if (tb->opcode == BOP_PATH)
1012                 BPath(tb);
1013             else
1014                 panic("background bop");
1015             if (tb->vc) {
1016                 AFS_RELE(AFSTOV(tb->vc));       /* MUST call vnode layer or could lose vnodes */
1017                 tb->vc = NULL;
1018             }
1019             if (tb->cred) {
1020                 crfree(tb->cred);
1021                 tb->cred = (struct AFS_UCRED *)0;
1022             }
1023             afs_BRelease(tb);   /* this grabs and releases afs_xbrs lock */
1024             MObtainWriteLock(&afs_xbrs, 305);
1025         }
1026         if (!foundAny) {
1027             /* wait for new request */
1028             afs_brsDaemons++;
1029             MReleaseWriteLock(&afs_xbrs);
1030             afs_osi_Sleep(&afs_brsDaemons);
1031             MObtainWriteLock(&afs_xbrs, 307);
1032             afs_brsDaemons--;
1033         }
1034     }
1035 }
1036
1037
1038 void
1039 shutdown_daemons(void)
1040 {
1041     AFS_STATCNT(shutdown_daemons);
1042     if (afs_cold_shutdown) {
1043         afs_brsDaemons = brsInit = 0;
1044         rxepoch_checked = afs_nbrs = 0;
1045         memset((char *)afs_brs, 0, sizeof(afs_brs));
1046         memset((char *)&afs_xbrs, 0, sizeof(afs_lock_t));
1047         afs_brsWaiters = 0;
1048 #ifdef AFS_AIX41_ENV
1049         lock_free(&afs_asyncbuf_lock);
1050         unpin(&afs_asyncbuf, sizeof(struct buf *));
1051         unpin(&afs_asyncbuf_cv, sizeof(afs_int32));
1052         afs_initbiod = 0;
1053 #endif
1054     }
1055 }
1056
1057 #if defined(AFS_SGI_ENV) && defined(AFS_SGI_SHORTSTACK)
1058 /*
1059  * sgi - daemon - handles certain operations that otherwise
1060  * would use up too much kernel stack space
1061  *
1062  * This all assumes that since the caller must have the xdcache lock
1063  * exclusively that the list will never be more than one long
1064  * and noone else can attempt to add anything until we're done.
1065  */
1066 SV_TYPE afs_sgibksync;
1067 SV_TYPE afs_sgibkwait;
1068 lock_t afs_sgibklock;
1069 struct dcache *afs_sgibklist;
1070
1071 int
1072 afs_sgidaemon(void)
1073 {
1074     int s;
1075     struct dcache *tdc;
1076
1077     if (afs_sgibklock == NULL) {
1078         SV_INIT(&afs_sgibksync, "bksync", 0, 0);
1079         SV_INIT(&afs_sgibkwait, "bkwait", 0, 0);
1080         SPINLOCK_INIT(&afs_sgibklock, "bklock");
1081     }
1082     s = SPLOCK(afs_sgibklock);
1083     for (;;) {
1084         /* wait for something to do */
1085         SP_WAIT(afs_sgibklock, s, &afs_sgibksync, PINOD);
1086         osi_Assert(afs_sgibklist);
1087
1088         /* XX will probably need to generalize to real list someday */
1089         s = SPLOCK(afs_sgibklock);
1090         while (afs_sgibklist) {
1091             tdc = afs_sgibklist;
1092             afs_sgibklist = NULL;
1093             SPUNLOCK(afs_sgibklock, s);
1094             AFS_GLOCK();
1095             tdc->dflags &= ~DFEntryMod;
1096             afs_WriteDCache(tdc, 1);
1097             AFS_GUNLOCK();
1098             s = SPLOCK(afs_sgibklock);
1099         }
1100
1101         /* done all the work - wake everyone up */
1102         while (SV_SIGNAL(&afs_sgibkwait));
1103     }
1104 }
1105 #endif