macos: fix race in afs_root
[openafs.git] / src / afs / afs_vcache.c
index ef41442..d93ed55 100644 (file)
@@ -58,9 +58,7 @@ char *makesname();
 #endif /* AFS_SGI64_ENV */
 
 /* Exported variables */
-#ifdef AFS_DISCON_ENV
 afs_rwlock_t afs_xvcdirty;     /*Lock: discon vcache dirty list mgmt */
-#endif
 afs_rwlock_t afs_xvcache;      /*Lock: alloc new stat cache entries */
 afs_rwlock_t afs_xvreclaim;    /*Lock: entries reclaimed, not on free list */
 afs_lock_t afs_xvcb;           /*Lock: fids on which there are callbacks */
@@ -79,19 +77,17 @@ afs_int32 afs_bulkStatsLost;
 int afs_norefpanic = 0;
 
 
-/* Disk backed vcache definitions 
+/* Disk backed vcache definitions
  * Both protected by xvcache */
-#ifdef AFS_DISCON_ENV
 static int afs_nextVcacheSlot = 0;
 static struct afs_slotlist *afs_freeSlotList = NULL;
-#endif
 
 /* Forward declarations */
-static afs_int32 afs_QueueVCB(struct vcache *avc);
+static afs_int32 afs_QueueVCB(struct vcache *avc, int *slept);
 
 /*!
  * Generate an index into the hash table for a given Fid.
- * \param fid 
+ * \param fid
  * \return The hash value.
  */
 static int
@@ -209,7 +205,8 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     vn_reinit(AFSTOV(avc));
 #endif
     afs_FreeAllAxs(&(avc->Access));
-    afs_QueueVCB(avc);
+    if (!afs_shuttingdown)
+       afs_QueueVCB(avc, slept);
     ObtainWriteLock(&afs_xcbhash, 460);
     afs_DequeueCallback(avc);  /* remove it from queued callbacks list */
     avc->f.states &= ~(CStatd | CUnique);
@@ -262,7 +259,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
 /*!
  *  The core of the inactive vnode op for all but IRIX.
  *
- * \param avc 
+ * \param avc
  * \param acred
  */
 void
@@ -297,23 +294,22 @@ afs_InactiveVCache(struct vcache *avc, afs_ucred_t *acred)
  */
 static struct afs_cbr *afs_cbrSpace = 0;
 /* if alloc limit below changes, fix me! */
-static struct afs_cbr *afs_cbrHeads[2];
+static struct afs_cbr *afs_cbrHeads[16];
 struct afs_cbr *
 afs_AllocCBR(void)
 {
-    register struct afs_cbr *tsp;
+    struct afs_cbr *tsp;
     int i;
 
     while (!afs_cbrSpace) {
-       if (afs_stats_cmperf.CallBackAlloced >= 2) {
-           /* don't allocate more than 2 * AFS_NCBRS for now */
+       if (afs_stats_cmperf.CallBackAlloced >= sizeof(afs_cbrHeads)/sizeof(afs_cbrHeads[0])) {
+           /* don't allocate more than 16 * AFS_NCBRS for now */
            afs_FlushVCBs(0);
            afs_stats_cmperf.CallBackFlushes++;
        } else {
            /* try allocating */
-           tsp =
-               (struct afs_cbr *)afs_osi_Alloc(AFS_NCBRS *
-                                               sizeof(struct afs_cbr));
+           tsp = afs_osi_Alloc(AFS_NCBRS * sizeof(struct afs_cbr));
+           osi_Assert(tsp != NULL);
            for (i = 0; i < AFS_NCBRS - 1; i++) {
                tsp[i].next = &tsp[i + 1];
            }
@@ -338,7 +334,7 @@ afs_AllocCBR(void)
  * \rerurn 0
  */
 int
-afs_FreeCBR(register struct afs_cbr *asp)
+afs_FreeCBR(struct afs_cbr *asp)
 {
     *(asp->pprev) = asp->next;
     if (asp->next)
@@ -353,6 +349,39 @@ afs_FreeCBR(register struct afs_cbr *asp)
     return 0;
 }
 
+static void
+FlushAllVCBs(struct rx_connection **rxconns, int nconns, int nservers,
+            struct afs_conn **conns, struct srvAddr **addrs)
+{
+    afs_int32 *results;
+    afs_int32 i;
+
+    results = afs_osi_Alloc(nservers * sizeof (afs_int32));
+    osi_Assert(results != NULL);
+
+    AFS_GUNLOCK();
+    multi_Rx(rxconns,nconns)
+    {
+        multi_RXAFS_GiveUpAllCallBacks();
+        results[multi_i] = multi_error;
+    } multi_End;
+    AFS_GLOCK();
+
+    /*
+     * Freeing the CBR will unlink it from the server's CBR list
+     * do it here, not in the loop, because a dynamic CBR will call
+     * into the memory management routines.
+     */
+    for ( i = 0 ; i < nconns ; i++ ) {
+       if (results[i] == 0) {
+           /* Unchain all of them */
+           while (addrs[i]->server->cbrs)
+               afs_FreeCBR(addrs[i]->server->cbrs);
+       }
+    }
+    afs_osi_Free(results, nservers * sizeof(afs_int32));
+}
+
 /*!
  *   Flush all queued callbacks to all servers.
  *
@@ -377,13 +406,27 @@ afs_FlushVCBs(afs_int32 lockit)
     struct afs_conn *tc;
     int safety1, safety2, safety3;
     XSTATS_DECLS;
+
+    if (AFS_IS_DISCONNECTED)
+       return ENETDOWN;
+
     if ((code = afs_InitReq(&treq, afs_osi_credp)))
        return code;
     treq.flags |= O_NONBLOCK;
     tfids = afs_osi_Alloc(sizeof(struct AFSFid) * AFS_MAXCBRSCALL);
+    osi_Assert(tfids != NULL);
 
     if (lockit)
        ObtainWriteLock(&afs_xvcb, 273);
+    /*
+     * Shutting down.
+     * First, attempt a multi across everything, all addresses
+     * for all servers we know of.
+     */
+
+    if (lockit == 2)
+       afs_LoopServers(AFS_LS_ALL, NULL, 0, FlushAllVCBs, NULL);
+
     ObtainReadLock(&afs_xserver);
     for (i = 0; i < NSERVERS; i++) {
        for (safety1 = 0, tsp = afs_servers[i];
@@ -399,6 +442,7 @@ afs_FlushVCBs(afs_int32 lockit)
            tcount = 0;         /* number found so far */
            for (safety2 = 0; safety2 < afs_cacheStats; safety2++) {
                if (tcount >= AFS_MAXCBRSCALL || !tsp->cbrs) {
+                   struct rx_connection *rxconn;
                    /* if buffer is full, or we've queued all we're going
                     * to from this server, we should flush out the
                     * callbacks.
@@ -412,20 +456,20 @@ afs_FlushVCBs(afs_int32 lockit)
                    for (safety3 = 0; safety3 < AFS_MAXHOSTS * 2; safety3++) {
                        tc = afs_ConnByHost(tsp, tsp->cell->fsport,
                                            tsp->cell->cellNum, &treq, 0,
-                                           SHARED_LOCK);
+                                           SHARED_LOCK, &rxconn);
                        if (tc) {
                            XSTATS_START_TIME
                                (AFS_STATS_FS_RPCIDX_GIVEUPCALLBACKS);
                            RX_AFS_GUNLOCK();
                            code =
-                               RXAFS_GiveUpCallBacks(tc->id, &fidArray,
+                               RXAFS_GiveUpCallBacks(rxconn, &fidArray,
                                                      &cbArray);
                            RX_AFS_GLOCK();
                            XSTATS_END_TIME;
                        } else
                            code = -1;
                        if (!afs_Analyze
-                           (tc, code, 0, &treq,
+                           (tc, rxconn, code, 0, &treq,
                             AFS_STATS_FS_RPCIDX_GIVEUPCALLBACKS, SHARED_LOCK,
                             tsp->cell)) {
                            break;
@@ -479,17 +523,20 @@ afs_FlushVCBs(afs_int32 lockit)
  * Environment:
  *     Locks the xvcb lock.
  *     Called when the xvcache lock is already held.
+ * RACE: afs_xvcache may be dropped and reacquired
  *
  * \param avc vcache entry
+ * \param slep Set to 1 if we dropped afs_xvcache
  * \return 1 if queued, 0 otherwise
  */
 
 static afs_int32
-afs_QueueVCB(struct vcache *avc)
+afs_QueueVCB(struct vcache *avc, int *slept)
 {
     int queued = 0;
     struct server *tsp;
     struct afs_cbr *tcbp;
+    int reacquire = 0;
 
     AFS_STATCNT(afs_QueueVCB);
 
@@ -506,6 +553,15 @@ afs_QueueVCB(struct vcache *avc)
     /* The callback is really just a struct server ptr. */
     tsp = (struct server *)(avc->callback);
 
+    if (!afs_cbrSpace) {
+       /* If we don't have CBR space, AllocCBR may block or hit the net for
+        * clearing up CBRs. Hitting the net may involve a fileserver
+        * needing to contact us, so we must drop xvcache so we don't block
+        * those requests from going through. */
+       reacquire = *slept = 1;
+       ReleaseWriteLock(&afs_xvcache);
+    }
+
     /* we now have a pointer to the server, so we just allocate
      * a queue entry and queue it.
      */
@@ -525,6 +581,11 @@ afs_QueueVCB(struct vcache *avc)
  done:
     /* now release locks and return */
     ReleaseWriteLock(&afs_xvcb);
+
+    if (reacquire) {
+       /* make sure this is after dropping xvcb, for locking order */
+       ObtainWriteLock(&afs_xvcache, 279);
+    }
     return queued;
 }
 
@@ -567,13 +628,13 @@ afs_RemoveVCB(struct VenusFid *afid)
     ReleaseWriteLock(&afs_xvcb);
 }
 
-void 
+void
 afs_FlushReclaimedVcaches(void)
 {
 #if !defined(AFS_LINUX22_ENV)
     struct vcache *tvc;
     int code, fv_slept;
-    struct vcache *tmpReclaimedVCList = NULL;  
+    struct vcache *tmpReclaimedVCList = NULL;
 
     ObtainWriteLock(&afs_xvreclaim, 76);
     while (ReclaimedVCList) {
@@ -604,7 +665,7 @@ afs_FlushReclaimedVcaches(void)
           afs_osi_Wakeup(&tvc->f.states);
        }
     }
-    if (tmpReclaimedVCList) 
+    if (tmpReclaimedVCList)
        ReclaimedVCList = tmpReclaimedVCList;
 
     ReleaseWriteLock(&afs_xvreclaim);
@@ -644,7 +705,7 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
     afs_int32 i, loop;
     struct vcache *tvc;
     struct afs_q *tq, *uq;
-    int fv_slept;
+    int fv_slept, defersleep = 0;
     afs_int32 target = anumber;
 
     i = 0;
@@ -659,10 +720,12 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
            refpanic("Exceeded pool of AFS vnodes(VLRU cycle?)");
        } else if (QNext(uq) != tq) {
            refpanic("VLRU inconsistent");
+       } else if (tvc->f.states & CVInit) {
+           continue;
        }
 
        fv_slept = 0;
-       if (osi_TryEvictVCache(tvc, &fv_slept))
+       if (osi_TryEvictVCache(tvc, &fv_slept, defersleep))
            anumber--;
 
        if (fv_slept) {
@@ -672,8 +735,14 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
            i = 0;
            continue;   /* start over - may have raced. */
        }
-       if (tq == uq)
+       if (tq == uq) {
+           if (anumber && !defersleep) {
+               defersleep = 1;
+               tq = VLRU.prev;
+               continue;
+           }
            break;
+       }
     }
     if (!afsd_dynamic_vcaches && anumber == target) {
        afs_warn("afs_ShakeLooseVCaches: warning none freed, using %d of %d\n",
@@ -686,7 +755,7 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
 /* Alloc new vnode. */
 
 static struct vcache *
-afs_AllocVCache(void) 
+afs_AllocVCache(void)
 {
     struct vcache *tvc;
 
@@ -702,13 +771,12 @@ afs_AllocVCache(void)
 
     afs_stats_cmperf.vcacheXAllocs++;  /* count in case we have a leak */
 
-#ifdef AFS_DISCON_ENV
     /* If we create a new inode, we either give it a new slot number,
      * or if one's available, use a slot number from the slot free list
      */
     if (afs_freeSlotList != NULL) {
        struct afs_slotlist *tmp;
-   
+
        tvc->diskSlot = afs_freeSlotList->slot;
        tmp = afs_freeSlotList;
        afs_freeSlotList = tmp->next;
@@ -716,7 +784,6 @@ afs_AllocVCache(void)
     }  else {
        tvc->diskSlot = afs_nextVcacheSlot++;
     }
-#endif
 
     return tvc;
 }
@@ -729,17 +796,13 @@ static void
 afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
                      struct server *serverp) {
 
-#if defined(AFS_DISCON_ENV)
     afs_uint32 slot;
     slot = avc->diskSlot;
-#endif
 
     osi_PrePopulateVCache(avc);
 
-#if defined(AFS_DISCON_ENV)
     avc->diskSlot = slot;
     QZero(&avc->metadirty);
-#endif
 
     AFS_RWLOCK_INIT(&avc->lock, "vcache lock");
 
@@ -768,6 +831,33 @@ afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
 #endif
 }
 
+void
+afs_FlushAllVCaches(void)
+{
+    int i;
+    struct vcache *tvc, *nvc;
+
+    ObtainWriteLock(&afs_xvcache, 867);
+
+ retry:
+    for (i = 0; i < VCSIZE; i++) {
+       for (tvc = afs_vhashT[i]; tvc; tvc = nvc) {
+           int slept;
+
+           nvc = tvc->hnext;
+           if (afs_FlushVCache(tvc, &slept)) {
+               afs_warn("Failed to flush vcache 0x%lx\n", (unsigned long)(uintptrsz)tvc);
+           }
+           if (slept) {
+               goto retry;
+           }
+           tvc = nvc;
+       }
+    }
+
+    ReleaseWriteLock(&afs_xvcache);
+}
+
 /*!
  *   This routine is responsible for allocating a new cache entry
  * from the free list.  It formats the cache entry and inserts it
@@ -794,7 +884,7 @@ afs_NewVCache_int(struct VenusFid *afid, struct server *serverp, int seq)
     afs_FlushReclaimedVcaches();
 
 #if defined(AFS_LINUX22_ENV)
-    if(!afsd_dynamic_vcaches) {
+    if(!afsd_dynamic_vcaches && afs_vcount >= afs_maxvcount) {
        afs_ShakeLooseVCaches(anumber);
        if (afs_vcount >= afs_maxvcount) {
            afs_warn("afs_NewVCache - none freed\n");
@@ -814,6 +904,7 @@ afs_NewVCache_int(struct VenusFid *afid, struct server *serverp, int seq)
        tvc = freeVCList;       /* take from free list */
        freeVCList = tvc->nextfree;
        tvc->nextfree = NULL;
+       afs_vcount++; /* balanced by FlushVCache */
     } /* end of if (!freeVCList) */
 
 #endif /* AFS_LINUX22_ENV */
@@ -834,7 +925,7 @@ afs_NewVCache_int(struct VenusFid *afid, struct server *serverp, int seq)
     tvc->hnext = afs_vhashT[i];
     afs_vhashT[i] = tvc;
     QAdd(&afs_vhashTV[j], &tvc->vhashq);
-    
+
     if ((VLRU.next->prev != &VLRU) || (VLRU.prev->next != &VLRU)) {
         refpanic("NewVCache VLRU inconsistent");
     }
@@ -894,12 +985,12 @@ afs_NewBulkVCache(struct VenusFid *afid, struct server *serverp, int seq)
  * \param doflocks : Do we handle flocks?
  */
 void
-afs_FlushActiveVcaches(register afs_int32 doflocks)
+afs_FlushActiveVcaches(afs_int32 doflocks)
 {
-    register struct vcache *tvc;
-    register int i;
-    register struct afs_conn *tc;
-    register afs_int32 code;
+    struct vcache *tvc;
+    int i;
+    struct afs_conn *tc;
+    afs_int32 code;
     afs_ucred_t *cred = NULL;
     struct vrequest treq, ureq;
     struct AFSVolSync tsync;
@@ -916,6 +1007,7 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                  tvc->flockCount)) panic("Dead vnode has core/unlinkedel/flock");
 #endif
            if (doflocks && tvc->flockCount != 0) {
+               struct rx_connection *rxconn;
                /* if this entry has an flock, send a keep-alive call out */
                osi_vnhold(tvc, 0);
                ReleaseReadLock(&afs_xvcache);
@@ -924,12 +1016,12 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                    afs_InitReq(&treq, afs_osi_credp);
                    treq.flags |= O_NONBLOCK;
 
-                   tc = afs_Conn(&tvc->f.fid, &treq, SHARED_LOCK);
+                   tc = afs_Conn(&tvc->f.fid, &treq, SHARED_LOCK, &rxconn);
                    if (tc) {
                        XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_EXTENDLOCK);
                        RX_AFS_GUNLOCK();
                        code =
-                           RXAFS_ExtendLock(tc->id,
+                           RXAFS_ExtendLock(rxconn,
                                             (struct AFSFid *)&tvc->f.fid.Fid,
                                             &tsync);
                        RX_AFS_GLOCK();
@@ -937,7 +1029,7 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                    } else
                        code = -1;
                } while (afs_Analyze
-                        (tc, code, &tvc->f.fid, &treq,
+                        (tc, rxconn, code, &tvc->f.fid, &treq,
                          AFS_STATS_FS_RPCIDX_EXTENDLOCK, SHARED_LOCK, NULL));
 
                ReleaseWriteLock(&tvc->lock);
@@ -1055,9 +1147,9 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
  */
 
 /*!
- * 
+ *
  *   Make sure a cache entry is up-to-date status-wise.
- *   
+ *
  *   NOTE: everywhere that calls this can potentially be sped up
  *       by checking CStatd first, and avoiding doing the InitReq
  *       if this is up-to-date.
@@ -1073,7 +1165,7 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
 int
 afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
 {
-    register struct vcache *tvc;
+    struct vcache *tvc;
 
     AFS_STATCNT(afs_VerifyVCache);
 
@@ -1121,8 +1213,8 @@ afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
  *
  */
 static void
-afs_SimpleVStat(register struct vcache *avc,
-               register struct AFSFetchStatus *astat, struct vrequest *areq)
+afs_SimpleVStat(struct vcache *avc,
+               struct AFSFetchStatus *astat, struct vrequest *areq)
 {
     afs_size_t length;
     AFS_STATCNT(afs_SimpleVStat);
@@ -1214,32 +1306,33 @@ afs_SimpleVStat(register struct vcache *avc,
  */
 
 int
-afs_WriteVCache(register struct vcache *avc,
-               register struct AFSStoreStatus *astatus,
+afs_WriteVCache(struct vcache *avc,
+               struct AFSStoreStatus *astatus,
                struct vrequest *areq)
 {
     afs_int32 code;
     struct afs_conn *tc;
     struct AFSFetchStatus OutStatus;
     struct AFSVolSync tsync;
+    struct rx_connection *rxconn;
     XSTATS_DECLS;
     AFS_STATCNT(afs_WriteVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_WVCACHE, ICL_TYPE_POINTER, avc,
               ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->f.m.Length));
     do {
-       tc = afs_Conn(&avc->f.fid, areq, SHARED_LOCK);
+       tc = afs_Conn(&avc->f.fid, areq, SHARED_LOCK, &rxconn);
        if (tc) {
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_STORESTATUS);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_StoreStatus(tc->id, (struct AFSFid *)&avc->f.fid.Fid,
+               RXAFS_StoreStatus(rxconn, (struct AFSFid *)&avc->f.fid.Fid,
                                  astatus, &OutStatus, &tsync);
            RX_AFS_GLOCK();
            XSTATS_END_TIME;
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, &avc->f.fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
+            (tc, rxconn, code, &avc->f.fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
              SHARED_LOCK, NULL));
 
     UpgradeSToWLock(&avc->lock, 20);
@@ -1265,7 +1358,6 @@ afs_WriteVCache(register struct vcache *avc,
     return code;
 
 }                              /*afs_WriteVCache */
-#if defined(AFS_DISCON_ENV)
 
 /*!
  * Store status info only locally, set the proper disconnection flags
@@ -1278,8 +1370,8 @@ afs_WriteVCache(register struct vcache *avc,
  * \note Must be called with a shared lock on the vnode
  */
 int
-afs_WriteVCacheDiscon(register struct vcache *avc,
-                     register struct AFSStoreStatus *astatus,
+afs_WriteVCacheDiscon(struct vcache *avc,
+                     struct AFSStoreStatus *astatus,
                      struct vattr *attrs)
 {
     afs_int32 code = 0;
@@ -1345,13 +1437,11 @@ afs_WriteVCacheDiscon(register struct vcache *avc,
     return code;
 }
 
-#endif
-
 /*!
  * Copy astat block into vcache info
  *
  * \note This code may get dataversion and length out of sync if the file has
- * been modified.  This is less than ideal.  I haven't thought about it sufficiently 
+ * been modified.  This is less than ideal.  I haven't thought about it sufficiently
  * to be certain that it is adequate.
  *
  * \note Environment: Must be called under a write lock
@@ -1361,10 +1451,13 @@ afs_WriteVCacheDiscon(register struct vcache *avc,
  * \param areq Ptr to associated request.
  */
 void
-afs_ProcessFS(register struct vcache *avc,
-             register struct AFSFetchStatus *astat, struct vrequest *areq)
+afs_ProcessFS(struct vcache *avc,
+             struct AFSFetchStatus *astat, struct vrequest *areq)
 {
     afs_size_t length;
+#ifdef AFS_DARWIN80_ENV
+    int fixup = 0;
+#endif
     AFS_STATCNT(afs_ProcessFS);
 
 #ifdef AFS_64BIT_CLIENT
@@ -1399,16 +1492,32 @@ afs_ProcessFS(register struct vcache *avc,
     avc->f.m.Group = astat->Group;
     avc->f.m.LinkCount = astat->LinkCount;
     if (astat->FileType == File) {
+#ifdef AFS_DARWIN80_ENV
+       if (avc->f.m.Type != VREG)
+           fixup = 1;
+#endif
        vSetType(avc, VREG);
        avc->f.m.Mode |= S_IFREG;
     } else if (astat->FileType == Directory) {
+#ifdef AFS_DARWIN80_ENV
+       if (avc->f.m.Type != VDIR)
+           fixup = 1;
+#endif
        vSetType(avc, VDIR);
        avc->f.m.Mode |= S_IFDIR;
     } else if (astat->FileType == SymbolicLink) {
        if (afs_fakestat_enable && (avc->f.m.Mode & 0111) == 0) {
+#ifdef AFS_DARWIN80_ENV
+           if (avc->f.m.Type != VDIR)
+               fixup = 1;
+#endif
            vSetType(avc, VDIR);
            avc->f.m.Mode |= S_IFDIR;
        } else {
+#ifdef AFS_DARWIN80_ENV
+           if (avc->f.m.Type != VLNK)
+               fixup = 1;
+#endif
            vSetType(avc, VLNK);
            avc->f.m.Mode |= S_IFLNK;
        }
@@ -1416,6 +1525,10 @@ afs_ProcessFS(register struct vcache *avc,
            avc->mvstat = 1;
        }
     }
+#ifdef AFS_DARWIN80_ENV
+    if (fixup)
+       printf("found mistyped vnode!\n");
+#endif
     avc->f.anyAccess = astat->AnonymousAccess;
 #ifdef badidea
     if ((astat->CallerAccess & ~astat->AnonymousAccess))
@@ -1447,40 +1560,39 @@ afs_ProcessFS(register struct vcache *avc,
 /*!
  * Get fid from server.
  *
- * \param afid 
+ * \param afid
  * \param areq Request to be passed on.
  * \param name Name of ?? to lookup.
  * \param OutStatus Fetch status.
- * \param CallBackp 
+ * \param CallBackp
  * \param serverp
  * \param tsyncp
  *
  * \return Success status of operation.
  */
 int
-afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
+afs_RemoteLookup(struct VenusFid *afid, struct vrequest *areq,
                 char *name, struct VenusFid *nfid,
                 struct AFSFetchStatus *OutStatusp,
                 struct AFSCallBack *CallBackp, struct server **serverp,
                 struct AFSVolSync *tsyncp)
 {
     afs_int32 code;
-    afs_uint32 start;
-    register struct afs_conn *tc;
+    struct afs_conn *tc;
+    struct rx_connection *rxconn;
     struct AFSFetchStatus OutDirStatus;
     XSTATS_DECLS;
     if (!name)
-       name = "";              /* XXX */    
+       name = "";              /* XXX */
     do {
-       tc = afs_Conn(afid, areq, SHARED_LOCK);
+       tc = afs_Conn(afid, areq, SHARED_LOCK, &rxconn);
        if (tc) {
            if (serverp)
-               *serverp = tc->srvr->server;
-           start = osi_Time();
+               *serverp = tc->parent->srvr->server;
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_XLOOKUP);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_Lookup(tc->id, (struct AFSFid *)&afid->Fid, name,
+               RXAFS_Lookup(rxconn, (struct AFSFid *)&afid->Fid, name,
                             (struct AFSFid *)&nfid->Fid, OutStatusp,
                             &OutDirStatus, CallBackp, tsyncp);
            RX_AFS_GLOCK();
@@ -1488,7 +1600,7 @@ afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, afid, areq, AFS_STATS_FS_RPCIDX_XLOOKUP, SHARED_LOCK,
+            (tc, rxconn, code, afid, areq, AFS_STATS_FS_RPCIDX_XLOOKUP, SHARED_LOCK,
              NULL));
 
     return code;
@@ -1523,19 +1635,19 @@ afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
  *     of a parent dir cache entry, given a file (to check its access
  *     control list).  It also allows renames to be handled easily by
  *     locking directories in a constant order.
- * 
+ *
  * \note NB.  NewVCache -> FlushVCache presently (4/10/95) drops the xvcache lock.
  *
  * \note Might have a vcache structure already, which must
- *  already be held by the caller 
+ *  already be held by the caller
  */
 struct vcache *
-afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
+afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
              afs_int32 * cached, struct vcache *avc)
 {
 
     afs_int32 code, newvcache = 0;
-    register struct vcache *tvc;
+    struct vcache *tvc;
     struct volume *tvp;
     afs_int32 retry;
 
@@ -1617,12 +1729,12 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
        if (!iheldthelock)
            vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, current_proc());
        /* this is messy. we can call fsync which will try to reobtain this */
-       if (VTOAFS(vp) == tvc) 
+       if (VTOAFS(vp) == tvc)
          ReleaseWriteLock(&tvc->lock);
        if (UBCINFOEXISTS(vp)) {
          vinvalbuf(vp, V_SAVE, &afs_osi_cred, current_proc(), PINOD, 0);
        }
-       if (VTOAFS(vp) == tvc) 
+       if (VTOAFS(vp) == tvc)
          ObtainWriteLock(&tvc->lock, 954);
        if (!iheldthelock)
            VOP_UNLOCK(vp, LK_EXCLUSIVE, current_proc());
@@ -1644,7 +1756,9 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
        iheldthelock = VOP_ISLOCKED(vp, curthread);
        if (!iheldthelock)
            vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, curthread);
+       AFS_GUNLOCK();
        vinvalbuf(vp, V_SAVE, curthread, PINOD, 0);
+       AFS_GLOCK();
        if (!iheldthelock)
            VOP_UNLOCK(vp, LK_EXCLUSIVE, curthread);
 #elif defined(AFS_FBSD_ENV)
@@ -1764,9 +1878,9 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
  * Lookup a vcache by fid. Look inside the cache first, if not
  * there, lookup the file on the server, and then get it's fresh
  * cache entry.
- * 
+ *
  * \param afid
- * \param areq 
+ * \param areq
  * \param cached Is element cached? If NULL, don't answer.
  * \param adp
  * \param aname
@@ -1779,7 +1893,7 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
 {
     afs_int32 code, now, newvcache = 0;
     struct VenusFid nfid;
-    register struct vcache *tvc;
+    struct vcache *tvc;
     struct volume *tvp;
     struct AFSFetchStatus OutStatus;
     struct AFSCallBack CallBack;
@@ -1829,13 +1943,13 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
     nfid = *afid;
     now = osi_Time();
     origCBs = afs_allCBs;      /* if anything changes, we don't have a cb */
-    
+
     if (AFS_IS_DISCONNECTED) {
        /* printf("Network is down in afs_LookupVcache\n"); */
         code = ENETDOWN;
-    } else 
+    } else
         code =
-           afs_RemoteLookup(&adp->f.fid, areq, aname, &nfid, &OutStatus, 
+           afs_RemoteLookup(&adp->f.fid, areq, aname, &nfid, &OutStatus,
                             &CallBack, &serverp, &tsync);
 
 #if    defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
@@ -1953,7 +2067,7 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
     afs_int32 getNewFid = 0;
     afs_uint32 start;
     struct VenusFid nfid;
-    register struct vcache *tvc;
+    struct vcache *tvc;
     struct server *serverp = 0;
     struct AFSFetchStatus OutStatus;
     struct AFSCallBack CallBack;
@@ -2002,11 +2116,9 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
             }
 #ifdef AFS_DARWIN80_ENV
            if (tvc->f.states & CDeadVnode) {
-               if (!(tvc->f.states & CBulkFetching)) {
-                   ReleaseSharedLock(&afs_xvcache);
-                   afs_osi_Sleep(&tvc->f.states);
-                   goto rootvc_loop;
-               }
+               ReleaseSharedLock(&afs_xvcache);
+               afs_osi_Sleep(&tvc->f.states);
+               goto rootvc_loop;
            }
            tvp = AFSTOV(tvc);
            if (vnode_get(tvp))       /* this bumps ref count */
@@ -2018,11 +2130,6 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
                AFS_GLOCK();
                continue;
            }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
-           }
 #endif
            break;
        }
@@ -2250,20 +2357,21 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
 {
     int code;
     afs_uint32 start = 0;
-    register struct afs_conn *tc;
+    struct afs_conn *tc;
     struct AFSCallBack CallBack;
     struct AFSVolSync tsync;
+    struct rx_connection *rxconn;
     XSTATS_DECLS;
     do {
-       tc = afs_Conn(afid, areq, SHARED_LOCK);
+       tc = afs_Conn(afid, areq, SHARED_LOCK, &rxconn);
        avc->dchint = NULL;     /* invalidate hints */
        if (tc) {
-           avc->callback = tc->srvr->server;
+           avc->callback = tc->parent->srvr->server;
            start = osi_Time();
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_FETCHSTATUS);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_FetchStatus(tc->id, (struct AFSFid *)&afid->Fid, Outsp,
+               RXAFS_FetchStatus(rxconn, (struct AFSFid *)&afid->Fid, Outsp,
                                  &CallBack, &tsync);
            RX_AFS_GLOCK();
 
@@ -2272,7 +2380,7 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, afid, areq, AFS_STATS_FS_RPCIDX_FETCHSTATUS,
+            (tc, rxconn, code, afid, areq, AFS_STATS_FS_RPCIDX_FETCHSTATUS,
              SHARED_LOCK, NULL));
 
     if (!code) {
@@ -2313,13 +2421,13 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
  *     Nothing interesting.
  */
 void
-afs_StuffVcache(register struct VenusFid *afid,
+afs_StuffVcache(struct VenusFid *afid,
                struct AFSFetchStatus *OutStatus,
-               struct AFSCallBack *CallBack, register struct afs_conn *tc,
+               struct AFSCallBack *CallBack, struct afs_conn *tc,
                struct vrequest *areq)
 {
-    register afs_int32 code, i, newvcache = 0;
-    register struct vcache *tvc;
+    afs_int32 code, i, newvcache = 0;
+    struct vcache *tvc;
     struct AFSVolSync tsync;
     struct volume *tvp;
     struct axscache *ac;
@@ -2447,7 +2555,7 @@ afs_StuffVcache(register struct VenusFid *afid,
  * \note Environment: Nothing interesting.
  */
 void
-afs_PutVCache(register struct vcache *avc)
+afs_PutVCache(struct vcache *avc)
 {
     AFS_STATCNT(afs_PutVCache);
 #ifdef AFS_DARWIN80_ENV
@@ -2467,9 +2575,9 @@ afs_PutVCache(register struct vcache *avc)
 /*!
  * Reset a vcache entry, so local contents are ignored, and the
  * server will be reconsulted next time the vcache is used
- * 
+ *
  * \param avc Pointer to the cache entry to reset
- * \param acred 
+ * \param acred
  *
  * \note avc must be write locked on entry
  */
@@ -2496,12 +2604,11 @@ afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred)
  * \param vcache Enter sleep state.
  * \param flag Determines what locks to use.
  *
- * \return 
+ * \return
  */
 static void
 findvc_sleep(struct vcache *avc, int flag)
 {
-    int fstates = avc->f.states;
     if (flag & IS_SLOCK) {
            ReleaseSharedLock(&afs_xvcache);
     } else {
@@ -2511,16 +2618,7 @@ findvc_sleep(struct vcache *avc, int flag)
            ReleaseReadLock(&afs_xvcache);
        }
     }
-    if (flag & FIND_CDEAD) {
-       ObtainWriteLock(&afs_xvcache, 342);
-       afs_FlushReclaimedVcaches();
-       if (fstates == avc->f.states) {
-           ReleaseWriteLock(&afs_xvcache);
-           afs_osi_Sleep(&avc->f.states);
-       } else
-           ReleaseWriteLock(&afs_xvcache);
-    } else
-       afs_osi_Sleep(&avc->f.states);
+    afs_osi_Sleep(&avc->f.states);
     if (flag & IS_SLOCK) {
            ObtainSharedLock(&afs_xvcache, 341);
     } else {
@@ -2531,6 +2629,45 @@ findvc_sleep(struct vcache *avc, int flag)
        }
     }
 }
+
+/*!
+ * Add a reference on an existing vcache entry.
+ *
+ * \param tvc Pointer to the vcache.
+ *
+ * \note Environment: Must be called with at least one reference from
+ * elsewhere on the vcache, even if that reference will be dropped.
+ * The global lock is required.
+ *
+ * \return 0 on success, -1 on failure.
+ */
+
+int
+afs_RefVCache(struct vcache *tvc)
+{
+#ifdef AFS_DARWIN80_ENV
+    vnode_t tvp;
+#endif
+
+    /* AFS_STATCNT(afs_RefVCache); */
+
+#ifdef  AFS_DARWIN80_ENV
+    tvp = AFSTOV(tvc);
+    if (vnode_get(tvp))
+       return -1;
+    if (vnode_ref(tvp)) {
+       AFS_GUNLOCK();
+       /* AFSTOV(tvc) may be NULL */
+       vnode_put(tvp);
+       AFS_GLOCK();
+       return -1;
+    }
+#else
+       osi_vnhold(tvc, 0);
+#endif
+    return 0;
+}                              /*afs_RefVCache */
+
 /*!
  * Find a vcache entry given a fid.
  *
@@ -2549,9 +2686,10 @@ struct vcache *
 afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
 {
 
-    register struct vcache *tvc;
+    struct vcache *tvc;
     afs_int32 i;
 #ifdef AFS_DARWIN80_ENV
+    struct vcache *deadvc = NULL, *livevc = NULL;
     vnode_t tvp;
 #endif
 
@@ -2564,29 +2702,12 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
             if (tvc->f.states & CVInit) {
                findvc_sleep(tvc, flag);
                goto findloop;
-            }
-#ifdef  AFS_DARWIN80_ENV
-           if (tvc->f.states & CDeadVnode) {
-               if (!(flag & FIND_CDEAD)) {
-                   findvc_sleep(tvc, flag);
-                   goto findloop;
-               }
-           }
-           tvp = AFSTOV(tvc);
-           if (vnode_get(tvp))
-               continue;
-           if (vnode_ref(tvp)) {
-               AFS_GUNLOCK();
-               /* AFSTOV(tvc) may be NULL */
-               vnode_put(tvp);
-               AFS_GLOCK();
-               continue;
-           }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
            }
+#ifdef  AFS_DARWIN80_ENV
+            if (tvc->f.states & CDeadVnode) {
+               findvc_sleep(tvc, flag);
+               goto findloop;
+            }
 #endif
            break;
        }
@@ -2596,12 +2717,22 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
     if (tvc) {
        if (retry)
            *retry = 0;
-#if !defined(AFS_DARWIN80_ENV)
-       osi_vnhold(tvc, retry); /* already held, above */
-       if (retry && *retry)
-           return 0;
-#endif
-#if defined(AFS_DARWIN_ENV) && !defined(AFS_DARWIN80_ENV)
+#if defined(AFS_DARWIN80_ENV)
+       tvp = AFSTOV(tvc);
+       if (vnode_get(tvp))
+           tvp = NULL;
+       if (tvp && vnode_ref(tvp)) {
+           AFS_GUNLOCK();
+           /* AFSTOV(tvc) may be NULL */
+           vnode_put(tvp);
+           AFS_GLOCK();
+           tvp = NULL;
+       }
+       if (!tvp) {
+           tvc = NULL;
+           return tvc;
+       }
+#elif defined(AFS_DARWIN_ENV)
        tvc->f.states |= CUBCinit;
        AFS_GUNLOCK();
        if (UBCINFOMISSING(AFSTOV(tvc)) ||
@@ -2610,6 +2741,10 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
        }
        AFS_GLOCK();
        tvc->f.states &= ~CUBCinit;
+#else
+       osi_vnhold(tvc, retry); /* already held, above */
+       if (retry && *retry)
+           return 0;
 #endif
        /*
         * only move to front of vlru if we have proper vcache locking)
@@ -2677,7 +2812,7 @@ int afs_duplicate_nfs_fids = 0;
 afs_int32
 afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
 {
-    register struct vcache *tvc;
+    struct vcache *tvc;
     afs_int32 i;
     afs_int32 count = 0;
     struct vcache *found_tvc = NULL;
@@ -2705,11 +2840,9 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
             }
 #ifdef  AFS_DARWIN80_ENV
            if (tvc->f.states & CDeadVnode) {
-               if (!(tvc->f.states & CBulkFetching)) {
-                   ReleaseSharedLock(&afs_xvcache);
-                   afs_osi_Sleep(&tvc->f.states);
-                   goto loop;
-               }
+               ReleaseSharedLock(&afs_xvcache);
+               afs_osi_Sleep(&tvc->f.states);
+               goto loop;
            }
            tvp = AFSTOV(tvc);
            if (vnode_get(tvp)) {
@@ -2724,11 +2857,6 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
                AFS_GLOCK();
                continue;
            }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
-           }
 #endif /* AFS_DARWIN80_ENV */
            count++;
            if (found_tvc) {
@@ -2749,6 +2877,7 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
     tvc = found_tvc;
     /* should I have a read lock on the vnode here? */
     if (tvc) {
+#ifndef AFS_DARWIN80_ENV
 #if defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
        afs_int32 retry = 0;
        osi_vnhold(tvc, &retry);
@@ -2762,6 +2891,7 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
 #else
        osi_vnhold(tvc, (int *)0);      /* already held, above */
 #endif
+#endif
        /*
         * We obtained the xvcache lock above.
         */
@@ -2818,7 +2948,7 @@ void
 afs_vcacheInit(int astatSize)
 {
 #if !defined(AFS_LINUX22_ENV)
-    register struct vcache *tvp;
+    struct vcache *tvp;
 #endif
     int i;
     if (!afs_maxvcount) {
@@ -2833,7 +2963,8 @@ afs_vcacheInit(int astatSize)
 
 #if !defined(AFS_LINUX22_ENV)
     /* Allocate and thread the struct vcache entries */
-    tvp = (struct vcache *)afs_osi_Alloc(astatSize * sizeof(struct vcache));
+    tvp = afs_osi_Alloc(astatSize * sizeof(struct vcache));
+    osi_Assert(tvp != NULL);
     memset(tvp, 0, sizeof(struct vcache) * astatSize);
 
     Initial_freeVCList = tvp;
@@ -2885,8 +3016,8 @@ shutdown_vcache(void)
      */
 
     {
-       register struct afs_q *tq, *uq = NULL;
-       register struct vcache *tvc;
+       struct afs_q *tq, *uq = NULL;
+       struct vcache *tvc;
        for (tq = VLRU.prev; tq != &VLRU; tq = uq) {
            tvc = QTOV(tq);
            uq = QPrev(tq);
@@ -2979,29 +3110,34 @@ afs_DisconGiveUpCallbacks(void)
     int i;
     struct vcache *tvc;
     int nq=0;
-            
+
     ObtainWriteLock(&afs_xvcache, 1002); /* XXX - should be a unique number */
-    
+
+ retry:
     /* Somehow, walk the set of vcaches, with each one coming out as tvc */
     for (i = 0; i < VCSIZE; i++) {
         for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-            if (afs_QueueVCB(tvc)) {
+           int slept = 0;
+            if (afs_QueueVCB(tvc, &slept)) {
                 tvc->callback = NULL;
                 nq++;
             }
+           if (slept) {
+               goto retry;
+           }
         }
     }
 
     ReleaseWriteLock(&afs_xvcache);
 
-    afs_FlushVCBs(1);
+    afs_FlushVCBs(2);
 }
 
 /*!
  *
  * Clear the Statd flag from all vcaches
  *
- * This function removes the Statd flag from all vcaches. It's used by 
+ * This function removes the Statd flag from all vcaches. It's used by
  * disconnected mode to tidy up during reconnection
  *
  */
@@ -3010,7 +3146,7 @@ afs_ClearAllStatdFlag(void)
 {
     int i;
     struct vcache *tvc;
-   
+
     ObtainWriteLock(&afs_xvcache, 715);
 
     for (i = 0; i < VCSIZE; i++) {