FBSD: Avoid holding AFS_GLOCK during vinvalbuf
[openafs.git] / src / afs / afs_vcache.c
index 130868e..23600c9 100644 (file)
@@ -22,7 +22,6 @@
  * afs_WriteVCacheDiscon
  * afs_SimpleVStat
  * afs_ProcessFS
- * TellALittleWhiteLie
  * afs_RemoteLookup
  * afs_GetVCache
  * afs_LookupVCache
@@ -83,7 +82,26 @@ static int afs_nextVcacheSlot = 0;
 static struct afs_slotlist *afs_freeSlotList = NULL;
 
 /* Forward declarations */
-static afs_int32 afs_QueueVCB(struct vcache *avc);
+static afs_int32 afs_QueueVCB(struct vcache *avc, int *slept);
+
+
+/*
+ * The PFlush algorithm makes use of the fact that Fid.Unique is not used in
+ * below hash algorithms.  Change it if need be so that flushing algorithm
+ * doesn't move things from one hash chain to another.
+ */
+/* Don't hash on the cell; our callback-breaking code sometimes fails to compute
+ * the cell correctly, and only scans one hash bucket. */
+int VCHash(struct VenusFid *fid)
+{
+    return opr_jhash_int2(fid->Fid.Volume, fid->Fid.Vnode, 0) &
+       opr_jhash_mask(VCSIZEBITS);
+}
+/* Hash only on volume to speed up volume callbacks. */
+int VCHashV(struct VenusFid *fid)
+{
+    return opr_jhash_int(fid->Fid.Volume, 0) & opr_jhash_mask(VCSIZEBITS);
+}
 
 /*!
  * Generate an index into the hash table for a given Fid.
@@ -138,12 +156,16 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     afs_int32 i, code;
     struct vcache **uvc, *wvc;
 
+    /* NOTE: We must have nothing drop afs_xvcache until we have removed all
+     * possible references to this vcache. This means all hash tables, queues,
+     * DNLC, etc. */
+
     *slept = 0;
     AFS_STATCNT(afs_FlushVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_FLUSHV, ICL_TYPE_POINTER, avc,
               ICL_TYPE_INT32, avc->f.states);
 
-    code = osi_VM_FlushVCache(avc, slept);
+    code = osi_VM_FlushVCache(avc);
     if (code)
        goto bad;
 
@@ -172,7 +194,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     for (wvc = *uvc; wvc; uvc = &wvc->hnext, wvc = *uvc) {
        if (avc == wvc) {
            *uvc = avc->hnext;
-           avc->hnext = (struct vcache *)NULL;
+           avc->hnext = NULL;
            break;
        }
     }
@@ -180,9 +202,29 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     /* remove entry from the volume hash table */
     QRemove(&avc->vhashq);
 
-    if (avc->mvid)
-       osi_FreeSmallSpace(avc->mvid);
-    avc->mvid = (struct VenusFid *)0;
+#if defined(AFS_LINUX26_ENV)
+    {
+       struct pagewriter *pw, *store;
+       struct list_head tofree;
+
+       INIT_LIST_HEAD(&tofree);
+       spin_lock(&avc->pagewriter_lock);
+       list_for_each_entry_safe(pw, store, &avc->pagewriters, link) {
+           list_del(&pw->link);
+           /* afs_osi_Free may sleep so we need to defer it */
+           list_add_tail(&pw->link, &tofree);
+       }
+       spin_unlock(&avc->pagewriter_lock);
+       list_for_each_entry_safe(pw, store, &tofree, link) {
+           list_del(&pw->link);
+           afs_osi_Free(pw, sizeof(struct pagewriter));
+       }
+    }
+#endif
+
+    if (avc->mvid.target_root)
+       osi_FreeSmallSpace(avc->mvid.target_root);
+    avc->mvid.target_root = NULL;
     if (avc->linkData) {
        afs_osi_Free(avc->linkData, strlen(avc->linkData) + 1);
        avc->linkData = NULL;
@@ -191,29 +233,34 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     /* OK, there are no internal vrefCounts, so there shouldn't
      * be any more refs here. */
     if (avc->v) {
-#ifdef AFS_DARWIN80_ENV
+# ifdef AFS_DARWIN80_ENV
        vnode_clearfsnode(AFSTOV(avc));
         vnode_removefsref(AFSTOV(avc));
-#else
+# else
        avc->v->v_data = NULL;  /* remove from vnode */
-#endif
+# endif
        AFSTOV(avc) = NULL;             /* also drop the ptr to vnode */
     }
 #endif
-#ifdef AFS_SUN510_ENV
+
+#ifdef AFS_SUN511_ENV
+    if (avc->v) {
+        vn_free(avc->v);
+        avc->v = NULL;
+    }
+#elif defined(AFS_SUN510_ENV)
     /* As we use private vnodes, cleanup is up to us */
     vn_reinit(AFSTOV(avc));
 #endif
     afs_FreeAllAxs(&(avc->Access));
-    afs_QueueVCB(avc);
-    ObtainWriteLock(&afs_xcbhash, 460);
-    afs_DequeueCallback(avc);  /* remove it from queued callbacks list */
-    avc->f.states &= ~(CStatd | CUnique);
-    ReleaseWriteLock(&afs_xcbhash);
-    if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
-       osi_dnlc_purgedp(avc);  /* if it (could be) a directory */
-    else
-       osi_dnlc_purgevp(avc);
+    afs_StaleVCacheFlags(avc, AFS_STALEVC_FILENAME, CUnique);
+
+    /* By this point, the vcache has been removed from all global structures
+     * via which someone could try to use the vcache. It is okay to drop
+     * afs_xvcache at this point (if *slept is set). */
+
+    if (afs_shuttingdown == AFS_RUNNING)
+       afs_QueueVCB(avc, slept);
 
     /*
      * Next, keep track of which vnodes we've deleted for create's
@@ -269,7 +316,7 @@ afs_InactiveVCache(struct vcache *avc, afs_ucred_t *acred)
        /* we can't keep trying to push back dirty data forever.  Give up. */
        afs_InvalidateAllSegments(avc); /* turns off dirty bit */
     }
-    avc->f.states &= ~CMAPPED; /* mainly used by SunOS 4.0.x */
+    avc->f.states &= ~CMAPPED;
     avc->f.states &= ~CDirty;  /* Turn it off */
     if (avc->f.states & CUnlinked) {
        if (CheckLock(&afs_xvcache) || CheckLock(&afs_xdcache)) {
@@ -300,14 +347,10 @@ afs_AllocCBR(void)
     struct afs_cbr *tsp;
     int i;
 
-    if (!afs_cbrSpace) {
-       afs_osi_CancelWait(&AFS_WaitHandler);   /* trigger FlushVCBs asap */
-
+    while (!afs_cbrSpace) {
        if (afs_stats_cmperf.CallBackAlloced >= sizeof(afs_cbrHeads)/sizeof(afs_cbrHeads[0])) {
            /* don't allocate more than 16 * AFS_NCBRS for now */
-           tsp = (struct afs_cbr *)osi_AllocSmallSpace(sizeof(*tsp));
-           tsp->dynalloc = 1;
-           tsp->next = NULL;
+           afs_FlushVCBs(0);
            afs_stats_cmperf.CallBackFlushes++;
        } else {
            /* try allocating */
@@ -315,18 +358,15 @@ afs_AllocCBR(void)
            osi_Assert(tsp != NULL);
            for (i = 0; i < AFS_NCBRS - 1; i++) {
                tsp[i].next = &tsp[i + 1];
-               tsp[i].dynalloc = 0;
            }
            tsp[AFS_NCBRS - 1].next = 0;
-           tsp[AFS_NCBRS - 1].dynalloc = 0;
-           afs_cbrSpace = tsp->next;
+           afs_cbrSpace = tsp;
            afs_cbrHeads[afs_stats_cmperf.CallBackAlloced] = tsp;
            afs_stats_cmperf.CallBackAlloced++;
        }
-    } else {
-       tsp = afs_cbrSpace;
-       afs_cbrSpace = tsp->next;
     }
+    tsp = afs_cbrSpace;
+    afs_cbrSpace = tsp->next;
     return tsp;
 }
 
@@ -350,15 +390,44 @@ afs_FreeCBR(struct afs_cbr *asp)
     if (asp->hash_next)
        asp->hash_next->hash_pprev = asp->hash_pprev;
 
-    if (asp->dynalloc) {
-       osi_FreeSmallSpace(asp);
-    } else {
-       asp->next = afs_cbrSpace;
-       afs_cbrSpace = asp;
-    }
+    asp->next = afs_cbrSpace;
+    afs_cbrSpace = asp;
     return 0;
 }
 
+static void
+FlushAllVCBs(int nconns, struct rx_connection **rxconns,
+            struct afs_conn **conns)
+{
+    afs_int32 *results;
+    afs_int32 i;
+
+    results = afs_osi_Alloc(nconns * sizeof (afs_int32));
+    osi_Assert(results != NULL);
+
+    AFS_GUNLOCK();
+    multi_Rx(rxconns,nconns)
+    {
+        multi_RXAFS_GiveUpAllCallBacks();
+        results[multi_i] = multi_error;
+    } multi_End;
+    AFS_GLOCK();
+
+    /*
+     * Freeing the CBR will unlink it from the server's CBR list
+     * do it here, not in the loop, because a dynamic CBR will call
+     * into the memory management routines.
+     */
+    for ( i = 0 ; i < nconns ; i++ ) {
+       if (results[i] == 0) {
+           /* Unchain all of them */
+           while (conns[i]->parent->srvr->server->cbrs)
+               afs_FreeCBR(conns[i]->parent->srvr->server->cbrs);
+       }
+    }
+    afs_osi_Free(results, nconns * sizeof(afs_int32));
+}
+
 /*!
  *   Flush all queued callbacks to all servers.
  *
@@ -379,18 +448,31 @@ afs_FlushVCBs(afs_int32 lockit)
     int tcount;
     struct server *tsp;
     int i;
-    struct vrequest treq;
+    struct vrequest *treq = NULL;
     struct afs_conn *tc;
     int safety1, safety2, safety3;
     XSTATS_DECLS;
-    if ((code = afs_InitReq(&treq, afs_osi_credp)))
+
+    if (AFS_IS_DISCONNECTED)
+       return ENETDOWN;
+
+    if ((code = afs_CreateReq(&treq, afs_osi_credp)))
        return code;
-    treq.flags |= O_NONBLOCK;
+    treq->flags |= O_NONBLOCK;
     tfids = afs_osi_Alloc(sizeof(struct AFSFid) * AFS_MAXCBRSCALL);
     osi_Assert(tfids != NULL);
 
     if (lockit)
        ObtainWriteLock(&afs_xvcb, 273);
+    /*
+     * Shutting down.
+     * First, attempt a multi across everything, all addresses
+     * for all servers we know of.
+     */
+
+    if (lockit == 2)
+       afs_LoopServers(AFS_LS_ALL, NULL, 0, FlushAllVCBs, NULL);
+
     ObtainReadLock(&afs_xserver);
     for (i = 0; i < NSERVERS; i++) {
        for (safety1 = 0, tsp = afs_servers[i];
@@ -406,6 +488,7 @@ afs_FlushVCBs(afs_int32 lockit)
            tcount = 0;         /* number found so far */
            for (safety2 = 0; safety2 < afs_cacheStats; safety2++) {
                if (tcount >= AFS_MAXCBRSCALL || !tsp->cbrs) {
+                   struct rx_connection *rxconn;
                    /* if buffer is full, or we've queued all we're going
                     * to from this server, we should flush out the
                     * callbacks.
@@ -418,21 +501,21 @@ afs_FlushVCBs(afs_int32 lockit)
                    callBacks[0].CallBackType = CB_EXCLUSIVE;
                    for (safety3 = 0; safety3 < AFS_MAXHOSTS * 2; safety3++) {
                        tc = afs_ConnByHost(tsp, tsp->cell->fsport,
-                                           tsp->cell->cellNum, &treq, 0,
-                                           SHARED_LOCK);
+                                           tsp->cell->cellNum, treq, 0,
+                                           SHARED_LOCK, 0, &rxconn);
                        if (tc) {
                            XSTATS_START_TIME
                                (AFS_STATS_FS_RPCIDX_GIVEUPCALLBACKS);
                            RX_AFS_GUNLOCK();
                            code =
-                               RXAFS_GiveUpCallBacks(tc->id, &fidArray,
+                               RXAFS_GiveUpCallBacks(rxconn, &fidArray,
                                                      &cbArray);
                            RX_AFS_GLOCK();
                            XSTATS_END_TIME;
                        } else
                            code = -1;
                        if (!afs_Analyze
-                           (tc, code, 0, &treq,
+                           (tc, rxconn, code, 0, treq,
                             AFS_STATS_FS_RPCIDX_GIVEUPCALLBACKS, SHARED_LOCK,
                             tsp->cell)) {
                            break;
@@ -477,6 +560,7 @@ afs_FlushVCBs(afs_int32 lockit)
     if (lockit)
        ReleaseWriteLock(&afs_xvcb);
     afs_osi_Free(tfids, sizeof(struct AFSFid) * AFS_MAXCBRSCALL);
+    afs_DestroyReq(treq);
     return 0;
 }
 
@@ -486,17 +570,20 @@ afs_FlushVCBs(afs_int32 lockit)
  * Environment:
  *     Locks the xvcb lock.
  *     Called when the xvcache lock is already held.
+ * RACE: afs_xvcache may be dropped and reacquired
  *
  * \param avc vcache entry
+ * \param slep Set to 1 if we dropped afs_xvcache
  * \return 1 if queued, 0 otherwise
  */
 
 static afs_int32
-afs_QueueVCB(struct vcache *avc)
+afs_QueueVCB(struct vcache *avc, int *slept)
 {
     int queued = 0;
     struct server *tsp;
     struct afs_cbr *tcbp;
+    int reacquire = 0;
 
     AFS_STATCNT(afs_QueueVCB);
 
@@ -513,6 +600,15 @@ afs_QueueVCB(struct vcache *avc)
     /* The callback is really just a struct server ptr. */
     tsp = (struct server *)(avc->callback);
 
+    if (!afs_cbrSpace) {
+       /* If we don't have CBR space, AllocCBR may block or hit the net for
+        * clearing up CBRs. Hitting the net may involve a fileserver
+        * needing to contact us, so we must drop xvcache so we don't block
+        * those requests from going through. */
+       reacquire = *slept = 1;
+       ReleaseWriteLock(&afs_xvcache);
+    }
+
     /* we now have a pointer to the server, so we just allocate
      * a queue entry and queue it.
      */
@@ -532,6 +628,11 @@ afs_QueueVCB(struct vcache *avc)
  done:
     /* now release locks and return */
     ReleaseWriteLock(&afs_xvcb);
+
+    if (reacquire) {
+       /* make sure this is after dropping xvcb, for locking order */
+       ObtainWriteLock(&afs_xvcache, 279);
+    }
     return queued;
 }
 
@@ -599,14 +700,14 @@ afs_FlushReclaimedVcaches(void)
            /* printf("Reclaim list flush %lx failed: %d\n", (unsigned long) tvc, code); */
        }
         if (tvc->f.states & (CVInit
-#ifdef AFS_DARWIN80_ENV
+# ifdef AFS_DARWIN80_ENV
                          | CDeadVnode
-#endif
+# endif
            )) {
           tvc->f.states &= ~(CVInit
-#ifdef AFS_DARWIN80_ENV
+# ifdef AFS_DARWIN80_ENV
                            | CDeadVnode
-#endif
+# endif
           );
           afs_osi_Wakeup(&tvc->f.states);
        }
@@ -624,9 +725,9 @@ afs_PostPopulateVCache(struct vcache *avc, struct VenusFid *afid, int seq)
     /*
      * The proper value for mvstat (for root fids) is setup by the caller.
      */
-    avc->mvstat = 0;
+    avc->mvstat = AFS_MVSTAT_FILE;
     if (afid->Fid.Vnode == 1 && afid->Fid.Unique == 1)
-       avc->mvstat = 2;
+       avc->mvstat = AFS_MVSTAT_ROOT;
 
     if (afs_globalVFS == 0)
        osi_Panic("afs globalvfs");
@@ -649,21 +750,27 @@ int
 afs_ShakeLooseVCaches(afs_int32 anumber)
 {
     afs_int32 i, loop;
+    int evicted;
     struct vcache *tvc;
     struct afs_q *tq, *uq;
-    int fv_slept;
+    int fv_slept, defersleep = 0;
+    int limit;
     afs_int32 target = anumber;
 
-    i = 0;
     loop = 0;
+
+ retry:
+    i = 0;
+    limit = afs_vcount;
     for (tq = VLRU.prev; tq != &VLRU && anumber > 0; tq = uq) {
        tvc = QTOV(tq);
        uq = QPrev(tq);
        if (tvc->f.states & CVFlushed) {
            refpanic("CVFlushed on VLRU");
-           /* In the other path, this was 2 * afs_cacheStats */
-       } else if (!afsd_dynamic_vcaches && i++ > afs_maxvcount) {
-           refpanic("Exceeded pool of AFS vnodes(VLRU cycle?)");
+       } else if (i++ > limit) {
+           afs_warn("afs_ShakeLooseVCaches: i %d limit %d afs_vcount %d afs_maxvcount %d\n",
+                    (int)i, limit, (int)afs_vcount, (int)afs_maxvcount);
+           refpanic("Found too many AFS vnodes on VLRU (VLRU cycle?)");
        } else if (QNext(uq) != tq) {
            refpanic("VLRU inconsistent");
        } else if (tvc->f.states & CVInit) {
@@ -671,18 +778,32 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
        }
 
        fv_slept = 0;
-       if (osi_TryEvictVCache(tvc, &fv_slept))
+       evicted = osi_TryEvictVCache(tvc, &fv_slept, defersleep);
+       if (evicted) {
            anumber--;
+       }
 
        if (fv_slept) {
            if (loop++ > 100)
                break;
-           uq = VLRU.prev;
-           i = 0;
-           continue;   /* start over - may have raced. */
+           if (!evicted) {
+               /*
+                * This vcache was busy and we slept while trying to evict it.
+                * Move this busy vcache to the head of the VLRU so vcaches
+                * following this busy vcache can be evicted during the retry.
+                */
+               QRemove(&tvc->vlruq);
+               QAdd(&VLRU, &tvc->vlruq);
+           }
+           goto retry; /* start over - may have raced. */
        }
-       if (tq == uq)
+       if (uq == &VLRU) {
+           if (anumber && !defersleep) {
+               defersleep = 1;
+               goto retry;
+           }
            break;
+       }
     }
     if (!afsd_dynamic_vcaches && anumber == target) {
        afs_warn("afs_ShakeLooseVCaches: warning none freed, using %d of %d\n",
@@ -737,6 +858,7 @@ afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
                      struct server *serverp) {
 
     afs_uint32 slot;
+    afs_hyper_t zero;
     slot = avc->diskSlot;
 
     osi_PrePopulateVCache(avc);
@@ -746,7 +868,7 @@ afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
 
     AFS_RWLOCK_INIT(&avc->lock, "vcache lock");
 
-    avc->mvid = NULL;
+    memset(&avc->mvid, 0, sizeof(avc->mvid));
     avc->linkData = NULL;
     avc->cbExpires = 0;
     avc->opens = 0;
@@ -760,7 +882,8 @@ afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
 
     hzero(avc->mapDV);
     avc->f.truncPos = AFS_NOTRUNC;   /* don't truncate until we need to */
-    hzero(avc->f.m.DataVersion);     /* in case we copy it into flushDV */
+    hzero(zero);
+    afs_SetDataVersion(avc, &zero);  /* in case we copy it into flushDV */
     avc->Access = NULL;
     avc->callback = serverp;         /* to minimize chance that clear
                                      * request is lost */
@@ -771,6 +894,32 @@ afs_PrePopulateVCache(struct vcache *avc, struct VenusFid *afid,
 #endif
 }
 
+void
+afs_FlushAllVCaches(void)
+{
+    int i;
+    struct vcache *tvc, *nvc;
+
+    ObtainWriteLock(&afs_xvcache, 867);
+
+ retry:
+    for (i = 0; i < VCSIZE; i++) {
+       for (tvc = afs_vhashT[i]; tvc; tvc = nvc) {
+           int slept;
+
+           nvc = tvc->hnext;
+           if (afs_FlushVCache(tvc, &slept)) {
+               afs_warn("Failed to flush vcache 0x%lx\n", (unsigned long)(uintptrsz)tvc);
+           }
+           if (slept) {
+               goto retry;
+           }
+       }
+    }
+
+    ReleaseWriteLock(&afs_xvcache);
+}
+
 /*!
  *   This routine is responsible for allocating a new cache entry
  * from the free list.  It formats the cache entry and inserts it
@@ -797,7 +946,7 @@ afs_NewVCache_int(struct VenusFid *afid, struct server *serverp, int seq)
     afs_FlushReclaimedVcaches();
 
 #if defined(AFS_LINUX22_ENV)
-    if(!afsd_dynamic_vcaches) {
+    if(!afsd_dynamic_vcaches && afs_vcount >= afs_maxvcount) {
        afs_ShakeLooseVCaches(anumber);
        if (afs_vcount >= afs_maxvcount) {
            afs_warn("afs_NewVCache - none freed\n");
@@ -817,6 +966,7 @@ afs_NewVCache_int(struct VenusFid *afid, struct server *serverp, int seq)
        tvc = freeVCList;       /* take from free list */
        freeVCList = tvc->nextfree;
        tvc->nextfree = NULL;
+       afs_vcount++; /* balanced by FlushVCache */
     } /* end of if (!freeVCList) */
 
 #endif /* AFS_LINUX22_ENV */
@@ -904,11 +1054,18 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
     struct afs_conn *tc;
     afs_int32 code;
     afs_ucred_t *cred = NULL;
-    struct vrequest treq, ureq;
+    struct vrequest *treq = NULL;
     struct AFSVolSync tsync;
     int didCore;
     XSTATS_DECLS;
     AFS_STATCNT(afs_FlushActiveVcaches);
+
+    code = afs_CreateReq(&treq, afs_osi_credp);
+    if (code) {
+       afs_warn("unable to alloc treq\n");
+       return;
+    }
+
     ObtainReadLock(&afs_xvcache);
     for (i = 0; i < VCSIZE; i++) {
        for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
@@ -919,20 +1076,25 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                  tvc->flockCount)) panic("Dead vnode has core/unlinkedel/flock");
 #endif
            if (doflocks && tvc->flockCount != 0) {
+               struct rx_connection *rxconn;
                /* if this entry has an flock, send a keep-alive call out */
                osi_vnhold(tvc, 0);
                ReleaseReadLock(&afs_xvcache);
                ObtainWriteLock(&tvc->lock, 51);
                do {
-                   afs_InitReq(&treq, afs_osi_credp);
-                   treq.flags |= O_NONBLOCK;
+                   code = afs_InitReq(treq, afs_osi_credp);
+                   if (code) {
+                       code = -1;
+                       break; /* shutting down: do not try to extend the lock */
+                   }
+                   treq->flags |= O_NONBLOCK;
 
-                   tc = afs_Conn(&tvc->f.fid, &treq, SHARED_LOCK);
+                   tc = afs_Conn(&tvc->f.fid, treq, SHARED_LOCK, &rxconn);
                    if (tc) {
                        XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_EXTENDLOCK);
                        RX_AFS_GUNLOCK();
                        code =
-                           RXAFS_ExtendLock(tc->id,
+                           RXAFS_ExtendLock(rxconn,
                                             (struct AFSFid *)&tvc->f.fid.Fid,
                                             &tsync);
                        RX_AFS_GLOCK();
@@ -940,7 +1102,7 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                    } else
                        code = -1;
                } while (afs_Analyze
-                        (tc, code, &tvc->f.fid, &treq,
+                        (tc, rxconn, code, &tvc->f.fid, treq,
                          AFS_STATS_FS_RPCIDX_EXTENDLOCK, SHARED_LOCK, NULL));
 
                ReleaseWriteLock(&tvc->lock);
@@ -961,9 +1123,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                 */
                osi_vnhold(tvc, 0);
                ReleaseReadLock(&afs_xvcache);
-#ifdef AFS_BOZONLOCK_ENV
-               afs_BozonLock(&tvc->pvnLock, tvc);
-#endif
 #if defined(AFS_SGI_ENV)
                /*
                 * That's because if we come in via the CUnlinkedDel bit state path we'll be have 0 refcnt
@@ -977,15 +1136,14 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                    /* XXXX Find better place-holder for cred XXXX */
                    cred = (afs_ucred_t *)tvc->linkData;
                    tvc->linkData = NULL;       /* XXX */
-                   afs_InitReq(&ureq, cred);
+                   code = afs_InitReq(treq, cred);
                    afs_Trace2(afs_iclSetp, CM_TRACE_ACTCCORE,
                               ICL_TYPE_POINTER, tvc, ICL_TYPE_INT32,
                               tvc->execsOrWriters);
-                   code = afs_StoreOnLastReference(tvc, &ureq);
+                   if (!code) {  /* avoid store when shutting down */
+                       code = afs_StoreOnLastReference(tvc, treq);
+                   }
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
                    hzero(tvc->flushDV);
                    osi_FlushText(tvc);
                    didCore = 1;
@@ -998,9 +1156,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                     * Ignore errors
                     */
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
 #if defined(AFS_SGI_ENV)
                    AFS_RWUNLOCK((vnode_t *) tvc, VRWLOCK_WRITE);
 #endif
@@ -1011,9 +1166,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                } else {
                    /* lost (or won, perhaps) the race condition */
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
                }
 #if defined(AFS_SGI_ENV)
                AFS_RWUNLOCK((vnode_t *) tvc, VRWLOCK_WRITE);
@@ -1039,6 +1191,7 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
        }
     }
     ReleaseReadLock(&afs_xvcache);
+    afs_DestroyReq(treq);
 }
 
 
@@ -1087,26 +1240,14 @@ afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
        ReleaseWriteLock(&avc->lock);
        return 0;
     }
-    ObtainWriteLock(&afs_xcbhash, 461);
-    avc->f.states &= ~(CStatd | CUnique);
-    avc->callback = NULL;
-    afs_DequeueCallback(avc);
-    ReleaseWriteLock(&afs_xcbhash);
+    afs_StaleVCacheFlags(avc, AFS_STALEVC_FILENAME | AFS_STALEVC_CLEARCB,
+                        CUnique);
     ReleaseWriteLock(&avc->lock);
 
-    /* since we've been called back, or the callback has expired,
-     * it's possible that the contents of this directory, or this
-     * file's name have changed, thus invalidating the dnlc contents.
-     */
-    if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
-       osi_dnlc_purgedp(avc);
-    else
-       osi_dnlc_purgevp(avc);
-
     /* fetch the status info */
-    tvc = afs_GetVCache(&avc->f.fid, areq, NULL, avc);
+    tvc = afs_GetVCache(&avc->f.fid, areq);
     if (!tvc)
-       return ENOENT;
+       return EIO;
     /* Put it back; caller has already incremented vrefCount */
     afs_PutVCache(tvc);
     return 0;
@@ -1172,7 +1313,7 @@ afs_SimpleVStat(struct vcache *avc,
     } else if (vType(avc) == VLNK) {
        avc->f.m.Mode |= S_IFLNK;
        if ((avc->f.m.Mode & 0111) == 0)
-           avc->mvstat = 1;
+           avc->mvstat = AFS_MVSTAT_MTPT;
     }
     if (avc->f.states & CForeign) {
        struct axscache *ac;
@@ -1225,24 +1366,25 @@ afs_WriteVCache(struct vcache *avc,
     struct afs_conn *tc;
     struct AFSFetchStatus OutStatus;
     struct AFSVolSync tsync;
+    struct rx_connection *rxconn;
     XSTATS_DECLS;
     AFS_STATCNT(afs_WriteVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_WVCACHE, ICL_TYPE_POINTER, avc,
               ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->f.m.Length));
     do {
-       tc = afs_Conn(&avc->f.fid, areq, SHARED_LOCK);
+       tc = afs_Conn(&avc->f.fid, areq, SHARED_LOCK, &rxconn);
        if (tc) {
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_STORESTATUS);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_StoreStatus(tc->id, (struct AFSFid *)&avc->f.fid.Fid,
+               RXAFS_StoreStatus(rxconn, (struct AFSFid *)&avc->f.fid.Fid,
                                  astatus, &OutStatus, &tsync);
            RX_AFS_GLOCK();
            XSTATS_END_TIME;
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, &avc->f.fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
+            (tc, rxconn, code, &avc->f.fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
              SHARED_LOCK, NULL));
 
     UpgradeSToWLock(&avc->lock, 20);
@@ -1257,12 +1399,7 @@ afs_WriteVCache(struct vcache *avc,
        avc->f.m.Date = OutStatus.ClientModTime;
     } else {
        /* failure, set up to check with server next time */
-       ObtainWriteLock(&afs_xcbhash, 462);
-       afs_DequeueCallback(avc);
-       avc->f.states &= ~(CStatd | CUnique);   /* turn off stat valid flag */
-       ReleaseWriteLock(&afs_xcbhash);
-       if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(avc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(avc, 0, CUnique);
     }
     ConvertWToSLock(&avc->lock);
     return code;
@@ -1314,18 +1451,6 @@ afs_WriteVCacheDiscon(struct vcache *avc,
        if (astatus->Mask & AFS_SETMODE) {
                avc->f.m.Mode = astatus->UnixModeBits;
 
-#if 0  /* XXX: Leaving this out, so it doesn't mess up the file type flag.*/
-
-               if (vType(avc) == VREG) {
-                       avc->f.m.Mode |= S_IFREG;
-               } else if (vType(avc) == VDIR) {
-                       avc->f.m.Mode |= S_IFDIR;
-               } else if (vType(avc) == VLNK) {
-                       avc->f.m.Mode |= S_IFLNK;
-                       if ((avc->f.m.Mode & 0111) == 0)
-                               avc->mvstat = 1;
-               }
-#endif
                flags |= VDisconSetMode;
         }              /* if(astatus.Mask & AFS_SETMODE) */
 
@@ -1365,6 +1490,7 @@ afs_ProcessFS(struct vcache *avc,
              struct AFSFetchStatus *astat, struct vrequest *areq)
 {
     afs_size_t length;
+    afs_hyper_t newDV;
     AFS_STATCNT(afs_ProcessFS);
 
 #ifdef AFS_64BIT_CLIENT
@@ -1393,7 +1519,8 @@ afs_ProcessFS(struct vcache *avc,
        avc->f.m.Length = length;
        avc->f.m.Date = astat->ClientModTime;
     }
-    hset64(avc->f.m.DataVersion, astat->dataVersionHigh, astat->DataVersion);
+    hset64(newDV, astat->dataVersionHigh, astat->DataVersion);
+    afs_SetDataVersion(avc, &newDV);
     avc->f.m.Owner = astat->Owner;
     avc->f.m.Mode = astat->UnixModeBits;
     avc->f.m.Group = astat->Group;
@@ -1413,7 +1540,7 @@ afs_ProcessFS(struct vcache *avc,
            avc->f.m.Mode |= S_IFLNK;
        }
        if ((avc->f.m.Mode & 0111) == 0) {
-           avc->mvstat = 1;
+           avc->mvstat = AFS_MVSTAT_MTPT;
        }
     }
     avc->f.anyAccess = astat->AnonymousAccess;
@@ -1465,22 +1592,21 @@ afs_RemoteLookup(struct VenusFid *afid, struct vrequest *areq,
                 struct AFSVolSync *tsyncp)
 {
     afs_int32 code;
-    afs_uint32 start;
     struct afs_conn *tc;
+    struct rx_connection *rxconn;
     struct AFSFetchStatus OutDirStatus;
     XSTATS_DECLS;
     if (!name)
        name = "";              /* XXX */
     do {
-       tc = afs_Conn(afid, areq, SHARED_LOCK);
+       tc = afs_Conn(afid, areq, SHARED_LOCK, &rxconn);
        if (tc) {
            if (serverp)
-               *serverp = tc->srvr->server;
-           start = osi_Time();
+               *serverp = tc->parent->srvr->server;
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_XLOOKUP);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_Lookup(tc->id, (struct AFSFid *)&afid->Fid, name,
+               RXAFS_Lookup(rxconn, (struct AFSFid *)&afid->Fid, name,
                             (struct AFSFid *)&nfid->Fid, OutStatusp,
                             &OutDirStatus, CallBackp, tsyncp);
            RX_AFS_GLOCK();
@@ -1488,7 +1614,7 @@ afs_RemoteLookup(struct VenusFid *afid, struct vrequest *areq,
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, afid, areq, AFS_STATS_FS_RPCIDX_XLOOKUP, SHARED_LOCK,
+            (tc, rxconn, code, afid, areq, AFS_STATS_FS_RPCIDX_XLOOKUP, SHARED_LOCK,
              NULL));
 
     return code;
@@ -1504,8 +1630,6 @@ afs_RemoteLookup(struct VenusFid *afid, struct vrequest *areq,
  * \param afid File ID.
  * \param areq Ptr to associated vrequest structure, specifying the
  *  user whose authentication tokens will be used.
- * \param avc Caller may already have a vcache for this file, which is
- *  already held.
  *
  * \note Environment:
  *     The cache entry is returned with an increased vrefCount field.
@@ -1525,13 +1649,9 @@ afs_RemoteLookup(struct VenusFid *afid, struct vrequest *areq,
  *     locking directories in a constant order.
  *
  * \note NB.  NewVCache -> FlushVCache presently (4/10/95) drops the xvcache lock.
- *
- * \note Might have a vcache structure already, which must
- *  already be held by the caller
  */
 struct vcache *
-afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
-             afs_int32 * cached, struct vcache *avc)
+afs_GetVCache(struct VenusFid *afid, struct vrequest *areq)
 {
 
     afs_int32 code, newvcache = 0;
@@ -1541,9 +1661,6 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
 
     AFS_STATCNT(afs_GetVCache);
 
-    if (cached)
-       *cached = 0;            /* Init just in case */
-
 #if    defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
   loop:
 #endif
@@ -1559,8 +1676,6 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
 #endif
     }
     if (tvc) {
-       if (cached)
-           *cached = 1;
        osi_Assert((tvc->f.states & CVInit) == 0);
        /* If we are in readdir, return the vnode even if not statd */
        if ((tvc->f.states & CStatd) || afs_InReadDir(tvc)) {
@@ -1596,7 +1711,7 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
 /* Darwin 8.0 only has bufs in nfs, so we shouldn't have to worry about them.
    What about ubc? */
 #else
-#if defined(AFS_DARWIN_ENV) || defined(AFS_FBSD_ENV)
+# if defined(AFS_DARWIN_ENV) || defined(AFS_FBSD_ENV)
     /*
      * XXX - I really don't like this.  Should try to understand better.
      * It seems that sometimes, when we get called, we already hold the
@@ -1612,7 +1727,7 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
        struct vnode *vp = AFSTOV(tvc);
        int iheldthelock;
 
-#if defined(AFS_DARWIN_ENV)
+#  if defined(AFS_DARWIN_ENV)
        iheldthelock = VOP_ISLOCKED(vp);
        if (!iheldthelock)
            vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, current_proc());
@@ -1626,42 +1741,24 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
          ObtainWriteLock(&tvc->lock, 954);
        if (!iheldthelock)
            VOP_UNLOCK(vp, LK_EXCLUSIVE, current_proc());
-#elif defined(AFS_FBSD80_ENV)
+#  elif defined(AFS_FBSD_ENV)
+       AFS_GUNLOCK();
        iheldthelock = VOP_ISLOCKED(vp);
        if (!iheldthelock) {
-           /* nosleep/sleep lock order reversal */
-           int glocked = ISAFS_GLOCK();
-           if (glocked)
-               AFS_GUNLOCK();
            vn_lock(vp, LK_EXCLUSIVE | LK_RETRY);
-           if (glocked)
-               AFS_GLOCK();
        }
        vinvalbuf(vp, V_SAVE, PINOD, 0); /* changed late in 8.0-CURRENT */
        if (!iheldthelock)
            VOP_UNLOCK(vp, 0);
-#elif defined(AFS_FBSD60_ENV)
-       iheldthelock = VOP_ISLOCKED(vp, curthread);
-       if (!iheldthelock)
-           vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, curthread);
-       vinvalbuf(vp, V_SAVE, curthread, PINOD, 0);
-       if (!iheldthelock)
-           VOP_UNLOCK(vp, LK_EXCLUSIVE, curthread);
-#elif defined(AFS_FBSD_ENV)
-       iheldthelock = VOP_ISLOCKED(vp, curthread);
-       if (!iheldthelock)
-           vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, curthread);
-       vinvalbuf(vp, V_SAVE, osi_curcred(), curthread, PINOD, 0);
-       if (!iheldthelock)
-           VOP_UNLOCK(vp, LK_EXCLUSIVE, curthread);
-#elif defined(AFS_OBSD_ENV)
+       AFS_GLOCK();
+#  elif defined(AFS_OBSD_ENV)
        iheldthelock = VOP_ISLOCKED(vp, curproc);
        if (!iheldthelock)
            VOP_LOCK(vp, LK_EXCLUSIVE | LK_RETRY, curproc);
        uvm_vnp_uncache(vp);
        if (!iheldthelock)
            VOP_UNLOCK(vp, 0, curproc);
-#elif defined(AFS_NBSD40_ENV)
+#  elif defined(AFS_NBSD40_ENV)
        iheldthelock = VOP_ISLOCKED(vp);
        if (!iheldthelock) {
            VOP_LOCK(vp, LK_EXCLUSIVE | LK_RETRY);
@@ -1669,16 +1766,13 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
        uvm_vnp_uncache(vp);
        if (!iheldthelock)
            VOP_UNLOCK(vp, 0);
-#endif
+#  endif
     }
-#endif
+# endif
 #endif
 
-    ObtainWriteLock(&afs_xcbhash, 464);
-    tvc->f.states &= ~CUnique;
-    tvc->callback = 0;
-    afs_DequeueCallback(tvc);
-    ReleaseWriteLock(&afs_xcbhash);
+    afs_StaleVCacheFlags(tvc, AFS_STALEVC_NODNLC | AFS_STALEVC_CLEARCB,
+                        CUnique);
 
     /* It is always appropriate to throw away all the access rights? */
     afs_FreeAllAxs(&(tvc->Access));
@@ -1689,7 +1783,7 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
                tvc->f.states |= CForeign;
            if (newvcache && (tvp->rootVnode == afid->Fid.Vnode)
                && (tvp->rootUnique == afid->Fid.Unique)) {
-               tvc->mvstat = 2;
+               tvc->mvstat = AFS_MVSTAT_ROOT;
            }
        }
        if (tvp->states & VRO)
@@ -1697,11 +1791,11 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
        if (tvp->states & VBackup)
            tvc->f.states |= CBackup;
        /* now copy ".." entry back out of volume structure, if necessary */
-       if (tvc->mvstat == 2 && tvp->dotdot.Fid.Volume != 0) {
-           if (!tvc->mvid)
-               tvc->mvid = (struct VenusFid *)
+       if (tvc->mvstat == AFS_MVSTAT_ROOT && tvp->dotdot.Fid.Volume != 0) {
+           if (!tvc->mvid.parent)
+               tvc->mvid.parent = (struct VenusFid *)
                    osi_AllocSmallSpace(sizeof(struct VenusFid));
-           *tvc->mvid = tvp->dotdot;
+           *tvc->mvid.parent = tvp->dotdot;
        }
        afs_PutVolume(tvp, READ_LOCK);
     }
@@ -1767,7 +1861,6 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
  *
  * \param afid
  * \param areq
- * \param cached Is element cached? If NULL, don't answer.
  * \param adp
  * \param aname
  *
@@ -1775,7 +1868,7 @@ afs_GetVCache(struct VenusFid *afid, struct vrequest *areq,
  */
 struct vcache *
 afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
-                afs_int32 * cached, struct vcache *adp, char *aname)
+                struct vcache *adp, char *aname)
 {
     afs_int32 code, now, newvcache = 0;
     struct VenusFid nfid;
@@ -1789,8 +1882,6 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
     afs_int32 retry;
 
     AFS_STATCNT(afs_GetVCache);
-    if (cached)
-       *cached = 0;            /* Init just in case */
 
 #if    defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
   loop1:
@@ -1810,9 +1901,6 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
        ObtainReadLock(&tvc->lock);
 
        if (tvc->f.states & CStatd) {
-           if (cached) {
-               *cached = 1;
-           }
            ReleaseReadLock(&tvc->lock);
            return tvc;
        }
@@ -1877,28 +1965,23 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
                tvc->f.states |= CForeign;
            if (newvcache && (tvp->rootVnode == afid->Fid.Vnode)
                && (tvp->rootUnique == afid->Fid.Unique))
-               tvc->mvstat = 2;
+               tvc->mvstat = AFS_MVSTAT_ROOT;
        }
        if (tvp->states & VRO)
            tvc->f.states |= CRO;
        if (tvp->states & VBackup)
            tvc->f.states |= CBackup;
        /* now copy ".." entry back out of volume structure, if necessary */
-       if (tvc->mvstat == 2 && tvp->dotdot.Fid.Volume != 0) {
-           if (!tvc->mvid)
-               tvc->mvid = (struct VenusFid *)
+       if (tvc->mvstat == AFS_MVSTAT_ROOT && tvp->dotdot.Fid.Volume != 0) {
+           if (!tvc->mvid.parent)
+               tvc->mvid.parent = (struct VenusFid *)
                    osi_AllocSmallSpace(sizeof(struct VenusFid));
-           *tvc->mvid = tvp->dotdot;
+           *tvc->mvid.parent = tvp->dotdot;
        }
     }
 
     if (code) {
-       ObtainWriteLock(&afs_xcbhash, 465);
-       afs_DequeueCallback(tvc);
-       tvc->f.states &= ~(CStatd | CUnique);
-       ReleaseWriteLock(&afs_xcbhash);
-       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(tvc, 0, CUnique);
        if (tvp)
            afs_PutVolume(tvp, READ_LOCK);
        ReleaseWriteLock(&tvc->lock);
@@ -1921,19 +2004,14 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
            tvc->f.states &= ~CBulkFetching;
            afs_QueueCallback(tvc, CBHash(3600), tvp);
        } else {
-           tvc->callback = NULL;
-           afs_DequeueCallback(tvc);
-           tvc->f.states &= ~(CStatd | CUnique);
-           if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-               osi_dnlc_purgedp(tvc);  /* if it (could be) a directory */
+           afs_StaleVCacheFlags(tvc,
+                                AFS_STALEVC_CBLOCKED | AFS_STALEVC_CLEARCB,
+                                CUnique);
        }
     } else {
-       afs_DequeueCallback(tvc);
-       tvc->f.states &= ~CStatd;
-       tvc->f.states &= ~CUnique;
-       tvc->callback = NULL;
-       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(tvc,
+                            AFS_STALEVC_CBLOCKED | AFS_STALEVC_CLEARCB,
+                            CUnique);
     }
     ReleaseWriteLock(&afs_xcbhash);
     if (tvp)
@@ -1947,7 +2025,7 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
 
 struct vcache *
 afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
-                 afs_int32 * cached, struct volume *tvolp)
+                 struct volume *tvolp)
 {
     afs_int32 code = 0, i, newvcache = 0, haveStatus = 0;
     afs_int32 getNewFid = 0;
@@ -2002,11 +2080,9 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
             }
 #ifdef AFS_DARWIN80_ENV
            if (tvc->f.states & CDeadVnode) {
-               if (!(tvc->f.states & CBulkFetching)) {
-                   ReleaseSharedLock(&afs_xvcache);
-                   afs_osi_Sleep(&tvc->f.states);
-                   goto rootvc_loop;
-               }
+               ReleaseSharedLock(&afs_xvcache);
+               afs_osi_Sleep(&tvc->f.states);
+               goto rootvc_loop;
            }
            tvp = AFSTOV(tvc);
            if (vnode_get(tvp))       /* this bumps ref count */
@@ -2018,11 +2094,6 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
                AFS_GLOCK();
                continue;
            }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
-           }
 #endif
            break;
        }
@@ -2056,8 +2127,6 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
        newvcache = 1;
        afs_stats_cmperf.vcacheMisses++;
     } else {
-       if (cached)
-           *cached = 1;
        afs_stats_cmperf.vcacheHits++;
 #if    defined(AFS_DARWIN80_ENV)
        /* we already bumped the ref count in the for loop above */
@@ -2114,13 +2183,13 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
     /* now copy ".." entry back out of volume structure, if necessary */
     if (newvcache && (tvolp->rootVnode == afid->Fid.Vnode)
        && (tvolp->rootUnique == afid->Fid.Unique)) {
-       tvc->mvstat = 2;
+       tvc->mvstat = AFS_MVSTAT_ROOT;
     }
-    if (tvc->mvstat == 2 && tvolp->dotdot.Fid.Volume != 0) {
-       if (!tvc->mvid)
-           tvc->mvid = (struct VenusFid *)
+    if (tvc->mvstat == AFS_MVSTAT_ROOT && tvolp->dotdot.Fid.Volume != 0) {
+       if (!tvc->mvid.parent)
+           tvc->mvid.parent = (struct VenusFid *)
                osi_AllocSmallSpace(sizeof(struct VenusFid));
-       *tvc->mvid = tvolp->dotdot;
+       *tvc->mvid.parent = tvolp->dotdot;
     }
 
     /* stat the file */
@@ -2138,13 +2207,7 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
     }
 
     if (code) {
-       ObtainWriteLock(&afs_xcbhash, 467);
-       afs_DequeueCallback(tvc);
-       tvc->callback = NULL;
-       tvc->f.states &= ~(CStatd | CUnique);
-       ReleaseWriteLock(&afs_xcbhash);
-       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(tvc, AFS_STALEVC_CLEARCB, CUnique);
        ReleaseWriteLock(&tvc->lock);
        afs_PutVCache(tvc);
        return NULL;
@@ -2167,11 +2230,8 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
            afs_QueueCallback(tvc, CBHash(3600), tvolp);
        }
     } else {
-       afs_DequeueCallback(tvc);
-       tvc->callback = NULL;
-       tvc->f.states &= ~(CStatd | CUnique);
-       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(tvc, AFS_STALEVC_CBLOCKED | AFS_STALEVC_CLEARCB,
+                            CUnique);
     }
     ReleaseWriteLock(&afs_xcbhash);
     afs_ProcessFS(tvc, &OutStatus, areq);
@@ -2221,24 +2281,62 @@ afs_UpdateStatus(struct vcache *avc, struct VenusFid *afid,
            avc->f.states &= ~CBulkFetching;
            afs_QueueCallback(avc, CBHash(3600), volp);
        } else {
-           afs_DequeueCallback(avc);
-           avc->callback = NULL;
-           avc->f.states &= ~(CStatd | CUnique);
-           if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
-               osi_dnlc_purgedp(avc);  /* if it (could be) a directory */
+           afs_StaleVCacheFlags(avc,
+                                AFS_STALEVC_CBLOCKED | AFS_STALEVC_CLEARCB,
+                                CUnique);
        }
     } else {
-       afs_DequeueCallback(avc);
-       avc->callback = NULL;
-       avc->f.states &= ~(CStatd | CUnique);
-       if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(avc);      /* if it (could be) a directory */
+       afs_StaleVCacheFlags(avc, AFS_STALEVC_CBLOCKED | AFS_STALEVC_CLEARCB,
+                            CUnique);
     }
     ReleaseWriteLock(&afs_xcbhash);
     if (volp)
        afs_PutVolume(volp, READ_LOCK);
 }
 
+void
+afs_BadFetchStatus(struct afs_conn *tc)
+{
+    int addr = ntohl(tc->parent->srvr->sa_ip);
+    afs_warn("afs: Invalid AFSFetchStatus from server %u.%u.%u.%u\n",
+             (addr >> 24) & 0xff, (addr >> 16) & 0xff, (addr >> 8) & 0xff,
+             (addr) & 0xff);
+    afs_warn("afs: This suggests the server may be sending bad data that "
+             "can lead to availability issues or data corruption. The "
+             "issue has been avoided for now, but it may not always be "
+             "detectable. Please upgrade the server if possible.\n");
+}
+
+/**
+ * Check if a given AFSFetchStatus structure is sane.
+ *
+ * @param[in] tc The server from which we received the status
+ * @param[in] status The status we received
+ *
+ * @return whether the given structure is valid or not
+ *  @retval 0 the structure is fine
+ *  @retval nonzero the structure looks like garbage; act as if we received
+ *                  the returned error code from the server
+ */
+int
+afs_CheckFetchStatus(struct afs_conn *tc, struct AFSFetchStatus *status)
+{
+    if (status->errorCode ||
+        status->InterfaceVersion != 1 ||
+        !(status->FileType > Invalid && status->FileType <= SymbolicLink) ||
+        status->ParentVnode == 0 || status->ParentUnique == 0) {
+
+       afs_warn("afs: FetchStatus ec %u iv %u ft %u pv %u pu %u\n",
+                (unsigned)status->errorCode, (unsigned)status->InterfaceVersion,
+                (unsigned)status->FileType, (unsigned)status->ParentVnode,
+                (unsigned)status->ParentUnique);
+       afs_BadFetchStatus(tc);
+
+       return VBUSY;
+    }
+    return 0;
+}
+
 /*!
  * Must be called with avc write-locked
  * don't absolutely have to invalidate the hint unless the dv has
@@ -2253,26 +2351,31 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
     struct afs_conn *tc;
     struct AFSCallBack CallBack;
     struct AFSVolSync tsync;
+    struct rx_connection *rxconn;
     XSTATS_DECLS;
     do {
-       tc = afs_Conn(afid, areq, SHARED_LOCK);
+       tc = afs_Conn(afid, areq, SHARED_LOCK, &rxconn);
        avc->dchint = NULL;     /* invalidate hints */
        if (tc) {
-           avc->callback = tc->srvr->server;
+           avc->callback = tc->parent->srvr->server;
            start = osi_Time();
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_FETCHSTATUS);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_FetchStatus(tc->id, (struct AFSFid *)&afid->Fid, Outsp,
+               RXAFS_FetchStatus(rxconn, (struct AFSFid *)&afid->Fid, Outsp,
                                  &CallBack, &tsync);
            RX_AFS_GLOCK();
 
            XSTATS_END_TIME;
 
+           if (code == 0) {
+               code = afs_CheckFetchStatus(tc, Outsp);
+           }
+
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, afid, areq, AFS_STATS_FS_RPCIDX_FETCHSTATUS,
+            (tc, rxconn, code, afid, areq, AFS_STATS_FS_RPCIDX_FETCHSTATUS,
              SHARED_LOCK, NULL));
 
     if (!code) {
@@ -2295,150 +2398,6 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
     return code;
 }
 
-#if 0
-/*
- * afs_StuffVcache
- *
- * Description:
- *     Stuff some information into the vcache for the given file.
- *
- * Parameters:
- *     afid      : File in question.
- *     OutStatus : Fetch status on the file.
- *     CallBack  : Callback info.
- *     tc        : RPC connection involved.
- *     areq      : vrequest involved.
- *
- * Environment:
- *     Nothing interesting.
- */
-void
-afs_StuffVcache(struct VenusFid *afid,
-               struct AFSFetchStatus *OutStatus,
-               struct AFSCallBack *CallBack, struct afs_conn *tc,
-               struct vrequest *areq)
-{
-    afs_int32 code, i, newvcache = 0;
-    struct vcache *tvc;
-    struct AFSVolSync tsync;
-    struct volume *tvp;
-    struct axscache *ac;
-    afs_int32 retry;
-
-    AFS_STATCNT(afs_StuffVcache);
-#ifdef IFS_VCACHECOUNT
-    ifs_gvcachecall++;
-#endif
-
-  loop:
-    ObtainSharedLock(&afs_xvcache, 8);
-
-    tvc = afs_FindVCache(afid, &retry, DO_VLRU| IS_SLOCK /* no stats */ );
-    if (tvc && retry) {
-#if    defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
-       ReleaseSharedLock(&afs_xvcache);
-       spunlock_psema(tvc->v.v_lock, retry, &tvc->v.v_sync, PINOD);
-       goto loop;
-#endif
-    }
-
-    if (!tvc) {
-       /* no cache entry, better grab one */
-       UpgradeSToWLock(&afs_xvcache, 25);
-       tvc = afs_NewVCache(afid, NULL);
-       newvcache = 1;
-       ConvertWToSLock(&afs_xvcache);
-       if (!tvc)
-       {
-               ReleaseSharedLock(&afs_xvcache);
-               return NULL;
-       }
-    }
-
-    ReleaseSharedLock(&afs_xvcache);
-    ObtainWriteLock(&tvc->lock, 58);
-
-    tvc->f.states &= ~CStatd;
-    if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-       osi_dnlc_purgedp(tvc);  /* if it (could be) a directory */
-
-    /* Is it always appropriate to throw away all the access rights? */
-    afs_FreeAllAxs(&(tvc->Access));
-
-    /*Copy useful per-volume info */
-    tvp = afs_GetVolume(afid, areq, READ_LOCK);
-    if (tvp) {
-       if (newvcache && (tvp->states & VForeign))
-           tvc->f.states |= CForeign;
-       if (tvp->states & VRO)
-           tvc->f.states |= CRO;
-       if (tvp->states & VBackup)
-           tvc->f.states |= CBackup;
-       /*
-        * Now, copy ".." entry back out of volume structure, if
-        * necessary
-        */
-       if (tvc->mvstat == 2 && tvp->dotdot.Fid.Volume != 0) {
-           if (!tvc->mvid)
-               tvc->mvid = (struct VenusFid *)
-                   osi_AllocSmallSpace(sizeof(struct VenusFid));
-           *tvc->mvid = tvp->dotdot;
-       }
-    }
-    /* store the stat on the file */
-    afs_RemoveVCB(afid);
-    afs_ProcessFS(tvc, OutStatus, areq);
-    tvc->callback = tc->srvr->server;
-
-    /* we use osi_Time twice below.  Ideally, we would use the time at which
-     * the FetchStatus call began, instead, but we don't have it here.  So we
-     * make do with "now".  In the CRO case, it doesn't really matter. In
-     * the other case, we hope that the difference between "now" and when the
-     * call actually began execution on the server won't be larger than the
-     * padding which the server keeps.  Subtract 1 second anyway, to be on
-     * the safe side.  Can't subtract more because we don't know how big
-     * ExpirationTime is.  Possible consistency problems may arise if the call
-     * timeout period becomes longer than the server's expiration padding.  */
-    ObtainWriteLock(&afs_xcbhash, 470);
-    if (CallBack->ExpirationTime != 0) {
-       tvc->cbExpires = CallBack->ExpirationTime + osi_Time() - 1;
-       tvc->f.states |= CStatd;
-       tvc->f.states &= ~CBulkFetching;
-       afs_QueueCallback(tvc, CBHash(CallBack->ExpirationTime), tvp);
-    } else if (tvc->f.states & CRO) {
-       /* old-fashioned AFS 3.2 style */
-       tvc->cbExpires = 3600 + osi_Time();
-        /*XXX*/ tvc->f.states |= CStatd;
-       tvc->f.states &= ~CBulkFetching;
-       afs_QueueCallback(tvc, CBHash(3600), tvp);
-    } else {
-       afs_DequeueCallback(tvc);
-       tvc->callback = NULL;
-       tvc->f.states &= ~(CStatd | CUnique);
-       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
-           osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
-    }
-    ReleaseWriteLock(&afs_xcbhash);
-    if (tvp)
-       afs_PutVolume(tvp, READ_LOCK);
-
-    /* look in per-pag cache */
-    if (tvc->Access && (ac = afs_FindAxs(tvc->Access, areq->uid)))
-       ac->axess = OutStatus->CallerAccess;    /* substitute pags */
-    else                       /* not found, add a new one if possible */
-       afs_AddAxs(tvc->Access, areq->uid, OutStatus->CallerAccess);
-
-    ReleaseWriteLock(&tvc->lock);
-    afs_Trace4(afs_iclSetp, CM_TRACE_STUFFVCACHE, ICL_TYPE_POINTER, tvc,
-              ICL_TYPE_POINTER, tvc->callback, ICL_TYPE_INT32,
-              tvc->cbExpires, ICL_TYPE_INT32, tvc->cbExpires - osi_Time());
-    /*
-     * Release ref count... hope this guy stays around...
-     */
-    afs_PutVCache(tvc);
-}                              /*afs_StuffVcache */
-#endif
-
 /*!
  * Decrements the reference count on a cache entry.
  *
@@ -2470,19 +2429,23 @@ afs_PutVCache(struct vcache *avc)
  *
  * \param avc Pointer to the cache entry to reset
  * \param acred
+ * \param skipdnlc  skip the dnlc purge for this vnode
  *
  * \note avc must be write locked on entry
+ *
+ * \note The caller should purge the dnlc when skipdnlc is set.
  */
 void
-afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred)
+afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred, afs_int32 skipdnlc)
 {
-    ObtainWriteLock(&afs_xcbhash, 456);
-    afs_DequeueCallback(avc);
-    avc->f.states &= ~(CStatd | CDirty);    /* next reference will re-stat */
-    ReleaseWriteLock(&afs_xcbhash);
+    afs_stalevc_flags_t flags = 0;
+    if (skipdnlc) {
+       flags |= AFS_STALEVC_NODNLC;
+    }
+
+    afs_StaleVCacheFlags(avc, flags, CDirty); /* next reference will re-stat */
     /* now find the disk cache entries */
     afs_TryToSmush(avc, acred, 1);
-    osi_dnlc_purgedp(avc);
     if (avc->linkData && !(avc->f.states & CCore)) {
        afs_osi_Free(avc->linkData, strlen(avc->linkData) + 1);
        avc->linkData = NULL;
@@ -2501,7 +2464,6 @@ afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred)
 static void
 findvc_sleep(struct vcache *avc, int flag)
 {
-    int fstates = avc->f.states;
     if (flag & IS_SLOCK) {
            ReleaseSharedLock(&afs_xvcache);
     } else {
@@ -2511,16 +2473,7 @@ findvc_sleep(struct vcache *avc, int flag)
            ReleaseReadLock(&afs_xvcache);
        }
     }
-    if (flag & FIND_CDEAD) {
-       ObtainWriteLock(&afs_xvcache, 342);
-       afs_FlushReclaimedVcaches();
-       if (fstates == avc->f.states) {
-           ReleaseWriteLock(&afs_xvcache);
-           afs_osi_Sleep(&avc->f.states);
-       } else
-           ReleaseWriteLock(&afs_xvcache);
-    } else
-       afs_osi_Sleep(&avc->f.states);
+    afs_osi_Sleep(&avc->f.states);
     if (flag & IS_SLOCK) {
            ObtainSharedLock(&afs_xvcache, 341);
     } else {
@@ -2591,6 +2544,7 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
     struct vcache *tvc;
     afs_int32 i;
 #ifdef AFS_DARWIN80_ENV
+    struct vcache *deadvc = NULL, *livevc = NULL;
     vnode_t tvp;
 #endif
 
@@ -2603,29 +2557,12 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
             if (tvc->f.states & CVInit) {
                findvc_sleep(tvc, flag);
                goto findloop;
-            }
-#ifdef  AFS_DARWIN80_ENV
-           if (tvc->f.states & CDeadVnode) {
-               if (!(flag & FIND_CDEAD)) {
-                   findvc_sleep(tvc, flag);
-                   goto findloop;
-               }
-           }
-           tvp = AFSTOV(tvc);
-           if (vnode_get(tvp))
-               continue;
-           if (vnode_ref(tvp)) {
-               AFS_GUNLOCK();
-               /* AFSTOV(tvc) may be NULL */
-               vnode_put(tvp);
-               AFS_GLOCK();
-               continue;
-           }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
            }
+#ifdef  AFS_DARWIN80_ENV
+            if (tvc->f.states & CDeadVnode) {
+               findvc_sleep(tvc, flag);
+               goto findloop;
+            }
 #endif
            break;
        }
@@ -2635,12 +2572,22 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
     if (tvc) {
        if (retry)
            *retry = 0;
-#if !defined(AFS_DARWIN80_ENV)
-       osi_vnhold(tvc, retry); /* already held, above */
-       if (retry && *retry)
-           return 0;
-#endif
-#if defined(AFS_DARWIN_ENV) && !defined(AFS_DARWIN80_ENV)
+#if defined(AFS_DARWIN80_ENV)
+       tvp = AFSTOV(tvc);
+       if (vnode_get(tvp))
+           tvp = NULL;
+       if (tvp && vnode_ref(tvp)) {
+           AFS_GUNLOCK();
+           /* AFSTOV(tvc) may be NULL */
+           vnode_put(tvp);
+           AFS_GLOCK();
+           tvp = NULL;
+       }
+       if (!tvp) {
+           tvc = NULL;
+           return tvc;
+       }
+#elif defined(AFS_DARWIN_ENV)
        tvc->f.states |= CUBCinit;
        AFS_GUNLOCK();
        if (UBCINFOMISSING(AFSTOV(tvc)) ||
@@ -2649,6 +2596,10 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
        }
        AFS_GLOCK();
        tvc->f.states &= ~CUBCinit;
+#else
+       osi_vnhold(tvc, retry); /* already held, above */
+       if (retry && *retry)
+           return 0;
 #endif
        /*
         * only move to front of vlru if we have proper vcache locking)
@@ -2744,11 +2695,9 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
             }
 #ifdef  AFS_DARWIN80_ENV
            if (tvc->f.states & CDeadVnode) {
-               if (!(tvc->f.states & CBulkFetching)) {
-                   ReleaseSharedLock(&afs_xvcache);
-                   afs_osi_Sleep(&tvc->f.states);
-                   goto loop;
-               }
+               ReleaseSharedLock(&afs_xvcache);
+               afs_osi_Sleep(&tvc->f.states);
+               goto loop;
            }
            tvp = AFSTOV(tvc);
            if (vnode_get(tvp)) {
@@ -2763,11 +2712,6 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
                AFS_GLOCK();
                continue;
            }
-           if (tvc->f.states & (CBulkFetching|CDeadVnode)) {
-               AFS_GUNLOCK();
-               vnode_recycle(AFSTOV(tvc));
-               AFS_GLOCK();
-           }
 #endif /* AFS_DARWIN80_ENV */
            count++;
            if (found_tvc) {
@@ -2788,7 +2732,8 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
     tvc = found_tvc;
     /* should I have a read lock on the vnode here? */
     if (tvc) {
-#if defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
+#ifndef AFS_DARWIN80_ENV
+# if defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
        afs_int32 retry = 0;
        osi_vnhold(tvc, &retry);
        if (retry) {
@@ -2798,8 +2743,9 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
            spunlock_psema(tvc->v.v_lock, retry, &tvc->v.v_sync, PINOD);
            goto loop;
        }
-#else
+# else
        osi_vnhold(tvc, (int *)0);      /* already held, above */
+# endif
 #endif
        /*
         * We obtained the xvcache lock above.
@@ -2896,12 +2842,12 @@ afs_vcacheInit(int astatSize)
        tvc->vc_rwlockid = OSI_NO_LOCKID;
        initnsema(&tvc->vc_rwlock, 1,
                  makesname(name, "vrw", tvc->v.v_number));
-#ifndef        AFS_SGI53_ENV
+# ifndef       AFS_SGI53_ENV
        initnsema(&tvc->v.v_sync, 0, makesname(name, "vsy", tvc->v.v_number));
-#endif
-#ifndef AFS_SGI62_ENV
+# endif
+# ifndef AFS_SGI62_ENV
        initnlock(&tvc->v.v_lock, makesname(name, "vlk", tvc->v.v_number));
-#endif /* AFS_SGI62_ENV */
+# endif /* AFS_SGI62_ENV */
     }
 #endif
     QInit(&VLRU);
@@ -2930,9 +2876,9 @@ shutdown_vcache(void)
        for (tq = VLRU.prev; tq != &VLRU; tq = uq) {
            tvc = QTOV(tq);
            uq = QPrev(tq);
-           if (tvc->mvid) {
-               osi_FreeSmallSpace(tvc->mvid);
-               tvc->mvid = (struct VenusFid *)0;
+           if (tvc->mvid.target_root) {
+               osi_FreeSmallSpace(tvc->mvid.target_root);
+               tvc->mvid.target_root = NULL;
            }
 #ifdef AFS_AIX_ENV
            aix_gnode_rele(AFSTOV(tvc));
@@ -2947,14 +2893,14 @@ shutdown_vcache(void)
         */
        for (i = 0; i < VCSIZE; i++) {
            for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-               if (tvc->mvid) {
-                   osi_FreeSmallSpace(tvc->mvid);
-                   tvc->mvid = (struct VenusFid *)0;
+               if (tvc->mvid.target_root) {
+                   osi_FreeSmallSpace(tvc->mvid.target_root);
+                   tvc->mvid.target_root = NULL;
                }
 #ifdef AFS_AIX_ENV
                if (tvc->v.v_gnode)
                    afs_osi_Free(tvc->v.v_gnode, sizeof(struct gnode));
-#ifdef AFS_AIX32_ENV
+# ifdef        AFS_AIX32_ENV
                if (tvc->segid) {
                    AFS_GUNLOCK();
                    vms_delete(tvc->segid);
@@ -2967,7 +2913,7 @@ shutdown_vcache(void)
                    crfree(tvc->credp);
                    tvc->credp = NULL;
                }
-#endif
+# endif
 #endif
 #if    defined(AFS_SUN5_ENV)
                if (tvc->credp) {
@@ -3022,19 +2968,24 @@ afs_DisconGiveUpCallbacks(void)
 
     ObtainWriteLock(&afs_xvcache, 1002); /* XXX - should be a unique number */
 
+ retry:
     /* Somehow, walk the set of vcaches, with each one coming out as tvc */
     for (i = 0; i < VCSIZE; i++) {
         for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-            if (afs_QueueVCB(tvc)) {
+           int slept = 0;
+            if (afs_QueueVCB(tvc, &slept)) {
                 tvc->callback = NULL;
                 nq++;
             }
+           if (slept) {
+               goto retry;
+           }
         }
     }
 
     ReleaseWriteLock(&afs_xvcache);
 
-    afs_FlushVCBs(1);
+    afs_FlushVCBs(2);
 }
 
 /*!
@@ -3055,8 +3006,81 @@ afs_ClearAllStatdFlag(void)
 
     for (i = 0; i < VCSIZE; i++) {
        for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-           tvc->f.states &= ~(CStatd|CUnique);
+           afs_StaleVCacheFlags(tvc, AFS_STALEVC_NODNLC | AFS_STALEVC_NOCB,
+                                CUnique);
        }
     }
     ReleaseWriteLock(&afs_xvcache);
 }
+
+/**
+ * Mark a vcache as stale; our metadata for the relevant file may be out of
+ * date.
+ *
+ * @post Any subsequent access to this vcache will cause us to fetch the
+ *       metadata for this vcache again.
+ */
+void
+afs_StaleVCacheFlags(struct vcache *avc, afs_stalevc_flags_t flags,
+                    afs_uint32 cflags)
+{
+    int do_dnlc = 1;
+    int do_filename = 0;
+    int do_dequeue = 1;
+    int lock_cbhash = 1;
+
+    if ((flags & AFS_STALEVC_NODNLC)) {
+       do_dnlc = 0;
+    }
+    if ((flags & AFS_STALEVC_FILENAME)) {
+       do_filename = 1;
+    }
+    if ((flags & AFS_STALEVC_CBLOCKED)) {
+       lock_cbhash = 0;
+    }
+    if ((flags & AFS_STALEVC_NOCB)) {
+       do_dequeue = 0;
+       lock_cbhash = 0;
+    }
+
+    if (lock_cbhash) {
+       ObtainWriteLock(&afs_xcbhash, 486);
+    }
+    if (do_dequeue) {
+       afs_DequeueCallback(avc);
+    }
+
+    cflags |= CStatd;
+    avc->f.states &= ~cflags;
+
+    if (lock_cbhash) {
+       ReleaseWriteLock(&afs_xcbhash);
+    }
+
+    if ((flags & AFS_STALEVC_SKIP_DNLC_FOR_INIT_FLUSHED) &&
+       (avc->f.states & (CVInit | CVFlushed))) {
+       do_dnlc = 0;
+    }
+
+    if (flags & AFS_STALEVC_CLEARCB) {
+       avc->callback = NULL;
+    }
+
+    if (do_dnlc) {
+       if ((avc->f.fid.Fid.Vnode & 1) ||
+           AFSTOV(avc) == NULL || vType(avc) == VDIR ||
+           (avc->f.states & CForeign)) {
+           /* This vcache is (or could be) a directory. */
+           osi_dnlc_purgedp(avc);
+
+       } else if (do_filename) {
+           osi_dnlc_purgevp(avc);
+       }
+    }
+}
+
+void
+afs_SetDataVersion(struct vcache *avc, afs_hyper_t *avers)
+{
+    hset(avc->f.m.DataVersion, *avers);
+}