shutdown-vcache-avoid-null-deref-20090324
[openafs.git] / src / afs / afs_vcache.c
index 79274d9..d6322b0 100644 (file)
@@ -63,6 +63,9 @@ char *makesname();
 #endif /* AFS_SGI64_ENV */
 
 /* Exported variables */
+#ifdef AFS_DISCON_ENV
+afs_rwlock_t afs_xvcdirty;     /*Lock: discon vcache dirty list mgmt */
+#endif
 afs_rwlock_t afs_xvcache;      /*Lock: alloc new stat cache entries */
 afs_rwlock_t afs_xvreclaim;    /*Lock: entries reclaimed, not on free list */
 afs_lock_t afs_xvcb;           /*Lock: fids on which there are callbacks */
@@ -79,14 +82,21 @@ struct afs_q afs_vhashTV[VCSIZE];
 static struct afs_cbr *afs_cbrHashT[CBRSIZE];
 afs_int32 afs_bulkStatsLost;
 int afs_norefpanic = 0;
+extern int afsd_dynamic_vcaches;
+
+
+/* Disk backed vcache definitions 
+ * Both protected by xvcache */
+static int afs_nextVcacheSlot = 0;
+static struct afs_slotlist *afs_freeSlotList = NULL;
 
 /* Forward declarations */
 static afs_int32 afs_QueueVCB(struct vcache *avc);
 
-/*
- * afs_HashCBRFid
- *
+/*!
  * Generate an index into the hash table for a given Fid.
+ * \param fid 
+ * \return The hash value.
  */
 static int
 afs_HashCBRFid(struct AFSFid *fid)
@@ -94,11 +104,11 @@ afs_HashCBRFid(struct AFSFid *fid)
     return (fid->Volume + fid->Vnode + fid->Unique) % CBRSIZE;
 }
 
-/*
- * afs_InsertHashCBR
- *
+/*!
  * Insert a CBR entry into the hash table.
  * Must be called with afs_xvcb held.
+ * \param cbr
+ * \return
  */
 static void
 afs_InsertHashCBR(struct afs_cbr *cbr)
@@ -113,15 +123,9 @@ afs_InsertHashCBR(struct afs_cbr *cbr)
     afs_cbrHashT[slot] = cbr;
 }
 
-/*
- * afs_FlushVCache
- *
- * Description:
- *     Flush the given vcache entry.
+/*!
  *
- * Parameters:
- *     avc : Pointer to vcache entry to flush.
- *     slept : Pointer to int to set 1 if we sleep/drop locks, 0 if we don't.
+ * Flush the given vcache entry.
  *
  * Environment:
  *     afs_xvcache lock must be held for writing upon entry to
@@ -130,8 +134,11 @@ afs_InsertHashCBR(struct afs_cbr *cbr)
  * LOCK: afs_FlushVCache afs_xvcache W
  * REFCNT: vcache ref count must be zero on entry except for osf1
  * RACE: lock is dropped and reobtained, permitting race in caller
+ *
+ * \param avc Pointer to vcache entry to flush.
+ * \param slept Pointer to int to set 1 if we sleep/drop locks, 0 if we don't.
+ *
  */
-
 int
 afs_FlushVCache(struct vcache *avc, int *slept)
 {                              /*afs_FlushVCache */
@@ -142,7 +149,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     *slept = 0;
     AFS_STATCNT(afs_FlushVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_FLUSHV, ICL_TYPE_POINTER, avc,
-              ICL_TYPE_INT32, avc->states);
+              ICL_TYPE_INT32, avc->f.states);
 #ifdef  AFS_OSF_ENV
     AFS_GUNLOCK();
     VN_LOCK(AFSTOV(avc));
@@ -153,7 +160,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     if (code)
        goto bad;
 
-    if (avc->states & CVFlushed) {
+    if (avc->f.states & CVFlushed) {
        code = EBUSY;
        goto bad;
     }
@@ -162,18 +169,18 @@ afs_FlushVCache(struct vcache *avc, int *slept)
        refpanic("LRU vs. Free inconsistency");
     }
 #endif
-    avc->states |= CVFlushed;
+    avc->f.states |= CVFlushed;
     /* pull the entry out of the lruq and put it on the free list */
     QRemove(&avc->vlruq);
 
     /* keep track of # of files that we bulk stat'd, but never used
      * before they got recycled.
      */
-    if (avc->states & CBulkStat)
+    if (avc->f.states & CBulkStat)
        afs_bulkStatsLost++;
     vcachegen++;
     /* remove entry from the hash chain */
-    i = VCHash(&avc->fid);
+    i = VCHash(&avc->f.fid);
     uvc = &afs_vhashT[i];
     for (wvc = *uvc; wvc; uvc = &wvc->hnext, wvc = *uvc) {
        if (avc == wvc) {
@@ -216,14 +223,14 @@ afs_FlushVCache(struct vcache *avc, int *slept)
      * server only tracks them on a per-volume basis, and we don't
      * know whether we still have some other files from the same
      * volume. */
-    if ((avc->states & CRO) == 0 && avc->callback) {
+    if ((avc->f.states & CRO) == 0 && avc->callback) {
        afs_QueueVCB(avc);
     }
     ObtainWriteLock(&afs_xcbhash, 460);
     afs_DequeueCallback(avc);  /* remove it from queued callbacks list */
-    avc->states &= ~(CStatd | CUnique);
+    avc->f.states &= ~(CStatd | CUnique);
     ReleaseWriteLock(&afs_xcbhash);
-    if ((avc->states & CForeign) || (avc->fid.Fid.Vnode & 1))
+    if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
        osi_dnlc_purgedp(avc);  /* if it (could be) a directory */
     else
        osi_dnlc_purgevp(avc);
@@ -233,7 +240,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
      * optimistic synchronization algorithm
      */
     afs_allZaps++;
-    if (avc->fid.Fid.Vnode & 1)
+    if (avc->f.fid.Fid.Vnode & 1)
        afs_oddZaps++;
     else
        afs_evenZaps++;
@@ -245,7 +252,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     if (avc->vlruq.prev || avc->vlruq.next) {
        refpanic("LRU vs. Free inconsistency");
     }
-    avc->states |= CVFlushed;
+    avc->f.states |= CVFlushed;
 #else
     /* This should put it back on the vnode free list since usecount is 1 */
     afs_vcount--;
@@ -255,6 +262,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
        VN_UNLOCK(AFSTOV(avc));
 #endif
        AFS_RELE(AFSTOV(avc));
+       afs_stats_cmperf.vcacheXAllocs--;
     } else {
        if (afs_norefpanic) {
            printf("flush vc refcnt < 1");
@@ -279,24 +287,25 @@ afs_FlushVCache(struct vcache *avc, int *slept)
 }                              /*afs_FlushVCache */
 
 #ifndef AFS_SGI_ENV
-/*
- * afs_InactiveVCache
+/*!
+ *  The core of the inactive vnode op for all but IRIX.
  *
- * The core of the inactive vnode op for all but IRIX.
+ * \param avc 
+ * \param acred
  */
 void
 afs_InactiveVCache(struct vcache *avc, struct AFS_UCRED *acred)
 {
     AFS_STATCNT(afs_inactive);
-    if (avc->states & CDirty) {
+    if (avc->f.states & CDirty) {
        /* we can't keep trying to push back dirty data forever.  Give up. */
        afs_InvalidateAllSegments(avc); /* turns off dirty bit */
     }
-    avc->states &= ~CMAPPED;   /* mainly used by SunOS 4.0.x */
-    avc->states &= ~CDirty;    /* Turn it off */
-    if (avc->states & CUnlinked) {
+    avc->f.states &= ~CMAPPED; /* mainly used by SunOS 4.0.x */
+    avc->f.states &= ~CDirty;  /* Turn it off */
+    if (avc->f.states & CUnlinked) {
        if (CheckLock(&afs_xvcache) || CheckLock(&afs_xdcache)) {
-           avc->states |= CUnlinkedDel;
+           avc->f.states |= CUnlinkedDel;
            return;
        }
        afs_remunlink(avc, 1);  /* ignore any return code */
@@ -305,14 +314,14 @@ afs_InactiveVCache(struct vcache *avc, struct AFS_UCRED *acred)
 }
 #endif
 
-/*
- * afs_AllocCBR
- *
- * Description: allocate a callback return structure from the
+/*!
+ *   Allocate a callback return structure from the
  * free list and return it.
  *
- * Env: The alloc and free routines are both called with the afs_xvcb lock
+ * Environment: The alloc and free routines are both called with the afs_xvcb lock
  * held, so we don't have to worry about blocking in osi_Alloc.
+ *
+ * \return The allocated afs_cbr.
  */
 static struct afs_cbr *afs_cbrSpace = 0;
 struct afs_cbr *
@@ -344,15 +353,14 @@ afs_AllocCBR(void)
     return tsp;
 }
 
-/*
- * afs_FreeCBR
+/*!
+ * Free a callback return structure, removing it from all lists.
  *
- * Description: free a callback return structure, removing it from all lists.
+ * Environment: the xvcb lock is held over these calls.
  *
- * Parameters:
- *     asp -- the address of the structure to free.
+ * \param asp The address of the structure to free.
  *
- * Environment: the xvcb lock is held over these calls.
+ * \rerurn 0
  */
 int
 afs_FreeCBR(register struct afs_cbr *asp)
@@ -370,15 +378,13 @@ afs_FreeCBR(register struct afs_cbr *asp)
     return 0;
 }
 
-/*
- * afs_FlushVCBs
- *
- * Description: flush all queued callbacks to all servers.
- *
- * Parameters: none.
+/*!
+ *   Flush all queued callbacks to all servers.
  *
  * Environment: holds xvcb lock over RPC to guard against race conditions
  *     when a new callback is granted for the same file later on.
+ *
+ * \return 0 for success.
  */
 afs_int32
 afs_FlushVCBs(afs_int32 lockit)
@@ -393,7 +399,7 @@ afs_FlushVCBs(afs_int32 lockit)
     struct server *tsp;
     int i;
     struct vrequest treq;
-    struct conn *tc;
+    struct afs_conn *tc;
     int safety1, safety2, safety3;
     XSTATS_DECLS;
     if ((code = afs_InitReq(&treq, afs_osi_credp)))
@@ -492,18 +498,15 @@ afs_FlushVCBs(afs_int32 lockit)
     return 0;
 }
 
-/*
- * afs_QueueVCB
- *
- * Description:
- *     Queue a callback on the given fid.
- *
- * Parameters:
- *     avc: vcache entry
+/*!
+ *  Queue a callback on the given fid.
  *
  * Environment:
  *     Locks the xvcb lock.
  *     Called when the xvcache lock is already held.
+ *
+ * \param avc vcache entry
+ * \return 0 for success < 0 otherwise.
  */
 
 static afs_int32
@@ -521,7 +524,7 @@ afs_QueueVCB(struct vcache *avc)
      */
     MObtainWriteLock(&afs_xvcb, 274);
     tcbp = afs_AllocCBR();
-    tcbp->fid = avc->fid.Fid;
+    tcbp->fid = avc->f.fid.Fid;
 
     tcbp->next = tsp->cbrs;
     if (tsp->cbrs)
@@ -538,19 +541,16 @@ afs_QueueVCB(struct vcache *avc)
 }
 
 
-/*
- * afs_RemoveVCB
- *
- * Description:
- *     Remove a queued callback for a given Fid.
- *
- * Parameters:
- *     afid: The fid we want cleansed of queued callbacks.
+/*!
+ *   Remove a queued callback for a given Fid.
  *
  * Environment:
  *     Locks xvcb and xserver locks.
  *     Typically called with xdcache, xvcache and/or individual vcache
  *     entries locked.
+ *
+ * \param afid The fid we want cleansed of queued callbacks.
+ *
  */
 
 void
@@ -603,17 +603,17 @@ afs_FlushReclaimedVcaches(void)
            tmpReclaimedVCList = tvc;
            printf("Reclaim list flush %lx failed: %d\n", (unsigned long) tvc, code);
        }
-        if (tvc->states & (CVInit
+        if (tvc->f.states & (CVInit
 #ifdef AFS_DARWIN80_ENV
                          | CDeadVnode
 #endif
            )) {
-          tvc->states &= ~(CVInit
+          tvc->f.states &= ~(CVInit
 #ifdef AFS_DARWIN80_ENV
                            | CDeadVnode
 #endif
           );
-          afs_osi_Wakeup(&tvc->states);
+          afs_osi_Wakeup(&tvc->f.states);
        }
     }
     if (tmpReclaimedVCList) 
@@ -623,64 +623,42 @@ afs_FlushReclaimedVcaches(void)
 #endif
 }
 
-/*
- * afs_NewVCache
- *
- * Description:
- *     This routine is responsible for allocating a new cache entry
- *     from the free list.  It formats the cache entry and inserts it
- *     into the appropriate hash tables.  It must be called with
- *     afs_xvcache write-locked so as to prevent several processes from
- *     trying to create a new cache entry simultaneously.
- *
- * Parameters:
- *     afid  : The file id of the file whose cache entry is being
- *             created.
- */
-/* LOCK: afs_NewVCache  afs_xvcache W */
-struct vcache *
-afs_NewVCache(struct VenusFid *afid, struct server *serverp)
+int
+afs_ShakeLooseVCaches(afs_int32 anumber)
 {
-    struct vcache *tvc;
+#if defined(AFS_OSF_ENV) || defined(AFS_LINUX22_ENV)
     afs_int32 i, j;
-    afs_int32 anumber = VCACHE_FREE;
-#ifdef AFS_AIX_ENV
-    struct gnode *gnodepnt;
-#endif
-#ifdef AFS_OSF_ENV
-    struct vcache *nvc;
-#endif /* AFS_OSF_ENV */
+    struct vcache *tvc;
     struct afs_q *tq, *uq;
     int code, fv_slept;
+    afs_int32 target = anumber;
+    int haveGlock = 1;
 
-    AFS_STATCNT(afs_NewVCache);
-
-    afs_FlushReclaimedVcaches();
+    /* Should probably deal better */
+    if (!ISAFS_GLOCK()) {
+       haveGlock = 0;
+       AFS_GLOCK();
+    }
 
-#if defined(AFS_OSF_ENV) || defined(AFS_LINUX22_ENV)
-#if defined(AFS_OSF30_ENV) || defined(AFS_LINUX22_ENV)
-    if (afs_vcount >= afs_maxvcount)
-#else
-    /*
-     * If we are using > 33 % of the total system vnodes for AFS vcache
-     * entries or we are using the maximum number of vcache entries,
-     * then free some.  (if our usage is > 33% we should free some, if
-     * our usage is > afs_maxvcount, set elsewhere to 0.5*nvnode,
-     * we _must_ free some -- no choice).
-     */
-    if (((3 * afs_vcount) > nvnode) || (afs_vcount >= afs_maxvcount))
+    if (
+#ifdef AFS_MAXVCOUNT_ENV
+       afsd_dynamic_vcaches || /* Always run if dynamic vcaches are enabled. */
 #endif
-    {
+       afs_vcount >= afs_maxvcount
+       ) {
        int i;
-       char *panicstr;
 
        i = 0;
        for (tq = VLRU.prev; tq != &VLRU && anumber > 0; tq = uq) {
            tvc = QTOV(tq);
            uq = QPrev(tq);
-           if (tvc->states & CVFlushed) {
+           if (tvc->f.states & CVFlushed) {
                refpanic("CVFlushed on VLRU");
-           } else if (i++ > afs_maxvcount) {
+           } else if (
+#ifdef AFS_MAXVCOUNT_ENV
+           ! afsd_dynamic_vcaches && 
+#endif
+           i++ > afs_maxvcount) {
                refpanic("Exceeded pool of AFS vnodes(VLRU cycle?)");
            } else if (QNext(uq) != tq) {
                refpanic("VLRU inconsistent");
@@ -695,7 +673,7 @@ afs_NewVCache(struct VenusFid *afid, struct server *serverp)
                 AFS_GUNLOCK();
 #if defined(AFS_LINUX24_ENV)
                 spin_lock(&dcache_lock);
-#endif
+#endif /* AFS_LINUX24_ENV */
                head = &(AFSTOV(tvc))->i_dentry;
 
 restart:
@@ -710,7 +688,7 @@ restart:
 
 #if defined(AFS_LINUX24_ENV)
                    spin_unlock(&dcache_lock);
-#endif
+#endif /* AFS_LINUX24_ENV */
                    if (d_invalidate(dentry) == -EBUSY) {
                        dput(dentry);
                        /* perhaps lock and try to continue? (use cur as head?) */
@@ -719,20 +697,20 @@ restart:
                    dput(dentry);
 #if defined(AFS_LINUX24_ENV)
                    spin_lock(&dcache_lock);
-#endif
+#endif /* AFS_LINUX24_ENV */
                    goto restart;
                }                   
 #if defined(AFS_LINUX24_ENV)
                spin_unlock(&dcache_lock);
-#endif
+#endif /* AFS_LINUX24_ENV */
            inuse:
                AFS_GLOCK();
            }
-#endif
+#endif /* AFS_LINUX22_ENV */
 
            if (VREFCOUNT_GT(tvc,0) && !VREFCOUNT_GT(tvc,1) &&
                tvc->opens == 0
-               && (tvc->states & CUnlinkedDel) == 0) {
+               && (tvc->f.states & CUnlinkedDel) == 0) {
                code = afs_FlushVCache(tvc, &fv_slept);
                if (code == 0) {
                    anumber--;
@@ -746,24 +724,49 @@ restart:
            if (tq == uq)
                break;
        }
-       if (anumber == VCACHE_FREE) {
-           printf("afs_NewVCache: warning none freed, using %d of %d\n",
+       if (
+#ifdef AFS_MAXVCOUNT_ENV
+        !afsd_dynamic_vcaches &&
+#endif
+        anumber == target) {
+           printf("afs_ShakeLooseVCaches: warning none freed, using %d of %d\n",
                   afs_vcount, afs_maxvcount);
-           if (afs_vcount >= afs_maxvcount) {
-               printf("afs_NewVCache - none freed\n");
-               return NULL;
-           }
        }
-    }
+    } /* finished freeing up space */
+/*
+    printf("recycled %d entries\n", target-anumber);
+*/
+    if (!haveGlock)
+       AFS_GUNLOCK();
+#endif
+    return 0;
+}
 
-#if defined(AFS_LINUX22_ENV)
+/* Alloc new vnode. */
+
+static struct vcache *
+afs_AllocVCache(void) 
 {
+    struct vcache *tvc;
+#if defined(AFS_OSF30_ENV)
+    struct vcache *nvc;
+    AFS_GUNLOCK();
+    if (getnewvnode(MOUNT_AFS, &Afs_vnodeops, &nvc)) {
+       /* What should we do ???? */
+       osi_Panic("afs_AllocVCache: no more vnodes");
+    }
+    AFS_GLOCK();
+
+    tvc = nvc;
+    tvc->nextfree = NULL;
+    afs_vcount++;
+#elif defined(AFS_LINUX22_ENV)
     struct inode *ip;
 
     AFS_GUNLOCK();
     ip = new_inode(afs_globalVFS);
     if (!ip)
-       osi_Panic("afs_NewVCache: no more inodes");
+       osi_Panic("afs_AllocVCache: no more inodes");
     AFS_GLOCK();
 #if defined(STRUCT_SUPER_HAS_ALLOC_INODE)
     tvc = VTOAFS(ip);
@@ -772,19 +775,106 @@ restart:
     ip->u.generic_ip = tvc;
     tvc->v = ip;
 #endif
-}
+
+    afs_vcount++;
+#ifdef AFS_MAXVCOUNT_ENV
+    /* track the peak */
+    if (afsd_dynamic_vcaches && afs_maxvcount < afs_vcount) {
+       afs_maxvcount = afs_vcount;
+       printf("peak vnodes: %d\n", afs_maxvcount);
+    }
+#endif
+    afs_stats_cmperf.vcacheXAllocs++;  /* count in case we have a leak */
 #else
-    AFS_GUNLOCK();
-    if (getnewvnode(MOUNT_AFS, &Afs_vnodeops, &nvc)) {
-       /* What should we do ???? */
-       osi_Panic("afs_NewVCache: no more vnodes");
+    /* none free, making one is better than a panic */
+    afs_stats_cmperf.vcacheXAllocs++;  /* count in case we have a leak */
+    tvc = (struct vcache *)afs_osi_Alloc(sizeof(struct vcache));
+#if defined(AFS_DARWIN_ENV) && !defined(UKERNEL)
+    tvc->v = NULL; /* important to clean this, or use memset 0 */
+#endif
+#ifdef KERNEL_HAVE_PIN
+    pin((char *)tvc, sizeof(struct vcache));   /* XXX */
+#endif
+#if defined(AFS_SGI_ENV)
+    {
+       char name[METER_NAMSZ];
+       memset(tvc, 0, sizeof(struct vcache));
+       tvc->v.v_number = ++afsvnumbers;
+       tvc->vc_rwlockid = OSI_NO_LOCKID;
+       initnsema(&tvc->vc_rwlock, 1,
+                 makesname(name, "vrw", tvc->v.v_number));
+#ifndef        AFS_SGI53_ENV
+       initnsema(&tvc->v.v_sync, 0,
+                 makesname(name, "vsy", tvc->v.v_number));
+#endif
+#ifndef AFS_SGI62_ENV
+       initnlock(&tvc->v.v_lock,
+                 makesname(name, "vlk", tvc->v.v_number));
+#endif
     }
-    AFS_GLOCK();
+#endif /* AFS_SGI_ENV */
+#endif
+#ifdef AFS_DISCON_ENV
+    /* If we create a new inode, we either give it a new slot number,
+     * or if one's available, use a slot number from the slot free list
+     */
+    if (afs_freeSlotList != NULL) {
+       struct afs_slotlist *tmp;
+   
+       tvc->diskSlot = afs_freeSlotList->slot;
+       tmp = afs_freeSlotList;
+       afs_freeSlotList = tmp->next;
+       afs_osi_Free(tmp, sizeof(struct afs_slotlist));
+    }  else {
+       tvc->diskSlot = afs_nextVcacheSlot++;
+    }
+#endif
 
-    tvc = nvc;
-    tvc->nextfree = NULL;
+    return tvc;
+}
+
+/*!
+ *   This routine is responsible for allocating a new cache entry
+ * from the free list.  It formats the cache entry and inserts it
+ * into the appropriate hash tables.  It must be called with
+ * afs_xvcache write-locked so as to prevent several processes from
+ * trying to create a new cache entry simultaneously.
+ *
+ * LOCK: afs_NewVCache  afs_xvcache W
+ *
+ * \param afid The file id of the file whose cache entry is being created.
+ *
+ * \return The new vcache struct.
+ */
+struct vcache *
+afs_NewVCache(struct VenusFid *afid, struct server *serverp)
+{
+    struct vcache *tvc;
+    afs_int32 i, j;
+    afs_int32 anumber = VCACHE_FREE;
+#ifdef AFS_AIX_ENV
+    struct gnode *gnodepnt;
 #endif
-    afs_vcount++;
+    struct afs_q *tq, *uq;
+    int code, fv_slept;
+
+    AFS_STATCNT(afs_NewVCache);
+
+    afs_FlushReclaimedVcaches();
+
+#if defined(AFS_OSF_ENV) || defined(AFS_LINUX22_ENV)
+#ifdef AFS_MAXVCOUNT_ENV
+    if(!afsd_dynamic_vcaches) {
+#endif
+       afs_ShakeLooseVCaches(anumber);
+       if (afs_vcount >= afs_maxvcount) {
+           printf("afs_NewVCache - none freed\n");
+           return NULL;
+       }
+#ifdef AFS_MAXVCOUNT_ENV
+    }
+#endif
+    tvc = afs_AllocVCache();
 #else /* AFS_OSF_ENV */
     /* pull out a free cache entry */
     if (!freeVCList) {
@@ -794,13 +884,13 @@ restart:
            tvc = QTOV(tq);
            uq = QPrev(tq);
 
-           if (tvc->states & CVFlushed) {
+           if (tvc->f.states & CVFlushed) {
                refpanic("CVFlushed on VLRU");
            } else if (i++ > 2 * afs_cacheStats) {      /* even allowing for a few xallocs... */
                refpanic("Increase -stat parameter of afsd(VLRU cycle?)");
            } else if (QNext(uq) != tq) {
                refpanic("VLRU inconsistent");
-           } else if (tvc->states & CVInit) {
+           } else if (tvc->f.states & CVInit) {
                continue;
             }
 
@@ -809,7 +899,7 @@ restart:
                || ((VREFCOUNT(tvc) == 1) && 
                    (UBCINFOEXISTS(AFSTOV(tvc))))
 #endif
-               && tvc->opens == 0 && (tvc->states & CUnlinkedDel) == 0) {
+               && tvc->opens == 0 && (tvc->f.states & CUnlinkedDel) == 0) {
 #if defined (AFS_DARWIN_ENV) || defined(AFS_XBSD_ENV)
 #ifdef AFS_DARWIN80_ENV
                vnode_t tvp = AFSTOV(tvc);
@@ -839,7 +929,7 @@ restart:
                    code = EBUSY;
                } else
                    code = 0;
-#else
+#else /* AFS_DARWIN80_ENV */
                 /*
                  * vgone() reclaims the vnode, which calls afs_FlushVCache(),
                  * then it puts the vnode on the free list.
@@ -853,9 +943,9 @@ restart:
                 code = 0;
                 AFS_GLOCK();
 #endif
-#else
+#else /* AFS_DARWIN80_ENV || AFS_XBSD_ENV */
                 code = afs_FlushVCache(tvc, &fv_slept);
-#endif
+#endif /* AFS_DARWIN80_ENV || AFS_XBSD_ENV */
                if (code == 0) {
                    anumber--;
                }
@@ -870,40 +960,16 @@ restart:
            if (tq == uq)
                break;
        }
-    }
+    } /* end of if (!freeVCList) */
+
     if (!freeVCList) {
-       /* none free, making one is better than a panic */
-       afs_stats_cmperf.vcacheXAllocs++;       /* count in case we have a leak */
-       tvc = (struct vcache *)afs_osi_Alloc(sizeof(struct vcache));
-#if defined(AFS_DARWIN_ENV) && !defined(UKERNEL)
-       tvc->v = NULL; /* important to clean this, or use memset 0 */
-#endif
-#ifdef KERNEL_HAVE_PIN
-       pin((char *)tvc, sizeof(struct vcache));        /* XXX */
-#endif
-#if defined(AFS_SGI_ENV)
-       {
-           char name[METER_NAMSZ];
-           memset(tvc, 0, sizeof(struct vcache));
-           tvc->v.v_number = ++afsvnumbers;
-           tvc->vc_rwlockid = OSI_NO_LOCKID;
-           initnsema(&tvc->vc_rwlock, 1,
-                     makesname(name, "vrw", tvc->v.v_number));
-#ifndef        AFS_SGI53_ENV
-           initnsema(&tvc->v.v_sync, 0,
-                     makesname(name, "vsy", tvc->v.v_number));
-#endif
-#ifndef AFS_SGI62_ENV
-           initnlock(&tvc->v.v_lock,
-                     makesname(name, "vlk", tvc->v.v_number));
-#endif
-       }
-#endif /* AFS_SGI_ENV */
+       tvc = afs_AllocVCache();
     } else {
        tvc = freeVCList;       /* take from free list */
        freeVCList = tvc->nextfree;
        tvc->nextfree = NULL;
-    }
+    } /* end of if (!freeVCList) */
+
 #endif /* AFS_OSF_ENV */
 
 #if defined(AFS_XBSD_ENV) || defined(AFS_DARWIN_ENV)
@@ -912,41 +978,52 @@ restart:
 #endif
 
 #if !defined(AFS_SGI_ENV) && !defined(AFS_OSF_ENV) && !defined(AFS_LINUX22_ENV)
+
+#if defined(AFS_DISCON_ENV)
+    /* We need to preserve the slot that we're being stored into on
+     * disk */
+    { 
+       afs_uint32 slot;
+        slot = tvc->diskSlot;
+       memset((char *)tvc, 0, sizeof(struct vcache));
+       tvc->diskSlot = slot;
+    }
+#else
     memset((char *)tvc, 0, sizeof(struct vcache));
+#endif
+
 #else
     tvc->uncred = 0;
+    memset(&(tvc->f), 0, sizeof(struct fvcache));
 #endif
 
-    RWLOCK_INIT(&tvc->lock, "vcache lock");
+    AFS_RWLOCK_INIT(&tvc->lock, "vcache lock");
 #if    defined(AFS_SUN5_ENV)
-    RWLOCK_INIT(&tvc->vlock, "vcache vlock");
+    AFS_RWLOCK_INIT(&tvc->vlock, "vcache vlock");
 #endif /* defined(AFS_SUN5_ENV) */
 
-    tvc->parentVnode = 0;
     tvc->mvid = NULL;
     tvc->linkData = NULL;
     tvc->cbExpires = 0;
     tvc->opens = 0;
     tvc->execsOrWriters = 0;
     tvc->flockCount = 0;
-    tvc->anyAccess = 0;
-    tvc->states = CVInit;
+    tvc->f.states = CVInit;
     tvc->last_looker = 0;
-    tvc->fid = *afid;
+    tvc->f.fid = *afid;
     tvc->asynchrony = -1;
     tvc->vc_error = 0;
 #ifdef AFS_TEXT_ENV
     tvc->flushDV.low = tvc->flushDV.high = AFS_MAXDV;
 #endif
     hzero(tvc->mapDV);
-    tvc->truncPos = AFS_NOTRUNC;        /* don't truncate until we need to */
-    hzero(tvc->m.DataVersion);  /* in case we copy it into flushDV */
+    tvc->f.truncPos = AFS_NOTRUNC;        /* don't truncate until we need to */
+    hzero(tvc->f.m.DataVersion);  /* in case we copy it into flushDV */
     tvc->Access = NULL;
     tvc->callback = serverp;    /* to minimize chance that clear
                                 * request is lost */
 #if defined(AFS_DISCON_ENV)
-    tvc->ddirty_next = NULL;
-    tvc->ddirty_flags = 0;
+    QZero(&tvc->metadirty);
 #endif
 
     i = VCHash(afid);
@@ -1039,6 +1116,12 @@ restart:
     tvc->vmh = tvc->segid = NULL;
     tvc->credp = NULL;
 #endif
+
+#if defined(AFS_CACHE_BYPASS)
+    tvc->cachingStates = 0;
+    tvc->cachingTransitions = 0;
+#endif
+
 #ifdef AFS_BOZONLOCK_ENV
 #if    defined(AFS_SUN5_ENV)
     rw_init(&tvc->rwlock, "vcache rwlock", RW_DEFAULT, NULL);
@@ -1156,30 +1239,27 @@ restart:
     osi_dnlc_purgedp(tvc);     /* this may be overkill */
     memset((char *)&(tvc->callsort), 0, sizeof(struct afs_q));
     tvc->slocks = NULL;
-    tvc->states &=~ CVInit;
-    afs_osi_Wakeup(&tvc->states);
+    tvc->f.states &=~ CVInit;
+    afs_osi_Wakeup(&tvc->f.states);
 
     return tvc;
 
 }                              /*afs_NewVCache */
 
 
-/*
- * afs_FlushActiveVcaches
+/*!
+ * ???
  *
- * Description:
- *     ???
+ * LOCK: afs_FlushActiveVcaches afs_xvcache N
  *
- * Parameters:
- *     doflocks : Do we handle flocks?
+ * \param doflocks : Do we handle flocks?
  */
-/* LOCK: afs_FlushActiveVcaches afs_xvcache N */
 void
 afs_FlushActiveVcaches(register afs_int32 doflocks)
 {
     register struct vcache *tvc;
     register int i;
-    register struct conn *tc;
+    register struct afs_conn *tc;
     register afs_int32 code;
     register struct AFS_UCRED *cred = NULL;
     struct vrequest treq, ureq;
@@ -1190,10 +1270,10 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
     ObtainReadLock(&afs_xvcache);
     for (i = 0; i < VCSIZE; i++) {
        for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-            if (tvc->states & CVInit) continue;
+            if (tvc->f.states & CVInit) continue;
 #ifdef AFS_DARWIN80_ENV
-            if (tvc->states & CDeadVnode &&
-                (tvc->states & (CCore|CUnlinkedDel) ||
+            if (tvc->f.states & CDeadVnode &&
+                (tvc->f.states & (CCore|CUnlinkedDel) ||
                  tvc->flockCount)) panic("Dead vnode has core/unlinkedel/flock");
 #endif
            if (doflocks && tvc->flockCount != 0) {
@@ -1205,20 +1285,20 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                    afs_InitReq(&treq, afs_osi_credp);
                    treq.flags |= O_NONBLOCK;
 
-                   tc = afs_Conn(&tvc->fid, &treq, SHARED_LOCK);
+                   tc = afs_Conn(&tvc->f.fid, &treq, SHARED_LOCK);
                    if (tc) {
                        XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_EXTENDLOCK);
                        RX_AFS_GUNLOCK();
                        code =
                            RXAFS_ExtendLock(tc->id,
-                                            (struct AFSFid *)&tvc->fid.Fid,
+                                            (struct AFSFid *)&tvc->f.fid.Fid,
                                             &tsync);
                        RX_AFS_GLOCK();
                        XSTATS_END_TIME;
                    } else
                        code = -1;
                } while (afs_Analyze
-                        (tc, code, &tvc->fid, &treq,
+                        (tc, code, &tvc->f.fid, &treq,
                          AFS_STATS_FS_RPCIDX_EXTENDLOCK, SHARED_LOCK, NULL));
 
                ReleaseWriteLock(&tvc->lock);
@@ -1231,7 +1311,7 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
 #endif
            }
            didCore = 0;
-           if ((tvc->states & CCore) || (tvc->states & CUnlinkedDel)) {
+           if ((tvc->f.states & CCore) || (tvc->f.states & CUnlinkedDel)) {
                /*
                 * Don't let it evaporate in case someone else is in
                 * this code.  Also, drop the afs_xvcache lock while
@@ -1250,8 +1330,8 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                AFS_RWLOCK((vnode_t *) tvc, VRWLOCK_WRITE);
 #endif
                ObtainWriteLock(&tvc->lock, 52);
-               if (tvc->states & CCore) {
-                   tvc->states &= ~CCore;
+               if (tvc->f.states & CCore) {
+                   tvc->f.states &= ~CCore;
                    /* XXXX Find better place-holder for cred XXXX */
                    cred = (struct AFS_UCRED *)tvc->linkData;
                    tvc->linkData = NULL;       /* XXX */
@@ -1268,10 +1348,10 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
                    osi_FlushText(tvc);
                    didCore = 1;
                    if (code && code != VNOVNODE) {
-                       afs_StoreWarn(code, tvc->fid.Fid.Volume,
+                       afs_StoreWarn(code, tvc->f.fid.Fid.Volume,
                                      /* /dev/console */ 1);
                    }
-               } else if (tvc->states & CUnlinkedDel) {
+               } else if (tvc->f.states & CUnlinkedDel) {
                    /*
                     * Ignore errors
                     */
@@ -1321,11 +1401,8 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
 
 
 
-/*
- * afs_VerifyVCache
- *
- * Description:
- *     Make sure a cache entry is up-to-date status-wise.
+/*!
+ *   Make sure a cache entry is up-to-date status-wise.
  *
  * NOTE: everywhere that calls this can potentially be sped up
  *       by checking CStatd first, and avoiding doing the InitReq
@@ -1334,11 +1411,26 @@ afs_FlushActiveVcaches(register afs_int32 doflocks)
  *  Anymore, the only places that call this KNOW already that the
  *  vcache is not up-to-date, so we don't screw around.
  *
- * Parameters:
- *     avc  : Ptr to vcache entry to verify.
- *     areq : ???
+ * \param avc  : Ptr to vcache entry to verify.
+ * \param areq : ???
  */
 
+/*!
+ * 
+ *   Make sure a cache entry is up-to-date status-wise.
+ *   
+ *   NOTE: everywhere that calls this can potentially be sped up
+ *       by checking CStatd first, and avoiding doing the InitReq
+ *       if this is up-to-date.
+ *
+ *   Anymore, the only places that call this KNOW already that the
+ * vcache is not up-to-date, so we don't screw around.
+ *
+ * \param avc Pointer to vcache entry to verify.
+ * \param areq
+ *
+ * \return 0 for success or other error codes.
+ */
 int
 afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
 {
@@ -1357,12 +1449,12 @@ afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
     /* otherwise we must fetch the status info */
 
     ObtainWriteLock(&avc->lock, 53);
-    if (avc->states & CStatd) {
+    if (avc->f.states & CStatd) {
        ReleaseWriteLock(&avc->lock);
        return 0;
     }
     ObtainWriteLock(&afs_xcbhash, 461);
-    avc->states &= ~(CStatd | CUnique);
+    avc->f.states &= ~(CStatd | CUnique);
     avc->callback = NULL;
     afs_DequeueCallback(avc);
     ReleaseWriteLock(&afs_xcbhash);
@@ -1372,13 +1464,13 @@ afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
      * it's possible that the contents of this directory, or this
      * file's name have changed, thus invalidating the dnlc contents.
      */
-    if ((avc->states & CForeign) || (avc->fid.Fid.Vnode & 1))
+    if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
        osi_dnlc_purgedp(avc);
     else
        osi_dnlc_purgevp(avc);
 
     /* fetch the status info */
-    tvc = afs_GetVCache(&avc->fid, areq, NULL, avc);
+    tvc = afs_GetVCache(&avc->f.fid, areq, NULL, avc);
     if (!tvc)
        return ENOENT;
     /* Put it back; caller has already incremented vrefCount */
@@ -1388,20 +1480,14 @@ afs_VerifyVCache2(struct vcache *avc, struct vrequest *areq)
 }                              /*afs_VerifyVCache */
 
 
-/*
- * afs_SimpleVStat
- *
- * Description:
- *     Simple copy of stat info into cache.
+/*!
+ * Simple copy of stat info into cache.
  *
- * Parameters:
- *     avc   : Ptr to vcache entry involved.
- *     astat : Ptr to stat info to copy.
+ * Callers:as of 1992-04-29, only called by WriteVCache
  *
- * Environment:
- *     Nothing interesting.
+ * \param avc   Ptr to vcache entry involved.
+ * \param astat Ptr to stat info to copy.
  *
- * Callers:  as of 1992-04-29, only called by WriteVCache
  */
 static void
 afs_SimpleVStat(register struct vcache *avc,
@@ -1424,7 +1510,7 @@ afs_SimpleVStat(register struct vcache *avc,
 #if defined(AFS_SGI_ENV)
        osi_Assert((valusema(&avc->vc_rwlock) <= 0)
                   && (OSI_GET_LOCKID() == avc->vc_rwlockid));
-       if (length < avc->m.Length) {
+       if (length < avc->f.m.Length) {
            vnode_t *vp = (vnode_t *) avc;
 
            osi_Assert(WriteLocked(&avc->lock));
@@ -1437,26 +1523,26 @@ afs_SimpleVStat(register struct vcache *avc,
 #endif
        /* if writing the file, don't fetch over this value */
        afs_Trace3(afs_iclSetp, CM_TRACE_SIMPLEVSTAT, ICL_TYPE_POINTER, avc,
-                  ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->m.Length),
+                  ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->f.m.Length),
                   ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(length));
-       avc->m.Length = length;
-       avc->m.Date = astat->ClientModTime;
+       avc->f.m.Length = length;
+       avc->f.m.Date = astat->ClientModTime;
     }
-    avc->m.Owner = astat->Owner;
-    avc->m.Group = astat->Group;
-    avc->m.Mode = astat->UnixModeBits;
+    avc->f.m.Owner = astat->Owner;
+    avc->f.m.Group = astat->Group;
+    avc->f.m.Mode = astat->UnixModeBits;
     if (vType(avc) == VREG) {
-       avc->m.Mode |= S_IFREG;
+       avc->f.m.Mode |= S_IFREG;
     } else if (vType(avc) == VDIR) {
-       avc->m.Mode |= S_IFDIR;
+       avc->f.m.Mode |= S_IFDIR;
     } else if (vType(avc) == VLNK) {
-       avc->m.Mode |= S_IFLNK;
-       if ((avc->m.Mode & 0111) == 0)
+       avc->f.m.Mode |= S_IFLNK;
+       if ((avc->f.m.Mode & 0111) == 0)
            avc->mvstat = 1;
     }
-    if (avc->states & CForeign) {
+    if (avc->f.states & CForeign) {
        struct axscache *ac;
-       avc->anyAccess = astat->AnonymousAccess;
+       avc->f.anyAccess = astat->AnonymousAccess;
 #ifdef badidea
        if ((astat->CallerAccess & ~astat->AnonymousAccess))
            /*   USED TO SAY :
@@ -1480,24 +1566,20 @@ afs_SimpleVStat(register struct vcache *avc,
                afs_AddAxs(avc->Access, areq->uid, astat->CallerAccess);
     }
 
-
 }                              /*afs_SimpleVStat */
 
 
-/*
- * afs_WriteVCache
+/*!
+ * Store the status info *only* back to the server for a
+ * fid/vrequest.
  *
- * Description:
- *     Store the status info *only* back to the server for a
- *     fid/vrequest.
+ * Environment: Must be called with a shared lock held on the vnode.
  *
- * Parameters:
- *     avc     : Ptr to the vcache entry.
- *     astatus : Ptr to the status info to store.
- *     areq    : Ptr to the associated vrequest.
+ * \param avc Ptr to the vcache entry.
+ * \param astatus Ptr to the status info to store.
+ * \param areq Ptr to the associated vrequest.
  *
- * Environment:
- *     Must be called with a shared lock held on the vnode.
+ * \return Operation status.
  */
 
 int
@@ -1506,27 +1588,27 @@ afs_WriteVCache(register struct vcache *avc,
                struct vrequest *areq)
 {
     afs_int32 code;
-    struct conn *tc;
+    struct afs_conn *tc;
     struct AFSFetchStatus OutStatus;
     struct AFSVolSync tsync;
     XSTATS_DECLS;
     AFS_STATCNT(afs_WriteVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_WVCACHE, ICL_TYPE_POINTER, avc,
-              ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->m.Length));
+              ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->f.m.Length));
     do {
-       tc = afs_Conn(&avc->fid, areq, SHARED_LOCK);
+       tc = afs_Conn(&avc->f.fid, areq, SHARED_LOCK);
        if (tc) {
            XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_STORESTATUS);
            RX_AFS_GUNLOCK();
            code =
-               RXAFS_StoreStatus(tc->id, (struct AFSFid *)&avc->fid.Fid,
+               RXAFS_StoreStatus(tc->id, (struct AFSFid *)&avc->f.fid.Fid,
                                  astatus, &OutStatus, &tsync);
            RX_AFS_GLOCK();
            XSTATS_END_TIME;
        } else
            code = -1;
     } while (afs_Analyze
-            (tc, code, &avc->fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
+            (tc, code, &avc->f.fid, areq, AFS_STATS_FS_RPCIDX_STORESTATUS,
              SHARED_LOCK, NULL));
 
     UpgradeSToWLock(&avc->lock, 20);
@@ -1538,14 +1620,14 @@ afs_WriteVCache(register struct vcache *avc,
         * it thought we were doing this after fetching new status
         * over a file being written.
         */
-       avc->m.Date = OutStatus.ClientModTime;
+       avc->f.m.Date = OutStatus.ClientModTime;
     } else {
        /* failure, set up to check with server next time */
        ObtainWriteLock(&afs_xcbhash, 462);
        afs_DequeueCallback(avc);
-       avc->states &= ~(CStatd | CUnique);     /* turn off stat valid flag */
+       avc->f.states &= ~(CStatd | CUnique);   /* turn off stat valid flag */
        ReleaseWriteLock(&afs_xcbhash);
-       if ((avc->states & CForeign) || (avc->fid.Fid.Vnode & 1))
+       if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(avc);      /* if it (could be) a directory */
     }
     ConvertWToSLock(&avc->lock);
@@ -1581,32 +1663,32 @@ int afs_WriteVCacheDiscon(register struct vcache *avc,
 
        /* Set attributes. */
        if (astatus->Mask & AFS_SETMODTIME) {
-               avc->m.Date = astatus->ClientModTime;
+               avc->f.m.Date = astatus->ClientModTime;
                flags |= VDisconSetTime;
        }
 
        if (astatus->Mask & AFS_SETOWNER) {
                printf("Not allowed yet. \n");
-               //avc->m.Owner = astatus->Owner;
+               //avc->f.m.Owner = astatus->Owner;
        }
 
        if (astatus->Mask & AFS_SETGROUP) {
                printf("Not allowed yet. \n");
-               //avc->m.Group =  astatus->Group;
+               //avc->f.m.Group =  astatus->Group;
        }
 
        if (astatus->Mask & AFS_SETMODE) {
-               avc->m.Mode = astatus->UnixModeBits;
+               avc->f.m.Mode = astatus->UnixModeBits;
 
 #if 0  /* XXX: Leaving this out, so it doesn't mess up the file type flag.*/
 
                if (vType(avc) == VREG) {
-                       avc->m.Mode |= S_IFREG;
+                       avc->f.m.Mode |= S_IFREG;
                } else if (vType(avc) == VDIR) {
-                       avc->m.Mode |= S_IFDIR;
+                       avc->f.m.Mode |= S_IFDIR;
                } else if (vType(avc) == VLNK) {
-                       avc->m.Mode |= S_IFLNK;
-                       if ((avc->m.Mode & 0111) == 0)
+                       avc->f.m.Mode |= S_IFLNK;
+                       if ((avc->f.m.Mode & 0111) == 0)
                                avc->mvstat = 1;
                }
 #endif
@@ -1621,20 +1703,8 @@ int afs_WriteVCacheDiscon(register struct vcache *avc,
        flags |= VDisconTrunc;
      }
 
-    ObtainWriteLock(&afs_DDirtyVCListLock, 701);
-
-    if (flags) {
-       /* Add to disconnected dirty list and set dirty flag.*/
-       if (!avc->ddirty_flags ||
-               (avc->ddirty_flags == VDisconShadowed)) {
-               /* Not in dirty list. */
-               AFS_DISCON_ADD_DIRTY(avc);
-       }
-
-       avc->ddirty_flags |= flags;
-    }
-
-    ReleaseWriteLock(&afs_DDirtyVCListLock);
+    if (flags)
+       afs_DisconAddDirty(avc, flags, 1);
 
     /* XXX: How about the rest of the fields? */
 
@@ -1645,23 +1715,18 @@ int afs_WriteVCacheDiscon(register struct vcache *avc,
 
 #endif
 
-/*
- * afs_ProcessFS
+/*!
+ * Copy astat block into vcache info
  *
- * Description:
- *     Copy astat block into vcache info
+ * \note This code may get dataversion and length out of sync if the file has
+ * been modified.  This is less than ideal.  I haven't thought about it sufficiently 
+ * to be certain that it is adequate.
  *
- * Parameters:
- *     avc   : Ptr to vcache entry.
- *     astat : Ptr to stat block to copy in.
- *     areq  : Ptr to associated request.
- *
- * Environment:
- *     Must be called under a write lock
+ * \note Environment: Must be called under a write lock
  *
- * Note: this code may get dataversion and length out of sync if the file has
- *       been modified.  This is less than ideal.  I haven't thought about
- *       it sufficiently to be certain that it is adequate.
+ * \param avc  Ptr to vcache entry.
+ * \param astat Ptr to stat block to copy in.
+ * \param areq Ptr to associated request.
  */
 void
 afs_ProcessFS(register struct vcache *avc,
@@ -1691,35 +1756,35 @@ afs_ProcessFS(register struct vcache *avc,
         *  values.
         */
        afs_Trace3(afs_iclSetp, CM_TRACE_PROCESSFS, ICL_TYPE_POINTER, avc,
-                  ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->m.Length),
+                  ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(avc->f.m.Length),
                   ICL_TYPE_OFFSET, ICL_HANDLE_OFFSET(length));
-       avc->m.Length = length;
-       avc->m.Date = astat->ClientModTime;
-    }
-    hset64(avc->m.DataVersion, astat->dataVersionHigh, astat->DataVersion);
-    avc->m.Owner = astat->Owner;
-    avc->m.Mode = astat->UnixModeBits;
-    avc->m.Group = astat->Group;
-    avc->m.LinkCount = astat->LinkCount;
+       avc->f.m.Length = length;
+       avc->f.m.Date = astat->ClientModTime;
+    }
+    hset64(avc->f.m.DataVersion, astat->dataVersionHigh, astat->DataVersion);
+    avc->f.m.Owner = astat->Owner;
+    avc->f.m.Mode = astat->UnixModeBits;
+    avc->f.m.Group = astat->Group;
+    avc->f.m.LinkCount = astat->LinkCount;
     if (astat->FileType == File) {
        vSetType(avc, VREG);
-       avc->m.Mode |= S_IFREG;
+       avc->f.m.Mode |= S_IFREG;
     } else if (astat->FileType == Directory) {
        vSetType(avc, VDIR);
-       avc->m.Mode |= S_IFDIR;
+       avc->f.m.Mode |= S_IFDIR;
     } else if (astat->FileType == SymbolicLink) {
-       if (afs_fakestat_enable && (avc->m.Mode & 0111) == 0) {
+       if (afs_fakestat_enable && (avc->f.m.Mode & 0111) == 0) {
            vSetType(avc, VDIR);
-           avc->m.Mode |= S_IFDIR;
+           avc->f.m.Mode |= S_IFDIR;
        } else {
            vSetType(avc, VLNK);
-           avc->m.Mode |= S_IFLNK;
+           avc->f.m.Mode |= S_IFLNK;
        }
-       if ((avc->m.Mode & 0111) == 0) {
+       if ((avc->f.m.Mode & 0111) == 0) {
            avc->mvstat = 1;
        }
     }
-    avc->anyAccess = astat->AnonymousAccess;
+    avc->f.anyAccess = astat->AnonymousAccess;
 #ifdef badidea
     if ((astat->CallerAccess & ~astat->AnonymousAccess))
        /*   USED TO SAY :
@@ -1747,6 +1812,19 @@ afs_ProcessFS(register struct vcache *avc,
 }                              /*afs_ProcessFS */
 
 
+/*!
+ * Get fid from server.
+ *
+ * \param afid 
+ * \param areq Request to be passed on.
+ * \param name Name of ?? to lookup.
+ * \param OutStatus Fetch status.
+ * \param CallBackp 
+ * \param serverp
+ * \param tsyncp
+ *
+ * \return Success status of operation.
+ */
 int
 afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
                 char *name, struct VenusFid *nfid,
@@ -1756,7 +1834,7 @@ afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
 {
     afs_int32 code;
     afs_uint32 start;
-    register struct conn *tc;
+    register struct afs_conn *tc;
     struct AFSFetchStatus OutDirStatus;
     XSTATS_DECLS;
     if (!name)
@@ -1785,21 +1863,19 @@ afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
 }
 
 
-/*
+/*!
  * afs_GetVCache
  *
- * Description:
- *     Given a file id and a vrequest structure, fetch the status
- *     information associated with the file.
+ * Given a file id and a vrequest structure, fetch the status
+ * information associated with the file.
  *
- * Parameters:
- *     afid : File ID.
- *     areq : Ptr to associated vrequest structure, specifying the
- *             user whose authentication tokens will be used.
- *      avc  : caller may already have a vcache for this file, which is
- *             already held.
+ * \param afid File ID.
+ * \param areq Ptr to associated vrequest structure, specifying the
+ *  user whose authentication tokens will be used.
+ * \param avc Caller may already have a vcache for this file, which is
+ *  already held.
  *
- * Environment:
+ * \note Environment:
  *     The cache entry is returned with an increased vrefCount field.
  *     The entry must be discarded by calling afs_PutVCache when you
  *     are through using the pointer to the cache entry.
@@ -1815,11 +1891,12 @@ afs_RemoteLookup(register struct VenusFid *afid, struct vrequest *areq,
  *     of a parent dir cache entry, given a file (to check its access
  *     control list).  It also allows renames to be handled easily by
  *     locking directories in a constant order.
- * NB.  NewVCache -> FlushVCache presently (4/10/95) drops the xvcache lock.
+ * 
+ * \note NB.  NewVCache -> FlushVCache presently (4/10/95) drops the xvcache lock.
+ *
+ * \note Might have a vcache structure already, which must
+ *  already be held by the caller 
  */
-   /* might have a vcache structure already, which must
-    * already be held by the caller */
-
 struct vcache *
 afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
              afs_int32 * cached, struct vcache *avc)
@@ -1853,9 +1930,9 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
     if (tvc) {
        if (cached)
            *cached = 1;
-       osi_Assert((tvc->states & CVInit) == 0);
+       osi_Assert((tvc->f.states & CVInit) == 0);
        /* If we are in readdir, return the vnode even if not statd */
-       if ((tvc->states & CStatd) || afs_InReadDir(tvc)) {
+       if ((tvc->f.states & CStatd) || afs_InReadDir(tvc)) {
            ReleaseSharedLock(&afs_xvcache);
            return tvc;
        }
@@ -1867,7 +1944,7 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
        newvcache = 1;
 
        ConvertWToSLock(&afs_xvcache);
-       if (!tvc)
+       if (tvc == NULL)
        {
                ReleaseSharedLock(&afs_xvcache);
                return NULL;
@@ -1880,7 +1957,7 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
 
     ObtainWriteLock(&tvc->lock, 54);
 
-    if (tvc->states & CStatd) {
+    if (tvc->f.states & CStatd) {
        ReleaseWriteLock(&tvc->lock);
        return tvc;
     }
@@ -1972,7 +2049,7 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
 #endif
 
     ObtainWriteLock(&afs_xcbhash, 464);
-    tvc->states &= ~CUnique;
+    tvc->f.states &= ~CUnique;
     tvc->callback = 0;
     afs_DequeueCallback(tvc);
     ReleaseWriteLock(&afs_xcbhash);
@@ -1983,16 +2060,16 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
     if (tvp) {
        if ((tvp->states & VForeign)) {
            if (newvcache)
-               tvc->states |= CForeign;
+               tvc->f.states |= CForeign;
            if (newvcache && (tvp->rootVnode == afid->Fid.Vnode)
                && (tvp->rootUnique == afid->Fid.Unique)) {
                tvc->mvstat = 2;
            }
        }
        if (tvp->states & VRO)
-           tvc->states |= CRO;
+           tvc->f.states |= CRO;
        if (tvp->states & VBackup)
-           tvc->states |= CBackup;
+           tvc->f.states |= CBackup;
        /* now copy ".." entry back out of volume structure, if necessary */
        if (tvc->mvstat == 2 && tvp->dotdot.Fid.Volume != 0) {
            if (!tvc->mvid)
@@ -2010,28 +2087,16 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
 
        if (afs_DynrootNewVnode(tvc, &OutStatus)) {
            afs_ProcessFS(tvc, &OutStatus, areq);
-           tvc->states |= CStatd | CUnique;
-           tvc->parentVnode  = OutStatus.ParentVnode;
-           tvc->parentUnique = OutStatus.ParentUnique;
+           tvc->f.states |= CStatd | CUnique;
+           tvc->f.parent.vnode  = OutStatus.ParentVnode;
+           tvc->f.parent.unique = OutStatus.ParentUnique;
            code = 0;
        } else {
 
            if (AFS_IS_DISCONNECTED) {
-               if (AFS_IS_DISCON_RW) {
-                   /* Seek the vnode manually. */
-                   ObtainSharedLock(&afs_xvcache, 738);
-                   avc = afs_FindVCache(afid, NULL, 1);
-                   ReleaseSharedLock(&afs_xvcache);
-
-                   if (vType(avc) == VDIR)
-                       OutStatus.FileType = Directory;
-
-                   code = tvc?0:ENOENT;
-               } else {
-                   /* Nothing to do otherwise...*/
-                   code = ENETDOWN;
-                   printf("Network is down in afs_GetCache");
-               }
+               /* Nothing to do otherwise...*/
+               code = ENETDOWN;
+               printf("Network is down in afs_GetCache");
            } else
                code = afs_FetchStatus(tvc, afid, areq, &OutStatus);
 
@@ -2044,9 +2109,13 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
             * its parent.
             */
             if (!code && OutStatus.FileType != Directory &&
-               !tvc->parentVnode) {
-               tvc->parentVnode  = OutStatus.ParentVnode;
-               tvc->parentUnique = OutStatus.ParentUnique;
+               !tvc->f.parent.vnode) {
+               tvc->f.parent.vnode  = OutStatus.ParentVnode;
+               tvc->f.parent.unique = OutStatus.ParentUnique;
+               /* XXX - SXW - It's conceivable we should mark ourselves
+                *             as dirty again here, incase we've been raced
+                *             out of the FetchStatus call.
+                */
             }
        }
     }
@@ -2065,6 +2134,19 @@ afs_GetVCache(register struct VenusFid *afid, struct vrequest *areq,
 
 
 
+/*!
+ * Lookup a vcache by fid. Look inside the cache first, if not
+ * there, lookup the file on the server, and then get it's fresh
+ * cache entry.
+ * 
+ * \param afid
+ * \param areq 
+ * \param cached Is element cached? If NULL, don't answer.
+ * \param adp
+ * \param aname
+ *
+ * \return The found element or NULL.
+ */
 struct vcache *
 afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
                 afs_int32 * cached, struct vcache *adp, char *aname)
@@ -2101,14 +2183,14 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
        }
        ObtainReadLock(&tvc->lock);
 
-       if (tvc->states & CStatd) {
+       if (tvc->f.states & CStatd) {
            if (cached) {
                *cached = 1;
            }
            ReleaseReadLock(&tvc->lock);
            return tvc;
        }
-       tvc->states &= ~CUnique;
+       tvc->f.states &= ~CUnique;
 
        ReleaseReadLock(&tvc->lock);
        afs_PutVCache(tvc);
@@ -2127,7 +2209,7 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
         code = ENETDOWN;
     } else 
         code =
-           afs_RemoteLookup(&adp->fid, areq, aname, &nfid, &OutStatus, 
+           afs_RemoteLookup(&adp->f.fid, areq, aname, &nfid, &OutStatus, 
                             &CallBack, &serverp, &tsync);
 
 #if    defined(AFS_SGI_ENV) && !defined(AFS_SGI53_ENV)
@@ -2166,15 +2248,15 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
     if (tvp) {
        if ((tvp->states & VForeign)) {
            if (newvcache)
-               tvc->states |= CForeign;
+               tvc->f.states |= CForeign;
            if (newvcache && (tvp->rootVnode == afid->Fid.Vnode)
                && (tvp->rootUnique == afid->Fid.Unique))
                tvc->mvstat = 2;
        }
        if (tvp->states & VRO)
-           tvc->states |= CRO;
+           tvc->f.states |= CRO;
        if (tvp->states & VBackup)
-           tvc->states |= CBackup;
+           tvc->f.states |= CBackup;
        /* now copy ".." entry back out of volume structure, if necessary */
        if (tvc->mvstat == 2 && tvp->dotdot.Fid.Volume != 0) {
            if (!tvc->mvid)
@@ -2187,9 +2269,9 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
     if (code) {
        ObtainWriteLock(&afs_xcbhash, 465);
        afs_DequeueCallback(tvc);
-       tvc->states &= ~(CStatd | CUnique);
+       tvc->f.states &= ~(CStatd | CUnique);
        ReleaseWriteLock(&afs_xcbhash);
-       if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
        if (tvp)
            afs_PutVolume(tvp, READ_LOCK);
@@ -2203,28 +2285,28 @@ afs_LookupVCache(struct VenusFid *afid, struct vrequest *areq,
        if (CallBack.ExpirationTime) {
            tvc->callback = serverp;
            tvc->cbExpires = CallBack.ExpirationTime + now;
-           tvc->states |= CStatd | CUnique;
-           tvc->states &= ~CBulkFetching;
+           tvc->f.states |= CStatd | CUnique;
+           tvc->f.states &= ~CBulkFetching;
            afs_QueueCallback(tvc, CBHash(CallBack.ExpirationTime), tvp);
-       } else if (tvc->states & CRO) {
+       } else if (tvc->f.states & CRO) {
            /* adapt gives us an hour. */
            tvc->cbExpires = 3600 + osi_Time();
-            /*XXX*/ tvc->states |= CStatd | CUnique;
-           tvc->states &= ~CBulkFetching;
+            /*XXX*/ tvc->f.states |= CStatd | CUnique;
+           tvc->f.states &= ~CBulkFetching;
            afs_QueueCallback(tvc, CBHash(3600), tvp);
        } else {
            tvc->callback = NULL;
            afs_DequeueCallback(tvc);
-           tvc->states &= ~(CStatd | CUnique);
-           if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+           tvc->f.states &= ~(CStatd | CUnique);
+           if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
                osi_dnlc_purgedp(tvc);  /* if it (could be) a directory */
        }
     } else {
        afs_DequeueCallback(tvc);
-       tvc->states &= ~CStatd;
-       tvc->states &= ~CUnique;
+       tvc->f.states &= ~CStatd;
+       tvc->f.states &= ~CUnique;
        tvc->callback = NULL;
-       if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
     }
     ReleaseWriteLock(&afs_xcbhash);
@@ -2289,10 +2371,10 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
     ObtainSharedLock(&afs_xvcache, 7);
     i = VCHash(afid);
     for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-       if (!FidCmp(&(tvc->fid), afid)) {
-            if (tvc->states & CVInit) {
+       if (!FidCmp(&(tvc->f.fid), afid)) {
+            if (tvc->f.states & CVInit) {
                ReleaseSharedLock(&afs_xvcache);
-               afs_osi_Sleep(&tvc->states);
+               afs_osi_Sleep(&tvc->f.states);
                goto rootvc_loop;
             }
 #ifdef AFS_OSF_ENV
@@ -2307,9 +2389,9 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
                continue;
 #endif /* AFS_OSF_ENV */
 #ifdef AFS_DARWIN80_ENV
-            if (tvc->states & CDeadVnode) {
+            if (tvc->f.states & CDeadVnode) {
                ReleaseSharedLock(&afs_xvcache);
-               afs_osi_Sleep(&tvc->states);
+               afs_osi_Sleep(&tvc->f.states);
                goto rootvc_loop;
             }
            tvp = AFSTOV(tvc);
@@ -2327,7 +2409,7 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
        }
     }
 
-    if (!haveStatus && (!tvc || !(tvc->states & CStatd))) {
+    if (!haveStatus && (!tvc || !(tvc->f.states & CStatd))) {
        /* Mount point no longer stat'd or unknown. FID may have changed. */
 #ifdef AFS_OSF_ENV
        if (tvc)
@@ -2393,12 +2475,12 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
 
     ReleaseWriteLock(&afs_xvcache);
 
-    if (tvc->states & CStatd) {
+    if (tvc->f.states & CStatd) {
        return tvc;
     } else {
 
        ObtainReadLock(&tvc->lock);
-       tvc->states &= ~CUnique;
+       tvc->f.states &= ~CUnique;
        tvc->callback = NULL;   /* redundant, perhaps */
        ReleaseReadLock(&tvc->lock);
     }
@@ -2409,11 +2491,11 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
     afs_FreeAllAxs(&(tvc->Access));
 
     if (newvcache)
-       tvc->states |= CForeign;
+       tvc->f.states |= CForeign;
     if (tvolp->states & VRO)
-       tvc->states |= CRO;
+       tvc->f.states |= CRO;
     if (tvolp->states & VBackup)
-       tvc->states |= CBackup;
+       tvc->f.states |= CBackup;
     /* now copy ".." entry back out of volume structure, if necessary */
     if (newvcache && (tvolp->rootVnode == afid->Fid.Vnode)
        && (tvolp->rootUnique == afid->Fid.Unique)) {
@@ -2444,9 +2526,9 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
        ObtainWriteLock(&afs_xcbhash, 467);
        afs_DequeueCallback(tvc);
        tvc->callback = NULL;
-       tvc->states &= ~(CStatd | CUnique);
+       tvc->f.states &= ~(CStatd | CUnique);
        ReleaseWriteLock(&afs_xcbhash);
-       if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
        ReleaseWriteLock(&tvc->lock);
        afs_PutVCache(tvc);
@@ -2455,25 +2537,25 @@ afs_GetRootVCache(struct VenusFid *afid, struct vrequest *areq,
 
     ObtainWriteLock(&afs_xcbhash, 468);
     if (origCBs == afs_allCBs) {
-       tvc->states |= CTruth;
+       tvc->f.states |= CTruth;
        tvc->callback = serverp;
        if (CallBack.ExpirationTime != 0) {
            tvc->cbExpires = CallBack.ExpirationTime + start;
-           tvc->states |= CStatd;
-           tvc->states &= ~CBulkFetching;
+           tvc->f.states |= CStatd;
+           tvc->f.states &= ~CBulkFetching;
            afs_QueueCallback(tvc, CBHash(CallBack.ExpirationTime), tvolp);
-       } else if (tvc->states & CRO) {
+       } else if (tvc->f.states & CRO) {
            /* adapt gives us an hour. */
            tvc->cbExpires = 3600 + osi_Time();
-            /*XXX*/ tvc->states |= CStatd;
-           tvc->states &= ~CBulkFetching;
+            /*XXX*/ tvc->f.states |= CStatd;
+           tvc->f.states &= ~CBulkFetching;
            afs_QueueCallback(tvc, CBHash(3600), tvolp);
        }
     } else {
        afs_DequeueCallback(tvc);
        tvc->callback = NULL;
-       tvc->states &= ~(CStatd | CUnique);
-       if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+       tvc->f.states &= ~(CStatd | CUnique);
+       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
     }
     ReleaseWriteLock(&afs_xcbhash);
@@ -2513,41 +2595,40 @@ afs_UpdateStatus(struct vcache *avc,
 
     volp = afs_GetVolume(afid, areq, READ_LOCK);
     ObtainWriteLock(&afs_xcbhash, 469);
-    avc->states |= CTruth;
+    avc->f.states |= CTruth;
     if (avc->callback /* check for race */ ) {
        if (acb->ExpirationTime != 0) {
            avc->cbExpires = acb->ExpirationTime + start;
-           avc->states |= CStatd;
-           avc->states &= ~CBulkFetching;
+           avc->f.states |= CStatd;
+           avc->f.states &= ~CBulkFetching;
            afs_QueueCallback(avc, CBHash(acb->ExpirationTime), volp);
-       } else if (avc->states & CRO) {
+       } else if (avc->f.states & CRO) {
            /* ordinary callback on a read-only volume -- AFS 3.2 style */
            avc->cbExpires = 3600 + start;
-           avc->states |= CStatd;
-           avc->states &= ~CBulkFetching;
+           avc->f.states |= CStatd;
+           avc->f.states &= ~CBulkFetching;
            afs_QueueCallback(avc, CBHash(3600), volp);
        } else {
            afs_DequeueCallback(avc);
            avc->callback = NULL;
-           avc->states &= ~(CStatd | CUnique);
-           if ((avc->states & CForeign) || (avc->fid.Fid.Vnode & 1))
+           avc->f.states &= ~(CStatd | CUnique);
+           if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
                osi_dnlc_purgedp(avc);  /* if it (could be) a directory */
        }
     } else {
        afs_DequeueCallback(avc);
        avc->callback = NULL;
-       avc->states &= ~(CStatd | CUnique);
-       if ((avc->states & CForeign) || (avc->fid.Fid.Vnode & 1))
+       avc->f.states &= ~(CStatd | CUnique);
+       if ((avc->f.states & CForeign) || (avc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(avc);      /* if it (could be) a directory */
     }
     ReleaseWriteLock(&afs_xcbhash);
     if (volp)
        afs_PutVolume(volp, READ_LOCK);
-
 }
 
-/*
- * must be called with avc write-locked
+/*!
+ * Must be called with avc write-locked
  * don't absolutely have to invalidate the hint unless the dv has
  * changed, but be sure to get it right else there will be consistency bugs.
  */
@@ -2557,7 +2638,7 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
 {
     int code;
     afs_uint32 start = 0;
-    register struct conn *tc;
+    register struct afs_conn *tc;
     struct AFSCallBack CallBack;
     struct AFSVolSync tsync;
     XSTATS_DECLS;
@@ -2622,7 +2703,7 @@ afs_FetchStatus(struct vcache * avc, struct VenusFid * afid,
 void
 afs_StuffVcache(register struct VenusFid *afid,
                struct AFSFetchStatus *OutStatus,
-               struct AFSCallBack *CallBack, register struct conn *tc,
+               struct AFSCallBack *CallBack, register struct afs_conn *tc,
                struct vrequest *areq)
 {
     register afs_int32 code, i, newvcache = 0;
@@ -2665,8 +2746,8 @@ afs_StuffVcache(register struct VenusFid *afid,
     ReleaseSharedLock(&afs_xvcache);
     ObtainWriteLock(&tvc->lock, 58);
 
-    tvc->states &= ~CStatd;
-    if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+    tvc->f.states &= ~CStatd;
+    if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
        osi_dnlc_purgedp(tvc);  /* if it (could be) a directory */
 
     /* Is it always appropriate to throw away all the access rights? */
@@ -2676,11 +2757,11 @@ afs_StuffVcache(register struct VenusFid *afid,
     tvp = afs_GetVolume(afid, areq, READ_LOCK);
     if (tvp) {
        if (newvcache && (tvp->states & VForeign))
-           tvc->states |= CForeign;
+           tvc->f.states |= CForeign;
        if (tvp->states & VRO)
-           tvc->states |= CRO;
+           tvc->f.states |= CRO;
        if (tvp->states & VBackup)
-           tvc->states |= CBackup;
+           tvc->f.states |= CBackup;
        /*
         * Now, copy ".." entry back out of volume structure, if
         * necessary
@@ -2709,20 +2790,20 @@ afs_StuffVcache(register struct VenusFid *afid,
     ObtainWriteLock(&afs_xcbhash, 470);
     if (CallBack->ExpirationTime != 0) {
        tvc->cbExpires = CallBack->ExpirationTime + osi_Time() - 1;
-       tvc->states |= CStatd;
-       tvc->states &= ~CBulkFetching;
+       tvc->f.states |= CStatd;
+       tvc->f.states &= ~CBulkFetching;
        afs_QueueCallback(tvc, CBHash(CallBack->ExpirationTime), tvp);
-    } else if (tvc->states & CRO) {
+    } else if (tvc->f.states & CRO) {
        /* old-fashioned AFS 3.2 style */
        tvc->cbExpires = 3600 + osi_Time();
-        /*XXX*/ tvc->states |= CStatd;
-       tvc->states &= ~CBulkFetching;
+        /*XXX*/ tvc->f.states |= CStatd;
+       tvc->f.states &= ~CBulkFetching;
        afs_QueueCallback(tvc, CBHash(3600), tvp);
     } else {
        afs_DequeueCallback(tvc);
        tvc->callback = NULL;
-       tvc->states &= ~(CStatd | CUnique);
-       if ((tvc->states & CForeign) || (tvc->fid.Fid.Vnode & 1))
+       tvc->f.states &= ~(CStatd | CUnique);
+       if ((tvc->f.states & CForeign) || (tvc->f.fid.Fid.Vnode & 1))
            osi_dnlc_purgedp(tvc);      /* if it (could be) a directory */
     }
     ReleaseWriteLock(&afs_xcbhash);
@@ -2746,17 +2827,12 @@ afs_StuffVcache(register struct VenusFid *afid,
 }                              /*afs_StuffVcache */
 #endif
 
-/*
- * afs_PutVCache
- *
- * Description:
- *     Decrements the reference count on a cache entry.
+/*!
+ * Decrements the reference count on a cache entry.
  *
- * Parameters:
- *     avc : Pointer to the cache entry to decrement.
+ * \param avc Pointer to the cache entry to decrement.
  *
- * Environment:
- *     Nothing interesting.
+ * \note Environment: Nothing interesting.
  */
 void
 afs_PutVCache(register struct vcache *avc)
@@ -2776,6 +2852,39 @@ afs_PutVCache(register struct vcache *avc)
 }                              /*afs_PutVCache */
 
 
+/*!
+ * Reset a vcache entry, so local contents are ignored, and the
+ * server will be reconsulted next time the vcache is used
+ * 
+ * \param avc Pointer to the cache entry to reset
+ * \param acred 
+ *
+ * \note avc must be write locked on entry
+ */
+void
+afs_ResetVCache(struct vcache *avc, struct AFS_UCRED *acred) {
+    ObtainWriteLock(&afs_xcbhash, 456);
+    afs_DequeueCallback(avc);
+    avc->f.states &= ~(CStatd | CDirty);    /* next reference will re-stat */
+    ReleaseWriteLock(&afs_xcbhash);
+    /* now find the disk cache entries */
+    afs_TryToSmush(avc, acred, 1);
+    osi_dnlc_purgedp(avc);
+    if (avc->linkData && !(avc->f.states & CCore)) {
+       afs_osi_Free(avc->linkData, strlen(avc->linkData) + 1);
+       avc->linkData = NULL;
+    }
+}
+
+/*!
+ * Sleepa when searching for a vcache. Releases all the pending locks,
+ * sleeps then obtains the previously released locks.
+ *
+ * \param vcache Enter sleep state.
+ * \param flag Determines what locks to use.
+ *
+ * \return 
+ */
 static void findvc_sleep(struct vcache *avc, int flag) {
     if (flag & IS_SLOCK) {
            ReleaseSharedLock(&afs_xvcache);
@@ -2786,7 +2895,7 @@ static void findvc_sleep(struct vcache *avc, int flag) {
            ReleaseReadLock(&afs_xvcache);
        }
     }
-    afs_osi_Sleep(&avc->states);
+    afs_osi_Sleep(&avc->f.states);
     if (flag & IS_SLOCK) {
            ObtainSharedLock(&afs_xvcache, 341);
     } else {
@@ -2797,23 +2906,18 @@ static void findvc_sleep(struct vcache *avc, int flag) {
        }
     }
 }
-/*
- * afs_FindVCache
+/*!
+ * Find a vcache entry given a fid.
  *
- * Description:
- *     Find a vcache entry given a fid.
+ * \param afid Pointer to the fid whose cache entry we desire.
+ * \param retry (SGI-specific) tell the caller to drop the lock on xvcache,
+ *  unlock the vnode, and try again.
+ * \param flag Bit 1 to specify whether to compute hit statistics.  Not
+ *  set if FindVCache is called as part of internal bookkeeping.
  *
- * Parameters:
- *     afid : Pointer to the fid whose cache entry we desire.
- *      retry: (SGI-specific) tell the caller to drop the lock on xvcache,
- *             unlock the vnode, and try again.
- *      flags: bit 1 to specify whether to compute hit statistics.  Not
- *             set if FindVCache is called as part of internal bookkeeping.
- *
- * Environment:
- *     Must be called with the afs_xvcache lock at least held at
- *     the read level.  In order to do the VLRU adjustment, the xvcache lock
- *      must be shared-- we upgrade it here.
+ * \note Environment: Must be called with the afs_xvcache lock at least held at
+ * the read level.  In order to do the VLRU adjustment, the xvcache lock
+ * must be shared-- we upgrade it here.
  */
 
 struct vcache *
@@ -2835,7 +2939,7 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
     i = VCHash(afid);
     for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
        if (FidMatches(afid, tvc)) {
-            if (tvc->states & CVInit) {
+            if (tvc->f.states & CVInit) {
                findvc_sleep(tvc, flag);
                goto findloop;
             }
@@ -2848,7 +2952,7 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
                continue;
 #endif /* AFS_OSF_ENV */
 #ifdef  AFS_DARWIN80_ENV
-            if (tvc->states & CDeadVnode) {
+            if (tvc->f.states & CDeadVnode) {
                 findvc_sleep(tvc, flag);
                goto findloop;
             }
@@ -2877,14 +2981,14 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
            return 0;
 #endif
 #if defined(AFS_DARWIN_ENV) && !defined(AFS_DARWIN80_ENV)
-       tvc->states |= CUBCinit;
+       tvc->f.states |= CUBCinit;
        AFS_GUNLOCK();
        if (UBCINFOMISSING(AFSTOV(tvc)) ||
            UBCINFORECLAIMED(AFSTOV(tvc))) {
          ubc_info_init(AFSTOV(tvc));
        }
        AFS_GLOCK();
-       tvc->states &= ~CUBCinit;
+       tvc->f.states &= ~CUBCinit;
 #endif
        /*
         * only move to front of vlru if we have proper vcache locking)
@@ -2929,28 +3033,22 @@ afs_FindVCache(struct VenusFid *afid, afs_int32 * retry, afs_int32 flag)
     return tvc;
 }                              /*afs_FindVCache */
 
-/*
- * afs_NFSFindVCache
- *
- * Description:
- *     Find a vcache entry given a fid. Does a wildcard match on what we
- *     have for the fid. If more than one entry, don't return anything.
+/*!
+ * Find a vcache entry given a fid. Does a wildcard match on what we
+ * have for the fid. If more than one entry, don't return anything.
  *
- * Parameters:
- *     avcp : Fill in pointer if we found one and only one.
- *     afid : Pointer to the fid whose cache entry we desire.
- *      retry: (SGI-specific) tell the caller to drop the lock on xvcache,
+ * \param avcp Fill in pointer if we found one and only one.
+ * \param afid Pointer to the fid whose cache entry we desire.
+ * \param retry (SGI-specific) tell the caller to drop the lock on xvcache,
  *             unlock the vnode, and try again.
- *      flags: bit 1 to specify whether to compute hit statistics.  Not
+ * \param flags bit 1 to specify whether to compute hit statistics.  Not
  *             set if FindVCache is called as part of internal bookkeeping.
  *
- * Environment:
- *     Must be called with the afs_xvcache lock at least held at
- *     the read level.  In order to do the VLRU adjustment, the xvcache lock
- *      must be shared-- we upgrade it here.
+ * \note Environment: Must be called with the afs_xvcache lock at least held at
+ *  the read level.  In order to do the VLRU adjustment, the xvcache lock
+ *  must be shared-- we upgrade it here.
  *
- * Return value:
- *     number of matches found.
+ * \return Number of matches found.
  */
 
 int afs_duplicate_nfs_fids = 0;
@@ -2978,13 +3076,13 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
     i = VCHash(afid);
     for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
        /* Match only on what we have.... */
-       if (((tvc->fid.Fid.Vnode & 0xffff) == afid->Fid.Vnode)
-           && (tvc->fid.Fid.Volume == afid->Fid.Volume)
-           && ((tvc->fid.Fid.Unique & 0xffffff) == afid->Fid.Unique)
-           && (tvc->fid.Cell == afid->Cell)) {
-           if (tvc->states & CVInit) {
+       if (((tvc->f.fid.Fid.Vnode & 0xffff) == afid->Fid.Vnode)
+           && (tvc->f.fid.Fid.Volume == afid->Fid.Volume)
+           && ((tvc->f.fid.Fid.Unique & 0xffffff) == afid->Fid.Unique)
+           && (tvc->f.fid.Cell == afid->Cell)) {
+           if (tvc->f.states & CVInit) {
                ReleaseSharedLock(&afs_xvcache);
-               afs_osi_Sleep(&tvc->states);
+               afs_osi_Sleep(&tvc->f.states);
                goto loop;
             }
 #ifdef  AFS_OSF_ENV
@@ -2998,9 +3096,9 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
            }
 #endif /* AFS_OSF_ENV */
 #ifdef  AFS_DARWIN80_ENV
-            if (tvc->states & CDeadVnode) {
+            if (tvc->f.states & CDeadVnode) {
                ReleaseSharedLock(&afs_xvcache);
-               afs_osi_Sleep(&tvc->states);
+               afs_osi_Sleep(&tvc->f.states);
                goto loop;
             }
            tvp = AFSTOV(tvc);
@@ -3103,15 +3201,17 @@ afs_NFSFindVCache(struct vcache **avcp, struct VenusFid *afid)
 
 
 
-/*
- * afs_vcacheInit
- *
+/*!
  * Initialize vcache related variables
+ *
+ * \param astatSize
  */
 void
 afs_vcacheInit(int astatSize)
 {
+#if (!defined(AFS_OSF_ENV) && !defined(AFS_LINUX22_ENV)) || defined(AFS_SGI_ENV)
     register struct vcache *tvp;
+#endif
     int i;
 #if defined(AFS_OSF_ENV) || defined(AFS_LINUX22_ENV)
     if (!afs_maxvcount) {
@@ -3130,7 +3230,7 @@ afs_vcacheInit(int astatSize)
     freeVCList = NULL;
 #endif
 
-    RWLOCK_INIT(&afs_xvcache, "afs_xvcache");
+    AFS_RWLOCK_INIT(&afs_xvcache, "afs_xvcache");
     LOCK_INIT(&afs_xvcb, "afs_xvcb");
 
 #if !defined(AFS_OSF_ENV) && !defined(AFS_LINUX22_ENV)
@@ -3171,9 +3271,8 @@ afs_vcacheInit(int astatSize)
        QInit(&afs_vhashTV[i]);
 }
 
-/*
- * shutdown_vcache
- *
+/*!
+ * Shutdown vcache.
  */
 void
 shutdown_vcache(void)
@@ -3187,7 +3286,7 @@ shutdown_vcache(void)
      */
 
     {
-       register struct afs_q *tq, *uq;
+       register struct afs_q *tq, *uq = NULL;
        register struct vcache *tvc;
        for (tq = VLRU.prev; tq != &VLRU; tq = uq) {
            tvc = QTOV(tq);
@@ -3242,7 +3341,8 @@ shutdown_vcache(void)
                    tvc->linkData = 0;
                }
 
-               afs_FreeAllAxs(&(tvc->Access));
+               if (tvc->Access)
+                   afs_FreeAllAxs(&(tvc->Access));
            }
            afs_vhashT[i] = 0;
        }
@@ -3266,14 +3366,13 @@ shutdown_vcache(void)
 #if !defined(AFS_OSF_ENV) && !defined(AFS_LINUX22_ENV)
     freeVCList = Initial_freeVCList = 0;
 #endif
-    RWLOCK_INIT(&afs_xvcache, "afs_xvcache");
+    AFS_RWLOCK_INIT(&afs_xvcache, "afs_xvcache");
     LOCK_INIT(&afs_xvcb, "afs_xvcb");
     QInit(&VLRU);
     for(i = 0; i < VCSIZE; ++i)
        QInit(&afs_vhashTV[i]);
 }
 
-#ifdef AFS_DISCON_ENV
 void afs_DisconGiveUpCallbacks() {
     int i;
     struct vcache *tvc;
@@ -3284,11 +3383,9 @@ void afs_DisconGiveUpCallbacks() {
     /* Somehow, walk the set of vcaches, with each one coming out as tvc */
     for (i = 0; i < VCSIZE; i++) {
         for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
-            if ((tvc->states & CRO) == 0 && tvc->callback) {
-                /* XXX - should we check if the callback has expired here? */
+            if ((tvc->f.states & CRO) == 0 && tvc->callback) {
                 afs_QueueVCB(tvc);
                 tvc->callback = NULL;
-                tvc->states &- ~(CStatd | CUnique);
                 nq++;
             }
         }
@@ -3300,4 +3397,24 @@ void afs_DisconGiveUpCallbacks() {
     /*printf("gone\n");*/
 }
 
-#endif
+/*!
+ *
+ * Clear the Statd flag from all vcaches
+ *
+ * This function removes the Statd flag from all vcaches. It's used by 
+ * disconnected mode to tidy up during reconnection
+ *
+ */
+void afs_ClearAllStatdFlag() {
+    int i;
+    struct vcache *tvc;
+   
+    ObtainWriteLock(&afs_xvcache, 715);
+
+    for (i = 0; i < VCSIZE; i++) {
+       for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
+           tvc->f.states &= ~(CStatd|CUnique);
+       }
+    }
+    ReleaseWriteLock(&afs_xvcache);
+}