afs: Add xvcache-related afs_FlushVCache comments
[openafs.git] / src / afs / afs_vcache.c
index 4f1372b..45cde7f 100644 (file)
@@ -138,12 +138,16 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     afs_int32 i, code;
     struct vcache **uvc, *wvc;
 
+    /* NOTE: We must have nothing drop afs_xvcache until we have removed all
+     * possible references to this vcache. This means all hash tables, queues,
+     * DNLC, etc. */
+
     *slept = 0;
     AFS_STATCNT(afs_FlushVCache);
     afs_Trace2(afs_iclSetp, CM_TRACE_FLUSHV, ICL_TYPE_POINTER, avc,
               ICL_TYPE_INT32, avc->f.states);
 
-    code = osi_VM_FlushVCache(avc, slept);
+    code = osi_VM_FlushVCache(avc);
     if (code)
        goto bad;
 
@@ -172,7 +176,7 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     for (wvc = *uvc; wvc; uvc = &wvc->hnext, wvc = *uvc) {
        if (avc == wvc) {
            *uvc = avc->hnext;
-           avc->hnext = (struct vcache *)NULL;
+           avc->hnext = NULL;
            break;
        }
     }
@@ -205,8 +209,6 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     vn_reinit(AFSTOV(avc));
 #endif
     afs_FreeAllAxs(&(avc->Access));
-    if (!afs_shuttingdown)
-       afs_QueueVCB(avc, slept);
     ObtainWriteLock(&afs_xcbhash, 460);
     afs_DequeueCallback(avc);  /* remove it from queued callbacks list */
     avc->f.states &= ~(CStatd | CUnique);
@@ -216,6 +218,13 @@ afs_FlushVCache(struct vcache *avc, int *slept)
     else
        osi_dnlc_purgevp(avc);
 
+    /* By this point, the vcache has been removed from all global structures
+     * via which someone could try to use the vcache. It is okay to drop
+     * afs_xvcache at this point (if *slept is set). */
+
+    if (!afs_shuttingdown)
+       afs_QueueVCB(avc, slept);
+
     /*
      * Next, keep track of which vnodes we've deleted for create's
      * optimistic synchronization algorithm
@@ -402,7 +411,7 @@ afs_FlushVCBs(afs_int32 lockit)
     int tcount;
     struct server *tsp;
     int i;
-    struct vrequest treq;
+    struct vrequest *treq = NULL;
     struct afs_conn *tc;
     int safety1, safety2, safety3;
     XSTATS_DECLS;
@@ -410,9 +419,9 @@ afs_FlushVCBs(afs_int32 lockit)
     if (AFS_IS_DISCONNECTED)
        return ENETDOWN;
 
-    if ((code = afs_InitReq(&treq, afs_osi_credp)))
+    if ((code = afs_CreateReq(&treq, afs_osi_credp)))
        return code;
-    treq.flags |= O_NONBLOCK;
+    treq->flags |= O_NONBLOCK;
     tfids = afs_osi_Alloc(sizeof(struct AFSFid) * AFS_MAXCBRSCALL);
     osi_Assert(tfids != NULL);
 
@@ -455,7 +464,7 @@ afs_FlushVCBs(afs_int32 lockit)
                    callBacks[0].CallBackType = CB_EXCLUSIVE;
                    for (safety3 = 0; safety3 < AFS_MAXHOSTS * 2; safety3++) {
                        tc = afs_ConnByHost(tsp, tsp->cell->fsport,
-                                           tsp->cell->cellNum, &treq, 0,
+                                           tsp->cell->cellNum, treq, 0,
                                            SHARED_LOCK, 0, &rxconn);
                        if (tc) {
                            XSTATS_START_TIME
@@ -469,7 +478,7 @@ afs_FlushVCBs(afs_int32 lockit)
                        } else
                            code = -1;
                        if (!afs_Analyze
-                           (tc, rxconn, code, 0, &treq,
+                           (tc, rxconn, code, 0, treq,
                             AFS_STATS_FS_RPCIDX_GIVEUPCALLBACKS, SHARED_LOCK,
                             tsp->cell)) {
                            break;
@@ -514,6 +523,7 @@ afs_FlushVCBs(afs_int32 lockit)
     if (lockit)
        ReleaseWriteLock(&afs_xvcb);
     afs_osi_Free(tfids, sizeof(struct AFSFid) * AFS_MAXCBRSCALL);
+    afs_DestroyReq(treq);
     return 0;
 }
 
@@ -706,18 +716,23 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
     struct vcache *tvc;
     struct afs_q *tq, *uq;
     int fv_slept, defersleep = 0;
+    int limit;
     afs_int32 target = anumber;
 
-    i = 0;
     loop = 0;
+
+ retry:
+    i = 0;
+    limit = afs_vcount;
     for (tq = VLRU.prev; tq != &VLRU && anumber > 0; tq = uq) {
        tvc = QTOV(tq);
        uq = QPrev(tq);
        if (tvc->f.states & CVFlushed) {
            refpanic("CVFlushed on VLRU");
-           /* In the other path, this was 2 * afs_cacheStats */
-       } else if (!afsd_dynamic_vcaches && i++ > afs_maxvcount) {
-           refpanic("Exceeded pool of AFS vnodes(VLRU cycle?)");
+       } else if (i++ > limit) {
+           afs_warn("afs_ShakeLooseVCaches: i %d limit %d afs_vcount %d afs_maxvcount %d\n",
+                    (int)i, limit, (int)afs_vcount, (int)afs_maxvcount);
+           refpanic("Found too many AFS vnodes on VLRU (VLRU cycle?)");
        } else if (QNext(uq) != tq) {
            refpanic("VLRU inconsistent");
        } else if (tvc->f.states & CVInit) {
@@ -731,15 +746,12 @@ afs_ShakeLooseVCaches(afs_int32 anumber)
        if (fv_slept) {
            if (loop++ > 100)
                break;
-           uq = VLRU.prev;
-           i = 0;
-           continue;   /* start over - may have raced. */
+           goto retry; /* start over - may have raced. */
        }
-       if (tq == uq) {
+       if (uq == &VLRU) {
            if (anumber && !defersleep) {
                defersleep = 1;
-               tq = VLRU.prev;
-               continue;
+               goto retry;
            }
            break;
        }
@@ -851,7 +863,6 @@ afs_FlushAllVCaches(void)
            if (slept) {
                goto retry;
            }
-           tvc = nvc;
        }
     }
 
@@ -992,11 +1003,18 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
     struct afs_conn *tc;
     afs_int32 code;
     afs_ucred_t *cred = NULL;
-    struct vrequest treq, ureq;
+    struct vrequest *treq = NULL;
     struct AFSVolSync tsync;
     int didCore;
     XSTATS_DECLS;
     AFS_STATCNT(afs_FlushActiveVcaches);
+
+    code = afs_CreateReq(&treq, afs_osi_credp);
+    if (code) {
+       afs_warn("unable to alloc treq\n");
+       return;
+    }
+
     ObtainReadLock(&afs_xvcache);
     for (i = 0; i < VCSIZE; i++) {
        for (tvc = afs_vhashT[i]; tvc; tvc = tvc->hnext) {
@@ -1013,10 +1031,14 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                ReleaseReadLock(&afs_xvcache);
                ObtainWriteLock(&tvc->lock, 51);
                do {
-                   afs_InitReq(&treq, afs_osi_credp);
-                   treq.flags |= O_NONBLOCK;
+                   code = afs_InitReq(treq, afs_osi_credp);
+                   if (code) {
+                       code = -1;
+                       break; /* shutting down: do not try to extend the lock */
+                   }
+                   treq->flags |= O_NONBLOCK;
 
-                   tc = afs_Conn(&tvc->f.fid, &treq, SHARED_LOCK, &rxconn);
+                   tc = afs_Conn(&tvc->f.fid, treq, SHARED_LOCK, &rxconn);
                    if (tc) {
                        XSTATS_START_TIME(AFS_STATS_FS_RPCIDX_EXTENDLOCK);
                        RX_AFS_GUNLOCK();
@@ -1029,7 +1051,7 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                    } else
                        code = -1;
                } while (afs_Analyze
-                        (tc, rxconn, code, &tvc->f.fid, &treq,
+                        (tc, rxconn, code, &tvc->f.fid, treq,
                          AFS_STATS_FS_RPCIDX_EXTENDLOCK, SHARED_LOCK, NULL));
 
                ReleaseWriteLock(&tvc->lock);
@@ -1050,9 +1072,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                 */
                osi_vnhold(tvc, 0);
                ReleaseReadLock(&afs_xvcache);
-#ifdef AFS_BOZONLOCK_ENV
-               afs_BozonLock(&tvc->pvnLock, tvc);
-#endif
 #if defined(AFS_SGI_ENV)
                /*
                 * That's because if we come in via the CUnlinkedDel bit state path we'll be have 0 refcnt
@@ -1066,15 +1085,14 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                    /* XXXX Find better place-holder for cred XXXX */
                    cred = (afs_ucred_t *)tvc->linkData;
                    tvc->linkData = NULL;       /* XXX */
-                   afs_InitReq(&ureq, cred);
+                   code = afs_InitReq(treq, cred);
                    afs_Trace2(afs_iclSetp, CM_TRACE_ACTCCORE,
                               ICL_TYPE_POINTER, tvc, ICL_TYPE_INT32,
                               tvc->execsOrWriters);
-                   code = afs_StoreOnLastReference(tvc, &ureq);
+                   if (!code) {  /* avoid store when shutting down */
+                       code = afs_StoreOnLastReference(tvc, treq);
+                   }
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
                    hzero(tvc->flushDV);
                    osi_FlushText(tvc);
                    didCore = 1;
@@ -1087,9 +1105,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                     * Ignore errors
                     */
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
 #if defined(AFS_SGI_ENV)
                    AFS_RWUNLOCK((vnode_t *) tvc, VRWLOCK_WRITE);
 #endif
@@ -1100,9 +1115,6 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
                } else {
                    /* lost (or won, perhaps) the race condition */
                    ReleaseWriteLock(&tvc->lock);
-#ifdef AFS_BOZONLOCK_ENV
-                   afs_BozonUnlock(&tvc->pvnLock, tvc);
-#endif
                }
 #if defined(AFS_SGI_ENV)
                AFS_RWUNLOCK((vnode_t *) tvc, VRWLOCK_WRITE);
@@ -1128,6 +1140,7 @@ afs_FlushActiveVcaches(afs_int32 doflocks)
        }
     }
     ReleaseReadLock(&afs_xvcache);
+    afs_DestroyReq(treq);
 }
 
 
@@ -1455,9 +1468,6 @@ afs_ProcessFS(struct vcache *avc,
              struct AFSFetchStatus *astat, struct vrequest *areq)
 {
     afs_size_t length;
-#ifdef AFS_DARWIN80_ENV
-    int fixup = 0;
-#endif
     AFS_STATCNT(afs_ProcessFS);
 
 #ifdef AFS_64BIT_CLIENT
@@ -1492,32 +1502,16 @@ afs_ProcessFS(struct vcache *avc,
     avc->f.m.Group = astat->Group;
     avc->f.m.LinkCount = astat->LinkCount;
     if (astat->FileType == File) {
-#ifdef AFS_DARWIN80_ENV
-       if (avc->f.m.Type != VREG)
-           fixup = 1;
-#endif
        vSetType(avc, VREG);
        avc->f.m.Mode |= S_IFREG;
     } else if (astat->FileType == Directory) {
-#ifdef AFS_DARWIN80_ENV
-       if (avc->f.m.Type != VDIR)
-           fixup = 1;
-#endif
        vSetType(avc, VDIR);
        avc->f.m.Mode |= S_IFDIR;
     } else if (astat->FileType == SymbolicLink) {
        if (afs_fakestat_enable && (avc->f.m.Mode & 0111) == 0) {
-#ifdef AFS_DARWIN80_ENV
-           if (avc->f.m.Type != VDIR)
-               fixup = 1;
-#endif
            vSetType(avc, VDIR);
            avc->f.m.Mode |= S_IFDIR;
        } else {
-#ifdef AFS_DARWIN80_ENV
-           if (avc->f.m.Type != VLNK)
-               fixup = 1;
-#endif
            vSetType(avc, VLNK);
            avc->f.m.Mode |= S_IFLNK;
        }
@@ -1525,10 +1519,6 @@ afs_ProcessFS(struct vcache *avc,
            avc->mvstat = 1;
        }
     }
-#ifdef AFS_DARWIN80_ENV
-    if (fixup)
-       printf("found mistyped vnode!\n");
-#endif
     avc->f.anyAccess = astat->AnonymousAccess;
 #ifdef badidea
     if ((astat->CallerAccess & ~astat->AnonymousAccess))
@@ -2346,6 +2336,19 @@ afs_UpdateStatus(struct vcache *avc, struct VenusFid *afid,
        afs_PutVolume(volp, READ_LOCK);
 }
 
+void
+afs_BadFetchStatus(struct afs_conn *tc)
+{
+    int addr = ntohl(tc->parent->srvr->sa_ip);
+    afs_warn("afs: Invalid AFSFetchStatus from server %u.%u.%u.%u\n",
+             (addr >> 24) & 0xff, (addr >> 16) & 0xff, (addr >> 8) & 0xff,
+             (addr) & 0xff);
+    afs_warn("afs: This suggests the server may be sending bad data that "
+             "can lead to availability issues or data corruption. The "
+             "issue has been avoided for now, but it may not always be "
+             "detectable. Please upgrade the server if possible.\n");
+}
+
 /**
  * Check if a given AFSFetchStatus structure is sane.
  *
@@ -2365,6 +2368,12 @@ afs_CheckFetchStatus(struct afs_conn *tc, struct AFSFetchStatus *status)
         !(status->FileType > Invalid && status->FileType <= SymbolicLink) ||
         status->ParentVnode == 0 || status->ParentUnique == 0) {
 
+       afs_warn("afs: FetchStatus ec %u iv %u ft %u pv %u pu %u\n",
+                (unsigned)status->errorCode, (unsigned)status->InterfaceVersion,
+                (unsigned)status->FileType, (unsigned)status->ParentVnode,
+                (unsigned)status->ParentUnique);
+       afs_BadFetchStatus(tc);
+
        return VBUSY;
     }
     return 0;
@@ -2606,11 +2615,14 @@ afs_PutVCache(struct vcache *avc)
  *
  * \param avc Pointer to the cache entry to reset
  * \param acred
+ * \param skipdnlc  skip the dnlc purge for this vnode
  *
  * \note avc must be write locked on entry
+ *
+ * \note The caller should purge the dnlc when skipdnlc is set.
  */
 void
-afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred)
+afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred, afs_int32 skipdnlc)
 {
     ObtainWriteLock(&afs_xcbhash, 456);
     afs_DequeueCallback(avc);
@@ -2618,7 +2630,9 @@ afs_ResetVCache(struct vcache *avc, afs_ucred_t *acred)
     ReleaseWriteLock(&afs_xcbhash);
     /* now find the disk cache entries */
     afs_TryToSmush(avc, acred, 1);
-    osi_dnlc_purgedp(avc);
+    if (!skipdnlc) {
+       osi_dnlc_purgedp(avc);
+    }
     if (avc->linkData && !(avc->f.states & CCore)) {
        afs_osi_Free(avc->linkData, strlen(avc->linkData) + 1);
        avc->linkData = NULL;