afs: fix afs_linux_mmap fstrace entry
[openafs.git] / src / afs / LINUX / osi_vnodeops.c
index eb8a269..4617a34 100644 (file)
 #define MAX_ERRNO 1000L
 #endif
 
+#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,34)
+/* Enable our workaround for a race with d_splice_alias. The race was fixed in
+ * 2.6.34, so don't do it after that point. */
+# define D_SPLICE_ALIAS_RACE
+#endif
+
+/* Workaround for RH 7.5 which introduced file operation iterate() but requires
+ * each file->f_mode to be marked with FMODE_KABI_ITERATE.  Instead OpenAFS will
+ * continue to use file opearation readdir() in this case.
+ */
+#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE) && !defined(FMODE_KABI_ITERATE)
+#define USE_FOP_ITERATE 1
+#else
+#undef USE_FOP_ITERATE
+#endif
+
 int cachefs_noreadpage = 0;
 
 extern struct backing_dev_info *afs_backing_dev_info;
@@ -296,7 +312,7 @@ extern int BlobScan(struct dcache * afile, afs_int32 ablob, afs_int32 *ablobOut)
  * handling and use of bulkstats will need to be reflected here as well.
  */
 static int
-#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE)
+#if defined(USE_FOP_ITERATE)
 afs_linux_readdir(struct file *fp, struct dir_context *ctx)
 #else
 afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
@@ -352,7 +368,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
      */
     while ((avc->f.states & CStatd)
           && (tdc->dflags & DFFetching)
-          && hsame(avc->f.m.DataVersion, tdc->f.versionNo)) {
+          && afs_IsDCacheFresh(tdc, avc)) {
        ReleaseReadLock(&tdc->lock);
        ReleaseWriteLock(&avc->lock);
        afs_osi_Sleep(&tdc->validPos);
@@ -360,7 +376,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
        ObtainReadLock(&tdc->lock);
     }
     if (!(avc->f.states & CStatd)
-       || !hsame(avc->f.m.DataVersion, tdc->f.versionNo)) {
+       || !afs_IsDCacheFresh(tdc, avc)) {
        ReleaseReadLock(&tdc->lock);
        ReleaseWriteLock(&avc->lock);
        afs_PutDCache(tdc);
@@ -379,21 +395,27 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
      * takes an offset in units of blobs, rather than bytes.
      */
     code = 0;
-#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE)
+#if defined(USE_FOP_ITERATE)
     offset = ctx->pos;
 #else
     offset = (int) fp->f_pos;
 #endif
     while (1) {
+        dirpos = 0;
        code = BlobScan(tdc, offset, &dirpos);
-       if (code || !dirpos)
-           break;
+        if (code == 0 && dirpos == 0) {
+            /* We've reached EOF of the dir blob, so we can stop looking for
+             * entries. */
+            break;
+        }
 
-       code = afs_dir_GetVerifiedBlob(tdc, dirpos, &entry);
+        if (code == 0) {
+            code = afs_dir_GetVerifiedBlob(tdc, dirpos, &entry);
+        }
        if (code) {
            if (!(avc->f.states & CCorrupt)) {
                struct cell *tc = afs_GetCellStale(avc->f.fid.Cell, READ_LOCK);
-               afs_warn("Corrupt directory (%d.%d.%d.%d [%s] @%lx, pos %d)",
+               afs_warn("afs: Corrupt directory (%d.%d.%d.%d [%s] @%lx, pos %d)\n",
                         avc->f.fid.Cell, avc->f.fid.Fid.Volume,
                         avc->f.fid.Fid.Vnode, avc->f.fid.Fid.Unique,
                         tc ? tc->cellName : "",
@@ -449,7 +471,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
             * holding the GLOCK.
             */
            AFS_GUNLOCK();
-#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE)
+#if defined(USE_FOP_ITERATE)
            /* dir_emit returns a bool - true when it succeeds.
             * Inverse the result to fit with how we check "code" */
            code = !dir_emit(ctx, de->name, len, ino, type);
@@ -469,7 +491,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
     code = 0;
 
 unlock_out:
-#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE)
+#if defined(USE_FOP_ITERATE)
     ctx->pos = (loff_t) offset;
 #else
     fp->f_pos = (loff_t) offset;
@@ -511,9 +533,9 @@ afs_linux_mmap(struct file *fp, struct vm_area_struct *vmap)
     int code;
 
     AFS_GLOCK();
-    afs_Trace3(afs_iclSetp, CM_TRACE_GMAP, ICL_TYPE_POINTER, vcp,
-              ICL_TYPE_POINTER, vmap->vm_start, ICL_TYPE_INT32,
-              vmap->vm_end - vmap->vm_start);
+    afs_Trace4(afs_iclSetp, CM_TRACE_GMAP, ICL_TYPE_POINTER, vcp,
+              ICL_TYPE_POINTER, vmap->vm_start, ICL_TYPE_LONG,
+              vmap->vm_end - vmap->vm_start, ICL_TYPE_LONG, 0);
 
     /* get a validated vcache entry */
     code = afs_linux_VerifyVCache(vcp, NULL);
@@ -583,13 +605,13 @@ afs_linux_fsync(struct file *fp, int datasync)
     cred_t *credp = crref();
 
 #if defined(FOP_FSYNC_TAKES_RANGE)
-    mutex_lock(&ip->i_mutex);
+    afs_linux_lock_inode(ip);
 #endif
     AFS_GLOCK();
     code = afs_fsync(VTOAFS(ip), credp);
     AFS_GUNLOCK();
 #if defined(FOP_FSYNC_TAKES_RANGE)
-    mutex_unlock(&ip->i_mutex);
+    afs_linux_unlock_inode(ip);
 #endif
     crfree(credp);
     return afs_convert_code(code);
@@ -792,7 +814,7 @@ out:
 
 struct file_operations afs_dir_fops = {
   .read =      generic_read_dir,
-#if defined(STRUCT_FILE_OPERATIONS_HAS_ITERATE)
+#if defined(USE_FOP_ITERATE)
   .iterate =   afs_linux_readdir,
 #else
   .readdir =   afs_linux_readdir,
@@ -819,7 +841,7 @@ struct file_operations afs_file_fops = {
 #ifdef STRUCT_FILE_OPERATIONS_HAS_READ_ITER
   .read_iter = afs_linux_read_iter,
   .write_iter =        afs_linux_write_iter,
-# if !defined(HAVE_LINUX___VFS_READ)
+# if !defined(HAVE_LINUX___VFS_WRITE) && !defined(HAVE_LINUX_KERNEL_WRITE)
   .read =      new_sync_read,
   .write =     new_sync_write,
 # endif
@@ -884,11 +906,7 @@ canonical_dentry(struct inode *ip)
 
     d_prune_aliases(ip);
 
-# ifdef HAVE_DCACHE_LOCK
-    spin_lock(&dcache_lock);
-# else
-    spin_lock(&ip->i_lock);
-# endif
+    afs_d_alias_lock(ip);
 
 #if defined(D_ALIAS_IS_HLIST)
 # if defined(HLIST_ITERATOR_NO_NODE)
@@ -915,17 +933,10 @@ canonical_dentry(struct inode *ip)
 
     vcp->target_link = ret;
 
-# ifdef HAVE_DCACHE_LOCK
-    if (ret) {
-       dget_locked(ret);
-    }
-    spin_unlock(&dcache_lock);
-# else
     if (ret) {
-       dget(ret);
+       afs_linux_dget(ret);
     }
-    spin_unlock(&ip->i_lock);
-# endif
+    afs_d_alias_unlock(ip);
 
     return ret;
 }
@@ -997,15 +1008,15 @@ iattr2vattr(struct vattr *vattrp, struct iattr *iattrp)
        vattrp->va_size = iattrp->ia_size;
     if (iattrp->ia_valid & ATTR_ATIME) {
        vattrp->va_atime.tv_sec = iattrp->ia_atime.tv_sec;
-       vattrp->va_atime.tv_usec = 0;
+       vattrp->va_atime.tv_nsec = 0;
     }
     if (iattrp->ia_valid & ATTR_MTIME) {
        vattrp->va_mtime.tv_sec = iattrp->ia_mtime.tv_sec;
-       vattrp->va_mtime.tv_usec = 0;
+       vattrp->va_mtime.tv_nsec = 0;
     }
     if (iattrp->ia_valid & ATTR_CTIME) {
        vattrp->va_ctime.tv_sec = iattrp->ia_ctime.tv_sec;
-       vattrp->va_ctime.tv_usec = 0;
+       vattrp->va_ctime.tv_nsec = 0;
     }
 }
 
@@ -1078,18 +1089,30 @@ out:
     return afs_convert_code(code);
 }
 
+#if defined(IOP_GETATTR_TAKES_PATH_STRUCT)
+static int
+afs_linux_getattr(const struct path *path, struct kstat *stat, u32 request_mask, unsigned int sync_mode)
+{
+       int err = afs_linux_revalidate(path->dentry);
+       if (!err) {
+                generic_fillattr(path->dentry->d_inode, stat);
+       }
+       return err;
+}
+#else
 static int
 afs_linux_getattr(struct vfsmount *mnt, struct dentry *dentry, struct kstat *stat)
 {
         int err = afs_linux_revalidate(dentry);
         if (!err) {
                 generic_fillattr(dentry->d_inode, stat);
+       }
+       return err;
 }
-        return err;
-}
+#endif
 
 static afs_uint32
-parent_vcache_dv(struct inode *inode, cred_t *credp, int locked)
+parent_vcache_dv(struct inode *inode, cred_t *credp)
 {
     int free_cred = 0;
     struct vcache *pvcp;
@@ -1104,9 +1127,6 @@ parent_vcache_dv(struct inode *inode, cred_t *credp, int locked)
        struct vrequest treq;
        struct afs_fakestat_state fakestate;
 
-       if (!locked) {
-           AFS_GLOCK();
-       }
        if (!credp) {
            credp = crref();
            free_cred = 1;
@@ -1117,13 +1137,77 @@ parent_vcache_dv(struct inode *inode, cred_t *credp, int locked)
        if (free_cred)
            crfree(credp);
        afs_PutFakeStat(&fakestate);
-       if (!locked) {
-           AFS_GUNLOCK();
-       }
     }
     return hgetlo(pvcp->f.m.DataVersion);
 }
 
+static inline int
+filter_enoent(int code)
+{
+#ifdef HAVE_LINUX_FATAL_SIGNAL_PENDING
+    if (code == ENOENT && fatal_signal_pending(current)) {
+        return EINTR;
+    }
+#endif
+    return code;
+}
+
+#ifndef D_SPLICE_ALIAS_RACE
+
+static inline void dentry_race_lock(void) {}
+static inline void dentry_race_unlock(void) {}
+
+#else
+
+# if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,16)
+static DEFINE_MUTEX(dentry_race_sem);
+# else
+static DECLARE_MUTEX(dentry_race_sem);
+# endif
+
+static inline void
+dentry_race_lock(void)
+{
+    mutex_lock(&dentry_race_sem);
+}
+static inline void
+dentry_race_unlock(void)
+{
+    mutex_unlock(&dentry_race_sem);
+}
+
+/* Leave some trace that this code is enabled; otherwise it's pretty hard to
+ * tell. */
+static __attribute__((used)) const char dentry_race_marker[] = "d_splice_alias race workaround enabled";
+
+static int
+check_dentry_race(struct dentry *dp)
+{
+    int raced = 0;
+    if (!dp->d_inode) {
+        /* In Linux, before commit 4919c5e45a91b5db5a41695fe0357fbdff0d5767,
+         * d_splice_alias can momentarily hash a dentry before it's fully
+         * populated. This only happens for a moment, since it's unhashed again
+         * right after (in d_move), but this can make the dentry be found by
+         * __d_lookup, and then given to us.
+         *
+         * So check if the dentry is unhashed; if it is, then the dentry is not
+         * valid. We lock dentry_race_lock() to ensure that d_splice_alias is
+         * no longer running. Locking d_lock is required to check the dentry's
+         * flags, so lock that, too.
+         */
+        dentry_race_lock();
+        spin_lock(&dp->d_lock);
+        if (d_unhashed(dp)) {
+            raced = 1;
+        }
+        spin_unlock(&dp->d_lock);
+        dentry_race_unlock();
+    }
+    return raced;
+}
+#endif /* D_SPLICE_ALIAS_RACE */
+
 /* Validate a dentry. Return 1 if unchanged, 0 if VFS layer should re-evaluate.
  * In kernels 2.2.10 and above, we are passed an additional flags var which
  * may have either the LOOKUP_FOLLOW OR LOOKUP_DIRECTORY set in which case
@@ -1147,7 +1231,6 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
     struct dentry *parent;
     int valid;
     struct afs_fakestat_state fakestate;
-    int locked = 0;
     int force_drop = 0;
     afs_uint32 parent_dv;
 
@@ -1161,6 +1244,14 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
        return -ECHILD;
 #endif
 
+#ifdef D_SPLICE_ALIAS_RACE
+    if (check_dentry_race(dp)) {
+        valid = 0;
+        return valid;
+    }
+#endif
+
+    AFS_GLOCK();
     afs_InitFakeStat(&fakestate);
 
     if (dp->d_inode) {
@@ -1169,81 +1260,54 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
        if (vcp == afs_globalVp)
            goto good_dentry;
 
-       parent = dget_parent(dp);
-       pvcp = VTOAFS(parent->d_inode);
+       if (vcp->mvstat == AFS_MVSTAT_MTPT) {
+           if (vcp->mvid.target_root && (vcp->f.states & CMValid)) {
+               int tryEvalOnly = 0;
+               int code = 0;
+               struct vrequest *treq = NULL;
 
-       if ((vcp->mvstat != AFS_MVSTAT_FILE) ||
-               (pvcp->mvstat == AFS_MVSTAT_MTPT && afs_fakestat_enable)) {     /* need to lock */
-           credp = crref();
-           AFS_GLOCK();
-           locked = 1;
-       }
+               credp = crref();
 
-       if (locked) {
-           if (vcp->mvstat == AFS_MVSTAT_MTPT) {
-               if (vcp->mvid.target_root && (vcp->f.states & CMValid)) {
-                   int tryEvalOnly = 0;
-                   int code = 0;
-                   struct vrequest *treq = NULL;
-
-                   code = afs_CreateReq(&treq, credp);
-                   if (code) {
-                       dput(parent);
-                       goto bad_dentry;
-                   }
-                   if ((strcmp(dp->d_name.name, ".directory") == 0)) {
-                       tryEvalOnly = 1;
-                   }
-                   if (tryEvalOnly)
-                       code = afs_TryEvalFakeStat(&vcp, &fakestate, treq);
-                   else
-                       code = afs_EvalFakeStat(&vcp, &fakestate, treq);
-                   afs_DestroyReq(treq);
-                   if ((tryEvalOnly && vcp->mvstat == AFS_MVSTAT_MTPT) || code) {
-                       /* a mount point, not yet replaced by its directory */
-                       dput(parent);
-                       goto bad_dentry;
-                   }
+               code = afs_CreateReq(&treq, credp);
+               if (code) {
+                   goto bad_dentry;
+               }
+               if ((strcmp(dp->d_name.name, ".directory") == 0)) {
+                   tryEvalOnly = 1;
+               }
+               if (tryEvalOnly)
+                   code = afs_TryEvalFakeStat(&vcp, &fakestate, treq);
+               else
+                   code = afs_EvalFakeStat(&vcp, &fakestate, treq);
+               afs_DestroyReq(treq);
+               if ((tryEvalOnly && vcp->mvstat == AFS_MVSTAT_MTPT) || code) {
+                   /* a mount point, not yet replaced by its directory */
+                   goto bad_dentry;
                }
-           } else if (vcp->mvstat == AFS_MVSTAT_ROOT && *dp->d_name.name != '/') {
-               osi_Assert(vcp->mvid.parent != NULL);
-           }
-       }
-
-#ifdef notdef
-       /* If the last looker changes, we should make sure the current
-        * looker still has permission to examine this file.  This would
-        * always require a crref() which would be "slow".
-        */
-       if (vcp->last_looker != treq.uid) {
-           if (!afs_AccessOK(vcp, (vType(vcp) == VREG) ? PRSFS_READ : PRSFS_LOOKUP, &treq, CHECK_MODE_BITS)) {
-               dput(parent);
-               goto bad_dentry;
            }
-
-           vcp->last_looker = treq.uid;
+       } else if (vcp->mvstat == AFS_MVSTAT_ROOT && *dp->d_name.name != '/') {
+           osi_Assert(vcp->mvid.parent != NULL);
        }
-#endif
 
-       parent_dv = parent_vcache_dv(parent->d_inode, credp, locked);
+       parent = dget_parent(dp);
+       pvcp = VTOAFS(parent->d_inode);
+       parent_dv = parent_vcache_dv(parent->d_inode, credp);
 
        /* If the parent's DataVersion has changed or the vnode
         * is longer valid, we need to do a full lookup.  VerifyVCache
         * isn't enough since the vnode may have been renamed.
         */
 
-       if ((!locked) && (parent_dv > dp->d_time || !(vcp->f.states & CStatd)) ) {
-           credp = crref();
-           AFS_GLOCK();
-           locked = 1;
-       }
-
-       if (locked && (parent_dv > dp->d_time || !(vcp->f.states & CStatd))) {
+       if (parent_dv > dp->d_time || !(vcp->f.states & CStatd)) {
            struct vattr *vattr = NULL;
            int code;
            int lookup_good;
 
+           if (credp == NULL) {
+               credp = crref();
+           }
            code = afs_lookup(pvcp, (char *)dp->d_name.name, &tvc, credp);
+            code = filter_enoent(code);
 
            if (code) {
                /* We couldn't perform the lookup, so we're not okay. */
@@ -1312,7 +1376,7 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
 
        parent = dget_parent(dp);
        pvcp = VTOAFS(parent->d_inode);
-       parent_dv = parent_vcache_dv(parent->d_inode, credp, locked);
+       parent_dv = parent_vcache_dv(parent->d_inode, credp);
 
        if (parent_dv > dp->d_time || !(pvcp->f.states & CStatd)
            || afs_IsDynroot(pvcp)) {
@@ -1325,19 +1389,35 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
 
   good_dentry:
     valid = 1;
+    goto done;
+
+  bad_dentry:
+    valid = 0;
+#ifndef D_INVALIDATE_IS_VOID
+    /* When (v3.18) d_invalidate was converted to void, it also started
+     * being called automatically from revalidate, and automatically
+     * handled:
+     *  - shrink_dcache_parent
+     *  - automatic detach of submounts
+     *  - d_drop
+     * Therefore, after that point, OpenAFS revalidate logic no longer needs
+     * to do any of those things itself for invalid dentry structs.  We only need
+     * to tell VFS it's invalid (by returning 0), and VFS will handle the rest.
+     */
+    if (have_submounts(dp))
+       valid = 1;
+#endif
 
   done:
     /* Clean up */
     if (tvc)
        afs_PutVCache(tvc);
-    afs_PutFakeStat(&fakestate);       /* from here on vcp may be no longer valid */
-    if (locked) {
-       /* we hold the global lock if we evaluated a mount point */
-       AFS_GUNLOCK();
-    }
+    afs_PutFakeStat(&fakestate);
+    AFS_GUNLOCK();
     if (credp)
        crfree(credp);
 
+#ifndef D_INVALIDATE_IS_VOID
     if (!valid) {
        /*
         * If we had a negative lookup for the name we want to forcibly
@@ -1350,27 +1430,29 @@ afs_linux_dentry_revalidate(struct dentry *dp, int flags)
        } else
            d_invalidate(dp);
     }
-
+#endif
     return valid;
 
-  bad_dentry:
-    if (have_submounts(dp))
-       valid = 1;
-    else
-       valid = 0;
-    goto done;
 }
 
 static void
 afs_dentry_iput(struct dentry *dp, struct inode *ip)
 {
     struct vcache *vcp = VTOAFS(ip);
+    int haveGlock = ISAFS_GLOCK();
+
+    if (!haveGlock) {
+        AFS_GLOCK();
+    }
 
-    AFS_GLOCK();
     if (!AFS_IS_DISCONNECTED || (vcp->f.states & CUnlinked)) {
        (void) afs_InactiveVCache(vcp, NULL);
     }
-    AFS_GUNLOCK();
+
+    if (!haveGlock) {
+        AFS_GUNLOCK();
+    }
+
     afs_linux_clear_nfsfs_renamed(dp);
 
     iput(ip);
@@ -1490,7 +1572,7 @@ afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
 #if !defined(STRUCT_SUPER_BLOCK_HAS_S_D_OP)
        dp->d_op = &afs_dentry_operations;
 #endif
-       dp->d_time = parent_vcache_dv(dip, credp, 1);
+       dp->d_time = parent_vcache_dv(dip, credp);
        d_instantiate(dp, ip);
     }
 
@@ -1523,9 +1605,22 @@ afs_linux_lookup(struct inode *dip, struct dentry *dp)
     int code;
 
     AFS_GLOCK();
+
     code = afs_lookup(VTOAFS(dip), (char *)comp, &vcp, credp);
+    code = filter_enoent(code);
+    if (code == ENOENT) {
+        /* It's ok for the file to not be found. That's noted by the caller by
+         * seeing that the dp->d_inode field is NULL (set by d_splice_alias or
+         * d_add, below). */
+        code = 0;
+        osi_Assert(vcp == NULL);
+    }
+    if (code) {
+        AFS_GUNLOCK();
+        goto done;
+    }
 
-    if (!code) {
+    if (vcp) {
        struct vattr *vattr = NULL;
        struct vcache *parent_vc = VTOAFS(dip);
 
@@ -1558,7 +1653,7 @@ afs_linux_lookup(struct inode *dip, struct dentry *dp)
 #if !defined(STRUCT_SUPER_BLOCK_HAS_S_D_OP)
     dp->d_op = &afs_dentry_operations;
 #endif
-    dp->d_time = parent_vcache_dv(dip, credp, 1);
+    dp->d_time = parent_vcache_dv(dip, credp);
 
     AFS_GUNLOCK();
 
@@ -1582,39 +1677,35 @@ afs_linux_lookup(struct inode *dip, struct dentry *dp)
        igrab(ip);
 #endif
 
+    dentry_race_lock();
     newdp = d_splice_alias(ip, dp);
+    dentry_race_unlock();
 
  done:
     crfree(credp);
 
-    /* It's ok for the file to not be found. That's noted by the caller by
-     * seeing that the dp->d_inode field is NULL.
-     */
-    if (!code || code == ENOENT) {
-       /*
-        * d_splice_alias can return an error (EIO) if there is an existing
-        * connected directory alias for this dentry.
-        */
-       if (!IS_ERR(newdp)) {
-           iput(ip);
-           return newdp;
-       } else {
-           d_add(dp, ip);
-           /*
-            * Depending on the kernel version, d_splice_alias may or may
-            * not drop the inode reference on error.  If it didn't, do it
-            * here.
-            */
+    if (IS_ERR(newdp)) {
+        /* d_splice_alias can return an error (EIO) if there is an existing
+         * connected directory alias for this dentry. Add our dentry manually
+         * ourselves if this happens. */
+        d_add(dp, ip);
+
 #if defined(D_SPLICE_ALIAS_LEAK_ON_ERROR)
-           iput(ip);
+        /* Depending on the kernel version, d_splice_alias may or may not drop
+         * the inode reference on error. If it didn't, do it here. */
+        iput(ip);
 #endif
-           return NULL;
-       }
-    } else {
+        return NULL;
+    }
+
+    if (code) {
        if (ip)
            iput(ip);
        return ERR_PTR(afs_convert_code(code));
     }
+
+    iput(ip);
+    return newdp;
 }
 
 static int
@@ -1787,7 +1878,7 @@ afs_linux_mkdir(struct inode *dip, struct dentry *dp, int mode)
 #if !defined(STRUCT_SUPER_BLOCK_HAS_S_D_OP)
        dp->d_op = &afs_dentry_operations;
 #endif
-       dp->d_time = parent_vcache_dv(dip, credp, 1);
+       dp->d_time = parent_vcache_dv(dip, credp);
        d_instantiate(dp, ip);
     }
     afs_DestroyAttr(vattr);
@@ -1831,7 +1922,11 @@ afs_linux_rmdir(struct inode *dip, struct dentry *dp)
 
 static int
 afs_linux_rename(struct inode *oldip, struct dentry *olddp,
-                struct inode *newip, struct dentry *newdp)
+                struct inode *newip, struct dentry *newdp
+#ifdef HAVE_LINUX_INODE_OPERATIONS_RENAME_TAKES_FLAGS
+                , unsigned int flags
+#endif
+               )
 {
     int code;
     cred_t *credp = crref();
@@ -1839,6 +1934,11 @@ afs_linux_rename(struct inode *oldip, struct dentry *olddp,
     const char *newname = newdp->d_name.name;
     struct dentry *rehash = NULL;
 
+#ifdef HAVE_LINUX_INODE_OPERATIONS_RENAME_TAKES_FLAGS
+    if (flags)
+       return -EINVAL;         /* no support for new flags yet */
+#endif
+
     /* Prevent any new references during rename operation. */
 
     if (!d_unhashed(newdp)) {
@@ -1974,7 +2074,8 @@ afs_linux_put_link(struct dentry *dentry, struct nameidata *nd)
  * If task is NULL, the page copy occurs syncronously, and the routine
  * returns with page still locked. If task is non-NULL, then page copies
  * may occur in the background, and the page will be unlocked when it is
- * ready for use.
+ * ready for use. Note that if task is non-NULL and we encounter an error
+ * before we start the background copy, we MUST unlock 'page' before we return.
  */
 static int
 afs_linux_read_cache(struct file *cachefp, struct page *page,
@@ -1994,7 +2095,7 @@ afs_linux_read_cache(struct file *cachefp, struct page *page,
     /* If we're trying to read a page that's past the end of the disk
      * cache file, then just return a zeroed page */
     if (AFS_CHUNKOFFSET(offset) >= i_size_read(cacheinode)) {
-       zero_user_segment(page, 0, PAGE_CACHE_SIZE);
+       zero_user_segment(page, 0, PAGE_SIZE);
        SetPageUptodate(page);
        if (task)
            unlock_page(page);
@@ -2003,13 +2104,13 @@ afs_linux_read_cache(struct file *cachefp, struct page *page,
 
     /* From our offset, we now need to work out which page in the disk
      * file it corresponds to. This will be fun ... */
-    pageindex = (offset - AFS_CHUNKTOBASE(chunk)) >> PAGE_CACHE_SHIFT;
+    pageindex = (offset - AFS_CHUNKTOBASE(chunk)) >> PAGE_SHIFT;
 
     while (cachepage == NULL) {
         cachepage = find_get_page(cachemapping, pageindex);
        if (!cachepage) {
            if (!newpage)
-               newpage = page_cache_alloc_cold(cachemapping);
+               newpage = page_cache_alloc(cachemapping);
            if (!newpage) {
                code = -ENOMEM;
                goto out;
@@ -2021,12 +2122,12 @@ afs_linux_read_cache(struct file *cachefp, struct page *page,
                cachepage = newpage;
                newpage = NULL;
 
-               page_cache_get(cachepage);
+               get_page(cachepage);
                 if (!pagevec_add(lrupv, cachepage))
                     __pagevec_lru_add_file(lrupv);
 
            } else {
-               page_cache_release(newpage);
+               put_page(newpage);
                newpage = NULL;
                if (code != -EEXIST)
                    goto out;
@@ -2038,7 +2139,9 @@ afs_linux_read_cache(struct file *cachefp, struct page *page,
 
     if (!PageUptodate(cachepage)) {
        ClearPageError(cachepage);
-        code = cachemapping->a_ops->readpage(NULL, cachepage);
+       /* Note that ->readpage always handles unlocking the given page, even
+        * when an error is returned. */
+       code = cachemapping->a_ops->readpage(NULL, cachepage);
        if (!code && !task) {
            wait_on_page_locked(cachepage);
        }
@@ -2061,13 +2164,13 @@ afs_linux_read_cache(struct file *cachefp, struct page *page,
        }
     }
 
+ out:
     if (code && task) {
         unlock_page(page);
     }
 
-out:
     if (cachepage)
-       page_cache_release(cachepage);
+       put_page(cachepage);
 
     return code;
 }
@@ -2150,7 +2253,7 @@ afs_linux_readpage_fastpath(struct file *fp, struct page *pp, int *codep)
        ObtainReadLock(&tdc->lock);
 
     /* Is the dcache we've been given currently up to date */
-    if (!hsame(avc->f.m.DataVersion, tdc->f.versionNo) ||
+    if (!afs_IsDCacheFresh(tdc, avc) ||
        (tdc->dflags & DFFetching))
        goto out;
 
@@ -2162,12 +2265,17 @@ afs_linux_readpage_fastpath(struct file *fp, struct page *pp, int *codep)
     /* XXX - I suspect we should be locking the inodes before we use them! */
     AFS_GUNLOCK();
     cacheFp = afs_linux_raw_open(&tdc->f.inode);
+    osi_Assert(cacheFp);
     if (!cacheFp->f_dentry->d_inode->i_mapping->a_ops->readpage) {
        cachefs_noreadpage = 1;
        AFS_GLOCK();
        goto out;
     }
+#if defined(PAGEVEC_INIT_COLD_ARG)
     pagevec_init(&lrupv, 0);
+#else
+    pagevec_init(&lrupv);
+#endif
 
     code = afs_linux_read_cache(cacheFp, pp, tdc->f.chunk, &lrupv, NULL);
 
@@ -2327,7 +2435,11 @@ afs_linux_bypass_readpages(struct file *fp, struct address_space *mapping,
     ancr->offset = auio->uio_offset;
     ancr->length = auio->uio_resid;
 
+#if defined(PAGEVEC_INIT_COLD_ARG)
     pagevec_init(&lrupv, 0);
+#else
+    pagevec_init(&lrupv);
+#endif
 
     for(page_ix = 0; page_ix < num_pages; ++page_ix) {
 
@@ -2338,7 +2450,7 @@ afs_linux_bypass_readpages(struct file *fp, struct address_space *mapping,
        /* If we allocate a page and don't remove it from page_list,
         * the page cache gets upset. */
        list_del(&pp->lru);
-       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_SHIFT;
        if(pp->index > isize) {
            if(PageLocked(pp))
                unlock_page(pp);
@@ -2355,7 +2467,7 @@ afs_linux_bypass_readpages(struct file *fp, struct address_space *mapping,
         if(base_index != pp->index) {
             if(PageLocked(pp))
                 unlock_page(pp);
-            page_cache_release(pp);
+            put_page(pp);
            iovecp[page_ix].iov_base = (void *) 0;
            base_index++;
            ancr->length -= PAGE_SIZE;
@@ -2365,7 +2477,7 @@ afs_linux_bypass_readpages(struct file *fp, struct address_space *mapping,
         if(code) {
            if(PageLocked(pp))
                unlock_page(pp);
-           page_cache_release(pp);
+           put_page(pp);
            iovecp[page_ix].iov_base = (void *) 0;
        } else {
            page_count++;
@@ -2425,7 +2537,7 @@ afs_linux_bypass_readpage(struct file *fp, struct page *pp)
      * it as up to date.
      */
     if (page_offset(pp) >=  i_size_read(fp->f_mapping->host)) {
-       zero_user_segment(pp, 0, PAGE_CACHE_SIZE);
+       zero_user_segment(pp, 0, PAGE_SIZE);
        SetPageUptodate(pp);
        unlock_page(pp);
        return 0;
@@ -2468,6 +2580,7 @@ afs_linux_can_bypass(struct inode *ip) {
        case LARGE_FILES_BYPASS_CACHE:
            if (i_size_read(ip) > cache_bypass_threshold)
                return 1;
+           /* fall through */
        default:
            return 0;
      }
@@ -2548,7 +2661,11 @@ afs_linux_readpages(struct file *fp, struct address_space *mapping,
     task = afs_pagecopy_init_task();
 
     tdc = NULL;
+#if defined(PAGEVEC_INIT_COLD_ARG)
     pagevec_init(&lrupv, 0);
+#else
+    pagevec_init(&lrupv);
+#endif
     for (page_idx = 0; page_idx < num_pages; page_idx++) {
        struct page *page = list_entry(page_list->prev, struct page, lru);
        list_del(&page->lru);
@@ -2568,7 +2685,7 @@ afs_linux_readpages(struct file *fp, struct address_space *mapping,
            AFS_GLOCK();
            if ((tdc = afs_FindDCache(avc, offset))) {
                ObtainReadLock(&tdc->lock);
-               if (!hsame(avc->f.m.DataVersion, tdc->f.versionNo) ||
+               if (!afs_IsDCacheFresh(tdc, avc) ||
                    (tdc->dflags & DFFetching)) {
                    ReleaseReadLock(&tdc->lock);
                    afs_PutDCache(tdc);
@@ -2578,6 +2695,7 @@ afs_linux_readpages(struct file *fp, struct address_space *mapping,
            AFS_GUNLOCK();
            if (tdc) {
                cacheFp = afs_linux_raw_open(&tdc->f.inode);
+                osi_Assert(cacheFp);
                if (!cacheFp->f_dentry->d_inode->i_mapping->a_ops->readpage) {
                    cachefs_noreadpage = 1;
                    goto out;
@@ -2587,13 +2705,15 @@ afs_linux_readpages(struct file *fp, struct address_space *mapping,
 
        if (tdc && !add_to_page_cache(page, mapping, page->index,
                                      GFP_KERNEL)) {
-           page_cache_get(page);
+           get_page(page);
            if (!pagevec_add(&lrupv, page))
                __pagevec_lru_add_file(&lrupv);
 
+           /* Note that add_to_page_cache() locked 'page'.
+            * afs_linux_read_cache() is guaranteed to handle unlocking it. */
            afs_linux_read_cache(cacheFp, page, tdc->f.chunk, &lrupv, task);
        }
-       page_cache_release(page);
+       put_page(page);
     }
     if (pagevec_count(&lrupv))
        __pagevec_lru_add_file(&lrupv);
@@ -2774,12 +2894,12 @@ afs_linux_writepage(struct page *pp)
     struct inode *inode;
     struct vcache *vcp;
     cred_t *credp;
-    unsigned int to = PAGE_CACHE_SIZE;
+    unsigned int to = PAGE_SIZE;
     loff_t isize;
     int code = 0;
     int code1 = 0;
 
-    page_cache_get(pp);
+    get_page(pp);
 
     inode = mapping->host;
     vcp = VTOAFS(inode);
@@ -2848,7 +2968,7 @@ afs_linux_writepage(struct page *pp)
 
 done:
     end_page_writeback(pp);
-    page_cache_release(pp);
+    put_page(pp);
 
     if (code1)
        return code1;
@@ -2937,10 +3057,10 @@ afs_linux_prepare_write(struct file *file, struct page *page, unsigned from,
        /* Is the location we are writing to beyond the end of the file? */
        if (pagebase >= isize ||
            ((from == 0) && (pagebase + to) >= isize)) {
-           zero_user_segments(page, 0, from, to, PAGE_CACHE_SIZE);
+           zero_user_segments(page, 0, from, to, PAGE_SIZE);
            SetPageChecked(page);
        /* Are we we writing a full page */
-       } else if (from == 0 && to == PAGE_CACHE_SIZE) {
+       } else if (from == 0 && to == PAGE_SIZE) {
            SetPageChecked(page);
        /* Is the page readable, if it's wronly, we don't care, because we're
         * not actually going to read from it ... */
@@ -2961,12 +3081,12 @@ afs_linux_write_end(struct file *file, struct address_space *mapping,
                                 struct page *page, void *fsdata)
 {
     int code;
-    unsigned int from = pos & (PAGE_CACHE_SIZE - 1);
+    unsigned int from = pos & (PAGE_SIZE - 1);
 
-    code = afs_linux_commit_write(file, page, from, from + len);
+    code = afs_linux_commit_write(file, page, from, from + copied);
 
     unlock_page(page);
-    page_cache_release(page);
+    put_page(page);
     return code;
 }
 
@@ -2976,17 +3096,21 @@ afs_linux_write_begin(struct file *file, struct address_space *mapping,
                                 struct page **pagep, void **fsdata)
 {
     struct page *page;
-    pgoff_t index = pos >> PAGE_CACHE_SHIFT;
-    unsigned int from = pos & (PAGE_CACHE_SIZE - 1);
+    pgoff_t index = pos >> PAGE_SHIFT;
+    unsigned int from = pos & (PAGE_SIZE - 1);
     int code;
 
     page = grab_cache_page_write_begin(mapping, index, flags);
+    if (!page) {
+        return -ENOMEM;
+    }
+
     *pagep = page;
 
     code = afs_linux_prepare_write(file, page, from, from + len);
     if (code) {
        unlock_page(page);
-       page_cache_release(page);
+       put_page(page);
     }
 
     return code;
@@ -3114,7 +3238,9 @@ static struct address_space_operations afs_symlink_aops = {
 static struct inode_operations afs_symlink_iops = {
 #if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
   .readlink =          page_readlink,
-# if defined(HAVE_LINUX_PAGE_FOLLOW_LINK)
+# if defined(HAVE_LINUX_PAGE_GET_LINK)
+  .get_link =          page_get_link,
+# elif defined(HAVE_LINUX_PAGE_FOLLOW_LINK)
   .follow_link =       page_follow_link,
 # else
   .follow_link =       page_follow_link_light,
@@ -3149,6 +3275,9 @@ afs_fill_inode(struct inode *ip, struct vattr *vattr)
 
     } else if (S_ISLNK(ip->i_mode)) {
        ip->i_op = &afs_symlink_iops;
+#if defined(HAVE_LINUX_INODE_NOHIGHMEM)
+       inode_nohighmem(ip);
+#endif
 #if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
        ip->i_data.a_ops = &afs_symlink_aops;
        ip->i_mapping = &ip->i_data;