linux-disable-readahad-20081108
[openafs.git] / src / afs / LINUX / osi_vnodeops.c
index 33eeefa..bb3e499 100644 (file)
@@ -37,6 +37,11 @@ RCSID
 #endif
 #if defined(AFS_LINUX26_ENV)
 #include "h/writeback.h"
+#include "h/pagevec.h"
+#endif
+#if defined(AFS_CACHE_BYPASS)
+#include "afs/lock.h"
+#include "afs/afs_bypasscache.h"
 #endif
 
 #ifdef pgoff2loff
@@ -46,34 +51,42 @@ RCSID
 #endif
 
 #if defined(AFS_LINUX26_ENV)
+#define LockPage(pp) lock_page(pp)
 #define UnlockPage(pp) unlock_page(pp)
+extern struct backing_dev_info afs_backing_dev_info;
 #endif
 
 extern struct vcache *afs_globalVp;
-extern afs_rwlock_t afs_xvcache;
-
-#if defined(AFS_LINUX24_ENV)
-extern struct inode_operations afs_file_iops;
-extern struct address_space_operations afs_file_aops;
-struct address_space_operations afs_symlink_aops;
-#endif
-extern struct inode_operations afs_dir_iops;
-extern struct inode_operations afs_symlink_iops;
-
+#if defined(AFS_LINUX26_ENV)
+/* Some uses of BKL are perhaps not needed for bypass or memcache--
+ * why don't we try it out? */
+extern struct afs_cacheOps afs_UfsCacheOps;
+#define maybe_lock_kernel()                    \
+    do {                                              \
+       if(afs_cacheType == &afs_UfsCacheOps)          \
+           lock_kernel();                             \
+    } while(0);
+
+
+#define maybe_unlock_kernel()                  \
+    do {                                              \
+       if(afs_cacheType == &afs_UfsCacheOps)          \
+           unlock_kernel();                           \
+    } while(0);
+#endif /* AFS_CACHE_BYPASS */
 
 static ssize_t
 afs_linux_read(struct file *fp, char *buf, size_t count, loff_t * offp)
 {
     ssize_t code;
-    struct vcache *vcp = ITOAFS(fp->f_dentry->d_inode);
+    struct vcache *vcp = VTOAFS(fp->f_dentry->d_inode);
     cred_t *credp = crref();
     struct vrequest treq;
-
+    afs_size_t isize, offindex;
     AFS_GLOCK();
     afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, count, ICL_TYPE_INT32,
               99999);
-
     /* get a validated vcache entry */
     code = afs_InitReq(&treq, credp);
     if (!code)
@@ -82,56 +95,30 @@ afs_linux_read(struct file *fp, char *buf, size_t count, loff_t * offp)
     if (code)
        code = -code;
     else {
-#ifdef AFS_64BIT_CLIENT
-       if (*offp + count > afs_vmMappingEnd) {
-           uio_t tuio;
-           struct iovec iov;
-           afs_int32 xfered = 0;
-
-           if (*offp < afs_vmMappingEnd) {
-               /* special case of a buffer crossing the VM mapping end */
-               afs_int32 tcount = afs_vmMappingEnd - *offp;
-               count -= tcount;
-               osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
-               AFS_GUNLOCK();
-               code = generic_file_read(fp, buf, tcount, offp);
-               AFS_GLOCK();
-               if (code != tcount) {
-                   goto done;
-               }
-               xfered = tcount;
-           }
-           setup_uio(&tuio, &iov, buf + xfered, (afs_offs_t) * offp, count,
-                     UIO_READ, AFS_UIOSYS);
-           code = afs_read(vcp, &tuio, credp, 0, 0, 0);
-           xfered += count - tuio.uio_resid;
-           if (code != 0) {
-               afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER,
-                          vcp, ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, -1,
-                          ICL_TYPE_INT32, code);
-               code = xfered;
-               *offp += count - tuio.uio_resid;
-           } else {
-               code = xfered;
-               *offp += count;
-           }
-         done:
-               ;
-       } else {
-#endif /* AFS_64BIT_CLIENT */
-           osi_FlushPages(vcp, credp); /* ensure stale pages are gone */
-           AFS_GUNLOCK();
-           code = generic_file_read(fp, buf, count, offp);
-           AFS_GLOCK();
-#ifdef AFS_64BIT_CLIENT
-       }
-#endif /* AFS_64BIT_CLIENT */
+#if defined(AFS_CACHE_BYPASS)
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+        offindex = *offp >> PAGE_CACHE_SHIFT;
+        if(offindex > isize) {
+            code=0;
+            goto done;
+        }
+#endif
+#endif
+       osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
+       AFS_GUNLOCK();
+#ifdef DO_SYNC_READ
+       code = do_sync_read(fp, buf, count, offp);
+#else
+       code = generic_file_read(fp, buf, count, offp);
+#endif
+       AFS_GLOCK();
     }
 
     afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, count, ICL_TYPE_INT32,
               code);
-
+done:
     AFS_GUNLOCK();
     crfree(credp);
     return code;
@@ -146,11 +133,9 @@ static ssize_t
 afs_linux_write(struct file *fp, const char *buf, size_t count, loff_t * offp)
 {
     ssize_t code = 0;
-    int code2 = 0;
-    struct vcache *vcp = ITOAFS(fp->f_dentry->d_inode);
+    struct vcache *vcp = VTOAFS(fp->f_dentry->d_inode);
     struct vrequest treq;
     cred_t *credp = crref();
-    afs_offs_t toffs;
 
     AFS_GLOCK();
 
@@ -170,78 +155,17 @@ afs_linux_write(struct file *fp, const char *buf, size_t count, loff_t * offp)
     if (code)
        code = -code;
     else {
-#ifdef AFS_64BIT_CLIENT
-       toffs = *offp;
-       if (fp->f_flags & O_APPEND)
-           toffs += vcp->m.Length;
-       if (toffs + count > afs_vmMappingEnd) {
-           uio_t tuio;
-           struct iovec iov;
-           afs_size_t oldOffset = *offp;
-           afs_int32 xfered = 0;
-
-           if (toffs < afs_vmMappingEnd) {
-               /* special case of a buffer crossing the VM mapping end */
-               afs_int32 tcount = afs_vmMappingEnd - *offp;
-               count -= tcount;
-               AFS_GUNLOCK();
-               code = generic_file_write(fp, buf, tcount, offp);
-               AFS_GLOCK();
-               if (code != tcount) {
-                   goto done;
-               }
-               xfered = tcount;
-               toffs += tcount;
-           }
-           setup_uio(&tuio, &iov, buf + xfered, (afs_offs_t) toffs, count,
-                     UIO_WRITE, AFS_UIOSYS);
-           code = afs_write(vcp, &tuio, fp->f_flags, credp, 0);
-           xfered += count - tuio.uio_resid;
-           if (code != 0) {
-               code = xfered;
-               *offp += count - tuio.uio_resid;
-           } else {
-               /* Purge dirty chunks of file if there are too many dirty chunks.
-                * Inside the write loop, we only do this at a chunk boundary.
-                * Clean up partial chunk if necessary at end of loop.
-                */
-               if (AFS_CHUNKBASE(tuio.afsio_offset) !=
-                   AFS_CHUNKBASE(oldOffset)) {
-                   ObtainWriteLock(&vcp->lock, 402);
-                   code = afs_DoPartialWrite(vcp, &treq);
-                   vcp->states |= CDirty;
-                   ReleaseWriteLock(&vcp->lock);
-               }
-               code = xfered;
-               *offp += count;
-               toffs += count;
-               ObtainWriteLock(&vcp->lock, 400);
-               vcp->m.Date = osi_Time();       /* Set file date (for ranlib) */
-               /* extend file */
-               if (!(fp->f_flags & O_APPEND) && toffs > vcp->m.Length) {
-                   vcp->m.Length = toffs;
-               }
-               ReleaseWriteLock(&vcp->lock);
-           }
-         done:
-               ;
-       } else {
-#endif /* AFS_64BIT_CLIENT */
            AFS_GUNLOCK();
+#ifdef DO_SYNC_READ
+           code = do_sync_write(fp, buf, count, offp);
+#else
            code = generic_file_write(fp, buf, count, offp);
+#endif
            AFS_GLOCK();
-#ifdef AFS_64BIT_CLIENT
-       }
-#endif /* AFS_64BIT_CLIENT */
     }
 
     ObtainWriteLock(&vcp->lock, 530);
-    vcp->m.Date = osi_Time();  /* set modification time */
     afs_FakeClose(vcp, credp);
-    if (code >= 0)
-       code2 = afs_DoPartialWrite(vcp, &treq);
-    if (code2 && code >= 0)
-       code = (ssize_t) - code2;
     ReleaseWriteLock(&vcp->lock);
 
     afs_Trace4(afs_iclSetp, CM_TRACE_WRITEOP, ICL_TYPE_POINTER, vcp,
@@ -263,7 +187,7 @@ static int
 afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
 {
     extern struct DirEntry *afs_dir_GetBlob();
-    struct vcache *avc = ITOAFS(FILE_INODE(fp));
+    struct vcache *avc = VTOAFS(FILE_INODE(fp));
     struct vrequest treq;
     register struct dcache *tdc;
     int code;
@@ -277,7 +201,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
     struct afs_fakestat_state fakestat;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     AFS_STATCNT(afs_readdir);
@@ -305,7 +229,8 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
        code = -ENOENT;
        goto out;
     }
-    ObtainReadLock(&avc->lock);
+    ObtainSharedLock(&avc->lock, 810);
+    UpgradeSToWLock(&avc->lock, 811);
     ObtainReadLock(&tdc->lock);
     /*
      * Make sure that the data in the cache is current. There are two
@@ -317,19 +242,27 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
           && (tdc->dflags & DFFetching)
           && hsame(avc->m.DataVersion, tdc->f.versionNo)) {
        ReleaseReadLock(&tdc->lock);
-       ReleaseReadLock(&avc->lock);
+       ReleaseSharedLock(&avc->lock);
        afs_osi_Sleep(&tdc->validPos);
-       ObtainReadLock(&avc->lock);
+       ObtainSharedLock(&avc->lock, 812);
        ObtainReadLock(&tdc->lock);
     }
     if (!(avc->states & CStatd)
        || !hsame(avc->m.DataVersion, tdc->f.versionNo)) {
        ReleaseReadLock(&tdc->lock);
-       ReleaseReadLock(&avc->lock);
+       ReleaseSharedLock(&avc->lock);
        afs_PutDCache(tdc);
        goto tagain;
     }
 
+    /* Set the readdir-in-progress flag, and downgrade the lock
+     * to shared so others will be able to acquire a read lock.
+     */
+    avc->states |= CReadDir;
+    avc->dcreaddir = tdc;
+    avc->readdir_pid = MyPidxx;
+    ConvertWToSLock(&avc->lock);
+
     /* Fill in until we get an error or we're done. This implementation
      * takes an offset in units of blobs, rather than bytes.
      */
@@ -344,16 +277,16 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
        if (!de)
            break;
 
-       ino = (avc->fid.Fid.Volume << 16) + ntohl(de->fid.vnode);
-       ino &= 0x7fffffff;      /* Assumes 32 bit ino_t ..... */
+       ino = afs_calc_inum (avc->fid.Fid.Volume, ntohl(de->fid.vnode));
+
        if (de->name)
            len = strlen(de->name);
        else {
            printf("afs_linux_readdir: afs_dir_GetBlob failed, null name (inode %lx, dirpos %d)\n", 
                   (unsigned long)&tdc->f.inode, dirpos);
            DRelease((struct buffer *) de, 0);
+           ReleaseSharedLock(&avc->lock);
            afs_PutDCache(tdc);
-           ReleaseReadLock(&avc->lock);
            code = -ENOENT;
            goto out;
        }
@@ -390,7 +323,14 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
                /* clean up from afs_FindVCache */
                afs_PutVCache(tvc);
            }
+           /* 
+            * If this is NFS readdirplus, then the filler is going to
+            * call getattr on this inode, which will deadlock if we're
+            * holding the GLOCK.
+            */
+           AFS_GUNLOCK();
            code = (*filldir) (dirbuf, de->name, len, offset, ino, type);
+           AFS_GLOCK();
        }
 #else
        code = (*filldir) (dirbuf, de->name, len, offset, ino);
@@ -407,7 +347,11 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
 
     ReleaseReadLock(&tdc->lock);
     afs_PutDCache(tdc);
-    ReleaseReadLock(&avc->lock);
+    UpgradeSToWLock(&avc->lock, 813);
+    avc->states &= ~CReadDir;
+    avc->dcreaddir = 0;
+    avc->readdir_pid = 0;
+    ReleaseSharedLock(&avc->lock);
     code = 0;
 
 out:
@@ -415,7 +359,7 @@ out:
 out1:
     AFS_GUNLOCK();
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     return code;
 }
@@ -433,76 +377,11 @@ static long afs_unlocked_xioctl(struct file *fp, unsigned int com,
 }
 #endif
 
-/* We need to detect unmap's after close. To do that, we need our own
- * vm_operations_struct's. And we need to set them up for both the
- * private and shared mappings. The fun part is that these are all static
- * so we'll have to initialize on the fly!
- */
-static struct vm_operations_struct afs_private_mmap_ops;
-static int afs_private_mmap_ops_inited = 0;
-static struct vm_operations_struct afs_shared_mmap_ops;
-static int afs_shared_mmap_ops_inited = 0;
-
-void
-afs_linux_vma_close(struct vm_area_struct *vmap)
-{
-    struct vcache *vcp;
-    cred_t *credp;
-    int need_unlock = 0;
-
-    if (!vmap->vm_file)
-       return;
-
-    vcp = ITOAFS(FILE_INODE(vmap->vm_file));
-    if (!vcp)
-       return;
-
-    AFS_GLOCK();
-    afs_Trace4(afs_iclSetp, CM_TRACE_VM_CLOSE, ICL_TYPE_POINTER, vcp,
-              ICL_TYPE_INT32, vcp->mapcnt, ICL_TYPE_INT32, vcp->opens,
-              ICL_TYPE_INT32, vcp->execsOrWriters);
-    if ((&vcp->lock)->excl_locked == 0 || (&vcp->lock)->pid_writer == MyPidxx) {
-       ObtainWriteLock(&vcp->lock, 532);
-       need_unlock = 1;
-    } else
-       printk("AFS_VMA_CLOSE(%d): Skipping Already locked vcp=%p vmap=%p\n",
-              MyPidxx, &vcp, &vmap);
-    if (vcp->mapcnt) {
-       vcp->mapcnt--;
-       if (need_unlock)
-           ReleaseWriteLock(&vcp->lock);
-       if (!vcp->mapcnt) {
-           if (need_unlock && vcp->execsOrWriters < 2) {
-               credp = crref();
-               (void)afs_close(vcp, vmap->vm_file->f_flags, credp);
-               /* only decrement the execsOrWriters flag if this is not a
-                * writable file. */
-               if (!(vcp->states & CRO) )
-                   if (! (vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-                       vcp->execsOrWriters--;
-               vcp->states &= ~CMAPPED;
-               crfree(credp);
-           } else if ((vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-               vcp->execsOrWriters--;
-           /* If we did not have the lock */
-           if (!need_unlock) {
-               vcp->mapcnt++;
-               if (!vcp->execsOrWriters)
-                   vcp->execsOrWriters = 1;
-           }
-       }
-    } else {
-       if (need_unlock)
-           ReleaseWriteLock(&vcp->lock);
-    }
-
-    AFS_GUNLOCK();
-}
 
 static int
 afs_linux_mmap(struct file *fp, struct vm_area_struct *vmap)
 {
-    struct vcache *vcp = ITOAFS(FILE_INODE(fp));
+    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
     cred_t *credp = crref();
     struct vrequest treq;
     int code;
@@ -521,75 +400,46 @@ afs_linux_mmap(struct file *fp, struct vm_area_struct *vmap)
 
     /* get a validated vcache entry */
     code = afs_InitReq(&treq, credp);
-    if (!code)
-       code = afs_VerifyVCache(vcp, &treq);
-
-    if (!code && (vcp->states & CRO) && 
-       (vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-       code = EACCES;
-
     if (code)
-       code = -code;
-    else {
-       osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
-
-       AFS_GUNLOCK();
-       code = generic_file_mmap(fp, vmap);
-       AFS_GLOCK();
-    }
+       goto out_err;
 
-    if (code == 0) {
-       ObtainWriteLock(&vcp->lock, 531);
-       /* Set out vma ops so we catch the close. The following test should be
-        * the same as used in generic_file_mmap.
-        */
-       if ((vmap->vm_flags & VM_SHARED) && (vmap->vm_flags & VM_MAYWRITE)) {
-           if (!afs_shared_mmap_ops_inited) {
-               afs_shared_mmap_ops_inited = 1;
-               afs_shared_mmap_ops = *vmap->vm_ops;
-               afs_shared_mmap_ops.close = afs_linux_vma_close;
-           }
-           vmap->vm_ops = &afs_shared_mmap_ops;
-       } else {
-           if (!afs_private_mmap_ops_inited) {
-               afs_private_mmap_ops_inited = 1;
-               afs_private_mmap_ops = *vmap->vm_ops;
-               afs_private_mmap_ops.close = afs_linux_vma_close;
-           }
-           vmap->vm_ops = &afs_private_mmap_ops;
-       }
+    code = afs_VerifyVCache(vcp, &treq);
+    if (code)
+       goto out_err;
 
+    osi_FlushPages(vcp, credp);        /* ensure stale pages are gone */
 
-       /* Add an open reference on the first mapping. */
-       if (vcp->mapcnt == 0) {
-           if (!(vcp->states & CRO))
-               vcp->execsOrWriters++;
-           vcp->opens++;
-           vcp->states |= CMAPPED;
-       }
-       ReleaseWriteLock(&vcp->lock);
-       vcp->mapcnt++;
-    }
+    AFS_GUNLOCK();
+    code = generic_file_mmap(fp, vmap);
+    AFS_GLOCK();
+    if (!code)
+       vcp->states |= CMAPPED;
 
+out:
     AFS_GUNLOCK();
     crfree(credp);
     return code;
+
+out_err:
+    code = -code;
+    goto out;
 }
 
-int
+static int
 afs_linux_open(struct inode *ip, struct file *fp)
 {
-    int code;
+    struct vcache *vcp = VTOAFS(ip);
     cred_t *credp = crref();
+    int code;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
-    code = afs_open((struct vcache **)&ip, fp->f_flags, credp);
+    code = afs_open(&vcp, fp->f_flags, credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
@@ -599,29 +449,28 @@ afs_linux_open(struct inode *ip, struct file *fp)
 static int
 afs_linux_release(struct inode *ip, struct file *fp)
 {
-    struct vcache *vcp = ITOAFS(ip);
+    struct vcache *vcp = VTOAFS(ip);
     cred_t *credp = crref();
     int code = 0;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_close(vcp, fp->f_flags, credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
     return -code;
 }
 
-#if defined(AFS_LINUX24_ENV)
 static int
+#if defined(AFS_LINUX24_ENV)
 afs_linux_fsync(struct file *fp, struct dentry *dp, int datasync)
 #else
-static int
 afs_linux_fsync(struct file *fp, struct dentry *dp)
 #endif
 {
@@ -630,13 +479,13 @@ afs_linux_fsync(struct file *fp, struct dentry *dp)
     cred_t *credp = crref();
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
-    code = afs_fsync(ITOAFS(ip), credp);
+    code = afs_fsync(VTOAFS(ip), credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -648,7 +497,7 @@ static int
 afs_linux_lock(struct file *fp, int cmd, struct file_lock *flp)
 {
     int code = 0;
-    struct vcache *vcp = ITOAFS(FILE_INODE(fp));
+    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
     cred_t *credp = crref();
     struct AFS_FLOCK flock;
     /* Convert to a lock format afs_lockctl understands. */
@@ -673,6 +522,25 @@ afs_linux_lock(struct file *fp, int cmd, struct file_lock *flp)
     code = afs_lockctl(vcp, &flock, cmd, credp);
     AFS_GUNLOCK();
 
+#ifdef AFS_LINUX24_ENV
+    if ((code == 0 || flp->fl_type == F_UNLCK) && 
+        (cmd == F_SETLK || cmd == F_SETLKW)) {
+#ifdef POSIX_LOCK_FILE_WAIT_ARG
+       code = posix_lock_file(fp, flp, 0);
+#else
+       flp->fl_flags &=~ FL_SLEEP;
+       code = posix_lock_file(fp, flp);
+#endif 
+       if (code && flp->fl_type != F_UNLCK) {
+           struct AFS_FLOCK flock2;
+           flock2 = flock;
+           flock2.l_type = F_UNLCK;
+           AFS_GLOCK();
+           afs_lockctl(vcp, &flock2, F_SETLK, credp);
+           AFS_GUNLOCK();
+       }
+    }
+#endif
     /* Convert flock back to Linux's file_lock */
     flp->fl_type = flock.l_type;
     flp->fl_pid = flock.l_pid;
@@ -684,35 +552,137 @@ afs_linux_lock(struct file *fp, int cmd, struct file_lock *flp)
 
 }
 
+#ifdef STRUCT_FILE_OPERATIONS_HAS_FLOCK
+static int
+afs_linux_flock(struct file *fp, int cmd, struct file_lock *flp) {
+    int code = 0;
+    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
+    cred_t *credp = crref();
+    struct AFS_FLOCK flock;
+    /* Convert to a lock format afs_lockctl understands. */
+    memset((char *)&flock, 0, sizeof(flock));
+    flock.l_type = flp->fl_type;
+    flock.l_pid = flp->fl_pid;
+    flock.l_whence = 0;
+    flock.l_start = 0;
+    flock.l_len = OFFSET_MAX;
+
+    /* Safe because there are no large files, yet */
+#if defined(F_GETLK64) && (F_GETLK != F_GETLK64)
+    if (cmd == F_GETLK64)
+       cmd = F_GETLK;
+    else if (cmd == F_SETLK64)
+       cmd = F_SETLK;
+    else if (cmd == F_SETLKW64)
+       cmd = F_SETLKW;
+#endif /* F_GETLK64 && F_GETLK != F_GETLK64 */
+
+    AFS_GLOCK();
+    code = afs_lockctl(vcp, &flock, cmd, credp);
+    AFS_GUNLOCK();
+
+    if ((code == 0 || flp->fl_type == F_UNLCK) && 
+        (cmd == F_SETLK || cmd == F_SETLKW)) {
+       flp->fl_flags &=~ FL_SLEEP;
+       code = flock_lock_file_wait(fp, flp);
+       if (code && flp->fl_type != F_UNLCK) {
+           struct AFS_FLOCK flock2;
+           flock2 = flock;
+           flock2.l_type = F_UNLCK;
+           AFS_GLOCK();
+           afs_lockctl(vcp, &flock2, F_SETLK, credp);
+           AFS_GUNLOCK();
+       }
+    }
+    /* Convert flock back to Linux's file_lock */
+    flp->fl_type = flock.l_type;
+    flp->fl_pid = flock.l_pid;
+
+    crfree(credp);
+    return -code;
+}
+#endif
+
 /* afs_linux_flush
  * essentially the same as afs_fsync() but we need to get the return
  * code for the sys_close() here, not afs_linux_release(), so call
  * afs_StoreAllSegments() with AFS_LASTSTORE
  */
-int
+static int
+#if defined(FOP_FLUSH_TAKES_FL_OWNER_T)
+afs_linux_flush(struct file *fp, fl_owner_t id)
+#else
 afs_linux_flush(struct file *fp)
+#endif
 {
     struct vrequest treq;
-    struct vcache *vcp = ITOAFS(FILE_INODE(fp));
-    cred_t *credp = crref();
+    struct vcache *vcp;
+    cred_t *credp;
     int code;
+#if defined(AFS_CACHE_BYPASS)
+    int bypasscache;
+#endif
 
     AFS_GLOCK();
 
+    if ((fp->f_flags & O_ACCMODE) == O_RDONLY) { /* readers dont flush */
+       AFS_GUNLOCK();
+       return 0;
+    }
+
+    AFS_DISCON_LOCK();
+
+    credp = crref();
+    vcp = VTOAFS(FILE_INODE(fp));
+
     code = afs_InitReq(&treq, credp);
     if (code)
        goto out;
+#if defined(AFS_CACHE_BYPASS)
+       /* If caching is bypassed for this file, or globally, just return 0 */
+       if(cache_bypass_strategy == ALWAYS_BYPASS_CACHE)
+               bypasscache = 1;
+       else {
+               ObtainReadLock(&vcp->lock);
+               if(vcp->cachingStates & FCSBypass)
+                       bypasscache = 1;
+               ReleaseReadLock(&vcp->lock);
+       }
+       if(bypasscache) {
+            /* future proof: don't rely on 0 return from afs_InitReq */
+            code = 0; goto out;
+        }
+#endif
 
     ObtainSharedLock(&vcp->lock, 535);
-    if (vcp->execsOrWriters > 0) {
+    if ((vcp->execsOrWriters > 0) && (file_count(fp) == 1)) {
        UpgradeSToWLock(&vcp->lock, 536);
-       code = afs_StoreAllSegments(vcp, &treq, AFS_SYNC | AFS_LASTSTORE);
+       if (!AFS_IS_DISCONNECTED) {
+               code = afs_StoreAllSegments(vcp,
+                               &treq,
+                               AFS_SYNC | AFS_LASTSTORE);
+       } else {
+#if defined(AFS_DISCON_ENV)
+               if (!vcp->ddirty_flags ||
+                   (vcp->ddirty_flags == VDisconShadowed)) {
+
+                   ObtainWriteLock(&afs_DDirtyVCListLock, 710);
+                   AFS_DISCON_ADD_DIRTY(vcp);
+                   ReleaseWriteLock(&afs_DDirtyVCListLock);
+               }
+
+               /* Set disconnected write flag. */
+               vcp->ddirty_flags |= VDisconWriteOsiFlush;
+#endif
+       }
+
        ConvertWToSLock(&vcp->lock);
     }
     code = afs_CheckCode(code, &treq, 54);
     ReleaseSharedLock(&vcp->lock);
 
 out:
+    AFS_DISCON_UNLOCK();
     AFS_GUNLOCK();
 
     crfree(credp);
@@ -754,6 +724,10 @@ struct file_operations afs_dir_fops = {
 struct file_operations afs_file_fops = {
   .read =      afs_linux_read,
   .write =     afs_linux_write,
+#ifdef GENERIC_FILE_AIO_READ
+  .aio_read =  generic_file_aio_read,
+  .aio_write = generic_file_aio_write,
+#endif
 #ifdef HAVE_UNLOCKED_IOCTL
   .unlocked_ioctl = afs_unlocked_xioctl,
 #else
@@ -765,12 +739,19 @@ struct file_operations afs_file_fops = {
   .mmap =      afs_linux_mmap,
   .open =      afs_linux_open,
   .flush =     afs_linux_flush,
-#ifdef AFS_LINUX26_ENV
+#if defined(AFS_LINUX26_ENV) && defined(STRUCT_FILE_OPERATIONS_HAS_SENDFILE)
   .sendfile =   generic_file_sendfile,
 #endif
+#if defined(AFS_LINUX26_ENV) && defined(STRUCT_FILE_OPERATIONS_HAS_SPLICE)
+  .splice_write = generic_file_splice_write,
+  .splice_read = generic_file_splice_read,
+#endif
   .release =   afs_linux_release,
   .fsync =     afs_linux_fsync,
   .lock =      afs_linux_lock,
+#ifdef STRUCT_FILE_OPERATIONS_HAS_FLOCK
+  .flock =     afs_linux_flock,
+#endif
 };
 
 
@@ -778,55 +759,87 @@ struct file_operations afs_file_fops = {
  * AFS Linux dentry operations
  **********************************************************************/
 
+/* check_bad_parent() : Checks if this dentry's vcache is a root vcache
+ * that has its mvid (parent dir's fid) pointer set to the wrong directory
+ * due to being mounted in multiple points at once. If so, check_bad_parent()
+ * calls afs_lookup() to correct the vcache's mvid, as well as the volume's
+ * dotdotfid and mtpoint fid members.
+ * Parameters:
+ *   dp - dentry to be checked.
+ * Return Values:
+ *   None.
+ * Sideeffects:
+ *   This dentry's vcache's mvid will be set to the correct parent directory's
+ *   fid.
+ *   This root vnode's volume will have its dotdotfid and mtpoint fids set
+ *   to the correct parent and mountpoint fids.
+ */
+
+static inline void
+check_bad_parent(struct dentry *dp)
+{
+    cred_t *credp;
+    struct vcache *vcp = VTOAFS(dp->d_inode), *avc = NULL;
+    struct vcache *pvc = VTOAFS(dp->d_parent->d_inode);
+
+    if (vcp->mvid->Fid.Volume != pvc->fid.Fid.Volume) {        /* bad parent */
+       credp = crref();
+
+       /* force a lookup, so vcp->mvid is fixed up */
+       afs_lookup(pvc, dp->d_name.name, &avc, credp);
+       if (!avc || vcp != avc) {       /* bad, very bad.. */
+           afs_Trace4(afs_iclSetp, CM_TRACE_TMP_1S3L, ICL_TYPE_STRING,
+                      "check_bad_parent: bad pointer returned from afs_lookup origvc newvc dentry",
+                      ICL_TYPE_POINTER, vcp, ICL_TYPE_POINTER, avc,
+                      ICL_TYPE_POINTER, dp);
+       }
+       if (avc)
+           AFS_RELE(AFSTOV(avc));
+       crfree(credp);
+    }
+
+    return;
+}
+
 /* afs_linux_revalidate
  * Ensure vcache is stat'd before use. Return 0 if entry is valid.
  */
 static int
 afs_linux_revalidate(struct dentry *dp)
 {
-    int code;
+    struct vattr vattr;
+    struct vcache *vcp = VTOAFS(dp->d_inode);
     cred_t *credp;
-    struct vrequest treq;
-    struct vcache *vcp = ITOAFS(dp->d_inode);
-    struct vcache *rootvp = NULL;
+    int code;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
 
-    if (afs_fakestat_enable && vcp->mvstat == 1 && vcp->mvid
-       && (vcp->states & CMValid) && (vcp->states & CStatd)) {
-       ObtainSharedLock(&afs_xvcache, 680);
-       rootvp = afs_FindVCache(vcp->mvid, 0, 0);
-       ReleaseSharedLock(&afs_xvcache);
-    }
-
+#ifdef notyet
     /* Make this a fast path (no crref), since it's called so often. */
     if (vcp->states & CStatd) {
+
        if (*dp->d_name.name != '/' && vcp->mvstat == 2)        /* root vnode */
            check_bad_parent(dp);       /* check and correct mvid */
-       if (rootvp)
-           vcache2fakeinode(rootvp, vcp);
-       else
-           vcache2inode(vcp);
-       if (rootvp)
-           afs_PutVCache(rootvp);
+
        AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
        unlock_kernel();
 #endif
        return 0;
     }
+#endif
 
     credp = crref();
-    code = afs_InitReq(&treq, credp);
+    code = afs_getattr(vcp, &vattr, credp);
     if (!code)
-       code = afs_VerifyVCache(vcp, &treq);
+        afs_fill_inode(AFSTOV(vcp), &vattr);
 
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
 
@@ -838,8 +851,9 @@ static int
 afs_linux_getattr(struct vfsmount *mnt, struct dentry *dentry, struct kstat *stat)
 {
         int err = afs_linux_revalidate(dentry);
-        if (!err)
+        if (!err) {
                 generic_fillattr(dentry->d_inode, stat);
+}
         return err;
 }
 #endif
@@ -851,39 +865,65 @@ afs_linux_getattr(struct vfsmount *mnt, struct dentry *dentry, struct kstat *sta
  * it is a directory. But since the kernel itself checks these possibilities
  * later on, we shouldn't have to do it until later. Perhaps in the future..
  */
+static int
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,2,10)
 #ifdef DOP_REVALIDATE_TAKES_NAMEIDATA
-static int
 afs_linux_dentry_revalidate(struct dentry *dp, struct nameidata *nd)
 #else
-static int
 afs_linux_dentry_revalidate(struct dentry *dp, int flags)
 #endif
 #else
-static int
 afs_linux_dentry_revalidate(struct dentry *dp)
 #endif
 {
-    struct vrequest treq;
+    struct vattr vattr;
     cred_t *credp = NULL;
     struct vcache *vcp, *pvcp, *tvc = NULL;
     int valid;
+    struct afs_fakestat_state fakestate;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
+    afs_InitFakeStat(&fakestate);
 
-    vcp = ITOAFS(dp->d_inode);
-    pvcp = ITOAFS(dp->d_parent->d_inode);              /* dget_parent()? */
+    if (dp->d_inode) {
 
-    if (vcp) {
+       vcp = VTOAFS(dp->d_inode);
+       pvcp = VTOAFS(dp->d_parent->d_inode);           /* dget_parent()? */
 
-       /* If it's the AFS root no chance it needs revalidating */
        if (vcp == afs_globalVp)
            goto good_dentry;
 
-       /* check_bad_parent()? */
+       if (vcp->mvstat == 1) {         /* mount point */
+           if (vcp->mvid && (vcp->states & CMValid)) {
+               int tryEvalOnly = 0;
+               int code = 0;
+               struct vrequest treq;
+
+               credp = crref();
+               code = afs_InitReq(&treq, credp);
+               if (
+#ifdef AFS_DARWIN_ENV
+                   (strcmp(dp->d_name.name, ".DS_Store") == 0) ||
+                   (strcmp(dp->d_name.name, "Contents") == 0) ||
+#endif
+                   (strcmp(dp->d_name.name, ".directory") == 0)) {
+                   tryEvalOnly = 1;
+               }
+               if (tryEvalOnly)
+                   code = afs_TryEvalFakeStat(&vcp, &fakestate, &treq);
+               else
+                   code = afs_EvalFakeStat(&vcp, &fakestate, &treq);
+               if ((tryEvalOnly && vcp->mvstat == 1) || code) {
+                   /* a mount point, not yet replaced by its directory */
+                   goto bad_dentry;
+               }
+           }
+       } else
+           if (*dp->d_name.name != '/' && vcp->mvstat == 2) /* root vnode */
+               check_bad_parent(dp);   /* check and correct mvid */
 
 #ifdef notdef
        /* If the last looker changes, we should make sure the current
@@ -902,27 +942,38 @@ afs_linux_dentry_revalidate(struct dentry *dp)
         * is longer valid, we need to do a full lookup.  VerifyVCache
         * isn't enough since the vnode may have been renamed.
         */
+
        if (hgetlo(pvcp->m.DataVersion) > dp->d_time || !(vcp->states & CStatd)) {
 
            credp = crref();
-           if (afs_InitReq(&treq, credp))
-               goto bad_dentry;
            afs_lookup(pvcp, dp->d_name.name, &tvc, credp);
            if (!tvc || tvc != vcp)
                goto bad_dentry;
-           if (afs_VerifyVCache(vcp, &treq))   /* update inode attributes */
+
+           if (afs_getattr(vcp, &vattr, credp))
                goto bad_dentry;
 
+           vattr2inode(AFSTOV(vcp), &vattr);
            dp->d_time = hgetlo(pvcp->m.DataVersion);
        }
 
+       /* should we always update the attributes at this point? */
+       /* unlikely--the vcache entry hasn't changed */
+
     } else {
+#ifdef notyet
+       pvcp = VTOAFS(dp->d_parent->d_inode);           /* dget_parent()? */
        if (hgetlo(pvcp->m.DataVersion) > dp->d_time)
            goto bad_dentry;
+#endif
 
        /* No change in parent's DataVersion so this negative
-        * lookup is still valid.
+        * lookup is still valid.  BUT, if a server is down a
+        * negative lookup can result so there should be a
+        * liftime as well.  For now, always expire.
         */
+
+       goto bad_dentry;
     }
 
   good_dentry:
@@ -932,6 +983,7 @@ afs_linux_dentry_revalidate(struct dentry *dp)
     /* Clean up */
     if (tvc)
        afs_PutVCache(tvc);
+    afs_PutFakeStat(&fakestate);
     AFS_GUNLOCK();
     if (credp)
        crfree(credp);
@@ -941,28 +993,43 @@ afs_linux_dentry_revalidate(struct dentry *dp)
        d_drop(dp);
     }
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     return valid;
 
   bad_dentry:
-    valid = 0;
+    if (have_submounts(dp))
+       valid = 1;
+    else 
+       valid = 0;
     goto done;
 }
 
-#if !defined(AFS_LINUX24_ENV)
-/* afs_dentry_iput */
 static void
 afs_dentry_iput(struct dentry *dp, struct inode *ip)
 {
-    osi_iput(ip);
-}
+    struct vcache *vcp = VTOAFS(ip);
+
+    AFS_GLOCK();
+    (void) afs_InactiveVCache(vcp, NULL);
+    AFS_GUNLOCK();
+#ifdef DCACHE_NFSFS_RENAMED
+#ifdef AFS_LINUX26_ENV
+    spin_lock(&dp->d_lock);
 #endif
+    dp->d_flags &= ~DCACHE_NFSFS_RENAMED;   
+#ifdef AFS_LINUX26_ENV
+    spin_unlock(&dp->d_lock);
+#endif
+#endif
+
+    iput(ip);
+}
 
 static int
 afs_dentry_delete(struct dentry *dp)
 {
-    if (dp->d_inode && (ITOAFS(dp->d_inode)->states & CUnlinked))
+    if (dp->d_inode && (VTOAFS(dp->d_inode)->states & CUnlinked))
        return 1;               /* bad inode? */
 
     return 0;
@@ -971,9 +1038,7 @@ afs_dentry_delete(struct dentry *dp)
 struct dentry_operations afs_dentry_operations = {
   .d_revalidate =      afs_linux_dentry_revalidate,
   .d_delete =          afs_dentry_delete,
-#if !defined(AFS_LINUX24_ENV)
   .d_iput =            afs_dentry_iput,
-#endif
 };
 
 /**********************************************************************
@@ -988,64 +1053,45 @@ struct dentry_operations afs_dentry_operations = {
  *
  * name is in kernel space at this point.
  */
+static int
 #ifdef IOP_CREATE_TAKES_NAMEIDATA
-int
 afs_linux_create(struct inode *dip, struct dentry *dp, int mode,
                 struct nameidata *nd)
 #else
-int
 afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
 #endif
 {
-    int code;
-    cred_t *credp = crref();
     struct vattr vattr;
+    cred_t *credp = crref();
     const char *name = dp->d_name.name;
-    struct inode *ip;
+    struct vcache *vcp;
+    int code;
 
     VATTR_NULL(&vattr);
     vattr.va_mode = mode;
+    vattr.va_type = mode & S_IFMT;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
-    code =
-       afs_create(ITOAFS(dip), (char *)name, &vattr, NONEXCL, mode,
-                  (struct vcache **)&ip, credp);
+    code = afs_create(VTOAFS(dip), (char *)name, &vattr, NONEXCL, mode,
+                     &vcp, credp);
 
     if (!code) {
-       vattr2inode(ip, &vattr);
-       /* Reset ops if symlink or directory. */
-#if defined(AFS_LINUX24_ENV)
-       if (S_ISREG(ip->i_mode)) {
-           ip->i_op = &afs_file_iops;
-           ip->i_fop = &afs_file_fops;
-           ip->i_data.a_ops = &afs_file_aops;
-       } else if (S_ISDIR(ip->i_mode)) {
-           ip->i_op = &afs_dir_iops;
-           ip->i_fop = &afs_dir_fops;
-       } else if (S_ISLNK(ip->i_mode)) {
-           ip->i_op = &afs_symlink_iops;
-           ip->i_data.a_ops = &afs_symlink_aops;
-           ip->i_mapping = &ip->i_data;
-       } else
-           printk("afs_linux_create: FIXME\n");
-#else
-       if (S_ISDIR(ip->i_mode))
-           ip->i_op = &afs_dir_iops;
-       else if (S_ISLNK(ip->i_mode))
-           ip->i_op = &afs_symlink_iops;
-#endif
+       struct inode *ip = AFSTOV(vcp);
 
+       afs_getattr(vcp, &vattr, credp);
+       afs_fill_inode(ip, &vattr);
+       insert_inode_hash(ip);
        dp->d_op = &afs_dentry_operations;
-       dp->d_time = hgetlo(ITOAFS(dip)->m.DataVersion);
+       dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
        d_instantiate(dp, ip);
     }
-
     AFS_GUNLOCK();
+
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -1053,93 +1099,101 @@ afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
 
 /* afs_linux_lookup */
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,2,10)
+static struct dentry *
 #ifdef IOP_LOOKUP_TAKES_NAMEIDATA
-struct dentry *
 afs_linux_lookup(struct inode *dip, struct dentry *dp,
                 struct nameidata *nd)
 #else
-struct dentry *
 afs_linux_lookup(struct inode *dip, struct dentry *dp)
 #endif
 #else
-int
+static int
 afs_linux_lookup(struct inode *dip, struct dentry *dp)
 #endif
 {
-    int code = 0;
     cred_t *credp = crref();
     struct vcache *vcp = NULL;
     const char *comp = dp->d_name.name;
-#if 1
-    struct dentry *res = 0;
+    struct inode *ip = NULL;
+#if defined(AFS_LINUX26_ENV)
+    struct dentry *newdp = NULL;
 #endif
+    int code;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
-    code = afs_lookup(ITOAFS(dip), comp, &vcp, credp);
-    AFS_GUNLOCK();
+    code = afs_lookup(VTOAFS(dip), comp, &vcp, credp);
     
     if (vcp) {
-       struct inode *ip = AFSTOI(vcp);
-       /* Reset ops if symlink or directory. */
-#if defined(AFS_LINUX24_ENV)
-       if (S_ISREG(ip->i_mode)) {
-           ip->i_op = &afs_file_iops;
-           ip->i_fop = &afs_file_fops;
-           ip->i_data.a_ops = &afs_file_aops;
-       } else if (S_ISDIR(ip->i_mode)) {
-           ip->i_op = &afs_dir_iops;
-           ip->i_fop = &afs_dir_fops;
-            d_prune_aliases(ip);
-            res = d_find_alias(ip);
-       } else if (S_ISLNK(ip->i_mode)) {
-           ip->i_op = &afs_symlink_iops;
-           ip->i_data.a_ops = &afs_symlink_aops;
-           ip->i_mapping = &ip->i_data;
-       } else
-           printk
-               ("afs_linux_lookup: ip->i_mode 0x%x  dp->d_name.name %s  code %d\n",
-                ip->i_mode, dp->d_name.name, code);
-#ifdef STRUCT_INODE_HAS_I_SECURITY
-       if (ip->i_security == NULL) {
-           if (security_inode_alloc(ip))
-               panic("afs_linux_lookup: Cannot allocate inode security");
-       }
-#endif
+       struct vattr vattr;
+
+       ip = AFSTOV(vcp);
+       afs_getattr(vcp, &vattr, credp);
+       afs_fill_inode(ip, &vattr);
+       if (
+#ifdef HAVE_KERNEL_HLIST_UNHASHED
+           hlist_unhashed(&ip->i_hash)
+#elif defined(AFS_LINUX26_ENV)
+           ip->i_hash.pprev == NULL
 #else
-       if (S_ISDIR(ip->i_mode))
-           ip->i_op = &afs_dir_iops;
-       else if (S_ISLNK(ip->i_mode))
-           ip->i_op = &afs_symlink_iops;
+           ip->i_hash.prev == NULL
 #endif
+           )
+           insert_inode_hash(ip);
     }
     dp->d_op = &afs_dentry_operations;
-    dp->d_time = hgetlo(ITOAFS(dip)->m.DataVersion);
+    dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
+    AFS_GUNLOCK();
+
 #if defined(AFS_LINUX24_ENV)
-    if (res) {
-       if (d_unhashed(res))
-           d_rehash(res);
-    } else
+    if (ip && S_ISDIR(ip->i_mode)) {
+       struct dentry *alias;
+
+        /* Try to invalidate an existing alias in favor of our new one */
+       alias = d_find_alias(ip);
+#if defined(AFS_LINUX26_ENV)
+        /* But not if it's disconnected; then we want d_splice_alias below */
+       if (alias && !(alias->d_flags & DCACHE_DISCONNECTED)) {
+#else
+       if (alias) {
+#endif
+           if (d_invalidate(alias) == 0) {
+               dput(alias);
+           } else {
+               iput(ip);
+#if defined(AFS_LINUX26_ENV)
+               unlock_kernel();
+#endif
+               crfree(credp);
+               return alias;
+           }
+       }
+    }
+#endif
+#if defined(AFS_LINUX26_ENV)
+    newdp = d_splice_alias(ip, dp);
+#else
+    d_add(dp, ip);
 #endif
-    d_add(dp, AFSTOI(vcp));
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
 
     /* It's ok for the file to not be found. That's noted by the caller by
      * seeing that the dp->d_inode field is NULL.
      */
-#if defined(AFS_LINUX24_ENV)
-    if (code == 0)
-        return res;
-#endif
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,2,10)
+#if defined(AFS_LINUX26_ENV)
+    if (!code || code == ENOENT)
+       return newdp;
+#else
     if (code == ENOENT)
        return ERR_PTR(0);
+#endif
     else
        return ERR_PTR(-code);
 #else
@@ -1149,7 +1203,7 @@ afs_linux_lookup(struct inode *dip, struct dentry *dp)
 #endif
 }
 
-int
+static int
 afs_linux_link(struct dentry *olddp, struct inode *dip, struct dentry *newdp)
 {
     int code;
@@ -1163,25 +1217,25 @@ afs_linux_link(struct dentry *olddp, struct inode *dip, struct dentry *newdp)
     d_drop(newdp);
 
     AFS_GLOCK();
-    code = afs_link(ITOAFS(oldip), ITOAFS(dip), name, credp);
+    code = afs_link(VTOAFS(oldip), VTOAFS(dip), name, credp);
 
     AFS_GUNLOCK();
     crfree(credp);
     return -code;
 }
 
-int
+static int
 afs_linux_unlink(struct inode *dip, struct dentry *dp)
 {
     int code = EBUSY;
     cred_t *credp = crref();
     const char *name = dp->d_name.name;
-    struct vcache *tvc = ITOAFS(dp->d_inode);
+    struct vcache *tvc = VTOAFS(dp->d_inode);
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
-    if (((VREFCOUNT(tvc) > 0) && tvc->opens > 0)
+    if (VREFCOUNT(tvc) > 1 && tvc->opens > 0
                                && !(tvc->states & CUnlinked)) {
        struct dentry *__dp;
        char *__name;
@@ -1205,20 +1259,31 @@ afs_linux_unlink(struct inode *dip, struct dentry *dp)
        } while (__dp->d_inode != NULL);
 
        AFS_GLOCK();
-       code = afs_rename(ITOAFS(dip), dp->d_name.name, ITOAFS(dip), __dp->d_name.name, credp);
+       code = afs_rename(VTOAFS(dip), dp->d_name.name, VTOAFS(dip), __dp->d_name.name, credp);
        if (!code) {
-            tvc->mvid = __name;
+            tvc->mvid = (void *) __name;
             crhold(credp);
             if (tvc->uncred) {
                 crfree(tvc->uncred);
             }
             tvc->uncred = credp;
            tvc->states |= CUnlinked;
+#ifdef DCACHE_NFSFS_RENAMED
+#ifdef AFS_LINUX26_ENV
+           spin_lock(&dp->d_lock);
+#endif
+           dp->d_flags |= DCACHE_NFSFS_RENAMED;   
+#ifdef AFS_LINUX26_ENV
+           spin_unlock(&dp->d_lock);
+#endif
+#endif
+       } else {
+           osi_FreeSmallSpace(__name); 
        }
        AFS_GUNLOCK();
 
        if (!code) {
-           __dp->d_time = hgetlo(ITOAFS(dip)->m.DataVersion);
+           __dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
            d_move(dp, __dp);
        }
        dput(__dp);
@@ -1227,20 +1292,20 @@ afs_linux_unlink(struct inode *dip, struct dentry *dp)
     }
 
     AFS_GLOCK();
-    code = afs_remove(ITOAFS(dip), name, credp);
+    code = afs_remove(VTOAFS(dip), name, credp);
     AFS_GUNLOCK();
     if (!code)
        d_drop(dp);
 out:
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
 }
 
 
-int
+static int
 afs_linux_symlink(struct inode *dip, struct dentry *dp, const char *target)
 {
     int code;
@@ -1253,15 +1318,15 @@ afs_linux_symlink(struct inode *dip, struct dentry *dp, const char *target)
      */
     d_drop(dp);
 
-    AFS_GLOCK();
     VATTR_NULL(&vattr);
-    code = afs_symlink(ITOAFS(dip), name, &vattr, target, credp);
+    AFS_GLOCK();
+    code = afs_symlink(VTOAFS(dip), name, &vattr, target, credp);
     AFS_GUNLOCK();
     crfree(credp);
     return -code;
 }
 
-int
+static int
 afs_linux_mkdir(struct inode *dip, struct dentry *dp, int mode)
 {
     int code;
@@ -1271,44 +1336,44 @@ afs_linux_mkdir(struct inode *dip, struct dentry *dp, int mode)
     const char *name = dp->d_name.name;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
-    AFS_GLOCK();
     VATTR_NULL(&vattr);
     vattr.va_mask = ATTR_MODE;
     vattr.va_mode = mode;
-    code = afs_mkdir(ITOAFS(dip), name, &vattr, &tvcp, credp);
-    AFS_GUNLOCK();
+    AFS_GLOCK();
+    code = afs_mkdir(VTOAFS(dip), name, &vattr, &tvcp, credp);
 
     if (tvcp) {
-       tvcp->v.v_op = &afs_dir_iops;
-#if defined(AFS_LINUX24_ENV)
-       tvcp->v.v_fop = &afs_dir_fops;
-#endif
+       struct inode *ip = AFSTOV(tvcp);
+
+       afs_getattr(tvcp, &vattr, credp);
+       afs_fill_inode(ip, &vattr);
+
        dp->d_op = &afs_dentry_operations;
-       dp->d_time = hgetlo(ITOAFS(dip)->m.DataVersion);
-       d_instantiate(dp, AFSTOI(tvcp));
+       dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
+       d_instantiate(dp, ip);
     }
+    AFS_GUNLOCK();
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
 }
 
-int
+static int
 afs_linux_rmdir(struct inode *dip, struct dentry *dp)
 {
     int code;
     cred_t *credp = crref();
     const char *name = dp->d_name.name;
 
-#if defined(AFS_LINUX26_ENV)
-    lock_kernel();
-#endif
+    /* locking kernel conflicts with glock? */
+
     AFS_GLOCK();
-    code = afs_rmdir(ITOAFS(dip), name, credp);
+    code = afs_rmdir(VTOAFS(dip), name, credp);
     AFS_GUNLOCK();
 
     /* Linux likes to see ENOTEMPTY returned from an rmdir() syscall
@@ -1323,16 +1388,12 @@ afs_linux_rmdir(struct inode *dip, struct dentry *dp)
        d_drop(dp);
     }
 
-#if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
-#endif
     crfree(credp);
     return -code;
 }
 
 
-
-int
+static int
 afs_linux_rename(struct inode *oldip, struct dentry *olddp,
                 struct inode *newip, struct dentry *newdp)
 {
@@ -1344,14 +1405,8 @@ afs_linux_rename(struct inode *oldip, struct dentry *olddp,
 
 #if defined(AFS_LINUX26_ENV)
     /* Prevent any new references during rename operation. */
-    lock_kernel();
-#endif
-    /* Remove old and new entries from name hash. New one will change below.
-     * While it's optimal to catch failures and re-insert newdp into hash,
-     * it's also error prone and in that case we're already dealing with error
-     * cases. Let another lookup put things right, if need be.
-     */
-#if defined(AFS_LINUX26_ENV)
+    maybe_lock_kernel();
+
     if (!d_unhashed(newdp)) {
        d_drop(newdp);
        rehash = newdp;
@@ -1369,14 +1424,17 @@ afs_linux_rename(struct inode *oldip, struct dentry *olddp,
 #endif
 
     AFS_GLOCK();
-    code = afs_rename(ITOAFS(oldip), oldname, ITOAFS(newip), newname, credp);
+    code = afs_rename(VTOAFS(oldip), oldname, VTOAFS(newip), newname, credp);
     AFS_GUNLOCK();
 
+    if (!code)
+       olddp->d_time = 0;      /* force to revalidate */
+
     if (rehash)
        d_rehash(rehash);
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
@@ -1397,7 +1455,7 @@ afs_linux_ireadlink(struct inode *ip, char *target, int maxlen, uio_seg_t seg)
     struct iovec iov;
 
     setup_uio(&tuio, &iov, target, (afs_offs_t) 0, maxlen, UIO_READ, seg);
-    code = afs_readlink(ITOAFS(ip), &tuio, credp);
+    code = afs_readlink(VTOAFS(ip), &tuio, credp);
     crfree(credp);
 
     if (!code)
@@ -1406,11 +1464,11 @@ afs_linux_ireadlink(struct inode *ip, char *target, int maxlen, uio_seg_t seg)
        return -code;
 }
 
-#if !defined(AFS_LINUX24_ENV)
+#if !defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
 /* afs_linux_readlink 
  * Fill target (which is in user space) with contents of symlink.
  */
-int
+static int
 afs_linux_readlink(struct dentry *dp, char *target, int maxlen)
 {
     int code;
@@ -1426,7 +1484,37 @@ afs_linux_readlink(struct dentry *dp, char *target, int maxlen)
 /* afs_linux_follow_link
  * a file system dependent link following routine.
  */
-struct dentry *
+#if defined(AFS_LINUX24_ENV)
+static int afs_linux_follow_link(struct dentry *dentry, struct nameidata *nd)
+{
+    int code;
+    char *name;
+
+    name = osi_Alloc(PATH_MAX);
+    if (!name) {
+       return -EIO;
+    }
+
+    AFS_GLOCK();
+    code = afs_linux_ireadlink(dentry->d_inode, name, PATH_MAX - 1, AFS_UIOSYS);
+    AFS_GUNLOCK();
+
+    if (code < 0) {
+       goto out;
+    }
+
+    name[code] = '\0';
+    code = vfs_follow_link(nd, name);
+
+out:
+    osi_Free(name, PATH_MAX);
+
+    return code;
+}
+
+#else /* !defined(AFS_LINUX24_ENV) */
+
+static struct dentry *
 afs_linux_follow_link(struct dentry *dp, struct dentry *basep,
                      unsigned int follow)
 {
@@ -1459,104 +1547,408 @@ afs_linux_follow_link(struct dentry *dp, struct dentry *basep,
     AFS_GUNLOCK();
     return res;
 }
-#endif
+#endif /* AFS_LINUX24_ENV */
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
+
+#if defined(AFS_CACHE_BYPASS)
+
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+
+/* The kernel calls readpages before trying readpage, with a list of 
+ * pages.  The readahead algorithm expands num_pages when it thinks
+ * the application will benefit.  Unlike readpage, the pages are not
+ * necessarily allocated.  If we do not a) allocate required pages and 
+ * b) remove them from page_list, linux will re-enter at afs_linux_readpage
+ * for each required page (and the page will be pre-allocated) */      
+
+static int
+afs_linux_readpages(struct file *fp, struct address_space *mapping,
+                   struct list_head *page_list, unsigned num_pages)
+{
+    afs_int32 page_ix;
+    uio_t *auio;
+    afs_offs_t offset;
+    struct iovec* iovecp;
+    struct nocache_read_request *ancr;
+    struct page *pp, *ppt;
+    struct pagevec lrupv;
+    afs_int32 code = 0;        
+
+    cred_t *credp;
+    struct inode *ip = FILE_INODE(fp);
+    struct vcache *avc = VTOAFS(ip);
+    afs_int32 bypasscache = 0; /* bypass for this read */
+    afs_int32 base_index = 0;
+    afs_int32 page_count = 0;
+    afs_int32 isize;
+       
+    credp = crref();
+       
+    switch(cache_bypass_strategy) {
+    case NEVER_BYPASS_CACHE:
+       break;  
+    case ALWAYS_BYPASS_CACHE:
+       bypasscache = 1;
+       break;
+    case LARGE_FILES_BYPASS_CACHE:
+       if(i_size_read(ip) > cache_bypass_threshold) {
+           bypasscache = 1;
+       }
+       break;
+    default:
+       break;
+    }
+       
+    /* In the new incarnation of selective caching, a file's caching policy 
+     *  can change, eg because file size exceeds threshold, etc. */
+    trydo_cache_transition(avc, credp, bypasscache);   
+        
+    if(!bypasscache) {
+       while(!list_empty(page_list)) {
+           pp = list_entry(page_list->prev, struct page, lru);
+           list_del(&pp->lru);
+       }
+       goto out;
+    }
+    /* background thread must free: iovecp, auio, ancr */
+    iovecp = osi_Alloc(num_pages * sizeof(struct iovec));
+
+    auio = osi_Alloc(sizeof(uio_t));
+    auio->uio_iov = iovecp;    
+    auio->uio_iovcnt = num_pages;
+    auio->uio_flag = UIO_READ;
+    auio->uio_seg = AFS_UIOSYS;
+    auio->uio_resid = num_pages * PAGE_SIZE;
+       
+    ancr = osi_Alloc(sizeof(struct nocache_read_request));
+    ancr->auio = auio;
+    ancr->offset = auio->uio_offset;
+    ancr->length = auio->uio_resid;
+       
+    pagevec_init(&lrupv, 0);   
+       
+    for(page_ix = 0; page_ix < num_pages; ++page_ix) {
+       
+       if(list_empty(page_list))
+           break;
+
+       pp = list_entry(page_list->prev, struct page, lru);
+       /* If we allocate a page and don't remove it from page_list,
+        * the page cache gets upset. */
+       list_del(&pp->lru);
+       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+       if(pp->index > isize) {
+           if(PageLocked(pp))
+               UnlockPage(pp);
+           continue;
+       }
+
+       if(page_ix == 0) {
+           offset = ((loff_t) pp->index) << PAGE_CACHE_SHIFT;
+           auio->uio_offset = offset;
+           base_index = pp->index;
+       }
+        iovecp[page_ix].iov_len = PAGE_SIZE;
+        code = add_to_page_cache(pp, mapping, pp->index, GFP_KERNEL);
+        if(base_index != pp->index) {   
+            if(PageLocked(pp))
+                                UnlockPage(pp);
+            page_cache_release(pp);
+           iovecp[page_ix].iov_base = (void *) 0;
+           base_index++;
+            continue;
+        }
+        base_index++;
+        if(code) {
+           if(PageLocked(pp))
+               UnlockPage(pp);
+           page_cache_release(pp);
+           iovecp[page_ix].iov_base = (void *) 0;
+       } else {
+           page_count++;
+           if(!PageLocked(pp)) {
+               LockPage(pp);
+           }   
+           
+           /* save the page for background map */
+            iovecp[page_ix].iov_base = (void*) pp;
+
+           /* and put it on the LRU cache */
+           if (!pagevec_add(&lrupv, pp))
+               __pagevec_lru_add(&lrupv);
+        }
+    }
+
+    /* If there were useful pages in the page list, make sure all pages
+     * are in the LRU cache, then schedule the read */
+    if(page_count) {
+        pagevec_lru_add(&lrupv);
+        code = afs_ReadNoCache(avc, ancr, credp);
+    } else {
+        /* If there is nothing for the background thread to handle,
+         * it won't be freeing the things that we never gave it */
+        osi_Free(iovecp, num_pages * sizeof(struct iovec));
+        osi_Free(auio, sizeof(uio_t));
+        osi_Free(ancr, sizeof(struct nocache_read_request));
+    }
+    /* we do not flush, release, or unmap pages--that will be 
+     * done for us by the background thread as each page comes in
+     * from the fileserver */
+    crfree(credp);
+       
+out:   
+    return -code;
+}
+
+#endif /* LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0) */
+#endif /* defined(AFS_CACHE_BYPASS */
+
 
 /* afs_linux_readpage
  * all reads come through here. A strategy-like read call.
  */
-int
+static int
 afs_linux_readpage(struct file *fp, struct page *pp)
 {
-    int code;
-    cred_t *credp = crref();
+        afs_int32 code;
+        cred_t *credp = crref();
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    char *address;
-    afs_offs_t offset = pp->index << PAGE_CACHE_SHIFT;
+        char *address;
+        afs_offs_t offset = ((loff_t) pp->index) << PAGE_CACHE_SHIFT;
 #else
-    ulong address = afs_linux_page_address(pp);
-    afs_offs_t offset = pageoff(pp);
+        ulong address = afs_linux_page_address(pp);
+        afs_offs_t offset = pageoff(pp);
 #endif
-    uio_t tuio;
-    struct iovec iovec;
-    struct inode *ip = FILE_INODE(fp);
-    int cnt = page_count(pp);
-    struct vcache *avc = ITOAFS(ip);
-
+#if defined(AFS_CACHE_BYPASS)
+        afs_int32 bypasscache = 0; /* bypass for this read */
+        struct nocache_read_request *ancr;
+#endif
+        afs_int32 isize;       
+        uio_t *auio;
+        struct iovec *iovecp;
+        struct inode *ip = FILE_INODE(fp);
+        afs_int32 cnt = page_count(pp);
+        struct vcache *avc = VTOAFS(ip);
 
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    address = kmap(pp);
-    ClearPageError(pp);
+        address = kmap(pp);
+        ClearPageError(pp);
 #else
-    atomic_add(1, &pp->count);
-    set_bit(PG_locked, &pp->flags);    /* other bits? See mm.h */
-    clear_bit(PG_error, &pp->flags);
-#endif
-
-    setup_uio(&tuio, &iovec, (char *)address, offset, PAGESIZE, UIO_READ,
-             AFS_UIOSYS);
+        atomic_add(1, &pp->count);
+        set_bit(PG_locked, &pp->flags);        /* other bits? See mm.h */
+        clear_bit(PG_error, &pp->flags);
+#endif
+#if defined(AFS_CACHE_BYPASS)
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+        /* If the page is past the end of the file, skip it */
+        isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+        if(pp->index > isize) {
+                 if(PageLocked(pp))
+                          UnlockPage(pp);
+                 goto done;
+        }
+#endif
+#endif
+        /* if bypasscache, receiver frees, else we do */
+        auio = osi_Alloc(sizeof(uio_t));
+        iovecp = osi_Alloc(sizeof(struct iovec));
+       
+        setup_uio(auio, iovecp, (char *)address, offset, PAGE_SIZE, UIO_READ,
+                          AFS_UIOSYS);
+
+#if defined(AFS_CACHE_BYPASS)
+
+        switch(cache_bypass_strategy) {
+        case NEVER_BYPASS_CACHE:
+                 break;        
+        case ALWAYS_BYPASS_CACHE:
+                 bypasscache = 1;
+                 break;
+        case LARGE_FILES_BYPASS_CACHE:
+                 if(i_size_read(ip) > cache_bypass_threshold) {
+                          bypasscache = 1;
+                 }
+                 break;
+        default:
+                 break;
+        }
+
+        /* In the new incarnation of selective caching, a file's caching policy 
+         * can change, eg because file size exceeds threshold, etc. */
+        trydo_cache_transition(avc, credp, bypasscache);
+               
+        if(bypasscache) {
+                 if(address)
+                          kunmap(pp);
+                 /* save the page for background map */
+                 auio->uio_iov->iov_base = (void*) pp;
+                 /* the background thread will free this */
+                 ancr = osi_Alloc(sizeof(struct nocache_read_request));
+                 ancr->auio = auio;
+                 ancr->offset = offset;
+                 ancr->length = PAGE_SIZE;
+       
+                 maybe_lock_kernel();
+                 code = afs_ReadNoCache(avc, ancr, credp);
+                 maybe_unlock_kernel();
+       
+                 goto done; /* skips release page, doing it in bg thread */
+        }
+#endif 
+                 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+        maybe_lock_kernel();
 #endif
-    AFS_GLOCK();
-    afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip, ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32, 99999);        /* not a possible code value */
-    code = afs_rdwr(avc, &tuio, UIO_READ, 0, credp);
-    afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip,
-              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32,
-              code);
-    AFS_GUNLOCK();
+        AFS_GLOCK();
+        afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip, ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32, 99999);    /* not a possible code value */
+
+        code = afs_rdwr(avc, auio, UIO_READ, 0, credp);
+       
+        afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip,
+                               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32,
+                               code);
+        AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+        maybe_unlock_kernel();
 #endif
+        if (!code) {   
+                 /* XXX valid for no-cache also?  Check last bits of files... :) 
+                  * Cognate code goes in afs_NoCacheFetchProc.  */
+                 if (auio->uio_resid)  /* zero remainder of page */
+                          memset((void *)(address + (PAGE_SIZE - auio->uio_resid)), 0,
+                                         auio->uio_resid);
 
-    if (!code) {
-       if (tuio.uio_resid)     /* zero remainder of page */
-           memset((void *)(address + (PAGESIZE - tuio.uio_resid)), 0,
-                  tuio.uio_resid);
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-       flush_dcache_page(pp);
-       SetPageUptodate(pp);
+                 flush_dcache_page(pp);
+                 SetPageUptodate(pp);
 #else
-       set_bit(PG_uptodate, &pp->flags);
+                 set_bit(PG_uptodate, &pp->flags);
 #endif
-    }
+        } /* !code */
 
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    kunmap(pp);
-    UnlockPage(pp);
+        kunmap(pp);
+        UnlockPage(pp);
 #else
-    clear_bit(PG_locked, &pp->flags);
-    wake_up(&pp->wait);
-    free_page(address);
+        clear_bit(PG_locked, &pp->flags);
+        wake_up(&pp->wait);
+        free_page(address);
+#endif
+
+#if defined(AFS_CACHE_BYPASS)
+
+/* do not call afs_GetDCache if cache is bypassed */
+        if(bypasscache)
+                 goto done;
+       
+#endif
+
+        /* free if not bypassing cache */
+        osi_Free(auio, sizeof(uio_t));
+        osi_Free(iovecp, sizeof(struct iovec));
+
+        if (!code && AFS_CHUNKOFFSET(offset) == 0) {
+                 struct dcache *tdc;
+                 struct vrequest treq;
+
+                 AFS_GLOCK();
+                 code = afs_InitReq(&treq, credp);
+                 if (!code && !NBObtainWriteLock(&avc->lock, 534)) {
+                          tdc = afs_FindDCache(avc, offset);
+                          if (tdc) {
+                                       if (!(tdc->mflags & DFNextStarted))
+                                                afs_PrefetchChunk(avc, tdc, credp, &treq);
+                                       afs_PutDCache(tdc);
+                          }
+                          ReleaseWriteLock(&avc->lock);
+                 }
+                 AFS_GUNLOCK();
+        }
+
+done:
+        crfree(credp);
+        return -code;
+}
+
+
+#if defined(AFS_LINUX24_ENV)
+static int
+afs_linux_writepage_sync(struct inode *ip, struct page *pp,
+                        unsigned long offset, unsigned int count)
+{
+    struct vcache *vcp = VTOAFS(ip);
+    char *buffer;
+    afs_offs_t base;
+    int code = 0;
+    cred_t *credp;
+    uio_t tuio;
+    struct iovec iovec;
+    int f_flags = 0;
+
+    buffer = kmap(pp) + offset;
+    base = (((loff_t) pp->index) << PAGE_CACHE_SHIFT)  + offset;
+
+    credp = crref();
+    maybe_lock_kernel();
+    AFS_GLOCK();
+    afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
+              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
+              ICL_TYPE_INT32, 99999);
+
+    ObtainReadLock(&vcp->lock);
+    if (vcp->states & CPageWrite) {
+       ReleaseReadLock(&vcp->lock);
+       AFS_GUNLOCK();
+       maybe_unlock_kernel();
+       crfree(credp);
+       kunmap(pp);
+#ifdef AFS_LINUX26_ENV
+#if defined(WRITEPAGE_ACTIVATE)
+       return WRITEPAGE_ACTIVATE;
+#else
+       return AOP_WRITEPAGE_ACTIVATE;
+#endif
+#else
+       /* should mark it dirty? */
+       return(0); 
 #endif
+    }
+    ReleaseReadLock(&vcp->lock);
+
+    setup_uio(&tuio, &iovec, buffer, base, count, UIO_WRITE, AFS_UIOSYS);
+
+    code = afs_write(vcp, &tuio, f_flags, credp, 0);
 
-    if (!code && AFS_CHUNKOFFSET(offset) == 0) {
-       struct dcache *tdc;
+    ip->i_size = vcp->m.Length;
+    ip->i_blocks = ((vcp->m.Length + 1023) >> 10) << 1;
+
+    if (!code) {
        struct vrequest treq;
 
-       AFS_GLOCK();
-       code = afs_InitReq(&treq, credp);
-       if (!code && !NBObtainWriteLock(&avc->lock, 534)) {
-           tdc = afs_FindDCache(avc, offset);
-           if (tdc) {
-               if (!(tdc->mflags & DFNextStarted))
-                   afs_PrefetchChunk(avc, tdc, credp, &treq);
-               afs_PutDCache(tdc);
-           }
-           ReleaseWriteLock(&avc->lock);
-       }
-       AFS_GUNLOCK();
+       ObtainWriteLock(&vcp->lock, 533);
+       if (!afs_InitReq(&treq, credp))
+           code = afs_DoPartialWrite(vcp, &treq);
+       ReleaseWriteLock(&vcp->lock);
     }
+    code = code ? -code : count - tuio.uio_resid;
 
+    afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
+              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
+              ICL_TYPE_INT32, code);
+
+    AFS_GUNLOCK();
+    maybe_unlock_kernel();
     crfree(credp);
-    return -code;
+    kunmap(pp);
+
+    return code;
 }
 
-#if defined(AFS_LINUX24_ENV)
+
+static int
 #ifdef AOP_WRITEPAGE_TAKES_WRITEBACK_CONTROL
-int
 afs_linux_writepage(struct page *pp, struct writeback_control *wbc)
 #else
-int
 afs_linux_writepage(struct page *pp)
 #endif
 {
@@ -1568,7 +1960,11 @@ afs_linux_writepage(struct page *pp)
 
 #if defined(AFS_LINUX26_ENV)
     if (PageReclaim(pp)) {
+# if defined(WRITEPAGE_ACTIVATE)
        return WRITEPAGE_ACTIVATE;
+# else 
+       return AOP_WRITEPAGE_ACTIVATE;
+# endif
     }
 #else
     if (PageLaunder(pp)) {
@@ -1596,136 +1992,89 @@ afs_linux_writepage(struct page *pp)
     else
        return status;
 }
-#endif
-
-/* afs_linux_permission
- * Check access rights - returns error if can't check or permission denied.
- */
-#ifdef IOP_PERMISSION_TAKES_NAMEIDATA
-int
-afs_linux_permission(struct inode *ip, int mode, struct nameidata *nd)
 #else
-int
-afs_linux_permission(struct inode *ip, int mode)
-#endif
-{
-    int code;
-    cred_t *credp = crref();
-    int tmp = 0;
-
-    AFS_GLOCK();
-    if (mode & MAY_EXEC)
-       tmp |= VEXEC;
-    if (mode & MAY_READ)
-       tmp |= VREAD;
-    if (mode & MAY_WRITE)
-       tmp |= VWRITE;
-    code = afs_access(ITOAFS(ip), tmp, credp);
-
-    AFS_GUNLOCK();
-    crfree(credp);
-    return -code;
-}
-
-
-#if defined(AFS_LINUX24_ENV)
-int
-afs_linux_writepage_sync(struct inode *ip, struct page *pp,
-                        unsigned long offset, unsigned int count)
+/* afs_linux_updatepage
+ * What one would have thought was writepage - write dirty page to file.
+ * Called from generic_file_write. buffer is still in user space. pagep
+ * has been filled in with old data if we're updating less than a page.
+ */
+static int
+afs_linux_updatepage(struct file *fp, struct page *pp, unsigned long offset,
+                    unsigned int count, int sync)
 {
-    struct vcache *vcp = ITOAFS(ip);
-    char *buffer;
-    afs_offs_t base;
+    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
+    u8 *page_addr = (u8 *) afs_linux_page_address(pp);
     int code = 0;
     cred_t *credp;
     uio_t tuio;
     struct iovec iovec;
-    int f_flags = 0;
 
-    buffer = kmap(pp) + offset;
-    base = (pp->index << PAGE_CACHE_SHIFT) + offset;
+    set_bit(PG_locked, &pp->flags);
 
     credp = crref();
-    lock_kernel();
     AFS_GLOCK();
     afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
               ICL_TYPE_INT32, 99999);
+    setup_uio(&tuio, &iovec, page_addr + offset,
+             (afs_offs_t) (pageoff(pp) + offset), count, UIO_WRITE,
+             AFS_UIOSYS);
 
-    setup_uio(&tuio, &iovec, buffer, base, count, UIO_WRITE, AFS_UIOSYS);
-
-    code = afs_write(vcp, &tuio, f_flags, credp, 0);
+    code = afs_write(vcp, &tuio, fp->f_flags, credp, 0);
 
-    vcache2inode(vcp);
+    ip->i_size = vcp->m.Length;
+    ip->i_blocks = ((vcp->m.Length + 1023) >> 10) << 1;
 
-    if (!code
-       && afs_stats_cmperf.cacheCurrDirtyChunks >
-       afs_stats_cmperf.cacheMaxDirtyChunks) {
+    if (!code) {
        struct vrequest treq;
 
        ObtainWriteLock(&vcp->lock, 533);
+       vcp->m.Date = osi_Time();   /* set modification time */
        if (!afs_InitReq(&treq, credp))
            code = afs_DoPartialWrite(vcp, &treq);
        ReleaseWriteLock(&vcp->lock);
     }
-    code = code ? -code : count - tuio.uio_resid;
 
+    code = code ? -code : count - tuio.uio_resid;
     afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
               ICL_TYPE_INT32, code);
 
     AFS_GUNLOCK();
-    unlock_kernel();
     crfree(credp);
-    kunmap(pp);
 
+    clear_bit(PG_locked, &pp->flags);
     return code;
 }
+#endif
 
-#else
-/* afs_linux_updatepage
- * What one would have thought was writepage - write dirty page to file.
- * Called from generic_file_write. buffer is still in user space. pagep
- * has been filled in with old data if we're updating less than a page.
+/* afs_linux_permission
+ * Check access rights - returns error if can't check or permission denied.
  */
-int
-afs_linux_updatepage(struct file *fp, struct page *pp, unsigned long offset,
-                    unsigned int count, int sync)
+static int
+#ifdef IOP_PERMISSION_TAKES_NAMEIDATA
+afs_linux_permission(struct inode *ip, int mode, struct nameidata *nd)
+#else
+afs_linux_permission(struct inode *ip, int mode)
+#endif
 {
-    struct vcache *vcp = ITOAFS(FILE_INODE(fp));
-    u8 *page_addr = (u8 *) afs_linux_page_address(pp);
-    int code = 0;
-    cred_t *credp;
-    uio_t tuio;
-    struct iovec iovec;
-
-    set_bit(PG_locked, &pp->flags);
+    int code;
+    cred_t *credp = crref();
+    int tmp = 0;
 
-    credp = crref();
     AFS_GLOCK();
-    afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
-              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
-              ICL_TYPE_INT32, 99999);
-    setup_uio(&tuio, &iovec, page_addr + offset,
-             (afs_offs_t) (pageoff(pp) + offset), count, UIO_WRITE,
-             AFS_UIOSYS);
-
-    code = afs_write(vcp, &tuio, fp->f_flags, credp, 0);
-
-    vcache2inode(vcp);
-
-    code = code ? -code : count - tuio.uio_resid;
-    afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
-              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
-              ICL_TYPE_INT32, code);
+    if (mode & MAY_EXEC)
+       tmp |= VEXEC;
+    if (mode & MAY_READ)
+       tmp |= VREAD;
+    if (mode & MAY_WRITE)
+       tmp |= VWRITE;
+    code = afs_access(VTOAFS(ip), tmp, credp);
 
     AFS_GUNLOCK();
     crfree(credp);
-
-    clear_bit(PG_locked, &pp->flags);
-    return code;
+    return -code;
 }
-#endif
 
 #if defined(AFS_LINUX24_ENV)
 static int
@@ -1758,7 +2107,7 @@ afs_linux_prepare_write(struct file *file, struct page *page, unsigned from,
 extern int afs_notify_change(struct dentry *dp, struct iattr *iattrp);
 #endif
 
-struct inode_operations afs_file_iops = {
+static struct inode_operations afs_file_iops = {
 #if defined(AFS_LINUX26_ENV)
   .permission =                afs_linux_permission,
   .getattr =           afs_linux_getattr,
@@ -1769,15 +2118,18 @@ struct inode_operations afs_file_iops = {
   .setattr =           afs_notify_change,
 #else
   .default_file_ops =  &afs_file_fops,
-  .readpage =          afs_linux_readpage,
+  .readpage =          afs_linux_readpage,  
   .revalidate =                afs_linux_revalidate,
   .updatepage =                afs_linux_updatepage,
 #endif
 };
 
 #if defined(AFS_LINUX24_ENV)
-struct address_space_operations afs_file_aops = {
+static struct address_space_operations afs_file_aops = {
   .readpage =          afs_linux_readpage,
+#if defined(AFS_CACHE_BYPASS) && LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+  .readpages =         afs_linux_readpages,
+#endif  
   .writepage =         afs_linux_writepage,
   .commit_write =      afs_linux_commit_write,
   .prepare_write =     afs_linux_prepare_write,
@@ -1789,7 +2141,7 @@ struct address_space_operations afs_file_aops = {
  * by what sort of operation is allowed.....
  */
 
-struct inode_operations afs_dir_iops = {
+static struct inode_operations afs_dir_iops = {
 #if !defined(AFS_LINUX24_ENV)
   .default_file_ops =  &afs_dir_fops,
 #else
@@ -1814,7 +2166,7 @@ struct inode_operations afs_dir_iops = {
 /* We really need a separate symlink set of ops, since do_follow_link()
  * determines if it _is_ a link by checking if the follow_link op is set.
  */
-#if defined(AFS_LINUX24_ENV)
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
 static int
 afs_symlink_filler(struct file *file, struct page *page)
 {
@@ -1822,7 +2174,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     char *p = (char *)kmap(page);
     int code;
 
-    lock_kernel();
+    maybe_lock_kernel();
     AFS_GLOCK();
     code = afs_linux_ireadlink(ip, p, PAGE_SIZE, AFS_UIOSYS);
     AFS_GUNLOCK();
@@ -1830,7 +2182,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     if (code < 0)
        goto fail;
     p[code] = '\0';            /* null terminate? */
-    unlock_kernel();
+    maybe_unlock_kernel();
 
     SetPageUptodate(page);
     kunmap(page);
@@ -1838,7 +2190,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     return 0;
 
   fail:
-    unlock_kernel();
+    maybe_unlock_kernel();
 
     SetPageError(page);
     kunmap(page);
@@ -1846,13 +2198,13 @@ afs_symlink_filler(struct file *file, struct page *page)
     return code;
 }
 
-struct address_space_operations afs_symlink_aops = {
+static struct address_space_operations afs_symlink_aops = {
   .readpage =  afs_symlink_filler
 };
-#endif
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
 
-struct inode_operations afs_symlink_iops = {
-#if defined(AFS_LINUX24_ENV)
+static struct inode_operations afs_symlink_iops = {
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
   .readlink =          page_readlink,
 #if defined(HAVE_KERNEL_PAGE_FOLLOW_LINK)
   .follow_link =       page_follow_link,
@@ -1860,11 +2212,47 @@ struct inode_operations afs_symlink_iops = {
   .follow_link =       page_follow_link_light,
   .put_link =           page_put_link,
 #endif
-  .setattr =           afs_notify_change,
-#else
+#else /* !defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE) */
   .readlink =          afs_linux_readlink,
   .follow_link =       afs_linux_follow_link,
+#if !defined(AFS_LINUX24_ENV)
   .permission =                afs_linux_permission,
   .revalidate =                afs_linux_revalidate,
 #endif
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
+#if defined(AFS_LINUX24_ENV)
+  .setattr =           afs_notify_change,
+#endif
 };
+
+void
+afs_fill_inode(struct inode *ip, struct vattr *vattr)
+{
+       
+    if (vattr)
+       vattr2inode(ip, vattr);
+
+    ip->i_mapping->backing_dev_info = &afs_backing_dev_info;
+/* Reset ops if symlink or directory. */
+    if (S_ISREG(ip->i_mode)) {
+       ip->i_op = &afs_file_iops;
+#if defined(AFS_LINUX24_ENV)
+       ip->i_fop = &afs_file_fops;
+       ip->i_data.a_ops = &afs_file_aops;
+#endif
+
+    } else if (S_ISDIR(ip->i_mode)) {
+       ip->i_op = &afs_dir_iops;
+#if defined(AFS_LINUX24_ENV)
+       ip->i_fop = &afs_dir_fops;
+#endif
+
+    } else if (S_ISLNK(ip->i_mode)) {
+       ip->i_op = &afs_symlink_iops;
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
+       ip->i_data.a_ops = &afs_symlink_aops;
+       ip->i_mapping = &ip->i_data;
+#endif
+    }
+
+}