linux-mmap-antirecursion-20081020
[openafs.git] / src / afs / LINUX / osi_vnodeops.c
index cc23c8a..7638a5c 100644 (file)
@@ -37,6 +37,11 @@ RCSID
 #endif
 #if defined(AFS_LINUX26_ENV)
 #include "h/writeback.h"
+#include "h/pagevec.h"
+#endif
+#if defined(AFS_CACHE_BYPASS)
+#include "afs/lock.h"
+#include "afs/afs_bypasscache.h"
 #endif
 
 #ifdef pgoff2loff
@@ -46,11 +51,28 @@ RCSID
 #endif
 
 #if defined(AFS_LINUX26_ENV)
+#define LockPage(pp) lock_page(pp)
 #define UnlockPage(pp) unlock_page(pp)
 #endif
 
 extern struct vcache *afs_globalVp;
-
+#if defined(AFS_LINUX26_ENV)
+/* Some uses of BKL are perhaps not needed for bypass or memcache--
+ * why don't we try it out? */
+extern struct afs_cacheOps afs_UfsCacheOps;
+#define maybe_lock_kernel()                    \
+    do {                                              \
+       if(afs_cacheType == &afs_UfsCacheOps)          \
+           lock_kernel();                             \
+    } while(0);
+
+
+#define maybe_unlock_kernel()                  \
+    do {                                              \
+       if(afs_cacheType == &afs_UfsCacheOps)          \
+           unlock_kernel();                           \
+    } while(0);
+#endif /* AFS_CACHE_BYPASS */
 
 static ssize_t
 afs_linux_read(struct file *fp, char *buf, size_t count, loff_t * offp)
@@ -59,12 +81,11 @@ afs_linux_read(struct file *fp, char *buf, size_t count, loff_t * offp)
     struct vcache *vcp = VTOAFS(fp->f_dentry->d_inode);
     cred_t *credp = crref();
     struct vrequest treq;
-
+    afs_size_t isize, offindex;
     AFS_GLOCK();
     afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, count, ICL_TYPE_INT32,
               99999);
-
     /* get a validated vcache entry */
     code = afs_InitReq(&treq, credp);
     if (!code)
@@ -73,56 +94,30 @@ afs_linux_read(struct file *fp, char *buf, size_t count, loff_t * offp)
     if (code)
        code = -code;
     else {
-#ifdef AFS_64BIT_CLIENT
-       if (*offp + count > afs_vmMappingEnd) {
-           uio_t tuio;
-           struct iovec iov;
-           afs_int32 xfered = 0;
-
-           if (*offp < afs_vmMappingEnd) {
-               /* special case of a buffer crossing the VM mapping end */
-               afs_int32 tcount = afs_vmMappingEnd - *offp;
-               count -= tcount;
-               osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
-               AFS_GUNLOCK();
-               code = generic_file_read(fp, buf, tcount, offp);
-               AFS_GLOCK();
-               if (code != tcount) {
-                   goto done;
-               }
-               xfered = tcount;
-           }
-           setup_uio(&tuio, &iov, buf + xfered, (afs_offs_t) * offp, count,
-                     UIO_READ, AFS_UIOSYS);
-           code = afs_read(vcp, &tuio, credp, 0, 0, 0);
-           xfered += count - tuio.uio_resid;
-           if (code != 0) {
-               afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER,
-                          vcp, ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, -1,
-                          ICL_TYPE_INT32, code);
-               code = xfered;
-               *offp += count - tuio.uio_resid;
-           } else {
-               code = xfered;
-               *offp += count;
-           }
-         done:
-               ;
-       } else {
-#endif /* AFS_64BIT_CLIENT */
-           osi_FlushPages(vcp, credp); /* ensure stale pages are gone */
-           AFS_GUNLOCK();
-           code = generic_file_read(fp, buf, count, offp);
-           AFS_GLOCK();
-#ifdef AFS_64BIT_CLIENT
-       }
-#endif /* AFS_64BIT_CLIENT */
+#if defined(AFS_CACHE_BYPASS)
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+        offindex = *offp >> PAGE_CACHE_SHIFT;
+        if(offindex > isize) {
+            code=0;
+            goto done;
+        }
+#endif
+#endif
+       osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
+       AFS_GUNLOCK();
+#ifdef DO_SYNC_READ
+       code = do_sync_read(fp, buf, count, offp);
+#else
+       code = generic_file_read(fp, buf, count, offp);
+#endif
+       AFS_GLOCK();
     }
 
     afs_Trace4(afs_iclSetp, CM_TRACE_READOP, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_OFFSET, offp, ICL_TYPE_INT32, count, ICL_TYPE_INT32,
               code);
-
+done:
     AFS_GUNLOCK();
     crfree(credp);
     return code;
@@ -137,11 +132,9 @@ static ssize_t
 afs_linux_write(struct file *fp, const char *buf, size_t count, loff_t * offp)
 {
     ssize_t code = 0;
-    int code2 = 0;
     struct vcache *vcp = VTOAFS(fp->f_dentry->d_inode);
     struct vrequest treq;
     cred_t *credp = crref();
-    afs_offs_t toffs;
 
     AFS_GLOCK();
 
@@ -161,78 +154,17 @@ afs_linux_write(struct file *fp, const char *buf, size_t count, loff_t * offp)
     if (code)
        code = -code;
     else {
-#ifdef AFS_64BIT_CLIENT
-       toffs = *offp;
-       if (fp->f_flags & O_APPEND)
-           toffs += vcp->m.Length;
-       if (toffs + count > afs_vmMappingEnd) {
-           uio_t tuio;
-           struct iovec iov;
-           afs_size_t oldOffset = *offp;
-           afs_int32 xfered = 0;
-
-           if (toffs < afs_vmMappingEnd) {
-               /* special case of a buffer crossing the VM mapping end */
-               afs_int32 tcount = afs_vmMappingEnd - *offp;
-               count -= tcount;
-               AFS_GUNLOCK();
-               code = generic_file_write(fp, buf, tcount, offp);
-               AFS_GLOCK();
-               if (code != tcount) {
-                   goto done;
-               }
-               xfered = tcount;
-               toffs += tcount;
-           }
-           setup_uio(&tuio, &iov, buf + xfered, (afs_offs_t) toffs, count,
-                     UIO_WRITE, AFS_UIOSYS);
-           code = afs_write(vcp, &tuio, fp->f_flags, credp, 0);
-           xfered += count - tuio.uio_resid;
-           if (code != 0) {
-               code = xfered;
-               *offp += count - tuio.uio_resid;
-           } else {
-               /* Purge dirty chunks of file if there are too many dirty chunks.
-                * Inside the write loop, we only do this at a chunk boundary.
-                * Clean up partial chunk if necessary at end of loop.
-                */
-               if (AFS_CHUNKBASE(tuio.afsio_offset) !=
-                   AFS_CHUNKBASE(oldOffset)) {
-                   ObtainWriteLock(&vcp->lock, 402);
-                   code = afs_DoPartialWrite(vcp, &treq);
-                   vcp->states |= CDirty;
-                   ReleaseWriteLock(&vcp->lock);
-               }
-               code = xfered;
-               *offp += count;
-               toffs += count;
-               ObtainWriteLock(&vcp->lock, 400);
-               vcp->m.Date = osi_Time();       /* Set file date (for ranlib) */
-               /* extend file */
-               if (!(fp->f_flags & O_APPEND) && toffs > vcp->m.Length) {
-                   vcp->m.Length = toffs;
-               }
-               ReleaseWriteLock(&vcp->lock);
-           }
-         done:
-               ;
-       } else {
-#endif /* AFS_64BIT_CLIENT */
            AFS_GUNLOCK();
+#ifdef DO_SYNC_READ
+           code = do_sync_write(fp, buf, count, offp);
+#else
            code = generic_file_write(fp, buf, count, offp);
+#endif
            AFS_GLOCK();
-#ifdef AFS_64BIT_CLIENT
-       }
-#endif /* AFS_64BIT_CLIENT */
     }
 
     ObtainWriteLock(&vcp->lock, 530);
-    vcp->m.Date = osi_Time();  /* set modification time */
     afs_FakeClose(vcp, credp);
-    if (code >= 0)
-       code2 = afs_DoPartialWrite(vcp, &treq);
-    if (code2 && code >= 0)
-       code = (ssize_t) - code2;
     ReleaseWriteLock(&vcp->lock);
 
     afs_Trace4(afs_iclSetp, CM_TRACE_WRITEOP, ICL_TYPE_POINTER, vcp,
@@ -268,7 +200,7 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
     struct afs_fakestat_state fakestat;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     AFS_STATCNT(afs_readdir);
@@ -296,7 +228,8 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
        code = -ENOENT;
        goto out;
     }
-    ObtainReadLock(&avc->lock);
+    ObtainSharedLock(&avc->lock, 810);
+    UpgradeSToWLock(&avc->lock, 811);
     ObtainReadLock(&tdc->lock);
     /*
      * Make sure that the data in the cache is current. There are two
@@ -308,19 +241,27 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
           && (tdc->dflags & DFFetching)
           && hsame(avc->m.DataVersion, tdc->f.versionNo)) {
        ReleaseReadLock(&tdc->lock);
-       ReleaseReadLock(&avc->lock);
+       ReleaseSharedLock(&avc->lock);
        afs_osi_Sleep(&tdc->validPos);
-       ObtainReadLock(&avc->lock);
+       ObtainSharedLock(&avc->lock, 812);
        ObtainReadLock(&tdc->lock);
     }
     if (!(avc->states & CStatd)
        || !hsame(avc->m.DataVersion, tdc->f.versionNo)) {
        ReleaseReadLock(&tdc->lock);
-       ReleaseReadLock(&avc->lock);
+       ReleaseSharedLock(&avc->lock);
        afs_PutDCache(tdc);
        goto tagain;
     }
 
+    /* Set the readdir-in-progress flag, and downgrade the lock
+     * to shared so others will be able to acquire a read lock.
+     */
+    avc->states |= CReadDir;
+    avc->dcreaddir = tdc;
+    avc->readdir_pid = MyPidxx;
+    ConvertWToSLock(&avc->lock);
+
     /* Fill in until we get an error or we're done. This implementation
      * takes an offset in units of blobs, rather than bytes.
      */
@@ -335,16 +276,16 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
        if (!de)
            break;
 
-       ino = (avc->fid.Fid.Volume << 16) + ntohl(de->fid.vnode);
-       ino &= 0x7fffffff;      /* Assumes 32 bit ino_t ..... */
+       ino = afs_calc_inum (avc->fid.Fid.Volume, ntohl(de->fid.vnode));
+
        if (de->name)
            len = strlen(de->name);
        else {
            printf("afs_linux_readdir: afs_dir_GetBlob failed, null name (inode %lx, dirpos %d)\n", 
                   (unsigned long)&tdc->f.inode, dirpos);
            DRelease((struct buffer *) de, 0);
+           ReleaseSharedLock(&avc->lock);
            afs_PutDCache(tdc);
-           ReleaseReadLock(&avc->lock);
            code = -ENOENT;
            goto out;
        }
@@ -381,7 +322,14 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
                /* clean up from afs_FindVCache */
                afs_PutVCache(tvc);
            }
+           /* 
+            * If this is NFS readdirplus, then the filler is going to
+            * call getattr on this inode, which will deadlock if we're
+            * holding the GLOCK.
+            */
+           AFS_GUNLOCK();
            code = (*filldir) (dirbuf, de->name, len, offset, ino, type);
+           AFS_GLOCK();
        }
 #else
        code = (*filldir) (dirbuf, de->name, len, offset, ino);
@@ -398,7 +346,11 @@ afs_linux_readdir(struct file *fp, void *dirbuf, filldir_t filldir)
 
     ReleaseReadLock(&tdc->lock);
     afs_PutDCache(tdc);
-    ReleaseReadLock(&avc->lock);
+    UpgradeSToWLock(&avc->lock, 813);
+    avc->states &= ~CReadDir;
+    avc->dcreaddir = 0;
+    avc->readdir_pid = 0;
+    ReleaseSharedLock(&avc->lock);
     code = 0;
 
 out:
@@ -406,7 +358,7 @@ out:
 out1:
     AFS_GUNLOCK();
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     return code;
 }
@@ -424,71 +376,6 @@ static long afs_unlocked_xioctl(struct file *fp, unsigned int com,
 }
 #endif
 
-/* We need to detect unmap's after close. To do that, we need our own
- * vm_operations_struct's. And we need to set them up for both the
- * private and shared mappings. The fun part is that these are all static
- * so we'll have to initialize on the fly!
- */
-static struct vm_operations_struct afs_private_mmap_ops;
-static int afs_private_mmap_ops_inited = 0;
-static struct vm_operations_struct afs_shared_mmap_ops;
-static int afs_shared_mmap_ops_inited = 0;
-
-static void
-afs_linux_vma_close(struct vm_area_struct *vmap)
-{
-    struct vcache *vcp;
-    cred_t *credp;
-    int need_unlock = 0;
-
-    if (!vmap->vm_file)
-       return;
-
-    vcp = VTOAFS(FILE_INODE(vmap->vm_file));
-    if (!vcp)
-       return;
-
-    AFS_GLOCK();
-    afs_Trace4(afs_iclSetp, CM_TRACE_VM_CLOSE, ICL_TYPE_POINTER, vcp,
-              ICL_TYPE_INT32, vcp->mapcnt, ICL_TYPE_INT32, vcp->opens,
-              ICL_TYPE_INT32, vcp->execsOrWriters);
-    if ((&vcp->lock)->excl_locked == 0 || (&vcp->lock)->pid_writer == MyPidxx) {
-       ObtainWriteLock(&vcp->lock, 532);
-       need_unlock = 1;
-    } else
-       printk("AFS_VMA_CLOSE(%d): Skipping Already locked vcp=%p vmap=%p\n",
-              MyPidxx, &vcp, &vmap);
-    if (vcp->mapcnt) {
-       vcp->mapcnt--;
-       if (need_unlock)
-           ReleaseWriteLock(&vcp->lock);
-       if (!vcp->mapcnt) {
-           if (need_unlock && vcp->execsOrWriters < 2) {
-               credp = crref();
-               (void)afs_close(vcp, vmap->vm_file->f_flags, credp);
-               /* only decrement the execsOrWriters flag if this is not a
-                * writable file. */
-               if (!(vcp->states & CRO) )
-                   if (! (vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-                       vcp->execsOrWriters--;
-               vcp->states &= ~CMAPPED;
-               crfree(credp);
-           } else if ((vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-               vcp->execsOrWriters--;
-           /* If we did not have the lock */
-           if (!need_unlock) {
-               vcp->mapcnt++;
-               if (!vcp->execsOrWriters)
-                   vcp->execsOrWriters = 1;
-           }
-       }
-    } else {
-       if (need_unlock)
-           ReleaseWriteLock(&vcp->lock);
-    }
-
-    AFS_GUNLOCK();
-}
 
 static int
 afs_linux_mmap(struct file *fp, struct vm_area_struct *vmap)
@@ -512,59 +399,29 @@ afs_linux_mmap(struct file *fp, struct vm_area_struct *vmap)
 
     /* get a validated vcache entry */
     code = afs_InitReq(&treq, credp);
-    if (!code)
-       code = afs_VerifyVCache(vcp, &treq);
-
-    if (!code && (vcp->states & CRO) && 
-       (vmap->vm_file->f_flags & (FWRITE | FTRUNC)))
-       code = EACCES;
-
     if (code)
-       code = -code;
-    else {
-       osi_FlushPages(vcp, credp);     /* ensure stale pages are gone */
-
-       AFS_GUNLOCK();
-       code = generic_file_mmap(fp, vmap);
-       AFS_GLOCK();
-    }
+       goto out_err;
 
-    if (code == 0) {
-       ObtainWriteLock(&vcp->lock, 531);
-       /* Set out vma ops so we catch the close. The following test should be
-        * the same as used in generic_file_mmap.
-        */
-       if ((vmap->vm_flags & VM_SHARED) && (vmap->vm_flags & VM_MAYWRITE)) {
-           if (!afs_shared_mmap_ops_inited) {
-               afs_shared_mmap_ops_inited = 1;
-               afs_shared_mmap_ops = *vmap->vm_ops;
-               afs_shared_mmap_ops.close = afs_linux_vma_close;
-           }
-           vmap->vm_ops = &afs_shared_mmap_ops;
-       } else {
-           if (!afs_private_mmap_ops_inited) {
-               afs_private_mmap_ops_inited = 1;
-               afs_private_mmap_ops = *vmap->vm_ops;
-               afs_private_mmap_ops.close = afs_linux_vma_close;
-           }
-           vmap->vm_ops = &afs_private_mmap_ops;
-       }
+    code = afs_VerifyVCache(vcp, &treq);
+    if (code)
+       goto out_err;
 
+    osi_FlushPages(vcp, credp);        /* ensure stale pages are gone */
 
-       /* Add an open reference on the first mapping. */
-       if (vcp->mapcnt == 0) {
-           if (!(vcp->states & CRO))
-               vcp->execsOrWriters++;
-           vcp->opens++;
-           vcp->states |= CMAPPED;
-       }
-       ReleaseWriteLock(&vcp->lock);
-       vcp->mapcnt++;
-    }
+    AFS_GUNLOCK();
+    code = generic_file_mmap(fp, vmap);
+    AFS_GLOCK();
+    if (!code)
+       vcp->states |= CMAPPED;
 
+out:
     AFS_GUNLOCK();
     crfree(credp);
     return code;
+
+out_err:
+    code = -code;
+    goto out;
 }
 
 static int
@@ -575,13 +432,13 @@ afs_linux_open(struct inode *ip, struct file *fp)
     int code;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_open(&vcp, fp->f_flags, credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
@@ -596,13 +453,13 @@ afs_linux_release(struct inode *ip, struct file *fp)
     int code = 0;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_close(vcp, fp->f_flags, credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
@@ -621,13 +478,13 @@ afs_linux_fsync(struct file *fp, struct dentry *dp)
     cred_t *credp = crref();
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_fsync(VTOAFS(ip), credp);
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -664,6 +521,25 @@ afs_linux_lock(struct file *fp, int cmd, struct file_lock *flp)
     code = afs_lockctl(vcp, &flock, cmd, credp);
     AFS_GUNLOCK();
 
+#ifdef AFS_LINUX24_ENV
+    if ((code == 0 || flp->fl_type == F_UNLCK) && 
+        (cmd == F_SETLK || cmd == F_SETLKW)) {
+#ifdef POSIX_LOCK_FILE_WAIT_ARG
+       code = posix_lock_file(fp, flp, 0);
+#else
+       flp->fl_flags &=~ FL_SLEEP;
+       code = posix_lock_file(fp, flp);
+#endif 
+       if (code && flp->fl_type != F_UNLCK) {
+           struct AFS_FLOCK flock2;
+           flock2 = flock;
+           flock2.l_type = F_UNLCK;
+           AFS_GLOCK();
+           afs_lockctl(vcp, &flock2, F_SETLK, credp);
+           AFS_GUNLOCK();
+       }
+    }
+#endif
     /* Convert flock back to Linux's file_lock */
     flp->fl_type = flock.l_type;
     flp->fl_pid = flock.l_pid;
@@ -675,35 +551,137 @@ afs_linux_lock(struct file *fp, int cmd, struct file_lock *flp)
 
 }
 
+#ifdef STRUCT_FILE_OPERATIONS_HAS_FLOCK
+static int
+afs_linux_flock(struct file *fp, int cmd, struct file_lock *flp) {
+    int code = 0;
+    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
+    cred_t *credp = crref();
+    struct AFS_FLOCK flock;
+    /* Convert to a lock format afs_lockctl understands. */
+    memset((char *)&flock, 0, sizeof(flock));
+    flock.l_type = flp->fl_type;
+    flock.l_pid = flp->fl_pid;
+    flock.l_whence = 0;
+    flock.l_start = 0;
+    flock.l_len = OFFSET_MAX;
+
+    /* Safe because there are no large files, yet */
+#if defined(F_GETLK64) && (F_GETLK != F_GETLK64)
+    if (cmd == F_GETLK64)
+       cmd = F_GETLK;
+    else if (cmd == F_SETLK64)
+       cmd = F_SETLK;
+    else if (cmd == F_SETLKW64)
+       cmd = F_SETLKW;
+#endif /* F_GETLK64 && F_GETLK != F_GETLK64 */
+
+    AFS_GLOCK();
+    code = afs_lockctl(vcp, &flock, cmd, credp);
+    AFS_GUNLOCK();
+
+    if ((code == 0 || flp->fl_type == F_UNLCK) && 
+        (cmd == F_SETLK || cmd == F_SETLKW)) {
+       flp->fl_flags &=~ FL_SLEEP;
+       code = flock_lock_file_wait(fp, flp);
+       if (code && flp->fl_type != F_UNLCK) {
+           struct AFS_FLOCK flock2;
+           flock2 = flock;
+           flock2.l_type = F_UNLCK;
+           AFS_GLOCK();
+           afs_lockctl(vcp, &flock2, F_SETLK, credp);
+           AFS_GUNLOCK();
+       }
+    }
+    /* Convert flock back to Linux's file_lock */
+    flp->fl_type = flock.l_type;
+    flp->fl_pid = flock.l_pid;
+
+    crfree(credp);
+    return -code;
+}
+#endif
+
 /* afs_linux_flush
  * essentially the same as afs_fsync() but we need to get the return
  * code for the sys_close() here, not afs_linux_release(), so call
  * afs_StoreAllSegments() with AFS_LASTSTORE
  */
 static int
+#if defined(FOP_FLUSH_TAKES_FL_OWNER_T)
+afs_linux_flush(struct file *fp, fl_owner_t id)
+#else
 afs_linux_flush(struct file *fp)
+#endif
 {
     struct vrequest treq;
-    struct vcache *vcp = VTOAFS(FILE_INODE(fp));
-    cred_t *credp = crref();
+    struct vcache *vcp;
+    cred_t *credp;
     int code;
+#if defined(AFS_CACHE_BYPASS)
+    int bypasscache;
+#endif
 
     AFS_GLOCK();
 
+    if ((fp->f_flags & O_ACCMODE) == O_RDONLY) { /* readers dont flush */
+       AFS_GUNLOCK();
+       return 0;
+    }
+
+    AFS_DISCON_LOCK();
+
+    credp = crref();
+    vcp = VTOAFS(FILE_INODE(fp));
+
     code = afs_InitReq(&treq, credp);
     if (code)
        goto out;
+#if defined(AFS_CACHE_BYPASS)
+       /* If caching is bypassed for this file, or globally, just return 0 */
+       if(cache_bypass_strategy == ALWAYS_BYPASS_CACHE)
+               bypasscache = 1;
+       else {
+               ObtainReadLock(&vcp->lock);
+               if(vcp->cachingStates & FCSBypass)
+                       bypasscache = 1;
+               ReleaseReadLock(&vcp->lock);
+       }
+       if(bypasscache) {
+            /* future proof: don't rely on 0 return from afs_InitReq */
+            code = 0; goto out;
+        }
+#endif
 
     ObtainSharedLock(&vcp->lock, 535);
-    if (vcp->execsOrWriters > 0) {
+    if ((vcp->execsOrWriters > 0) && (file_count(fp) == 1)) {
        UpgradeSToWLock(&vcp->lock, 536);
-       code = afs_StoreAllSegments(vcp, &treq, AFS_SYNC | AFS_LASTSTORE);
+       if (!AFS_IS_DISCONNECTED) {
+               code = afs_StoreAllSegments(vcp,
+                               &treq,
+                               AFS_SYNC | AFS_LASTSTORE);
+       } else {
+#if defined(AFS_DISCON_ENV)
+               if (!vcp->ddirty_flags ||
+                   (vcp->ddirty_flags == VDisconShadowed)) {
+
+                   ObtainWriteLock(&afs_DDirtyVCListLock, 710);
+                   AFS_DISCON_ADD_DIRTY(vcp);
+                   ReleaseWriteLock(&afs_DDirtyVCListLock);
+               }
+
+               /* Set disconnected write flag. */
+               vcp->ddirty_flags |= VDisconWriteOsiFlush;
+#endif
+       }
+
        ConvertWToSLock(&vcp->lock);
     }
     code = afs_CheckCode(code, &treq, 54);
     ReleaseSharedLock(&vcp->lock);
 
 out:
+    AFS_DISCON_UNLOCK();
     AFS_GUNLOCK();
 
     crfree(credp);
@@ -745,6 +723,10 @@ struct file_operations afs_dir_fops = {
 struct file_operations afs_file_fops = {
   .read =      afs_linux_read,
   .write =     afs_linux_write,
+#ifdef GENERIC_FILE_AIO_READ
+  .aio_read =  generic_file_aio_read,
+  .aio_write = generic_file_aio_write,
+#endif
 #ifdef HAVE_UNLOCKED_IOCTL
   .unlocked_ioctl = afs_unlocked_xioctl,
 #else
@@ -756,12 +738,19 @@ struct file_operations afs_file_fops = {
   .mmap =      afs_linux_mmap,
   .open =      afs_linux_open,
   .flush =     afs_linux_flush,
-#ifdef AFS_LINUX26_ENV
+#if defined(AFS_LINUX26_ENV) && defined(STRUCT_FILE_OPERATIONS_HAS_SENDFILE)
   .sendfile =   generic_file_sendfile,
 #endif
+#if defined(AFS_LINUX26_ENV) && defined(STRUCT_FILE_OPERATIONS_HAS_SPLICE)
+  .splice_write = generic_file_splice_write,
+  .splice_read = generic_file_splice_read,
+#endif
   .release =   afs_linux_release,
   .fsync =     afs_linux_fsync,
   .lock =      afs_linux_lock,
+#ifdef STRUCT_FILE_OPERATIONS_HAS_FLOCK
+  .flock =     afs_linux_flock,
+#endif
 };
 
 
@@ -823,10 +812,11 @@ afs_linux_revalidate(struct dentry *dp)
     int code;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
 
+#ifdef notyet
     /* Make this a fast path (no crref), since it's called so often. */
     if (vcp->states & CStatd) {
 
@@ -839,15 +829,16 @@ afs_linux_revalidate(struct dentry *dp)
 #endif
        return 0;
     }
+#endif
 
     credp = crref();
     code = afs_getattr(vcp, &vattr, credp);
     if (!code)
-        vattr2inode(AFSTOV(vcp), &vattr);
+        afs_fill_inode(AFSTOV(vcp), &vattr);
 
     AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
 
@@ -888,11 +879,13 @@ afs_linux_dentry_revalidate(struct dentry *dp)
     cred_t *credp = NULL;
     struct vcache *vcp, *pvcp, *tvc = NULL;
     int valid;
+    struct afs_fakestat_state fakestate;
 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
+    afs_InitFakeStat(&fakestate);
 
     if (dp->d_inode) {
 
@@ -902,8 +895,34 @@ afs_linux_dentry_revalidate(struct dentry *dp)
        if (vcp == afs_globalVp)
            goto good_dentry;
 
-       if (*dp->d_name.name != '/' && vcp->mvstat == 2)        /* root vnode */
-           check_bad_parent(dp);       /* check and correct mvid */
+       if (vcp->mvstat == 1) {         /* mount point */
+           if (vcp->mvid && (vcp->states & CMValid)) {
+               int tryEvalOnly = 0;
+               int code = 0;
+               struct vrequest treq;
+
+               credp = crref();
+               code = afs_InitReq(&treq, credp);
+               if (
+#ifdef AFS_DARWIN_ENV
+                   (strcmp(dp->d_name.name, ".DS_Store") == 0) ||
+                   (strcmp(dp->d_name.name, "Contents") == 0) ||
+#endif
+                   (strcmp(dp->d_name.name, ".directory") == 0)) {
+                   tryEvalOnly = 1;
+               }
+               if (tryEvalOnly)
+                   code = afs_TryEvalFakeStat(&vcp, &fakestate, &treq);
+               else
+                   code = afs_EvalFakeStat(&vcp, &fakestate, &treq);
+               if ((tryEvalOnly && vcp->mvstat == 1) || code) {
+                   /* a mount point, not yet replaced by its directory */
+                   goto bad_dentry;
+               }
+           }
+       } else
+           if (*dp->d_name.name != '/' && vcp->mvstat == 2) /* root vnode */
+               check_bad_parent(dp);   /* check and correct mvid */
 
 #ifdef notdef
        /* If the last looker changes, we should make sure the current
@@ -963,6 +982,7 @@ afs_linux_dentry_revalidate(struct dentry *dp)
     /* Clean up */
     if (tvc)
        afs_PutVCache(tvc);
+    afs_PutFakeStat(&fakestate);
     AFS_GUNLOCK();
     if (credp)
        crfree(credp);
@@ -972,12 +992,15 @@ afs_linux_dentry_revalidate(struct dentry *dp)
        d_drop(dp);
     }
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     return valid;
 
   bad_dentry:
-    valid = 0;
+    if (have_submounts(dp))
+       valid = 1;
+    else 
+       valid = 0;
     goto done;
 }
 
@@ -987,9 +1010,17 @@ afs_dentry_iput(struct dentry *dp, struct inode *ip)
     struct vcache *vcp = VTOAFS(ip);
 
     AFS_GLOCK();
-    if (vcp->states & CUnlinked)
-       (void) afs_remunlink(vcp, 1);           /* perhaps afs_InactiveVCache() instead */
+    (void) afs_InactiveVCache(vcp, NULL);
     AFS_GUNLOCK();
+#ifdef DCACHE_NFSFS_RENAMED
+#ifdef AFS_LINUX26_ENV
+    spin_lock(&dp->d_lock);
+#endif
+    dp->d_flags &= ~DCACHE_NFSFS_RENAMED;   
+#ifdef AFS_LINUX26_ENV
+    spin_unlock(&dp->d_lock);
+#endif
+#endif
 
     iput(ip);
 }
@@ -1040,7 +1071,7 @@ afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
     vattr.va_type = mode & S_IFMT;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_create(VTOAFS(dip), (char *)name, &vattr, NONEXCL, mode,
@@ -1051,6 +1082,7 @@ afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
 
        afs_getattr(vcp, &vattr, credp);
        afs_fill_inode(ip, &vattr);
+       insert_inode_hash(ip);
        dp->d_op = &afs_dentry_operations;
        dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
        d_instantiate(dp, ip);
@@ -1058,7 +1090,7 @@ afs_linux_create(struct inode *dip, struct dentry *dp, int mode)
     AFS_GUNLOCK();
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -1078,56 +1110,89 @@ static int
 afs_linux_lookup(struct inode *dip, struct dentry *dp)
 #endif
 {
-    struct vattr vattr;
     cred_t *credp = crref();
     struct vcache *vcp = NULL;
     const char *comp = dp->d_name.name;
-    struct dentry *res = NULL;
     struct inode *ip = NULL;
+#if defined(AFS_LINUX26_ENV)
+    struct dentry *newdp = NULL;
+#endif
     int code;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     AFS_GLOCK();
     code = afs_lookup(VTOAFS(dip), comp, &vcp, credp);
     
     if (vcp) {
-       ip = AFSTOV(vcp);
+       struct vattr vattr;
 
+       ip = AFSTOV(vcp);
        afs_getattr(vcp, &vattr, credp);
        afs_fill_inode(ip, &vattr);
+       if (
+#ifdef HAVE_KERNEL_HLIST_UNHASHED
+           hlist_unhashed(&ip->i_hash)
+#elif defined(AFS_LINUX26_ENV)
+           ip->i_hash.pprev == NULL
+#else
+           ip->i_hash.prev == NULL
+#endif
+           )
+           insert_inode_hash(ip);
     }
     dp->d_op = &afs_dentry_operations;
     dp->d_time = hgetlo(VTOAFS(dip)->m.DataVersion);
     AFS_GUNLOCK();
+
 #if defined(AFS_LINUX24_ENV)
     if (ip && S_ISDIR(ip->i_mode)) {
-            d_prune_aliases(ip);
-            res = d_find_alias(ip);
+       struct dentry *alias;
+
+        /* Try to invalidate an existing alias in favor of our new one */
+       alias = d_find_alias(ip);
+#if defined(AFS_LINUX26_ENV)
+        /* But not if it's disconnected; then we want d_splice_alias below */
+       if (alias && !(alias->d_flags & DCACHE_DISCONNECTED)) {
+#else
+       if (alias) {
+#endif
+           if (d_invalidate(alias) == 0) {
+               dput(alias);
+           } else {
+               iput(ip);
+#if defined(AFS_LINUX26_ENV)
+               unlock_kernel();
+#endif
+               crfree(credp);
+               return alias;
+           }
+       }
     }
-    if (res) {
-       if (d_unhashed(res))
-           d_rehash(res);
-    } else
 #endif
+#if defined(AFS_LINUX26_ENV)
+    newdp = d_splice_alias(ip, dp);
+#else
     d_add(dp, ip);
+#endif
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
 
     /* It's ok for the file to not be found. That's noted by the caller by
      * seeing that the dp->d_inode field is NULL.
      */
-#if defined(AFS_LINUX24_ENV)
-    if (code == 0)
-        return res;
-#endif
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,2,10)
+#if defined(AFS_LINUX26_ENV)
+    if (!code || code == ENOENT)
+       return newdp;
+#else
     if (code == ENOENT)
        return ERR_PTR(0);
+#endif
     else
        return ERR_PTR(-code);
 #else
@@ -1167,9 +1232,9 @@ afs_linux_unlink(struct inode *dip, struct dentry *dp)
     struct vcache *tvc = VTOAFS(dp->d_inode);
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
-    if (((VREFCOUNT(tvc) > 0) && tvc->opens > 0)
+    if (VREFCOUNT(tvc) > 1 && tvc->opens > 0
                                && !(tvc->states & CUnlinked)) {
        struct dentry *__dp;
        char *__name;
@@ -1202,6 +1267,17 @@ afs_linux_unlink(struct inode *dip, struct dentry *dp)
             }
             tvc->uncred = credp;
            tvc->states |= CUnlinked;
+#ifdef DCACHE_NFSFS_RENAMED
+#ifdef AFS_LINUX26_ENV
+           spin_lock(&dp->d_lock);
+#endif
+           dp->d_flags |= DCACHE_NFSFS_RENAMED;   
+#ifdef AFS_LINUX26_ENV
+           spin_unlock(&dp->d_lock);
+#endif
+#endif
+       } else {
+           osi_FreeSmallSpace(__name); 
        }
        AFS_GUNLOCK();
 
@@ -1221,7 +1297,7 @@ afs_linux_unlink(struct inode *dip, struct dentry *dp)
        d_drop(dp);
 out:
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -1259,7 +1335,7 @@ afs_linux_mkdir(struct inode *dip, struct dentry *dp, int mode)
     const char *name = dp->d_name.name;
 
 #if defined(AFS_LINUX26_ENV)
-    lock_kernel();
+    maybe_lock_kernel();
 #endif
     VATTR_NULL(&vattr);
     vattr.va_mask = ATTR_MODE;
@@ -1280,7 +1356,7 @@ afs_linux_mkdir(struct inode *dip, struct dentry *dp, int mode)
     AFS_GUNLOCK();
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
     crfree(credp);
     return -code;
@@ -1293,9 +1369,8 @@ afs_linux_rmdir(struct inode *dip, struct dentry *dp)
     cred_t *credp = crref();
     const char *name = dp->d_name.name;
 
-#if defined(AFS_LINUX26_ENV)
-    lock_kernel();
-#endif
+    /* locking kernel conflicts with glock? */
+
     AFS_GLOCK();
     code = afs_rmdir(VTOAFS(dip), name, credp);
     AFS_GUNLOCK();
@@ -1312,9 +1387,6 @@ afs_linux_rmdir(struct inode *dip, struct dentry *dp)
        d_drop(dp);
     }
 
-#if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
-#endif
     crfree(credp);
     return -code;
 }
@@ -1332,14 +1404,8 @@ afs_linux_rename(struct inode *oldip, struct dentry *olddp,
 
 #if defined(AFS_LINUX26_ENV)
     /* Prevent any new references during rename operation. */
-    lock_kernel();
-#endif
-    /* Remove old and new entries from name hash. New one will change below.
-     * While it's optimal to catch failures and re-insert newdp into hash,
-     * it's also error prone and in that case we're already dealing with error
-     * cases. Let another lookup put things right, if need be.
-     */
-#if defined(AFS_LINUX26_ENV)
+    maybe_lock_kernel();
+
     if (!d_unhashed(newdp)) {
        d_drop(newdp);
        rehash = newdp;
@@ -1360,11 +1426,14 @@ afs_linux_rename(struct inode *oldip, struct dentry *olddp,
     code = afs_rename(VTOAFS(oldip), oldname, VTOAFS(newip), newname, credp);
     AFS_GUNLOCK();
 
+    if (!code)
+       olddp->d_time = 0;      /* force to revalidate */
+
     if (rehash)
        d_rehash(rehash);
 
 #if defined(AFS_LINUX26_ENV)
-    unlock_kernel();
+    maybe_unlock_kernel();
 #endif
 
     crfree(credp);
@@ -1394,7 +1463,7 @@ afs_linux_ireadlink(struct inode *ip, char *target, int maxlen, uio_seg_t seg)
        return -code;
 }
 
-#if !defined(AFS_LINUX24_ENV)
+#if !defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
 /* afs_linux_readlink 
  * Fill target (which is in user space) with contents of symlink.
  */
@@ -1414,6 +1483,36 @@ afs_linux_readlink(struct dentry *dp, char *target, int maxlen)
 /* afs_linux_follow_link
  * a file system dependent link following routine.
  */
+#if defined(AFS_LINUX24_ENV)
+static int afs_linux_follow_link(struct dentry *dentry, struct nameidata *nd)
+{
+    int code;
+    char *name;
+
+    name = osi_Alloc(PATH_MAX);
+    if (!name) {
+       return -EIO;
+    }
+
+    AFS_GLOCK();
+    code = afs_linux_ireadlink(dentry->d_inode, name, PATH_MAX - 1, AFS_UIOSYS);
+    AFS_GUNLOCK();
+
+    if (code < 0) {
+       goto out;
+    }
+
+    name[code] = '\0';
+    code = vfs_follow_link(nd, name);
+
+out:
+    osi_Free(name, PATH_MAX);
+
+    return code;
+}
+
+#else /* !defined(AFS_LINUX24_ENV) */
+
 static struct dentry *
 afs_linux_follow_link(struct dentry *dp, struct dentry *basep,
                      unsigned int follow)
@@ -1447,7 +1546,162 @@ afs_linux_follow_link(struct dentry *dp, struct dentry *basep,
     AFS_GUNLOCK();
     return res;
 }
-#endif
+#endif /* AFS_LINUX24_ENV */
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
+
+#if defined(AFS_CACHE_BYPASS)
+
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+
+/* The kernel calls readpages before trying readpage, with a list of 
+ * pages.  The readahead algorithm expands num_pages when it thinks
+ * the application will benefit.  Unlike readpage, the pages are not
+ * necessarily allocated.  If we do not a) allocate required pages and 
+ * b) remove them from page_list, linux will re-enter at afs_linux_readpage
+ * for each required page (and the page will be pre-allocated) */      
+
+static int
+afs_linux_readpages(struct file *fp, struct address_space *mapping,
+                   struct list_head *page_list, unsigned num_pages)
+{
+    afs_int32 page_ix;
+    uio_t *auio;
+    afs_offs_t offset;
+    struct iovec* iovecp;
+    struct nocache_read_request *ancr;
+    struct page *pp, *ppt;
+    struct pagevec lrupv;
+    afs_int32 code = 0;        
+
+    cred_t *credp;
+    struct inode *ip = FILE_INODE(fp);
+    struct vcache *avc = VTOAFS(ip);
+    afs_int32 bypasscache = 0; /* bypass for this read */
+    afs_int32 base_index = 0;
+    afs_int32 page_count = 0;
+    afs_int32 isize;
+       
+    credp = crref();
+       
+    switch(cache_bypass_strategy) {
+    case NEVER_BYPASS_CACHE:
+       break;  
+    case ALWAYS_BYPASS_CACHE:
+       bypasscache = 1;
+       break;
+    case LARGE_FILES_BYPASS_CACHE:
+       if(i_size_read(ip) > cache_bypass_threshold) {
+           bypasscache = 1;
+       }
+       break;
+    default:
+       break;
+    }
+       
+    /* In the new incarnation of selective caching, a file's caching policy 
+     *  can change, eg because file size exceeds threshold, etc. */
+    trydo_cache_transition(avc, credp, bypasscache);   
+        
+    if(!bypasscache) {
+       while(!list_empty(page_list)) {
+           pp = list_entry(page_list->prev, struct page, lru);
+           list_del(&pp->lru);
+       }
+       goto out;
+    }
+    /* background thread must free: iovecp, auio, ancr */
+    iovecp = osi_Alloc(num_pages * sizeof(struct iovec));
+
+    auio = osi_Alloc(sizeof(uio_t));
+    auio->uio_iov = iovecp;    
+    auio->uio_iovcnt = num_pages;
+    auio->uio_flag = UIO_READ;
+    auio->uio_seg = AFS_UIOSYS;
+    auio->uio_resid = num_pages * PAGE_SIZE;
+       
+    ancr = osi_Alloc(sizeof(struct nocache_read_request));
+    ancr->auio = auio;
+    ancr->offset = auio->uio_offset;
+    ancr->length = auio->uio_resid;
+       
+    pagevec_init(&lrupv, 0);   
+       
+    for(page_ix = 0; page_ix < num_pages; ++page_ix) {
+       
+       if(list_empty(page_list))
+           break;
+
+       pp = list_entry(page_list->prev, struct page, lru);
+       /* If we allocate a page and don't remove it from page_list,
+        * the page cache gets upset. */
+       list_del(&pp->lru);
+       isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+       if(pp->index > isize) {
+           if(PageLocked(pp))
+               UnlockPage(pp);
+           continue;
+       }
+
+       if(page_ix == 0) {
+           offset = ((loff_t) pp->index) << PAGE_CACHE_SHIFT;
+           auio->uio_offset = offset;
+           base_index = pp->index;
+       }
+        iovecp[page_ix].iov_len = PAGE_SIZE;
+        code = add_to_page_cache(pp, mapping, pp->index, GFP_KERNEL);
+        if(base_index != pp->index) {   
+            if(PageLocked(pp))
+                                UnlockPage(pp);
+            page_cache_release(pp);
+           iovecp[page_ix].iov_base = (void *) 0;
+           base_index++;
+            continue;
+        }
+        base_index++;
+        if(code) {
+           if(PageLocked(pp))
+               UnlockPage(pp);
+           page_cache_release(pp);
+           iovecp[page_ix].iov_base = (void *) 0;
+       } else {
+           page_count++;
+           if(!PageLocked(pp)) {
+               LockPage(pp);
+           }   
+           
+           /* save the page for background map */
+            iovecp[page_ix].iov_base = (void*) pp;
+
+           /* and put it on the LRU cache */
+           if (!pagevec_add(&lrupv, pp))
+               __pagevec_lru_add(&lrupv);
+        }
+    }
+
+    /* If there were useful pages in the page list, make sure all pages
+     * are in the LRU cache, then schedule the read */
+    if(page_count) {
+        pagevec_lru_add(&lrupv);
+        code = afs_ReadNoCache(avc, ancr, credp);
+    } else {
+        /* If there is nothing for the background thread to handle,
+         * it won't be freeing the things that we never gave it */
+        osi_Free(iovecp, num_pages * sizeof(struct iovec));
+        osi_Free(auio, sizeof(uio_t));
+        osi_Free(ancr, sizeof(struct nocache_read_request));
+    }
+    /* we do not flush, release, or unmap pages--that will be 
+     * done for us by the background thread as each page comes in
+     * from the fileserver */
+    crfree(credp);
+       
+out:   
+    return -code;
+}
+
+#endif /* LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0) */
+#endif /* defined(AFS_CACHE_BYPASS */
+
 
 /* afs_linux_readpage
  * all reads come through here. A strategy-like read call.
@@ -1455,88 +1709,164 @@ afs_linux_follow_link(struct dentry *dp, struct dentry *basep,
 static int
 afs_linux_readpage(struct file *fp, struct page *pp)
 {
-    int code;
-    cred_t *credp = crref();
+        afs_int32 code;
+        cred_t *credp = crref();
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    char *address;
-    afs_offs_t offset = pp->index << PAGE_CACHE_SHIFT;
+        char *address;
+        afs_offs_t offset = ((loff_t) pp->index) << PAGE_CACHE_SHIFT;
 #else
-    ulong address = afs_linux_page_address(pp);
-    afs_offs_t offset = pageoff(pp);
+        ulong address = afs_linux_page_address(pp);
+        afs_offs_t offset = pageoff(pp);
 #endif
-    uio_t tuio;
-    struct iovec iovec;
-    struct inode *ip = FILE_INODE(fp);
-    int cnt = page_count(pp);
-    struct vcache *avc = VTOAFS(ip);
-
+#if defined(AFS_CACHE_BYPASS)
+        afs_int32 bypasscache = 0; /* bypass for this read */
+        struct nocache_read_request *ancr;
+#endif
+        afs_int32 isize;       
+        uio_t *auio;
+        struct iovec *iovecp;
+        struct inode *ip = FILE_INODE(fp);
+        afs_int32 cnt = page_count(pp);
+        struct vcache *avc = VTOAFS(ip);
 
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    address = kmap(pp);
-    ClearPageError(pp);
+        address = kmap(pp);
+        ClearPageError(pp);
 #else
-    atomic_add(1, &pp->count);
-    set_bit(PG_locked, &pp->flags);    /* other bits? See mm.h */
-    clear_bit(PG_error, &pp->flags);
-#endif
-
-    setup_uio(&tuio, &iovec, (char *)address, offset, PAGESIZE, UIO_READ,
-             AFS_UIOSYS);
+        atomic_add(1, &pp->count);
+        set_bit(PG_locked, &pp->flags);        /* other bits? See mm.h */
+        clear_bit(PG_error, &pp->flags);
+#endif
+#if defined(AFS_CACHE_BYPASS)
+#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+        /* If the page is past the end of the file, skip it */
+        isize = (i_size_read(fp->f_mapping->host) - 1) >> PAGE_CACHE_SHIFT;
+        if(pp->index > isize) {
+                 if(PageLocked(pp))
+                          UnlockPage(pp);
+                 goto done;
+        }
+#endif
+#endif
+        /* if bypasscache, receiver frees, else we do */
+        auio = osi_Alloc(sizeof(uio_t));
+        iovecp = osi_Alloc(sizeof(struct iovec));
+       
+        setup_uio(auio, iovecp, (char *)address, offset, PAGE_SIZE, UIO_READ,
+                          AFS_UIOSYS);
+
+#if defined(AFS_CACHE_BYPASS)
+
+        switch(cache_bypass_strategy) {
+        case NEVER_BYPASS_CACHE:
+                 break;        
+        case ALWAYS_BYPASS_CACHE:
+                 bypasscache = 1;
+                 break;
+        case LARGE_FILES_BYPASS_CACHE:
+                 if(i_size_read(ip) > cache_bypass_threshold) {
+                          bypasscache = 1;
+                 }
+                 break;
+        default:
+                 break;
+        }
+
+        /* In the new incarnation of selective caching, a file's caching policy 
+         * can change, eg because file size exceeds threshold, etc. */
+        trydo_cache_transition(avc, credp, bypasscache);
+               
+        if(bypasscache) {
+                 if(address)
+                          kunmap(pp);
+                 /* save the page for background map */
+                 auio->uio_iov->iov_base = (void*) pp;
+                 /* the background thread will free this */
+                 ancr = osi_Alloc(sizeof(struct nocache_read_request));
+                 ancr->auio = auio;
+                 ancr->offset = offset;
+                 ancr->length = PAGE_SIZE;
+       
+                 maybe_lock_kernel();
+                 code = afs_ReadNoCache(avc, ancr, credp);
+                 maybe_unlock_kernel();
+       
+                 goto done; /* skips release page, doing it in bg thread */
+        }
+#endif 
+                 
 #ifdef AFS_LINUX24_ENV
-    lock_kernel();
+        maybe_lock_kernel();
 #endif
-    AFS_GLOCK();
-    afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip, ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32, 99999);        /* not a possible code value */
-    code = afs_rdwr(avc, &tuio, UIO_READ, 0, credp);
-    afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip,
-              ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32,
-              code);
-    AFS_GUNLOCK();
+        AFS_GLOCK();
+        afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip, ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32, 99999);    /* not a possible code value */
+
+        code = afs_rdwr(avc, auio, UIO_READ, 0, credp);
+       
+        afs_Trace4(afs_iclSetp, CM_TRACE_READPAGE, ICL_TYPE_POINTER, ip,
+                               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, cnt, ICL_TYPE_INT32,
+                               code);
+        AFS_GUNLOCK();
 #ifdef AFS_LINUX24_ENV
-    unlock_kernel();
+        maybe_unlock_kernel();
 #endif
+        if (!code) {   
+                 /* XXX valid for no-cache also?  Check last bits of files... :) 
+                  * Cognate code goes in afs_NoCacheFetchProc.  */
+                 if (auio->uio_resid)  /* zero remainder of page */
+                          memset((void *)(address + (PAGE_SIZE - auio->uio_resid)), 0,
+                                         auio->uio_resid);
 
-    if (!code) {
-       if (tuio.uio_resid)     /* zero remainder of page */
-           memset((void *)(address + (PAGESIZE - tuio.uio_resid)), 0,
-                  tuio.uio_resid);
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-       flush_dcache_page(pp);
-       SetPageUptodate(pp);
+                 flush_dcache_page(pp);
+                 SetPageUptodate(pp);
 #else
-       set_bit(PG_uptodate, &pp->flags);
+                 set_bit(PG_uptodate, &pp->flags);
 #endif
-    }
+        } /* !code */
 
 #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,4,0)
-    kunmap(pp);
-    UnlockPage(pp);
+        kunmap(pp);
+        UnlockPage(pp);
 #else
-    clear_bit(PG_locked, &pp->flags);
-    wake_up(&pp->wait);
-    free_page(address);
+        clear_bit(PG_locked, &pp->flags);
+        wake_up(&pp->wait);
+        free_page(address);
 #endif
 
-    if (!code && AFS_CHUNKOFFSET(offset) == 0) {
-       struct dcache *tdc;
-       struct vrequest treq;
+#if defined(AFS_CACHE_BYPASS)
 
-       AFS_GLOCK();
-       code = afs_InitReq(&treq, credp);
-       if (!code && !NBObtainWriteLock(&avc->lock, 534)) {
-           tdc = afs_FindDCache(avc, offset);
-           if (tdc) {
-               if (!(tdc->mflags & DFNextStarted))
-                   afs_PrefetchChunk(avc, tdc, credp, &treq);
-               afs_PutDCache(tdc);
-           }
-           ReleaseWriteLock(&avc->lock);
-       }
-       AFS_GUNLOCK();
-    }
+/* do not call afs_GetDCache if cache is bypassed */
+        if(bypasscache)
+                 goto done;
+       
+#endif
 
-    crfree(credp);
-    return -code;
+        /* free if not bypassing cache */
+        osi_Free(auio, sizeof(uio_t));
+        osi_Free(iovecp, sizeof(struct iovec));
+
+        if (!code && AFS_CHUNKOFFSET(offset) == 0) {
+                 struct dcache *tdc;
+                 struct vrequest treq;
+
+                 AFS_GLOCK();
+                 code = afs_InitReq(&treq, credp);
+                 if (!code && !NBObtainWriteLock(&avc->lock, 534)) {
+                          tdc = afs_FindDCache(avc, offset);
+                          if (tdc) {
+                                       if (!(tdc->mflags & DFNextStarted))
+                                                afs_PrefetchChunk(avc, tdc, credp, &treq);
+                                       afs_PutDCache(tdc);
+                          }
+                          ReleaseWriteLock(&avc->lock);
+                 }
+                 AFS_GUNLOCK();
+        }
+
+done:
+        crfree(credp);
+        return -code;
 }
 
 
@@ -1555,15 +1885,30 @@ afs_linux_writepage_sync(struct inode *ip, struct page *pp,
     int f_flags = 0;
 
     buffer = kmap(pp) + offset;
-    base = (pp->index << PAGE_CACHE_SHIFT) + offset;
+    base = (((loff_t) pp->index) << PAGE_CACHE_SHIFT)  + offset;
 
     credp = crref();
-    lock_kernel();
+    maybe_lock_kernel();
     AFS_GLOCK();
     afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
               ICL_TYPE_INT32, 99999);
 
+    ObtainReadLock(&vcp->lock);
+    if (vcp->states & CPageWrite) {
+       ReleaseReadLock(&vcp->lock);
+       AFS_GUNLOCK();
+       maybe_unlock_kernel();
+       crfree(credp);
+       kunmap(pp);
+#if defined(WRITEPAGE_ACTIVATE)
+       return WRITEPAGE_ACTIVATE;
+#else
+       return AOP_WRITEPAGE_ACTIVATE;
+#endif
+    }
+    ReleaseReadLock(&vcp->lock);
+
     setup_uio(&tuio, &iovec, buffer, base, count, UIO_WRITE, AFS_UIOSYS);
 
     code = afs_write(vcp, &tuio, f_flags, credp, 0);
@@ -1571,9 +1916,7 @@ afs_linux_writepage_sync(struct inode *ip, struct page *pp,
     ip->i_size = vcp->m.Length;
     ip->i_blocks = ((vcp->m.Length + 1023) >> 10) << 1;
 
-    if (!code
-       && afs_stats_cmperf.cacheCurrDirtyChunks >
-       afs_stats_cmperf.cacheMaxDirtyChunks) {
+    if (!code) {
        struct vrequest treq;
 
        ObtainWriteLock(&vcp->lock, 533);
@@ -1588,7 +1931,7 @@ afs_linux_writepage_sync(struct inode *ip, struct page *pp,
               ICL_TYPE_INT32, code);
 
     AFS_GUNLOCK();
-    unlock_kernel();
+    maybe_unlock_kernel();
     crfree(credp);
     kunmap(pp);
 
@@ -1611,7 +1954,11 @@ afs_linux_writepage(struct page *pp)
 
 #if defined(AFS_LINUX26_ENV)
     if (PageReclaim(pp)) {
+# if defined(WRITEPAGE_ACTIVATE)
        return WRITEPAGE_ACTIVATE;
+# else 
+       return AOP_WRITEPAGE_ACTIVATE;
+# endif
     }
 #else
     if (PageLaunder(pp)) {
@@ -1672,6 +2019,16 @@ afs_linux_updatepage(struct file *fp, struct page *pp, unsigned long offset,
     ip->i_size = vcp->m.Length;
     ip->i_blocks = ((vcp->m.Length + 1023) >> 10) << 1;
 
+    if (!code) {
+       struct vrequest treq;
+
+       ObtainWriteLock(&vcp->lock, 533);
+       vcp->m.Date = osi_Time();   /* set modification time */
+       if (!afs_InitReq(&treq, credp))
+           code = afs_DoPartialWrite(vcp, &treq);
+       ReleaseWriteLock(&vcp->lock);
+    }
+
     code = code ? -code : count - tuio.uio_resid;
     afs_Trace4(afs_iclSetp, CM_TRACE_UPDATEPAGE, ICL_TYPE_POINTER, vcp,
               ICL_TYPE_POINTER, pp, ICL_TYPE_INT32, page_count(pp),
@@ -1755,7 +2112,7 @@ static struct inode_operations afs_file_iops = {
   .setattr =           afs_notify_change,
 #else
   .default_file_ops =  &afs_file_fops,
-  .readpage =          afs_linux_readpage,
+  .readpage =          afs_linux_readpage,  
   .revalidate =                afs_linux_revalidate,
   .updatepage =                afs_linux_updatepage,
 #endif
@@ -1764,6 +2121,9 @@ static struct inode_operations afs_file_iops = {
 #if defined(AFS_LINUX24_ENV)
 static struct address_space_operations afs_file_aops = {
   .readpage =          afs_linux_readpage,
+#if defined(AFS_CACHE_BYPASS) && LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,0)
+  .readpages =         afs_linux_readpages,
+#endif  
   .writepage =         afs_linux_writepage,
   .commit_write =      afs_linux_commit_write,
   .prepare_write =     afs_linux_prepare_write,
@@ -1800,7 +2160,7 @@ static struct inode_operations afs_dir_iops = {
 /* We really need a separate symlink set of ops, since do_follow_link()
  * determines if it _is_ a link by checking if the follow_link op is set.
  */
-#if defined(AFS_LINUX24_ENV)
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
 static int
 afs_symlink_filler(struct file *file, struct page *page)
 {
@@ -1808,7 +2168,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     char *p = (char *)kmap(page);
     int code;
 
-    lock_kernel();
+    maybe_lock_kernel();
     AFS_GLOCK();
     code = afs_linux_ireadlink(ip, p, PAGE_SIZE, AFS_UIOSYS);
     AFS_GUNLOCK();
@@ -1816,7 +2176,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     if (code < 0)
        goto fail;
     p[code] = '\0';            /* null terminate? */
-    unlock_kernel();
+    maybe_unlock_kernel();
 
     SetPageUptodate(page);
     kunmap(page);
@@ -1824,7 +2184,7 @@ afs_symlink_filler(struct file *file, struct page *page)
     return 0;
 
   fail:
-    unlock_kernel();
+    maybe_unlock_kernel();
 
     SetPageError(page);
     kunmap(page);
@@ -1835,10 +2195,10 @@ afs_symlink_filler(struct file *file, struct page *page)
 static struct address_space_operations afs_symlink_aops = {
   .readpage =  afs_symlink_filler
 };
-#endif
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
 
 static struct inode_operations afs_symlink_iops = {
-#if defined(AFS_LINUX24_ENV)
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
   .readlink =          page_readlink,
 #if defined(HAVE_KERNEL_PAGE_FOLLOW_LINK)
   .follow_link =       page_follow_link,
@@ -1846,13 +2206,17 @@ static struct inode_operations afs_symlink_iops = {
   .follow_link =       page_follow_link_light,
   .put_link =           page_put_link,
 #endif
-  .setattr =           afs_notify_change,
-#else
+#else /* !defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE) */
   .readlink =          afs_linux_readlink,
   .follow_link =       afs_linux_follow_link,
+#if !defined(AFS_LINUX24_ENV)
   .permission =                afs_linux_permission,
   .revalidate =                afs_linux_revalidate,
 #endif
+#endif /* USABLE_KERNEL_PAGE_SYMLINK_CACHE */
+#if defined(AFS_LINUX24_ENV)
+  .setattr =           afs_notify_change,
+#endif
 };
 
 void
@@ -1878,11 +2242,10 @@ afs_fill_inode(struct inode *ip, struct vattr *vattr)
 
     } else if (S_ISLNK(ip->i_mode)) {
        ip->i_op = &afs_symlink_iops;
-#if defined(AFS_LINUX24_ENV)
+#if defined(USABLE_KERNEL_PAGE_SYMLINK_CACHE)
        ip->i_data.a_ops = &afs_symlink_aops;
        ip->i_mapping = &ip->i_data;
 #endif
     }
 
-    /* insert_inode_hash(ip);  -- this would make iget() work (if we used it) */
 }