windows-afsd-findserverbyip-refcount-20081223
[openafs.git] / src / WINNT / afsd / cm_callback.c
index 80bf705..df3a015 100644 (file)
 #include <stdlib.h>
 
 #include "afsd.h"
+#include "smb.h"
 #include <osi.h>
 #include <rx_pthread.h>
 
 #include <WINNT/syscfg.h>
 #include <WINNT/afsreg.h>
-#include <../afsrdr/kif.h>
 
 /*extern void afsi_log(char *pattern, ...);*/
 
 /* read/write lock for all global storage in this module */
 osi_rwlock_t cm_callbackLock;
 
+afs_int32 cm_OfflineROIsValid = 0;
+
+afs_int32 cm_giveUpAllCBs = 0;
+
+afs_int32 cm_shutdown = 0;
+
 #ifdef AFS_FREELANCE_CLIENT
 extern osi_mutex_t cm_Freelance_Lock;
 #endif
@@ -122,34 +128,22 @@ void cm_CallbackNotifyChange(cm_scache_t *scp)
 
     /* for directories, this sends a change notification on the dir itself */
     if (scp->fileType == CM_SCACHETYPE_DIRECTORY) {
-#ifndef AFSIFS
         if (scp->flags & CM_SCACHEFLAG_ANYWATCH)
             smb_NotifyChange(0,
                              FILE_NOTIFY_GENERIC_DIRECTORY_FILTER,
                              scp, NULL, NULL, TRUE);
-#else
-        dc_break_callback(FID_HASH_FN(&scp->fid));
-#endif
     } else {
        /* and for files, this sends a change notification on the file's parent dir */
         cm_fid_t tfid;
         cm_scache_t *dscp;
 
-        tfid.cell = scp->fid.cell;
-        tfid.volume = scp->fid.volume;
-        tfid.vnode = scp->parentVnode;
-        tfid.unique = scp->parentUnique;
+        cm_SetFid(&tfid, scp->fid.cell, scp->fid.volume, scp->parentVnode, scp->parentUnique);
         dscp = cm_FindSCache(&tfid);
-#ifndef AFSIFS
         if ( dscp &&
              dscp->flags & CM_SCACHEFLAG_ANYWATCH )
             smb_NotifyChange( 0,
                               FILE_NOTIFY_GENERIC_FILE_FILTER,
                               dscp, NULL, NULL, TRUE);
-#else
-        if (dscp)
-            dc_break_callback(FID_HASH_FN(&dscp->fid));
-#endif
         if (dscp) 
             cm_ReleaseSCache(dscp);
     }
@@ -204,15 +198,9 @@ void cm_RevokeCallback(struct rx_call *callp, cm_cell_t * cellp, AFSFid *fidp)
             osi_Log4(afsd_logp, "RevokeCallback Discarding SCache scp 0x%p vol %u vn %u uniq %u", 
                      scp, scp->fid.volume, scp->fid.vnode, scp->fid.unique);
 
-#ifdef GIVE_UP_CALLBACKS
-            lock_ObtainMutex(&scp->cbServerp->mx);
-            cm_RemoveFidFromGiveUpCallBackList(scp->cbServerp, &scp->fid);
-            lock_ReleaseMutex(&scp->cbServerp->mx);
-#endif /* GIVE_UP_CALLBACKS */
-
-            lock_ObtainMutex(&scp->mx);
+            lock_ObtainWrite(&scp->rw);
             cm_DiscardSCache(scp);
-            lock_ReleaseMutex(&scp->mx);
+            lock_ReleaseWrite(&scp->rw);
 
             cm_CallbackNotifyChange(scp);
             
@@ -233,7 +221,7 @@ void cm_RevokeCallback(struct rx_call *callp, cm_cell_t * cellp, AFSFid *fidp)
  */
 void cm_RevokeVolumeCallback(struct rx_call *callp, cm_cell_t *cellp, AFSFid *fidp)
 {
-    long hash;
+    unsigned long hash;
     cm_scache_t *scp;
     cm_fid_t tfid;
 
@@ -258,21 +246,22 @@ void cm_RevokeVolumeCallback(struct rx_call *callp, cm_cell_t *cellp, AFSFid *fi
                 cm_HoldSCacheNoLock(scp);
                 lock_ReleaseWrite(&cm_scacheLock);
 
-#ifdef GIVE_UP_CALLBACKS
-                lock_ObtainMutex(&scp->cbServerp->mx);
-                cm_RemoveFidFromGiveUpCallBackList(scp->cbServerp, &scp->fid);
-                lock_ReleaseMutex(&scp->cbServerp->mx);
-#endif /* GIVE_UP_CALLBACKS */
-
-                lock_ObtainMutex(&scp->mx);
+                lock_ObtainWrite(&scp->rw);
                 osi_Log4(afsd_logp, "RevokeVolumeCallback Discarding SCache scp 0x%p vol %u vn %u uniq %u", 
                           scp, scp->fid.volume, scp->fid.vnode, scp->fid.unique);
                 cm_DiscardSCache(scp);
-                lock_ReleaseMutex(&scp->mx);
+                lock_ReleaseWrite(&scp->rw);
 
                 cm_CallbackNotifyChange(scp);
                 lock_ObtainWrite(&cm_scacheLock);
                 cm_ReleaseSCacheNoLock(scp);
+                if (scp->flags & CM_SCACHEFLAG_PURERO) {
+                    cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+                    if (volp) {
+                        volp->cbExpiresRO = 0;
+                        cm_PutVolume(volp);
+                    }
+                }
             }
         }      /* search one hash bucket */
     }  /* search all hash buckets */
@@ -358,22 +347,34 @@ SRXAFSCB_CallBack(struct rx_call *callp, AFSCBFids *fidsArrayp, AFSCBs *cbsArray
     unsigned long host = 0;
     unsigned short port = 0;
     cm_server_t *tsp = NULL;
-    cm_cell_t * cellp = NULL;
+    cm_cell_t* cellp = NULL;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
         port = rx_PortOf(peerp);
 
         tsp = cm_FindServerByIP(host, CM_SERVER_FILE);
-        if (tsp)
+        if (tsp) {
             cellp = tsp->cellp;
+            cm_PutServer(tsp);
+        }
+
+        if (!cellp)
+            osi_Log2(afsd_logp, "SRXAFSCB_CallBack from host 0x%x port %d",
+                     ntohl(host),
+                     ntohs(port));
+        else 
+            osi_Log3(afsd_logp, "SRXAFSCB_CallBack from host 0x%x port %d for cell %s",
+                     ntohl(host),
+                     ntohs(port),
+                     cellp->name /* does not need to be saved, doesn't change */);
+    } else {
+        osi_Log0(afsd_logp, "SRXAFSCB_CallBack from unknown host");
     }
 
-    osi_Log2(afsd_logp, "SRXAFSCB_CallBack from host 0x%x port %d",
-              ntohl(host),
-              ntohs(port));
 
     for (i=0; i < (long) fidsArrayp->AFSCBFids_len; i++) {
         tfidp = &fidsArrayp->AFSCBFids_val[i];
@@ -385,8 +386,6 @@ SRXAFSCB_CallBack(struct rx_call *callp, AFSCBFids *fidsArrayp, AFSCBs *cbsArray
         else
             cm_RevokeCallback(callp, cellp, tfidp);
     }
-
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -419,14 +418,15 @@ SRXAFSCB_InitCallBackState(struct rx_call *callp)
     struct sockaddr_in taddr;
     cm_server_t *tsp;
     cm_scache_t *scp;
-    int hash;
+    afs_uint32 hash;
     int discarded;
     struct rx_connection *connp;
     struct rx_peer *peerp;
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -474,7 +474,7 @@ SRXAFSCB_InitCallBackState(struct rx_call *callp)
             for (scp=cm_data.scacheHashTablep[hash]; scp; scp=scp->nextp) {
                 cm_HoldSCacheNoLock(scp);
                 lock_ReleaseWrite(&cm_scacheLock);
-                lock_ObtainMutex(&scp->mx);
+                lock_ObtainWrite(&scp->rw);
                 discarded = 0;
                 if (scp->cbExpires > 0 && scp->cbServerp != NULL) {
                     /* we have a callback, now decide if we should clear it */
@@ -485,11 +485,21 @@ SRXAFSCB_InitCallBackState(struct rx_call *callp)
                         discarded = 1;
                     }
                 }
-                lock_ReleaseMutex(&scp->mx);
+                lock_ReleaseWrite(&scp->rw);
                 if (discarded)
                     cm_CallbackNotifyChange(scp);
                 lock_ObtainWrite(&cm_scacheLock);
                 cm_ReleaseSCacheNoLock(scp);
+
+                if (discarded && (scp->flags & CM_SCACHEFLAG_PURERO)) {
+                    cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+                    if (volp) {
+                        if (volp->cbExpiresRO != 0)
+                            volp->cbExpiresRO = 0;
+                        cm_PutVolume(volp);
+                    }
+                }
+
             }  /* search one hash bucket */
        }       /* search all hash buckets */
        
@@ -500,26 +510,10 @@ SRXAFSCB_InitCallBackState(struct rx_call *callp)
            cm_SetServerNo64Bit(tsp, 0);
            cm_SetServerNoInlineBulk(tsp, 0);
 
-#ifdef GIVE_UP_CALLBACKS
-            /* Clear the callbacks list */
-            lock_ObtainMutex(&tsp->mx);
-            cm_FreeGiveUpCallBackList(tsp);
-            lock_ReleaseMutex(&tsp->mx);
-#endif /* GIVE_UP_CALLBACKS */
-
            /* we're done with the server structure */
             cm_PutServer(tsp);
        } 
-#ifdef GIVE_UP_CALLBACKS        
-        else {
-            /* if we didn't recognize the server, we cleared all callbacks 
-             * on all stat scache objects.  So we must clear all of the 
-             * Give Up CallBack lists */
-            cm_FreeAllGiveUpCallBackLists();
-        }
-#endif /* GIVE_UP_CALLBACKS */
     }
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -551,7 +545,8 @@ SRXAFSCB_Probe(struct rx_call *callp)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -562,7 +557,6 @@ SRXAFSCB_Probe(struct rx_call *callp)
               ntohl(host),
               ntohs(port));
 
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -593,13 +587,13 @@ SRXAFSCB_Probe(struct rx_call *callp)
 
 extern osi_rwlock_t cm_aclLock;
 extern osi_rwlock_t buf_globalLock;
-extern osi_rwlock_t cm_callbackLock;
 extern osi_rwlock_t cm_cellLock;
 extern osi_rwlock_t cm_connLock;
 extern osi_rwlock_t cm_daemonLock;
 extern osi_rwlock_t cm_dnlcLock;
 extern osi_rwlock_t cm_scacheLock;
 extern osi_rwlock_t cm_serverLock;
+extern osi_rwlock_t cm_syscfgLock;
 extern osi_rwlock_t cm_userLock;
 extern osi_rwlock_t cm_utilsLock;
 extern osi_rwlock_t cm_volumeLock;
@@ -607,7 +601,6 @@ extern osi_rwlock_t smb_globalLock;
 extern osi_rwlock_t smb_rctLock;
 
 extern osi_mutex_t cm_Freelance_Lock;
-extern osi_mutex_t cm_bufGetMutex;
 extern osi_mutex_t cm_Afsdsbmt_Lock;
 extern osi_mutex_t tokenEventLock;
 extern osi_mutex_t  smb_ListenerLock;
@@ -625,6 +618,7 @@ static struct _ltable {
     {"buf_globalLock",   (char*)&buf_globalLock,        LOCKTYPE_RW},
     {"cm_serverLock",    (char*)&cm_serverLock,         LOCKTYPE_RW},
     {"cm_callbackLock",  (char*)&cm_callbackLock,       LOCKTYPE_RW},
+    {"cm_syscfgLock",    (char*)&cm_syscfgLock,         LOCKTYPE_RW},
     {"cm_aclLock",       (char*)&cm_aclLock,            LOCKTYPE_RW},
     {"cm_cellLock",      (char*)&cm_cellLock,           LOCKTYPE_RW},
     {"cm_connLock",      (char*)&cm_connLock,           LOCKTYPE_RW},
@@ -636,7 +630,6 @@ static struct _ltable {
     {"smb_globalLock",   (char*)&smb_globalLock,        LOCKTYPE_RW},
     {"smb_rctLock",      (char*)&smb_rctLock,           LOCKTYPE_RW},
     {"cm_Freelance_Lock",(char*)&cm_Freelance_Lock,     LOCKTYPE_MUTEX},
-    {"cm_bufGetMutex",   (char*)&cm_bufGetMutex,        LOCKTYPE_MUTEX},
     {"cm_Afsdsbmt_Lock", (char*)&cm_Afsdsbmt_Lock,      LOCKTYPE_MUTEX},
     {"tokenEventLock",   (char*)&tokenEventLock,        LOCKTYPE_MUTEX},
     {"smb_ListenerLock", (char*)&smb_ListenerLock,      LOCKTYPE_MUTEX},
@@ -657,7 +650,8 @@ SRXAFSCB_GetLock(struct rx_call *callp, long index, AFSDBLock *lockp)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -701,7 +695,6 @@ SRXAFSCB_GetLock(struct rx_call *callp, long index, AFSDBLock *lockp)
         code = 0;
     }
 
-    MUTEX_EXIT(&callp->lock);
     return code;
 }
 
@@ -709,7 +702,7 @@ SRXAFSCB_GetLock(struct rx_call *callp, long index, AFSDBLock *lockp)
 int
 SRXAFSCB_GetCE(struct rx_call *callp, long index, AFSDBCacheEntry *cep)
 {
-    int i;
+    afs_uint32 i;
     cm_scache_t * scp;
     int code;
     struct rx_connection *connp;
@@ -717,7 +710,8 @@ SRXAFSCB_GetCE(struct rx_call *callp, long index, AFSDBCacheEntry *cep)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -753,16 +747,25 @@ SRXAFSCB_GetCE(struct rx_call *callp, long index, AFSDBCacheEntry *cep)
     cep->netFid.Vnode = scp->fid.vnode;
     cep->netFid.Unique = scp->fid.unique;
     cep->lock.waitStates = 0;
-    cep->lock.exclLocked = scp->mx.flags;
+    cep->lock.exclLocked = scp->rw.flags;
     cep->lock.readersReading = 0;
-    cep->lock.numWaiting = scp->mx.waiters;
+    cep->lock.numWaiting = scp->rw.waiters;
     cep->lock.pid_last_reader = 0;
     cep->lock.pid_writer = 0;
     cep->lock.src_indicator = 0;
     cep->Length = scp->length.LowPart;
-    cep->DataVersion = scp->dataVersion;
+    cep->DataVersion = (afs_uint32)(scp->dataVersion & 0xFFFFFFFF);
     cep->callback = afs_data_pointer_to_int32(scp->cbServerp);
-    cep->cbExpires = scp->cbExpires;
+    if (scp->flags & CM_SCACHEFLAG_PURERO) {
+        cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+        if (volp) {
+            cep->cbExpires = volp->cbExpiresRO;
+            cm_PutVolume(volp);
+        }
+    } else {
+        /* TODO: deal with time_t below */
+        cep->cbExpires = (afs_int32) scp->cbExpires;
+    }
     cep->refCount = scp->refCount;
     cep->opens = scp->openReads;
     cep->writers = scp->openWrites;
@@ -807,7 +810,6 @@ SRXAFSCB_GetCE(struct rx_call *callp, long index, AFSDBCacheEntry *cep)
   fcnDone:
     lock_ReleaseRead(&cm_scacheLock);
 
-    MUTEX_EXIT(&callp->lock);
     return (code);
 }
 
@@ -815,7 +817,7 @@ SRXAFSCB_GetCE(struct rx_call *callp, long index, AFSDBCacheEntry *cep)
 int
 SRXAFSCB_GetCE64(struct rx_call *callp, long index, AFSDBCacheEntry64 *cep)
 {
-    int i;
+    afs_uint32 i;
     cm_scache_t * scp;
     int code;
     struct rx_connection *connp;
@@ -823,7 +825,8 @@ SRXAFSCB_GetCE64(struct rx_call *callp, long index, AFSDBCacheEntry64 *cep)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -859,9 +862,9 @@ SRXAFSCB_GetCE64(struct rx_call *callp, long index, AFSDBCacheEntry64 *cep)
     cep->netFid.Vnode = scp->fid.vnode;
     cep->netFid.Unique = scp->fid.unique;
     cep->lock.waitStates = 0;
-    cep->lock.exclLocked = scp->mx.flags;
+    cep->lock.exclLocked = scp->rw.flags;
     cep->lock.readersReading = 0;
-    cep->lock.numWaiting = scp->mx.waiters;
+    cep->lock.numWaiting = scp->rw.waiters;
     cep->lock.pid_last_reader = 0;
     cep->lock.pid_writer = 0;
     cep->lock.src_indicator = 0;
@@ -871,9 +874,18 @@ SRXAFSCB_GetCE64(struct rx_call *callp, long index, AFSDBCacheEntry64 *cep)
 #else
     cep->Length = (afs_int64) scp->length.QuadPart;
 #endif
-    cep->DataVersion = scp->dataVersion;
+    cep->DataVersion = (afs_uint32)(scp->dataVersion & 0xFFFFFFFF);
     cep->callback = afs_data_pointer_to_int32(scp->cbServerp);
-    cep->cbExpires = scp->cbExpires;
+    if (scp->flags & CM_SCACHEFLAG_PURERO) {
+        cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+        if (volp) {
+            cep->cbExpires = volp->cbExpiresRO;
+            cm_PutVolume(volp);
+        }
+    } else {
+        /* TODO: handle time_t */
+        cep->cbExpires = (afs_int32) scp->cbExpires;
+    }
     cep->refCount = scp->refCount;
     cep->opens = scp->openReads;
     cep->writers = scp->openWrites;
@@ -918,7 +930,6 @@ SRXAFSCB_GetCE64(struct rx_call *callp, long index, AFSDBCacheEntry64 *cep)
   fcnDone:
     lock_ReleaseRead(&cm_scacheLock);
 
-    MUTEX_EXIT(&callp->lock);
     return (code);
 }
 
@@ -931,7 +942,8 @@ SRXAFSCB_XStatsVersion(struct rx_call *callp, long *vp)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -942,7 +954,6 @@ SRXAFSCB_XStatsVersion(struct rx_call *callp, long *vp)
              ntohl(host), ntohs(port));
     *vp = -1;
 
-    MUTEX_EXIT(&callp->lock);
     return RXGEN_OPCODE;
 }
 
@@ -956,7 +967,8 @@ SRXAFSCB_GetXStats(struct rx_call *callp, long cvn, long coln, long *srvp, long
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -966,13 +978,15 @@ SRXAFSCB_GetXStats(struct rx_call *callp, long cvn, long coln, long *srvp, long
     osi_Log2(afsd_logp, "SRXAFSCB_GetXStats from host 0x%x port %d - not implemented",
              ntohl(host), ntohs(port));
 
-    MUTEX_EXIT(&callp->lock);
     return RXGEN_OPCODE;
 }
 
 int
 SRXAFSCB_InitCallBackState2(struct rx_call *callp, struct interfaceAddr* addr)
 {
+    if (cm_shutdown)
+        return 1;
+
     osi_Log0(afsd_logp, "SRXAFSCB_InitCallBackState2 ->");
 
     return SRXAFSCB_InitCallBackState(callp);
@@ -983,35 +997,39 @@ int
 SRXAFSCB_WhoAreYou(struct rx_call *callp, struct interfaceAddr* addr)
 {
     int i;
-    int cm_noIPAddr;         /* number of client network interfaces */
-    int cm_IPAddr[CM_MAXINTERFACE_ADDR];    /* client's IP address in host order */
-    int cm_SubnetMask[CM_MAXINTERFACE_ADDR];/* client's subnet mask in host order*/
-    int cm_NetMtu[CM_MAXINTERFACE_ADDR];    /* client's MTU sizes */
-    int cm_NetFlags[CM_MAXINTERFACE_ADDR];  /* network flags */
     long code;
     struct rx_connection *connp;
     struct rx_peer *peerp;
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
         port = rx_PortOf(peerp);
     }
 
-    /* get network related info */
-    cm_noIPAddr = CM_MAXINTERFACE_ADDR;
-    code = syscfg_GetIFInfo(&cm_noIPAddr,
-                             cm_IPAddr, cm_SubnetMask,
-                             cm_NetMtu, cm_NetFlags);
-
-    /* return all network interface addresses */
     osi_Log2(afsd_logp, "SRXAFSCB_WhoAreYou from host 0x%x port %d",
               ntohl(host),
               ntohs(port));
 
+    lock_ObtainRead(&cm_syscfgLock);
+    if (cm_LanAdapterChangeDetected) {
+        lock_ConvertRToW(&cm_syscfgLock);
+        if (cm_LanAdapterChangeDetected) {
+            /* get network related info */
+            cm_noIPAddr = CM_MAXINTERFACE_ADDR;
+            code = syscfg_GetIFInfo(&cm_noIPAddr,
+                                     cm_IPAddr, cm_SubnetMask,
+                                     cm_NetMtu, cm_NetFlags);
+            cm_LanAdapterChangeDetected = 0;
+        }
+        lock_ConvertWToR(&cm_syscfgLock);
+    }
+
+    /* return all network interface addresses */
     addr->numberOfInterfaces = cm_noIPAddr;
     addr->uuid = cm_data.Uuid;
     for ( i=0; i < cm_noIPAddr; i++ ) {
@@ -1021,7 +1039,8 @@ SRXAFSCB_WhoAreYou(struct rx_call *callp, struct interfaceAddr* addr)
             cm_NetMtu[i] : rx_mtu;
     }
 
-    MUTEX_EXIT(&callp->lock);
+    lock_ReleaseRead(&cm_syscfgLock);
+
     return 0;
 }
 
@@ -1030,8 +1049,11 @@ SRXAFSCB_InitCallBackState3(struct rx_call *callp, afsUUID* serverUuid)
 {
     char *p = NULL;
 
+    if (cm_shutdown)
+        return 1;
+
     if (UuidToString((UUID *)serverUuid, &p) == RPC_S_OK) {
-        osi_Log1(afsd_logp, "SRXAFSCB_InitCallBackState3 %s ->",p);
+        osi_Log1(afsd_logp, "SRXAFSCB_InitCallBackState3 %s ->",osi_LogSaveString(afsd_logp,p));
         RpcStringFree(&p);
     } else
         osi_Log0(afsd_logp, "SRXAFSCB_InitCallBackState3 - no server Uuid ->");
@@ -1050,7 +1072,8 @@ SRXAFSCB_ProbeUuid(struct rx_call *callp, afsUUID* clientUuid)
     char *p,*q;
     int code = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -1074,40 +1097,20 @@ SRXAFSCB_ProbeUuid(struct rx_call *callp, afsUUID* clientUuid)
                   ntohl(host),
                   ntohs(port));
 
-    MUTEX_EXIT(&callp->lock);
     return code;
 }
 
 /* debug interface */
-int 
-SRXAFSCB_GetCellByNum(struct rx_call *callp, afs_int32 a_cellnum,
-                      char **a_name, serverList *a_hosts)
+static int 
+GetCellCommon(afs_int32 a_cellnum, char **a_name, serverList *a_hosts)
 {
     afs_int32 sn;
     cm_cell_t * cellp;
     cm_serverRef_t * serverRefp; 
-    struct rx_connection *connp;
-    struct rx_peer *peerp;
-    unsigned long host = 0;
-    unsigned short port = 0;
-
-    MUTEX_ENTER(&callp->lock);
-
-    if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
-        host = rx_HostOf(peerp);
-        port = rx_PortOf(peerp);
-    }
-
-    osi_Log3(afsd_logp, "SRXAFSCB_GetCellByNum(%d) from host 0x%x port %d",
-             a_cellnum, ntohl(host), ntohs(port));
 
-    a_hosts->serverList_val = 0;
-    a_hosts->serverList_len = 0;
-
-    cellp = cm_FindCellByID(a_cellnum);
+    cellp = cm_FindCellByID(a_cellnum, CM_FLAG_NOPROBE);
     if (!cellp) {
         *a_name = strdup("");
-        MUTEX_EXIT(&callp->lock);
         return 0;
     }
 
@@ -1129,12 +1132,42 @@ SRXAFSCB_GetCellByNum(struct rx_call *callp, afs_int32 a_cellnum,
     }
 
     lock_ReleaseRead(&cm_serverLock);
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
 /* debug interface */
 int 
+SRXAFSCB_GetCellByNum(struct rx_call *callp, afs_int32 a_cellnum,
+                      char **a_name, serverList *a_hosts)
+{
+    struct rx_connection *connp;
+    struct rx_peer *peerp;
+    unsigned long host = 0;
+    unsigned short port = 0;
+    int rc;
+
+    if (cm_shutdown)
+        return 1;
+
+    if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
+        host = rx_HostOf(peerp);
+        port = rx_PortOf(peerp);
+    }
+
+    osi_Log3(afsd_logp, "SRXAFSCB_GetCellByNum(%d) from host 0x%x port %d",
+             a_cellnum, ntohl(host), ntohs(port));
+
+    a_hosts->serverList_val = 0;
+    a_hosts->serverList_len = 0;
+
+
+    rc = GetCellCommon(a_cellnum, a_name, a_hosts);
+
+    return rc;
+}
+
+/* debug interface */
+int 
 SRXAFSCB_TellMeAboutYourself( struct rx_call *callp, 
                               struct interfaceAddr *addr,
                               Capabilities * capabilities)
@@ -1142,34 +1175,38 @@ SRXAFSCB_TellMeAboutYourself( struct rx_call *callp,
     int i;
     afs_int32 *dataBuffP;
     afs_int32 dataBytes;
-    int cm_noIPAddr;         /* number of client network interfaces */
-    int cm_IPAddr[CM_MAXINTERFACE_ADDR];    /* client's IP address in host order */
-    int cm_SubnetMask[CM_MAXINTERFACE_ADDR];/* client's subnet mask in host order*/
-    int cm_NetMtu[CM_MAXINTERFACE_ADDR];    /* client's MTU sizes */
-    int cm_NetFlags[CM_MAXINTERFACE_ADDR];  /* network flags */
     long code;
     struct rx_connection *connp;
     struct rx_peer *peerp;
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
         port = rx_PortOf(peerp);
     }
 
-    /* get network related info */
-    cm_noIPAddr = CM_MAXINTERFACE_ADDR;
-    code = syscfg_GetIFInfo(&cm_noIPAddr,
-                             cm_IPAddr, cm_SubnetMask,
-                             cm_NetMtu, cm_NetFlags);
-
     osi_Log2(afsd_logp, "SRXAFSCB_TellMeAboutYourself from host 0x%x port %d",
               ntohl(host),
               ntohs(port));
 
+    lock_ObtainRead(&cm_syscfgLock);
+    if (cm_LanAdapterChangeDetected) {
+        lock_ConvertRToW(&cm_syscfgLock);
+        if (cm_LanAdapterChangeDetected) {
+            /* get network related info */
+            cm_noIPAddr = CM_MAXINTERFACE_ADDR;
+            code = syscfg_GetIFInfo(&cm_noIPAddr,
+                                     cm_IPAddr, cm_SubnetMask,
+                                     cm_NetMtu, cm_NetFlags);
+            cm_LanAdapterChangeDetected = 0;
+        }
+        lock_ConvertWToR(&cm_syscfgLock);
+    }
+
     /* return all network interface addresses */
     addr->numberOfInterfaces = cm_noIPAddr;
     addr->uuid = cm_data.Uuid;
@@ -1179,6 +1216,7 @@ SRXAFSCB_TellMeAboutYourself( struct rx_call *callp,
         addr->mtu[i] = (rx_mtu == -1 || (rx_mtu != -1 && cm_NetMtu[i] < rx_mtu)) ? 
             cm_NetMtu[i] : rx_mtu;
     }
+    lock_ReleaseRead(&cm_syscfgLock);
 
     dataBytes = 1 * sizeof(afs_int32);
     dataBuffP = (afs_int32 *) osi_Alloc(dataBytes);
@@ -1186,7 +1224,6 @@ SRXAFSCB_TellMeAboutYourself( struct rx_call *callp,
     capabilities->Capabilities_len = dataBytes / sizeof(afs_int32);
     capabilities->Capabilities_val = dataBuffP;
 
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -1223,7 +1260,8 @@ int SRXAFSCB_GetServerPrefs(
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -1237,7 +1275,6 @@ int SRXAFSCB_GetServerPrefs(
     *a_srvr_addr = 0xffffffff;
     *a_srvr_rank = 0xffffffff;
 
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -1266,13 +1303,14 @@ int SRXAFSCB_GetServerPrefs(
 int SRXAFSCB_GetCellServDB(struct rx_call *callp, afs_int32 index, char **a_name, 
                            serverList *a_hosts)
 {
-    char *t_name;
     struct rx_connection *connp;
     struct rx_peer *peerp;
     unsigned long host = 0;
     unsigned short port = 0;
+    int rc;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -1282,12 +1320,14 @@ int SRXAFSCB_GetCellServDB(struct rx_call *callp, afs_int32 index, char **a_name
     osi_Log2(afsd_logp, "SRXAFSCB_GetCellServDB from host 0x%x port %d - not implemented",
              ntohl(host), ntohs(port));
 
-    t_name = (char *)malloc(AFSNAMEMAX);
-    t_name[0] = '\0';
-    *a_name = t_name;
-    a_hosts->serverList_len = 0;
-
-    MUTEX_EXIT(&callp->lock);
+#ifdef AFS_FREELANCE_CLIENT
+    if (cm_freelanceEnabled && index == 0) {
+        rc = GetCellCommon(AFS_FAKE_ROOT_CELL_ID, a_name, a_hosts);
+    } else
+#endif
+    {
+        rc = GetCellCommon(index+1, a_name, a_hosts);
+    }
     return 0;
 }
 
@@ -1319,7 +1359,8 @@ int SRXAFSCB_GetLocalCell(struct rx_call *callp, char **a_name)
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -1330,15 +1371,13 @@ int SRXAFSCB_GetLocalCell(struct rx_call *callp, char **a_name)
              ntohl(host), ntohs(port));
 
     if (cm_data.rootCellp) {
-       t_name = (char *)malloc(strlen(cm_data.rootCellp->name)+1);
-        strcpy(t_name, cm_data.rootCellp->name);
+        t_name = strdup(cm_data.rootCellp->name);
     } else {
        t_name = (char *)malloc(1);
        t_name[0] = '\0';
     }
     *a_name = t_name;
 
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
@@ -1418,7 +1457,8 @@ int SRXAFSCB_GetCacheConfig(struct rx_call *callp,
     unsigned long host = 0;
     unsigned short port = 0;
 
-    MUTEX_ENTER(&callp->lock);
+    if (cm_shutdown)
+        return 1;
 
     if ((connp = rx_ConnectionOf(callp)) && (peerp = rx_PeerOf(connp))) {
         host = rx_HostOf(peerp);
@@ -1441,20 +1481,19 @@ int SRXAFSCB_GetCacheConfig(struct rx_call *callp,
 #ifndef SIZE_MAX
 #define SIZE_MAX UINT_MAX
 #endif
-    osi_assert(allocsize < SIZE_MAX);
+    osi_assertx(allocsize < SIZE_MAX, "allocsize >= SIZE_MAX");
 #endif
     *configCount = (afs_uint32)allocsize;
     config->cacheConfig_val = t_config;
     config->cacheConfig_len = (*configCount)/sizeof(afs_uint32);
 
-    MUTEX_EXIT(&callp->lock);
     return 0;
 }
 
 /* called by afsd without any locks to initialize this module */
 void cm_InitCallback(void)
 {
-    lock_InitializeRWLock(&cm_callbackLock, "cm_callbackLock");
+    lock_InitializeRWLock(&cm_callbackLock, "cm_callbackLock", LOCK_HIERARCHY_CALLBACK_GLOBAL);
     cm_activeCallbackGrantingCalls = 0;
 }
 
@@ -1483,12 +1522,6 @@ int cm_HaveCallback(cm_scache_t *scp)
 
     if (cm_freelanceEnabled && 
          scp->fid.cell==AFS_FAKE_ROOT_CELL_ID && scp->fid.volume==AFS_FAKE_ROOT_VOL_ID) {
-        /* if it's something on /afs */
-        if (!(scp->fid.vnode==0x1 && scp->fid.unique==0x1)) {
-            /* if it's not root.afs */
-           return 1;
-        }
-
         lock_ObtainMutex(&cm_Freelance_Lock);
         fdc = cm_fakeDirCallback;
         fgc = cm_fakeGettingCallback;
@@ -1499,9 +1532,9 @@ int cm_HaveCallback(cm_scache_t *scp)
         } else if (fdc==2 && !fgc) {   // we're in good shape
             if (cm_getLocalMountPointChange()) {       // check for changes
                 cm_clearLocalMountPointChange(); // clear the changefile
-                lock_ReleaseMutex(&scp->mx);      // this is re-locked in reInitLocalMountPoints
+                lock_ReleaseWrite(&scp->rw);      // this is re-locked in reInitLocalMountPoints
                 cm_reInitLocalMountPoints();   // start reinit
-                lock_ObtainMutex(&scp->mx);      // now get the lock back 
+                lock_ObtainWrite(&scp->rw);      // now get the lock back 
                 return 0;
             }
             return 1;                  // no change
@@ -1510,10 +1543,25 @@ int cm_HaveCallback(cm_scache_t *scp)
     }
 #endif
 
-    if (scp->cbServerp != NULL)
+    if (scp->cbServerp != NULL) {
        return 1;
-    else 
-        return 0;
+    } else if (cm_OfflineROIsValid) {
+        cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+        if (volp) {
+            switch (cm_GetVolumeStatus(volp, scp->fid.volume)) {
+            case vl_offline:
+            case vl_alldown:
+            case vl_unknown:
+                cm_PutVolume(volp);
+                return 1;
+            default:
+                cm_PutVolume(volp);
+                return 0;
+            }
+        }
+        return 1;
+    }
+    return 0;
 }
 
 /* need to detect a broken callback that races with our obtaining a callback.
@@ -1540,7 +1588,7 @@ void cm_StartCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp)
     lock_ObtainWrite(&cm_callbackLock);
     cbrp->callbackCount = cm_callbackCount;
     cm_activeCallbackGrantingCalls++;
-    cbrp->startTime = osi_Time();
+    cbrp->startTime = time(NULL);
     cbrp->serverp = NULL;
     lock_ReleaseWrite(&cm_callbackLock);
 }
@@ -1548,7 +1596,7 @@ void cm_StartCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp)
 /* Called at the end of a callback-granting call, to remove the callback
  * info from the scache entry, if necessary.
  *
- * Called with scp locked, so we can discard the callbacks easily with
+ * Called with scp write locked, so we can discard the callbacks easily with
  * this locking hierarchy.
  */
 void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
@@ -1558,17 +1606,16 @@ void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
     cm_racingRevokes_t *nrevp;         /* where we'll be next */
     int freeFlag;
     cm_server_t * serverp = NULL;
-    int discardScp = 0;
-#ifdef GIVE_UP_CALLBACKS
-    int addFidToGUCB = 0;
-#endif /* GIVE_UP_CALLBACKS */
+    int discardScp = 0, discardVolCB = 0;
 
     lock_ObtainWrite(&cm_callbackLock);
     if (flags & CM_CALLBACK_MAINTAINCOUNT) {
-        osi_assert(cm_activeCallbackGrantingCalls > 0);
+        osi_assertx(cm_activeCallbackGrantingCalls > 0, 
+                    "CM_CALLBACK_MAINTAINCOUNT && cm_activeCallbackGrantingCalls == 0");
     }
     else {
-        osi_assert(cm_activeCallbackGrantingCalls-- > 0);
+        osi_assertx(cm_activeCallbackGrantingCalls-- > 0,
+                    "!CM_CALLBACK_MAINTAINCOUNT && cm_activeCallbackGrantingCalls == 0");
     }
     if (cm_activeCallbackGrantingCalls == 0) 
         freeFlag = 1;
@@ -1580,9 +1627,6 @@ void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
        if (scp) {
             if (scp->cbServerp != cbrp->serverp) {
                 serverp = scp->cbServerp;
-#ifdef GIVE_UP_CALLBACKS
-                addFidToGUCB = 1;
-#endif /* GIVE_UP_CALLBACKS */
                 if (!freeFlag)
                     cm_GetServer(cbrp->serverp);
                 scp->cbServerp = cbrp->serverp;
@@ -1591,6 +1635,13 @@ void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
                     serverp = cbrp->serverp;
             }
             scp->cbExpires = cbrp->startTime + cbp->ExpirationTime;
+            if (scp->flags & CM_SCACHEFLAG_PURERO) {
+                cm_volume_t * volp = cm_GetVolumeByFID(&scp->fid);
+                if (volp) {
+                    volp->cbExpiresRO = scp->cbExpires;
+                    cm_PutVolume(volp);
+                }
+            }
         } else {
             if (freeFlag)
                 serverp = cbrp->serverp;
@@ -1628,6 +1679,14 @@ void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
                       cbrp->callbackCount, revp->callbackCount,
                       cm_callbackCount);
             discardScp = 1;
+            if ((scp->flags & CM_SCACHEFLAG_PURERO) && 
+                 (revp->flags & (CM_RACINGFLAG_CANCELVOL | CM_RACINGFLAG_CANCELALL))) {
+                cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+                if (volp) {
+                    volp->cbExpiresRO = 0;
+                    cm_PutVolume(volp);
+                }
+            }
         }
         if (freeFlag) 
             free(revp);
@@ -1641,26 +1700,12 @@ void cm_EndCallbackGrantingCall(cm_scache_t *scp, cm_callbackRequest_t *cbrp,
 
     if ( discardScp ) {
         cm_DiscardSCache(scp);
-        lock_ReleaseMutex(&scp->mx);
+        lock_ReleaseWrite(&scp->rw);
         cm_CallbackNotifyChange(scp);
-        lock_ObtainMutex(&scp->mx);
+        lock_ObtainWrite(&scp->rw);
     } 
-#ifdef GIVE_UP_CALLBACKS    
-    else if (scp) {
-        lock_ObtainMutex(&scp->cbServerp->mx);
-        cm_RemoveFidFromGiveUpCallBackList(scp->cbServerp, &scp->fid);
-        lock_ReleaseMutex(&scp->cbServerp->mx);
-    }
-#endif /* GIVE_UP_CALLBACKS */
 
     if ( serverp ) {
-#ifdef GIVE_UP_CALLBACKS
-        if (addFidToGUCB) {
-            lock_ObtainMutex(&serverp->mx);
-            cm_AddFidToGiveUpCallBackList(serverp, &scp->fid);
-            lock_ReleaseMutex(&serverp->mx);
-        }
-#endif /* GIVE_UP_CALLBACKS */
         lock_ObtainWrite(&cm_serverLock);
         cm_FreeServer(serverp);
         lock_ReleaseWrite(&cm_serverLock);
@@ -1682,7 +1727,7 @@ long cm_GetCallback(cm_scache_t *scp, struct cm_user *userp,
     cm_callbackRequest_t cbr;
     int mustCall;
     cm_fid_t sfid;
-    struct rx_connection * callp = NULL;
+    struct rx_connection * rxconnp = NULL;
     int syncop_done = 0;
 
     osi_Log4(afsd_logp, "GetCallback scp 0x%p cell %d vol %d flags %lX", 
@@ -1746,7 +1791,7 @@ long cm_GetCallback(cm_scache_t *scp, struct cm_user *userp,
        }
         cm_StartCallbackGrantingCall(scp, &cbr);
         sfid = scp->fid;
-        lock_ReleaseMutex(&scp->mx);
+        lock_ReleaseWrite(&scp->rw);
                
         /* now make the RPC */
         osi_Log4(afsd_logp, "CALL FetchStatus scp 0x%p vol %u vn %u uniq %u", 
@@ -1756,10 +1801,10 @@ long cm_GetCallback(cm_scache_t *scp, struct cm_user *userp,
             if (code) 
                 continue;
 
-            callp = cm_GetRxConn(connp);
-            code = RXAFS_FetchStatus(callp, &tfid,
+            rxconnp = cm_GetRxConn(connp);
+            code = RXAFS_FetchStatus(rxconnp, &tfid,
                                      &afsStatus, &callback, &volSync);
-            rx_PutConnection(callp);
+            rx_PutConnection(rxconnp);
 
         } while (cm_Analyze(connp, userp, reqp, &sfid, &volSync, NULL,
                             &cbr, code));
@@ -1771,7 +1816,7 @@ long cm_GetCallback(cm_scache_t *scp, struct cm_user *userp,
             osi_Log4(afsd_logp, "CALL FetchStatus SUCCESS scp 0x%p vol %u vn %u uniq %u", 
                      scp, scp->fid.volume, scp->fid.vnode, scp->fid.unique);
 
-        lock_ObtainMutex(&scp->mx);
+        lock_ObtainWrite(&scp->rw);
         if (code == 0) {
             cm_EndCallbackGrantingCall(scp, &cbr, &callback, 0);
             cm_MergeStatus(NULL, scp, &afsStatus, &volSync, userp, 0);
@@ -1799,31 +1844,84 @@ long cm_GetCallback(cm_scache_t *scp, struct cm_user *userp,
     return code;
 }
 
+
+/* called with cm_scacheLock held */
+long cm_CBServersUp(cm_scache_t *scp, time_t * downTime)
+{
+    cm_vol_state_t *statep;
+    cm_volume_t * volp;
+    afs_uint32 volID = scp->fid.volume;
+    cm_serverRef_t *tsrp;
+    int found;
+
+    *downTime = 0;
+
+    if (scp->cbServerp == NULL)
+        return 1;
+
+    volp = cm_GetVolumeByFID(&scp->fid);
+    if (!volp)
+        return 1;
+
+    statep = cm_VolumeStateByID(volp, volID);
+    cm_PutVolume(volp);
+    if (statep->state == vl_online)
+        return 1;
+
+    for (found = 0,tsrp = statep->serversp; tsrp; tsrp=tsrp->next) {
+        if (tsrp->status == srv_deleted)
+            continue;
+        if (tsrp->server == scp->cbServerp)
+            found = 1;
+        if (tsrp->server->downTime > *downTime)
+            *downTime = tsrp->server->downTime;
+    }
+
+    /* if the cbServerp does not match the current volume server list
+     * we report the callback server as up so the callback can be 
+     * expired.
+     */
+    return(found ? 0 : 1);
+}
+
 /* called periodically by cm_daemon to shut down use of expired callbacks */
 void cm_CheckCBExpiration(void)
 {
-    int i;
+    afs_uint32 i;
     cm_scache_t *scp;
-    time_t now;
+    time_t now, downTime;
         
     osi_Log0(afsd_logp, "CheckCBExpiration");
 
-    now = osi_Time();
+    now = time(NULL);
     lock_ObtainWrite(&cm_scacheLock);
     for (i=0; i<cm_data.scacheHashTableSize; i++) {
         for (scp = cm_data.scacheHashTablep[i]; scp; scp=scp->nextp) {
-            cm_HoldSCacheNoLock(scp);
-            if (scp->cbExpires > 0 && (scp->cbServerp == NULL || now > scp->cbExpires)) {
+            downTime = 0;
+            if (scp->flags & CM_SCACHEFLAG_PURERO) {
+                cm_volume_t *volp = cm_GetVolumeByFID(&scp->fid);
+                if (volp) {
+                    if (volp->cbExpiresRO > scp->cbExpires && scp->cbExpires > 0)
+                        scp->cbExpires = volp->cbExpiresRO;
+                    cm_PutVolume(volp);
+                }
+            }
+            if (scp->cbServerp && scp->cbExpires > 0 && now > scp->cbExpires && 
+                 (cm_CBServersUp(scp, &downTime) || downTime == 0 || downTime >= scp->cbExpires)) 
+            {
+                cm_HoldSCacheNoLock(scp);
                 lock_ReleaseWrite(&cm_scacheLock);
-                osi_Log4(afsd_logp, "Callback Expiration Discarding SCache scp 0x%p vol %u vn %u uniq %u", 
+                
+                osi_Log4(afsd_logp, "Callback Expiration Discarding SCache scp 0x%p vol %u vn %u uniq %u",
                           scp, scp->fid.volume, scp->fid.vnode, scp->fid.unique);
-                lock_ObtainMutex(&scp->mx);
+                lock_ObtainWrite(&scp->rw);
                 cm_DiscardSCache(scp);
-                lock_ReleaseMutex(&scp->mx);
+                lock_ReleaseWrite(&scp->rw);
                 cm_CallbackNotifyChange(scp);
+
                 lock_ObtainWrite(&cm_scacheLock);
+                cm_ReleaseSCacheNoLock(scp);
             }
-            cm_ReleaseSCacheNoLock(scp);
         }
     }
     lock_ReleaseWrite(&cm_scacheLock);
@@ -1832,129 +1930,72 @@ void cm_CheckCBExpiration(void)
 }
 
 
-#ifdef GIVE_UP_CALLBACKS
-/* server mutex must be held */
-/* do not hold cm_scacheLock */
-void cm_GiveUpCallBacksToServer(cm_server_t * serverp)
-{
-    struct AFSFid *tfids = NULL;
-    struct AFSCallBack callBacks[1];
-    struct AFSCBFids fidArray;
-    struct AFSCBs cbArray;
-    afs_int32 code = 0;
-    cm_server_gucb_t *gucbp, *nextp;
-    cm_conn_t *connp;
-    struct rx_connection * callp;
-    cm_req_t req;
-    int i, j;
-
-    for ( gucbp = serverp->gucbs, serverp->gucbs = NULL, lock_ReleaseMutex(&serverp->mx); 
-          gucbp; 
-          gucbp = nextp ) 
-    {
-        nextp = gucbp->nextp;
-
-        if (!tfids) {   /* only need to do these once */
-            tfids = (struct AFSFid *)malloc(AFS_MAXCBRSCALL * sizeof(*tfids));
-            osi_Assert(tfids);
-
-            fidArray.AFSCBFids_val = (struct AFSFid *)tfids;
-
-            cbArray.AFSCBs_len = 1;
-            cbArray.AFSCBs_val = callBacks;
-            memset(&callBacks[0], 0, sizeof(callBacks[0]));
-            callBacks[0].CallBackType = CB_EXCLUSIVE;
-        }
-        memset(tfids, 0, AFS_MAXCBRSCALL * sizeof(*tfids));
-
-        for ( i=0, j=0; i<gucbp->count; i++ ) {
-            if (gucbp->fids[i].cell != 0) {
-                cm_AFSFidFromFid(&tfids[j++], &gucbp->fids[i]);
-            }
-        }
-        fidArray.AFSCBFids_len = j;
-
-        cm_InitReq(&req);
-        req.flags |= CM_REQ_NORETRY;
-
-        osi_Log1(afsd_logp, "CALL GiveUpCallbacks serverp %xp", serverp);
-        do {
-            code = cm_ConnByServer(serverp, cm_rootUserp, &connp);
-            if (code) 
-                continue;
-
-            callp = cm_GetRxConn(connp);
-            code = RXAFS_GiveUpCallBacks(callp, &fidArray, &cbArray);
-            rx_PutConnection(callp);
-        } while (cm_Analyze(connp, cm_rootUserp, &req, NULL, NULL, NULL, NULL, code));
-        code = cm_MapRPCError(code, &req);
-
-        if (code)
-            osi_Log1(afsd_logp, "CALL GiveUpCallback FAILURE, code 0x%x", code);
-        else
-            osi_Log0(afsd_logp, "CALL GiveUpCallback SUCCESS");
-
-        free(gucbp);
-    }
-    lock_ObtainMutex(&serverp->mx);
-}
-
-
-void
-cm_GiveUpCallback(cm_scache_t * scp)
-{
-    time_t now;
-
-    cm_HoldSCacheNoLock(scp);
-    now = osi_Time();
-
-    if (scp->cbExpires > 0 && (scp->cbServerp == NULL || now < scp->cbExpires)) {
-        lock_ObtainMutex(&scp->cbServerp->mx);
-        cm_AddFidToGiveUpCallBackList(scp->cbServerp, &scp->fid);
-        lock_ReleaseMutex(&scp->cbServerp->mx);
-
-        /* assume the callbacks were given up even if we fail */
-        cm_PutServer(scp->cbServerp);
-        scp->cbServerp = NULL;
-        scp->cbExpires = 0;
-    }
-    cm_ReleaseSCacheNoLock(scp);
-}
-#endif /* GIVE_UP_CALLBACKS */
-
 void 
-cm_GiveUpAllCallbacks(cm_server_t *tsp)
+cm_GiveUpAllCallbacks(cm_server_t *tsp, afs_int32 markDown)
 {
     long code;
     cm_conn_t *connp;
     struct rx_connection * rxconnp;
 
-    if (tsp->type == CM_SERVER_FILE) {
+    if ((tsp->type == CM_SERVER_FILE) && !(tsp->flags & CM_SERVERFLAG_DOWN)) 
+    {
         code = cm_ConnByServer(tsp, cm_rootUserp, &connp);
         if (code == 0) {
             rxconnp = cm_GetRxConn(connp);
-           code = RXAFS_GiveUpAllCallBacks(rxconnp);
-           rx_PutConnection(rxconnp);
+            rx_SetConnDeadTime(rxconnp, 10);
+            code = RXAFS_GiveUpAllCallBacks(rxconnp);
+            rx_SetConnDeadTime(rxconnp, ConnDeadtimeout);
+            rx_PutConnection(rxconnp);
+        }
+
+        if (markDown) {
+            cm_server_vols_t * tsrvp;
+            cm_volume_t * volp;
+            int i;
+
+            cm_ForceNewConnections(tsp);
 
             lock_ObtainMutex(&tsp->mx);
-#ifdef GIVE_UP_CALLBACKS
-            cm_FreeGiveUpCallBackList(tsp);
-#endif /* GIVE_UP_CALLBACKS */
+            if (!(tsp->flags & CM_SERVERFLAG_DOWN)) {
+                tsp->flags |= CM_SERVERFLAG_DOWN;
+                tsp->downTime = time(NULL);
+            }
+            /* Now update the volume status */
+            for (tsrvp = tsp->vols; tsrvp; tsrvp = tsrvp->nextp) {
+                for (i=0; i<NUM_SERVER_VOLS; i++) {
+                    if (tsrvp->ids[i] != 0) {
+                        cm_req_t req;
+
+                        cm_InitReq(&req);
+                        lock_ReleaseMutex(&tsp->mx);
+                        code = cm_FindVolumeByID(tsp->cellp, tsrvp->ids[i], cm_rootUserp,
+                                                 &req, CM_GETVOL_FLAG_NO_LRU_UPDATE | CM_GETVOL_FLAG_NO_RESET, &volp);
+                        lock_ObtainMutex(&tsp->mx);
+                        if (code == 0) {    
+                            cm_UpdateVolumeStatus(volp, tsrvp->ids[i]);
+                            cm_PutVolume(volp);
+                        }       
+                    }
+                }
+            }
             lock_ReleaseMutex(&tsp->mx);
         }
     }
 }
 
 void
-cm_GiveUpAllCallbacksAllServers(void)
+cm_GiveUpAllCallbacksAllServers(afs_int32 markDown)
 {
     cm_server_t *tsp;
 
+    if (!cm_giveUpAllCBs)
+        return;
+
     lock_ObtainWrite(&cm_serverLock);
     for (tsp = cm_allServersp; tsp; tsp = tsp->allNextp) {
         cm_GetServerNoLock(tsp);
         lock_ReleaseWrite(&cm_serverLock);
-        cm_GiveUpAllCallbacks(tsp);
+        cm_GiveUpAllCallbacks(tsp, markDown);
         lock_ObtainWrite(&cm_serverLock);
         cm_PutServerNoLock(tsp);
     }