rx: Add a helper function for delayed acks
[openafs.git] / src / rx / rx.c
index ba9583b..b042123 100644 (file)
 #   include "h/socket.h"
 #  endif
 #  include "netinet/in.h"
-#  ifdef AFS_SUN58_ENV
+#  ifdef AFS_SUN5_ENV
 #   include "netinet/ip6.h"
-#  endif
-#  ifdef AFS_SUN57_ENV
 #   include "inet/common.h"
 #   include "inet/ip.h"
 #   include "inet/ip_ire.h"
@@ -102,6 +100,8 @@ static void rxi_ComputeRoundTripTime(struct rx_packet *, struct rx_ackPacket *,
                                     struct clock *);
 static void rxi_Resend(struct rxevent *event, void *arg0, void *arg1,
                       int istack);
+static void rxi_SendDelayedAck(struct rxevent *event, void *call,
+                               void *dummy);
 
 #ifdef RX_ENABLE_LOCKS
 static void rxi_SetAcksInTransmitQueue(struct rx_call *call);
@@ -195,8 +195,6 @@ extern afs_kmutex_t event_handler_mutex;
 extern afs_kmutex_t listener_mutex;
 extern afs_kmutex_t rx_if_init_mutex;
 extern afs_kmutex_t rx_if_mutex;
-extern afs_kmutex_t rxkad_client_uid_mutex;
-extern afs_kmutex_t rxkad_random_mutex;
 
 extern afs_kcondvar_t rx_event_handler_cond;
 extern afs_kcondvar_t rx_listener_cond;
@@ -224,8 +222,6 @@ rxi_InitPthread(void)
     MUTEX_INIT(&listener_mutex, "listener", MUTEX_DEFAULT, 0);
     MUTEX_INIT(&rx_if_init_mutex, "if init", MUTEX_DEFAULT, 0);
     MUTEX_INIT(&rx_if_mutex, "if", MUTEX_DEFAULT, 0);
-    MUTEX_INIT(&rxkad_client_uid_mutex, "uid", MUTEX_DEFAULT, 0);
-    MUTEX_INIT(&rxkad_random_mutex, "rxkad random", MUTEX_DEFAULT, 0);
     MUTEX_INIT(&rx_debug_mutex, "debug", MUTEX_DEFAULT, 0);
 
     CV_INIT(&rx_event_handler_cond, "evhand", CV_DEFAULT, 0);
@@ -234,8 +230,6 @@ rxi_InitPthread(void)
     osi_Assert(pthread_key_create(&rx_thread_id_key, NULL) == 0);
     osi_Assert(pthread_key_create(&rx_ts_info_key, NULL) == 0);
 
-    rxkad_global_stats_init();
-
     MUTEX_INIT(&rx_rpc_stats, "rx_rpc_stats", MUTEX_DEFAULT, 0);
     MUTEX_INIT(&rx_freePktQ_lock, "rx_freePktQ_lock", MUTEX_DEFAULT, 0);
 #ifdef RX_ENABLE_LOCKS
@@ -763,6 +757,38 @@ rx_SetBusyChannelError(afs_int32 error)
     rxi_busyChannelError = error;
 }
 
+/**
+ * Set a delayed ack event on the specified call for the given time
+ *
+ * @param[in] call - the call on which to set the event
+ * @param[in] offset - the delay from now after which the event fires
+ */
+void
+rxi_PostDelayedAckEvent(struct rx_call *call, struct clock *offset)
+{
+    struct clock now, when;
+
+    clock_GetTime(&now);
+    when = now;
+    clock_Add(&when, offset);
+
+    if (!call->delayedAckEvent
+       || clock_Gt(&call->delayedAckEvent->eventTime, &when)) {
+
+        rxevent_Cancel(call->delayedAckEvent, call,
+                      RX_CALL_REFCOUNT_DELAY);
+       MUTEX_ENTER(&rx_refcnt_mutex);
+       CALL_HOLD(call, RX_CALL_REFCOUNT_DELAY);
+       MUTEX_EXIT(&rx_refcnt_mutex);
+
+       call->delayedAckEvent = rxevent_PostNow(&when, &now,
+                                               rxi_SendDelayedAck,
+                                               call, 0);
+    }
+}
+
+
+
 /* called with unincremented nRequestsRunning to see if it is OK to start
  * a new thread in this service.  Could be "no" for two reasons: over the
  * max quota, or would prevent others from reaching their min quota.
@@ -1210,6 +1236,7 @@ rxi_DestroyConnectionNoLock(struct rx_connection *conn)
     MUTEX_EXIT(&conn->conn_data_lock);
 
     /* Check for extant references to this connection */
+    MUTEX_ENTER(&conn->conn_call_lock);
     for (i = 0; i < RX_MAXCALLS; i++) {
        struct rx_call *call = conn->call[i];
        if (call) {
@@ -1233,6 +1260,8 @@ rxi_DestroyConnectionNoLock(struct rx_connection *conn)
            }
        }
     }
+    MUTEX_EXIT(&conn->conn_call_lock);
+
 #ifdef RX_ENABLE_LOCKS
     if (!havecalls) {
        if (MUTEX_TRYENTER(&conn->conn_data_lock)) {
@@ -1813,6 +1842,20 @@ rxi_ServerProc(int threadID, struct rx_call *newcall, osi_socket * socketp)
            }
        }
 
+#ifdef KERNEL
+       if (afs_termState == AFSOP_STOP_RXCALLBACK) {
+#ifdef RX_ENABLE_LOCKS
+           AFS_GLOCK();
+#endif /* RX_ENABLE_LOCKS */
+           afs_termState = AFSOP_STOP_AFS;
+           afs_osi_Wakeup(&afs_termState);
+#ifdef RX_ENABLE_LOCKS
+           AFS_GUNLOCK();
+#endif /* RX_ENABLE_LOCKS */
+           return;
+       }
+#endif
+
        /* if server is restarting( typically smooth shutdown) then do not
         * allow any new calls.
         */
@@ -1828,20 +1871,8 @@ rxi_ServerProc(int threadID, struct rx_call *newcall, osi_socket * socketp)
 
            MUTEX_EXIT(&call->lock);
            USERPRI;
+           continue;
        }
-#ifdef KERNEL
-       if (afs_termState == AFSOP_STOP_RXCALLBACK) {
-#ifdef RX_ENABLE_LOCKS
-           AFS_GLOCK();
-#endif /* RX_ENABLE_LOCKS */
-           afs_termState = AFSOP_STOP_AFS;
-           afs_osi_Wakeup(&afs_termState);
-#ifdef RX_ENABLE_LOCKS
-           AFS_GUNLOCK();
-#endif /* RX_ENABLE_LOCKS */
-           return;
-       }
-#endif
 
        tservice = call->conn->service;
 
@@ -1854,6 +1885,10 @@ rxi_ServerProc(int threadID, struct rx_call *newcall, osi_socket * socketp)
            (*tservice->afterProc) (call, code);
 
        rx_EndCall(call, code);
+
+       if (tservice->postProc)
+           (*tservice->postProc) (code);
+
         if (rx_stats_active) {
             MUTEX_ENTER(&rx_stats_mutex);
             rxi_nCalls++;
@@ -2667,7 +2702,11 @@ rxi_FreeCall(struct rx_call *call, int haveCTLock)
     call->state = RX_STATE_RESET;
     MUTEX_EXIT(&rx_refcnt_mutex);
     rxi_ResetCall(call, 0);
-    call->conn->call[channel] = (struct rx_call *)0;
+
+    MUTEX_ENTER(&conn->conn_call_lock);
+    if (call->conn->call[channel] == call)
+        call->conn->call[channel] = 0;
+    MUTEX_EXIT(&conn->conn_call_lock);
 
     MUTEX_ENTER(&rx_freeCallQueue_lock);
     SET_CALL_QUEUE_LOCK(call, &rx_freeCallQueue_lock);
@@ -3209,94 +3248,77 @@ rxi_ReceivePacket(struct rx_packet *np, osi_socket socket,
 
     channel = np->header.cid & RX_CHANNELMASK;
     call = conn->call[channel];
-#ifdef RX_ENABLE_LOCKS
-    if (call)
-       MUTEX_ENTER(&call->lock);
-    /* Test to see if call struct is still attached to conn. */
-    if (call != conn->call[channel]) {
-       if (call)
-           MUTEX_EXIT(&call->lock);
-       if (type == RX_SERVER_CONNECTION) {
-           call = conn->call[channel];
-           /* If we started with no call attached and there is one now,
-            * another thread is also running this routine and has gotten
-            * the connection channel. We should drop this packet in the tests
-            * below. If there was a call on this connection and it's now
-            * gone, then we'll be making a new call below.
-            * If there was previously a call and it's now different then
-            * the old call was freed and another thread running this routine
-            * has created a call on this channel. One of these two threads
-            * has a packet for the old call and the code below handles those
-            * cases.
-            */
-           if (call)
-               MUTEX_ENTER(&call->lock);
-       } else {
-           /* This packet can't be for this call. If the new call address is
-            * 0 then no call is running on this channel. If there is a call
-            * then, since this is a client connection we're getting data for
-            * it must be for the previous call.
-            */
-            if (rx_stats_active)
-               rx_atomic_inc(&rx_stats.spuriousPacketsRead);
-            MUTEX_ENTER(&rx_refcnt_mutex);
-           conn->refCount--;
-            MUTEX_EXIT(&rx_refcnt_mutex);
-           return np;
-       }
-    }
-#endif
-    currentCallNumber = conn->callNumber[channel];
 
-    if (type == RX_SERVER_CONNECTION) {        /* We're the server */
-       if (np->header.callNumber < currentCallNumber) {
-            if (rx_stats_active)
-               rx_atomic_inc(&rx_stats.spuriousPacketsRead);
-#ifdef RX_ENABLE_LOCKS
-           if (call)
-               MUTEX_EXIT(&call->lock);
-#endif
-            MUTEX_ENTER(&rx_refcnt_mutex);
-           conn->refCount--;
-            MUTEX_EXIT(&rx_refcnt_mutex);
-           return np;
-       }
-       if (!call) {
-           MUTEX_ENTER(&conn->conn_call_lock);
-           call = rxi_NewCall(conn, channel);
-           MUTEX_EXIT(&conn->conn_call_lock);
-           *call->callNumber = np->header.callNumber;
+    if (call) {
+       MUTEX_ENTER(&call->lock);
+        currentCallNumber = conn->callNumber[channel];
+    } else if (type == RX_SERVER_CONNECTION) {  /* No call allocated */
+        MUTEX_ENTER(&conn->conn_call_lock);
+        call = conn->call[channel];
+        if (call) {
+            MUTEX_ENTER(&call->lock);
+            MUTEX_EXIT(&conn->conn_call_lock);
+            currentCallNumber = conn->callNumber[channel];
+        } else {
+            call = rxi_NewCall(conn, channel);  /* returns locked call */
+            MUTEX_EXIT(&conn->conn_call_lock);
+            *call->callNumber = currentCallNumber = np->header.callNumber;
 #ifdef RXDEBUG
-           if (np->header.callNumber == 0)
-               dpf(("RecPacket call 0 %d %s: %x.%u.%u.%u.%u.%u.%u flags %d, packet %"AFS_PTR_FMT" len %d\n",
-                      np->header.serial, rx_packetTypes[np->header.type - 1], ntohl(conn->peer->host), ntohs(conn->peer->port),
-                      np->header.serial, np->header.epoch, np->header.cid, np->header.callNumber, np->header.seq,
-                      np->header.flags, np, np->length));
+            if (np->header.callNumber == 0)
+                dpf(("RecPacket call 0 %d %s: %x.%u.%u.%u.%u.%u.%u flags %d, packet %"AFS_PTR_FMT" len %d\n",
+                     np->header.serial, rx_packetTypes[np->header.type - 1], ntohl(conn->peer->host), ntohs(conn->peer->port),
+                     np->header.serial, np->header.epoch, np->header.cid, np->header.callNumber, np->header.seq,
+                     np->header.flags, np, np->length));
 #endif
-           call->state = RX_STATE_PRECALL;
-           clock_GetTime(&call->queueTime);
-           hzero(call->bytesSent);
-           hzero(call->bytesRcvd);
-           /*
-            * If the number of queued calls exceeds the overload
-            * threshold then abort this call.
-            */
-           if ((rx_BusyThreshold > 0) &&
-               (rx_atomic_read(&rx_nWaiting) > rx_BusyThreshold)) {
-               struct rx_packet *tp;
-
-               rxi_CallError(call, rx_BusyError);
-               tp = rxi_SendCallAbort(call, np, 1, 0);
-               MUTEX_EXIT(&call->lock);
+            call->state = RX_STATE_PRECALL;
+            clock_GetTime(&call->queueTime);
+            hzero(call->bytesSent);
+            hzero(call->bytesRcvd);
+            /*
+             * If the number of queued calls exceeds the overload
+             * threshold then abort this call.
+             */
+            if ((rx_BusyThreshold > 0) &&
+                (rx_atomic_read(&rx_nWaiting) > rx_BusyThreshold)) {
+                struct rx_packet *tp;
+
+                rxi_CallError(call, rx_BusyError);
+                tp = rxi_SendCallAbort(call, np, 1, 0);
+                MUTEX_EXIT(&call->lock);
                 MUTEX_ENTER(&rx_refcnt_mutex);
-               conn->refCount--;
+                conn->refCount--;
                 MUTEX_EXIT(&rx_refcnt_mutex);
                 if (rx_stats_active)
                     rx_atomic_inc(&rx_stats.nBusies);
-               return tp;
-           }
-           rxi_KeepAliveOn(call);
-       } else if (np->header.callNumber != currentCallNumber) {
+                return tp;
+            }
+            rxi_KeepAliveOn(call);
+        }
+    } else {    /* RX_CLIENT_CONNECTION and No call allocated */
+        /* This packet can't be for this call. If the new call address is
+         * 0 then no call is running on this channel. If there is a call
+         * then, since this is a client connection we're getting data for
+         * it must be for the previous call.
+         */
+        if (rx_stats_active)
+            rx_atomic_inc(&rx_stats.spuriousPacketsRead);
+        MUTEX_ENTER(&rx_refcnt_mutex);
+        conn->refCount--;
+        MUTEX_EXIT(&rx_refcnt_mutex);
+        return np;
+    }
+
+    /* There is a non-NULL locked call at this point */
+    if (type == RX_SERVER_CONNECTION) {        /* We're the server */
+        if (np->header.callNumber < currentCallNumber) {
+            MUTEX_EXIT(&call->lock);
+            if (rx_stats_active)
+                rx_atomic_inc(&rx_stats.spuriousPacketsRead);
+            MUTEX_ENTER(&rx_refcnt_mutex);
+            conn->refCount--;
+            MUTEX_EXIT(&rx_refcnt_mutex);
+            return np;
+        } else if (np->header.callNumber != currentCallNumber) {
            /* Wait until the transmit queue is idle before deciding
             * whether to reset the current call. Chances are that the
             * call will be in ether DALLY or HOLD state once the TQ_BUSY
@@ -3372,15 +3394,11 @@ rxi_ReceivePacket(struct rx_packet *np, osi_socket socket,
        }
     } else {                   /* we're the client */
        /* Ignore all incoming acknowledgements for calls in DALLY state */
-       if (call && (call->state == RX_STATE_DALLY)
+       if ((call->state == RX_STATE_DALLY)
            && (np->header.type == RX_PACKET_TYPE_ACK)) {
             if (rx_stats_active)
                 rx_atomic_inc(&rx_stats.ignorePacketDally);
-#ifdef  RX_ENABLE_LOCKS
-           if (call) {
-               MUTEX_EXIT(&call->lock);
-           }
-#endif
+            MUTEX_EXIT(&call->lock);
             MUTEX_ENTER(&rx_refcnt_mutex);
            conn->refCount--;
             MUTEX_EXIT(&rx_refcnt_mutex);
@@ -3389,14 +3407,10 @@ rxi_ReceivePacket(struct rx_packet *np, osi_socket socket,
 
        /* Ignore anything that's not relevant to the current call.  If there
         * isn't a current call, then no packet is relevant. */
-       if (!call || (np->header.callNumber != currentCallNumber)) {
+       if (np->header.callNumber != currentCallNumber) {
             if (rx_stats_active)
                 rx_atomic_inc(&rx_stats.spuriousPacketsRead);
-#ifdef RX_ENABLE_LOCKS
-           if (call) {
-               MUTEX_EXIT(&call->lock);
-           }
-#endif
+            MUTEX_EXIT(&call->lock);
             MUTEX_ENTER(&rx_refcnt_mutex);
            conn->refCount--;
             MUTEX_EXIT(&rx_refcnt_mutex);
@@ -3405,9 +3419,7 @@ rxi_ReceivePacket(struct rx_packet *np, osi_socket socket,
        /* If the service security object index stamped in the packet does not
         * match the connection's security index, ignore the packet */
        if (np->header.securityIndex != conn->securityIndex) {
-#ifdef RX_ENABLE_LOCKS
            MUTEX_EXIT(&call->lock);
-#endif
             MUTEX_ENTER(&rx_refcnt_mutex);
            conn->refCount--;
             MUTEX_EXIT(&rx_refcnt_mutex);
@@ -3650,6 +3662,33 @@ TooLow(struct rx_packet *ap, struct rx_call *acall)
 }
 #endif /* KERNEL */
 
+/*!
+ * Clear the attach wait flag on a connection and proceed.
+ *
+ * Any processing waiting for a connection to be attached should be
+ * unblocked. We clear the flag and do any other needed tasks.
+ *
+ * @param[in] conn
+ *      the conn to unmark waiting for attach
+ *
+ * @pre conn's conn_data_lock must be locked before calling this function
+ *
+ */
+static void
+rxi_ConnClearAttachWait(struct rx_connection *conn)
+{
+    /* Indicate that rxi_CheckReachEvent is no longer running by
+     * clearing the flag.  Must be atomic under conn_data_lock to
+     * avoid a new call slipping by: rxi_CheckConnReach holds
+     * conn_data_lock while checking RX_CONN_ATTACHWAIT.
+     */
+    conn->flags &= ~RX_CONN_ATTACHWAIT;
+    if (conn->flags & RX_CONN_NAT_PING) {
+       conn->flags &= ~RX_CONN_NAT_PING;
+       rxi_ScheduleNatKeepAliveEvent(conn);
+    }
+}
+
 static void
 rxi_CheckReachEvent(struct rxevent *event, void *arg1, void *arg2)
 {
@@ -3681,12 +3720,7 @@ rxi_CheckReachEvent(struct rxevent *event, void *arg1, void *arg2)
                }
            }
            if (!call)
-               /* Indicate that rxi_CheckReachEvent is no longer running by
-                * clearing the flag.  Must be atomic under conn_data_lock to
-                * avoid a new call slipping by: rxi_CheckConnReach holds
-                * conn_data_lock while checking RX_CONN_ATTACHWAIT.
-                */
-               conn->flags &= ~RX_CONN_ATTACHWAIT;
+               rxi_ConnClearAttachWait(conn);
            MUTEX_EXIT(&conn->conn_data_lock);
            MUTEX_EXIT(&conn->conn_call_lock);
        }
@@ -3786,7 +3820,6 @@ rxi_ReceiveDataPacket(struct rx_call *call,
     afs_uint32 serial=0, flags=0;
     int isFirst;
     struct rx_packet *tnp;
-    struct clock when, now;
     if (rx_stats_active)
         rx_atomic_inc(&rx_stats.dataPacketsRead);
 
@@ -3803,22 +3836,11 @@ rxi_ReceiveDataPacket(struct rx_call *call,
        call->rprev = np->header.serial;
        rxi_calltrace(RX_TRACE_DROP, call);
        dpf(("packet %"AFS_PTR_FMT" dropped on receipt - quota problems\n", np));
-       if (rxi_doreclaim)
-           rxi_ClearReceiveQueue(call);
-       clock_GetTime(&now);
-       when = now;
-       clock_Add(&when, &rx_softAckDelay);
-       if (!call->delayedAckEvent
-           || clock_Gt(&call->delayedAckEvent->eventTime, &when)) {
-           rxevent_Cancel(call->delayedAckEvent, call,
-                          RX_CALL_REFCOUNT_DELAY);
-            MUTEX_ENTER(&rx_refcnt_mutex);
-           CALL_HOLD(call, RX_CALL_REFCOUNT_DELAY);
-            MUTEX_EXIT(&rx_refcnt_mutex);
+        /* We used to clear the receive queue here, in an attempt to free
+         * packets. However this is unsafe if the queue has received a
+         * soft ACK for the final packet */
+       rxi_PostDelayedAckEvent(call, &rx_softAckDelay);
 
-           call->delayedAckEvent =
-               rxevent_PostNow(&when, &now, rxi_SendDelayedAck, call, 0);
-       }
        /* we've damaged this call already, might as well do it in. */
        return np;
     }
@@ -4104,23 +4126,10 @@ rxi_ReceiveDataPacket(struct rx_call *call,
        rxevent_Cancel(call->delayedAckEvent, call, RX_CALL_REFCOUNT_DELAY);
        np = rxi_SendAck(call, np, serial, RX_ACK_IDLE, istack);
     } else if (call->nSoftAcks) {
-       clock_GetTime(&now);
-       when = now;
-       if (haveLast && !(flags & RX_CLIENT_INITIATED)) {
-           clock_Add(&when, &rx_lastAckDelay);
-       } else {
-           clock_Add(&when, &rx_softAckDelay);
-       }
-       if (!call->delayedAckEvent
-           || clock_Gt(&call->delayedAckEvent->eventTime, &when)) {
-           rxevent_Cancel(call->delayedAckEvent, call,
-                          RX_CALL_REFCOUNT_DELAY);
-            MUTEX_ENTER(&rx_refcnt_mutex);
-           CALL_HOLD(call, RX_CALL_REFCOUNT_DELAY);
-            MUTEX_EXIT(&rx_refcnt_mutex);
-           call->delayedAckEvent =
-               rxevent_PostNow(&when, &now, rxi_SendDelayedAck, call, 0);
-       }
+       if (haveLast && !(flags & RX_CLIENT_INITIATED))
+           rxi_PostDelayedAckEvent(call, &rx_lastAckDelay);
+       else
+           rxi_PostDelayedAckEvent(call, &rx_softAckDelay);
     } else if (call->flags & RX_CALL_RECEIVE_DONE) {
        rxevent_Cancel(call->delayedAckEvent, call, RX_CALL_REFCOUNT_DELAY);
     }
@@ -4128,10 +4137,6 @@ rxi_ReceiveDataPacket(struct rx_call *call,
     return np;
 }
 
-#ifdef ADAPT_WINDOW
-static void rxi_ComputeRate();
-#endif
-
 static void
 rxi_UpdatePeerReach(struct rx_connection *conn, struct rx_call *acall)
 {
@@ -4145,7 +4150,7 @@ rxi_UpdatePeerReach(struct rx_connection *conn, struct rx_call *acall)
     if (conn->flags & RX_CONN_ATTACHWAIT) {
        int i;
 
-       conn->flags &= ~RX_CONN_ATTACHWAIT;
+       rxi_ConnClearAttachWait(conn);
        MUTEX_EXIT(&conn->conn_data_lock);
 
        for (i = 0; i < RX_MAXCALLS; i++) {
@@ -4377,10 +4382,6 @@ rxi_ReceiveAckPacket(struct rx_call *call, struct rx_packet *np,
            rxi_ComputeRoundTripTime(tp, ap, call, peer, &now);
        }
 
-#ifdef ADAPT_WINDOW
-       rxi_ComputeRate(call->conn->peer, call, p, np, ap->reason);
-#endif
-
 #ifdef AFS_GLOBAL_RXLOCK_KERNEL
        /* XXX Hack. Because we have to release the global rx lock when sending
         * packets (osi_NetSend) we drop all acks while we're traversing the tq
@@ -4413,13 +4414,6 @@ rxi_ReceiveAckPacket(struct rx_call *call, struct rx_packet *np,
        tp = next;
     }
 
-#ifdef ADAPT_WINDOW
-    /* Give rate detector a chance to respond to ping requests */
-    if (ap->reason == RX_ACK_PING_RESPONSE) {
-       rxi_ComputeRate(peer, call, 0, np, ap->reason);
-    }
-#endif
-
     /* N.B. we don't turn off any timers here.  They'll go away by themselves, anyway */
 
     /* Second section of the queue - packets for which we are receiving
@@ -4447,9 +4441,6 @@ rxi_ReceiveAckPacket(struct rx_call *call, struct rx_packet *np,
                newAckCount++;
                tp->flags |= RX_PKTFLAG_ACKED;
                rxi_ComputeRoundTripTime(tp, ap, call, peer, &now);
-#ifdef ADAPT_WINDOW
-               rxi_ComputeRate(call->conn->peer, call, tp, np, ap->reason);
-#endif
            }
            if (missing) {
                nNacked++;
@@ -5168,7 +5159,7 @@ rxi_ConnectionError(struct rx_connection *conn,
        if (conn->checkReachEvent) {
            rxevent_Cancel(conn->checkReachEvent, (struct rx_call *)0, 0);
            conn->checkReachEvent = 0;
-           conn->flags &= ~RX_CONN_ATTACHWAIT;
+           conn->flags &= ~(RX_CONN_ATTACHWAIT|RX_CONN_NAT_PING);
             MUTEX_ENTER(&rx_refcnt_mutex);
            conn->refCount--;
             MUTEX_EXIT(&rx_refcnt_mutex);
@@ -5229,9 +5220,6 @@ rxi_CallError(struct rx_call *call, afs_int32 error)
  * nFree are not reset, since these fields are manipulated by
  * unprotected macros, and may only be reset by non-interrupting code.
  */
-#ifdef ADAPT_WINDOW
-/* this code requires that call->conn be set properly as a pre-condition. */
-#endif /* ADAPT_WINDOW */
 
 void
 rxi_ResetCall(struct rx_call *call, int newcall)
@@ -5422,7 +5410,7 @@ rxi_SendAck(struct rx_call *call,
     struct rx_packet *rqp;
     struct rx_packet *nxp;     /* For queue_Scan */
     struct rx_packet *p;
-    u_char offset;
+    u_char offset = 0;
     afs_int32 templ;
     afs_uint32 padbytes = 0;
 #ifdef RX_ENABLE_TSFPQ
@@ -5530,37 +5518,38 @@ rxi_SendAck(struct rx_call *call,
     if ((call->flags & RX_CALL_ACKALL_SENT) &&
         !queue_IsEmpty(&call->rq)) {
         ap->firstPacket = htonl(queue_Last(&call->rq, rx_packet)->header.seq + 1);
-    } else
+    } else {
         ap->firstPacket = htonl(call->rnext);
 
-    ap->previousPacket = htonl(call->rprev);   /* Previous packet received */
+       ap->previousPacket = htonl(call->rprev);        /* Previous packet received */
 
-    /* No fear of running out of ack packet here because there can only be at most
-     * one window full of unacknowledged packets.  The window size must be constrained
-     * to be less than the maximum ack size, of course.  Also, an ack should always
-     * fit into a single packet -- it should not ever be fragmented.  */
-    for (offset = 0, queue_Scan(&call->rq, rqp, nxp, rx_packet)) {
-       if (!rqp || !call->rq.next
-           || (rqp->header.seq > (call->rnext + call->rwind))) {
+       /* No fear of running out of ack packet here because there can only be at most
+        * one window full of unacknowledged packets.  The window size must be constrained
+        * to be less than the maximum ack size, of course.  Also, an ack should always
+        * fit into a single packet -- it should not ever be fragmented.  */
+       for (offset = 0, queue_Scan(&call->rq, rqp, nxp, rx_packet)) {
+           if (!rqp || !call->rq.next
+               || (rqp->header.seq > (call->rnext + call->rwind))) {
 #ifndef RX_ENABLE_TSFPQ
-           if (!optionalPacket)
-               rxi_FreePacket(p);
+               if (!optionalPacket)
+                   rxi_FreePacket(p);
 #endif
-           rxi_CallError(call, RX_CALL_DEAD);
-           return optionalPacket;
-       }
+               rxi_CallError(call, RX_CALL_DEAD);
+               return optionalPacket;
+           }
 
-       while (rqp->header.seq > call->rnext + offset)
-           ap->acks[offset++] = RX_ACK_TYPE_NACK;
-       ap->acks[offset++] = RX_ACK_TYPE_ACK;
+           while (rqp->header.seq > call->rnext + offset)
+               ap->acks[offset++] = RX_ACK_TYPE_NACK;
+           ap->acks[offset++] = RX_ACK_TYPE_ACK;
 
-       if ((offset > (u_char) rx_maxReceiveWindow) || (offset > call->rwind)) {
+           if ((offset > (u_char) rx_maxReceiveWindow) || (offset > call->rwind)) {
 #ifndef RX_ENABLE_TSFPQ
-           if (!optionalPacket)
-               rxi_FreePacket(p);
+               if (!optionalPacket)
+                   rxi_FreePacket(p);
 #endif
-           rxi_CallError(call, RX_CALL_DEAD);
-           return optionalPacket;
+               rxi_CallError(call, RX_CALL_DEAD);
+               return optionalPacket;
+           }
        }
     }
 
@@ -5595,9 +5584,6 @@ rxi_SendAck(struct rx_call *call,
     p->header.flags = RX_SLOW_START_OK;
     if (reason == RX_ACK_PING) {
        p->header.flags |= RX_REQUEST_ACK;
-#ifdef ADAPT_WINDOW
-       clock_GetTime(&call->pingRequestTime);
-#endif
        if (padbytes) {
            p->length = padbytes +
                rx_AckDataSize(call->rwind) + 4 * sizeof(afs_int32);
@@ -6224,7 +6210,7 @@ rxi_CheckCall(struct rx_call *call)
     if (now > (call->lastReceiveTime + deadTime)) {
        if (call->state == RX_STATE_ACTIVE) {
 #ifdef ADAPT_PMTU
-#if defined(KERNEL) && defined(AFS_SUN57_ENV)
+#if defined(KERNEL) && defined(AFS_SUN5_ENV)
            ire_t *ire;
 #if defined(AFS_SUN510_ENV) && defined(GLOBAL_NETSTACKID)
            netstack_t *ns =  netstack_find_by_stackid(GLOBAL_NETSTACKID);
@@ -6422,8 +6408,12 @@ rx_SetConnSecondsUntilNatPing(struct rx_connection *conn, afs_int32 seconds)
 {
     MUTEX_ENTER(&conn->conn_data_lock);
     conn->secondsUntilNatPing = seconds;
-    if (seconds != 0)
-       rxi_ScheduleNatKeepAliveEvent(conn);
+    if (seconds != 0) {
+       if (!(conn->flags & RX_CONN_ATTACHWAIT))
+           rxi_ScheduleNatKeepAliveEvent(conn);
+       else
+           conn->flags |= RX_CONN_NAT_PING;
+    }
     MUTEX_EXIT(&conn->conn_data_lock);
 }
 
@@ -6431,7 +6421,11 @@ void
 rxi_NatKeepAliveOn(struct rx_connection *conn)
 {
     MUTEX_ENTER(&conn->conn_data_lock);
-    rxi_ScheduleNatKeepAliveEvent(conn);
+    /* if it's already attached */
+    if (!(conn->flags & RX_CONN_ATTACHWAIT))
+       rxi_ScheduleNatKeepAliveEvent(conn);
+    else
+       conn->flags |= RX_CONN_NAT_PING;
     MUTEX_EXIT(&conn->conn_data_lock);
 }
 
@@ -7102,160 +7096,6 @@ rxs_Release(struct rx_securityClass *aobj)
     return RXS_Close(aobj);
 }
 
-#ifdef ADAPT_WINDOW
-#define        RXRATE_PKT_OH   (RX_HEADER_SIZE + RX_IPUDP_SIZE)
-#define        RXRATE_SMALL_PKT    (RXRATE_PKT_OH + sizeof(struct rx_ackPacket))
-#define        RXRATE_AVG_SMALL_PKT    (RXRATE_PKT_OH + (sizeof(struct rx_ackPacket)/2))
-#define        RXRATE_LARGE_PKT    (RXRATE_SMALL_PKT + 256)
-
-/* Adjust our estimate of the transmission rate to this peer, given
- * that the packet p was just acked. We can adjust peer->timeout and
- * call->twind. Pragmatically, this is called
- * only with packets of maximal length.
- * Called with peer and call locked.
- */
-
-static void
-rxi_ComputeRate(struct rx_peer *peer, struct rx_call *call,
-               struct rx_packet *p, struct rx_packet *ackp, u_char ackReason)
-{
-    afs_int32 xferSize, xferMs;
-    afs_int32 minTime;
-    struct clock newTO;
-
-    /* Count down packets */
-    if (peer->rateFlag > 0)
-       peer->rateFlag--;
-    /* Do nothing until we're enabled */
-    if (peer->rateFlag != 0)
-       return;
-    if (!call->conn)
-       return;
-
-    /* Count only when the ack seems legitimate */
-    switch (ackReason) {
-    case RX_ACK_REQUESTED:
-       xferSize =
-           p->length + RX_HEADER_SIZE + call->conn->securityMaxTrailerSize;
-       xferMs = call->rtt;
-       break;
-
-    case RX_ACK_PING_RESPONSE:
-       if (p)                  /* want the response to ping-request, not data send */
-           return;
-       clock_GetTime(&newTO);
-       if (clock_Gt(&newTO, &call->pingRequestTime)) {
-           clock_Sub(&newTO, &call->pingRequestTime);
-           xferMs = (newTO.sec * 1000) + (newTO.usec / 1000);
-       } else {
-           return;
-       }
-       xferSize = rx_AckDataSize(rx_maxSendWindow) + RX_HEADER_SIZE;
-       break;
-
-    default:
-       return;
-    }
-
-    dpf(("CONG peer %lx/%u: sample (%s) size %ld, %ld ms (to %d.%06d, rtt %u, ps %u)\n",
-          ntohl(peer->host), ntohs(peer->port), (ackReason == RX_ACK_REQUESTED ? "dataack" : "pingack"),
-          xferSize, xferMs, peer->timeout.sec, peer->timeout.usec, peer->smRtt, peer->ifMTU));
-
-    /* Track only packets that are big enough. */
-    if ((p->length + RX_HEADER_SIZE + call->conn->securityMaxTrailerSize) <
-       peer->ifMTU)
-       return;
-
-    /* absorb RTT data (in milliseconds) for these big packets */
-    if (peer->smRtt == 0) {
-       peer->smRtt = xferMs;
-    } else {
-       peer->smRtt = ((peer->smRtt * 15) + xferMs + 4) >> 4;
-       if (!peer->smRtt)
-           peer->smRtt = 1;
-    }
-
-    if (peer->countDown) {
-       peer->countDown--;
-       return;
-    }
-    peer->countDown = 10;      /* recalculate only every so often */
-
-    /* In practice, we can measure only the RTT for full packets,
-     * because of the way Rx acks the data that it receives.  (If it's
-     * smaller than a full packet, it often gets implicitly acked
-     * either by the call response (from a server) or by the next call
-     * (from a client), and either case confuses transmission times
-     * with processing times.)  Therefore, replace the above
-     * more-sophisticated processing with a simpler version, where the
-     * smoothed RTT is kept for full-size packets, and the time to
-     * transmit a windowful of full-size packets is simply RTT *
-     * windowSize. Again, we take two steps:
-     - ensure the timeout is large enough for a single packet's RTT;
-     - ensure that the window is small enough to fit in the desired timeout.*/
-
-    /* First, the timeout check. */
-    minTime = peer->smRtt;
-    /* Get a reasonable estimate for a timeout period */
-    minTime += minTime;
-    newTO.sec = minTime / 1000;
-    newTO.usec = (minTime - (newTO.sec * 1000)) * 1000;
-
-    /* Increase the timeout period so that we can always do at least
-     * one packet exchange */
-    if (clock_Gt(&newTO, &peer->timeout)) {
-
-       dpf(("CONG peer %lx/%u: timeout %d.%06d ==> %ld.%06d (rtt %u)\n",
-              ntohl(peer->host), ntohs(peer->port), peer->timeout.sec, peer->timeout.usec,
-              newTO.sec, newTO.usec, peer->smRtt));
-
-       peer->timeout = newTO;
-    }
-
-    /* Now, get an estimate for the transmit window size. */
-    minTime = peer->timeout.sec * 1000 + (peer->timeout.usec / 1000);
-    /* Now, convert to the number of full packets that could fit in a
-     * reasonable fraction of that interval */
-    minTime /= (peer->smRtt << 1);
-    minTime = MAX(minTime, rx_minPeerTimeout);
-    xferSize = minTime;                /* (make a copy) */
-
-    /* Now clamp the size to reasonable bounds. */
-    if (minTime <= 1)
-       minTime = 1;
-    else if (minTime > rx_maxSendWindow)
-       minTime = rx_maxSendWindow;
-/*    if (minTime != peer->maxWindow) {
-      dpf(("CONG peer %lx/%u: windowsize %lu ==> %lu (to %lu.%06lu, rtt %u)\n",
-            ntohl(peer->host), ntohs(peer->port), peer->maxWindow, minTime,
-            peer->timeout.sec, peer->timeout.usec, peer->smRtt));
-      peer->maxWindow = minTime;
-       elide... call->twind = minTime;
-    }
-*/
-
-    /* Cut back on the peer timeout if it had earlier grown unreasonably.
-     * Discern this by calculating the timeout necessary for rx_Window
-     * packets. */
-    if ((xferSize > rx_maxSendWindow) && (peer->timeout.sec >= 3)) {
-       /* calculate estimate for transmission interval in milliseconds */
-       minTime = rx_maxSendWindow * peer->smRtt;
-       if (minTime < 1000) {
-           dpf(("CONG peer %lx/%u: cut TO %d.%06d by 0.5 (rtt %u)\n",
-                ntohl(peer->host), ntohs(peer->port), peer->timeout.sec,
-                peer->timeout.usec, peer->smRtt));
-
-           newTO.sec = 0;      /* cut back on timeout by half a second */
-           newTO.usec = 500000;
-           clock_Sub(&peer->timeout, &newTO);
-       }
-    }
-
-    return;
-}                              /* end of rxi_ComputeRate */
-#endif /* ADAPT_WINDOW */
-
-
 void
 rxi_DebugInit(void)
 {
@@ -7828,7 +7668,6 @@ rx_GetServerPeers(osi_socket socket, afs_uint32 remoteAddr,
        peer->reSends = ntohl(peer->reSends);
        peer->inPacketSkew = ntohl(peer->inPacketSkew);
        peer->outPacketSkew = ntohl(peer->outPacketSkew);
-       peer->rateFlag = ntohl(peer->rateFlag);
        peer->natMTU = ntohs(peer->natMTU);
        peer->maxMTU = ntohs(peer->maxMTU);
        peer->maxDgramPackets = ntohs(peer->maxDgramPackets);
@@ -7887,7 +7726,6 @@ rx_GetLocalPeers(afs_uint32 peerHost, afs_uint16 peerPort,
                peerStats->reSends = tp->reSends;
                peerStats->inPacketSkew = tp->inPacketSkew;
                peerStats->outPacketSkew = tp->outPacketSkew;
-               peerStats->rateFlag = tp->rateFlag;
                peerStats->natMTU = tp->natMTU;
                peerStats->maxMTU = tp->maxMTU;
                peerStats->maxDgramPackets = tp->maxDgramPackets;