rx: Make statistics interface use Atomics
[openafs.git] / src / rx / rx_globals.h
index 2ebeea3..5e746b5 100644 (file)
@@ -1,7 +1,7 @@
 /*
  * Copyright 2000, International Business Machines Corporation and others.
  * All Rights Reserved.
- * 
+ *
  * This software has been released under the terms of the IBM Public
  * License.  For details, see the LICENSE file in the top-level source
  * directory or online at http://www.openafs.org/dl/license10.html
 #define RX_STATS_INTERLOCKED 1
 #if defined(AFS_PTHREAD_ENV)
 #define EXT __declspec(dllimport) extern
-#else
+#else /* AFS_PTHREAD_ENV */
 #define        EXT extern
-#endif
-#define EXT2 __declspec(dllimport) extern
-#else
-#define EXT2 extern
+#endif /* AFS_PTHREAD_ENV */
+#else /* AFS_NT40_ENV */
 #define EXT extern
-#endif
+#endif /* AFS_NT40_ENV */
 #endif /* !GLOBALSINIT */
 
 /* Basic socket for client requests; other sockets (for receiving server requests) are in the service structures */
@@ -66,16 +64,16 @@ EXT struct clock rx_hardAckDelay;
  * Normally we wait and send a hard ack when the receiver consumes the packet */
 EXT struct clock rx_softAckDelay;
 
-/* Variable to allow introduction of network unreliability */
-#ifdef RXDEBUG
+#if defined(RXDEBUG) || defined(AFS_NT40_ENV)
+/* Variable to allow introduction of network unreliability; exported from libafsrpc */
 EXT int rx_intentionallyDroppedPacketsPer100 GLOBALSINIT(0);   /* Dropped on Send */
 EXT int rx_intentionallyDroppedOnReadPer100  GLOBALSINIT(0);   /* Dropped on Read */
 #endif
 
 /* extra packets to add to the quota */
 EXT int rx_extraQuota GLOBALSINIT(0);
-/* extra packets to alloc (2 windows by deflt) */
-EXT int rx_extraPackets GLOBALSINIT(32);
+/* extra packets to alloc (2 * maxWindowSize by default) */
+EXT int rx_extraPackets GLOBALSINIT(256);
 
 EXT int rx_stackSize GLOBALSINIT(RX_DEFAULT_STACK_SIZE);
 
@@ -109,7 +107,7 @@ void  rx_SetUdpBufSize(int x);
 /*
  * Variables to control RX overload management. When the number of calls
  * waiting for a thread exceed the threshold, new calls are aborted
- * with the busy error. 
+ * with the busy error.
  */
 EXT int rx_BusyThreshold GLOBALSINIT(-1);      /* default is disabled */
 EXT int rx_BusyError GLOBALSINIT(-1);
@@ -123,17 +121,19 @@ EXT int rx_BusyError GLOBALSINIT(-1);
 #define        RX_REAP_TIME    60      /* Check for tossable connections every 60 seconds */
 #endif
 
-#define RX_FAST_ACK_RATE 1     /* as of 3.4, ask for an ack every 
+#define RX_FAST_ACK_RATE 1     /* as of 3.4, ask for an ack every
                                 * other packet. */
 
+EXT int rx_minPeerTimeout GLOBALSINIT(2); /* in milliseconds */
 EXT int rx_minWindow GLOBALSINIT(1);
+EXT int rx_maxWindow GLOBALSINIT(RX_MAXACKS);   /* must ack what we receive */
 EXT int rx_initReceiveWindow GLOBALSINIT(16);  /* how much to accept */
-EXT int rx_maxReceiveWindow GLOBALSINIT(64);   /* how much to accept */
+EXT int rx_maxReceiveWindow GLOBALSINIT(32);   /* how much to accept */
 EXT int rx_initSendWindow GLOBALSINIT(16);
-EXT int rx_maxSendWindow GLOBALSINIT(64);
+EXT int rx_maxSendWindow GLOBALSINIT(32);
 EXT int rx_nackThreshold GLOBALSINIT(3);       /* Number NACKS to trigger congestion recovery */
 EXT int rx_nDgramThreshold GLOBALSINIT(4);     /* Number of packets before increasing
-                                        * packets per datagram */
+                                                 * packets per datagram */
 #define RX_MAX_FRAGS 4
 EXT int rxi_nSendFrags GLOBALSINIT(RX_MAX_FRAGS);      /* max fragments in a datagram */
 EXT int rxi_nRecvFrags GLOBALSINIT(RX_MAX_FRAGS);
@@ -150,8 +150,6 @@ EXT int rxi_SoftAckRate GLOBALSINIT(RX_FAST_ACK_RATE);
    send a soft ack, immediately followed by a hard ack. */
 EXT int rxi_HardAckRate GLOBALSINIT(RX_FAST_ACK_RATE + 1);
 
-/* EXT int rx_maxWindow GLOBALSINIT(15);   Temporary HACK:  transmit/receive window */
-
 /* If window sizes become very variable (in terms of #packets), be
  * sure that the sender can get back a hard acks without having to wait for
  * some kind of timer event first (like a keep-alive, for instance).
@@ -160,7 +158,7 @@ EXT int rxi_HardAckRate GLOBALSINIT(RX_FAST_ACK_RATE + 1);
 
 #define        ACKHACK(p,r) { if (((p)->header.seq & (rxi_SoftAckRate))==0) (p)->header.flags |= RX_REQUEST_ACK; }
 
-EXT int rx_nPackets GLOBALSINIT(100);  /* obsolete; use rx_extraPackets now */
+EXT int rx_nPackets GLOBALSINIT(0);    /* preallocate packets with rx_extraPackets */
 
 /*
  * pthreads thread-specific rx info support
@@ -176,7 +174,7 @@ typedef struct rx_ts_info_t {
         struct rx_queue queue;
         int len;                /* local queue length */
         int delta;              /* number of new packets alloc'd locally since last sync w/ global queue */
-        
+
         /* FPQ stats */
         int checkin_ops;
         int checkin_xfer;
@@ -209,6 +207,7 @@ EXT struct rx_ts_info_t * rx_ts_info_init(void);   /* init function for thread-s
  * in which the first tier is thread-specific, and the second tier is
  * a global free packet queue */
 EXT struct rx_queue rx_freePacketQueue;
+#ifdef RX_TRACK_PACKETS
 #define RX_FPQ_MARK_FREE(p) \
     do { \
         if ((p)->flags & RX_PKTFLAG_FREE) \
@@ -225,6 +224,18 @@ EXT struct rx_queue rx_freePacketQueue;
         (p)->flags = 0;                /* clear RX_PKTFLAG_FREE, initialize the rest */ \
         (p)->header.flags = 0; \
     } while(0)
+#else
+#define RX_FPQ_MARK_FREE(p) \
+    do { \
+        (p)->length = 0; \
+        (p)->niovecs = 0; \
+    } while(0)
+#define RX_FPQ_MARK_USED(p) \
+    do { \
+        (p)->flags = 0;                /* clear RX_PKTFLAG_FREE, initialize the rest */ \
+        (p)->header.flags = 0; \
+    } while(0)
+#endif
 #define RX_PACKET_IOV_INIT(p) \
     do { \
        (p)->wirevec[0].iov_base = (char *)((p)->wirehead); \
@@ -251,9 +262,6 @@ EXT afs_kmutex_t rx_freePktQ_lock;
 EXT int rx_TSFPQGlobSize GLOBALSINIT(3); /* number of packets to transfer between global and local queues in one op */
 EXT int rx_TSFPQLocalMax GLOBALSINIT(15); /* max number of packets on local FPQ before returning a glob to the global pool */
 EXT int rx_TSFPQMaxProcs GLOBALSINIT(0); /* max number of threads expected */
-EXT void rxi_MorePacketsTSFPQ(int apackets, int flush_global, int num_keep_local); /* more flexible packet alloc function */
-EXT void rxi_AdjustLocalPacketsTSFPQ(int num_keep_local, int allow_overcommit); /* adjust thread-local queue length, for places where we know how many packets we will need a priori */
-EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to global queue */
 #define RX_TS_FPQ_FLUSH_GLOBAL 1
 #define RX_TS_FPQ_PULL_GLOBAL 1
 #define RX_TS_FPQ_ALLOW_OVERCOMMIT 1
@@ -264,7 +272,7 @@ EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to
  * also set minimum values of 15 and 3.  Given the algorithms, the number of buffers allocated
  * by each call to AllocPacketBufs() will increase indefinitely without a cap on the transfer
  * glob size.  A cap of 64 is selected because that will produce an allocation of greater than
- * three times that amount which is greater than half of ncalls * maxReceiveWindow. 
+ * three times that amount which is greater than half of ncalls * maxReceiveWindow.
  * Must be called under rx_packets_mutex.
  */
 #define RX_TS_FPQ_COMPUTE_LIMITS \
@@ -277,14 +285,14 @@ EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to
         rx_TSFPQLocalMax = newmax; \
         rx_TSFPQGlobSize = newglob; \
     } while(0)
-/* record the number of packets allocated by this thread 
+/* record the number of packets allocated by this thread
  * and stored in the thread local queue */
 #define RX_TS_FPQ_LOCAL_ALLOC(rx_ts_info_p,num_alloc) \
     do { \
         (rx_ts_info_p)->_FPQ.lalloc_ops++; \
         (rx_ts_info_p)->_FPQ.lalloc_xfer += num_alloc; \
     } while (0)
-/* record the number of packets allocated by this thread 
+/* record the number of packets allocated by this thread
  * and stored in the global queue */
 #define RX_TS_FPQ_GLOBAL_ALLOC(rx_ts_info_p,num_alloc) \
     do { \
@@ -402,8 +410,8 @@ EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to
         (rx_ts_info_p)->_FPQ.checkin_xfer++; \
     } while(0)
 /* check multiple packets into the thread-specific free packet queue */
-/* num_transfer must equal length of (q); it is not a means of checking 
- * in part of (q).  passing num_transfer just saves us instructions 
+/* num_transfer must equal length of (q); it is not a means of checking
+ * in part of (q).  passing num_transfer just saves us instructions
  * since caller already knows length of (q) for other reasons */
 #define RX_TS_FPQ_QCHECKIN(rx_ts_info_p,num_transfer,q) \
     do { \
@@ -421,8 +429,6 @@ EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to
 /* Number of free packets */
 EXT int rx_nFreePackets GLOBALSINIT(0);
 EXT int rxi_NeedMorePackets GLOBALSINIT(0);
-EXT int rx_nWaiting GLOBALSINIT(0);
-EXT int rx_nWaited GLOBALSINIT(0);
 EXT int rx_packetReclaims GLOBALSINIT(0);
 
 /* largest packet which we can safely receive, initialized to AFS 3.2 value
@@ -515,8 +521,6 @@ EXT afs_kcondvar_t rx_waitingForPackets_cv;
 #endif
 EXT char rx_waitingForPackets; /* Processes set and wait on this variable when waiting for packet buffers */
 
-EXT struct rx_statistics rx_stats;
-
 EXT struct rx_peer **rx_peerHashTable;
 EXT struct rx_connection **rx_connHashTable;
 EXT struct rx_connection *rx_connCleanup_list GLOBALSINIT(0);
@@ -533,14 +537,19 @@ EXT afs_kmutex_t rx_connHashTable_lock;
 /* Forward definitions of internal procedures */
 #define        rxi_ChallengeOff(conn)  rxevent_Cancel((conn)->challengeEvent, (struct rx_call*)0, 0);
 #define rxi_KeepAliveOff(call) rxevent_Cancel((call)->keepAliveEvent, call, RX_CALL_REFCOUNT_ALIVE)
+#define rxi_NatKeepAliveOff(conn) rxevent_Cancel((conn)->natKeepAliveEvent, (struct rx_call*)0, 0)
 
-#define rxi_AllocSecurityObject() (struct rx_securityClass *) rxi_Alloc(sizeof(struct rx_securityClass))
+#define rxi_AllocSecurityObject() rxi_Alloc(sizeof(struct rx_securityClass))
 #define        rxi_FreeSecurityObject(obj) rxi_Free(obj, sizeof(struct rx_securityClass))
-#define        rxi_AllocService()      (struct rx_service *) rxi_Alloc(sizeof(struct rx_service))
-#define        rxi_FreeService(obj)    rxi_Free(obj, sizeof(struct rx_service))
-#define        rxi_AllocPeer()         (struct rx_peer *) rxi_Alloc(sizeof(struct rx_peer))
+#define        rxi_AllocService()      rxi_Alloc(sizeof(struct rx_service))
+#define        rxi_FreeService(obj) \
+do { \
+    MUTEX_DESTROY(&(obj)->svc_data_lock);  \
+    rxi_Free((obj), sizeof(struct rx_service)); \
+} while (0)
+#define        rxi_AllocPeer()         rxi_Alloc(sizeof(struct rx_peer))
 #define        rxi_FreePeer(peer)      rxi_Free(peer, sizeof(struct rx_peer))
-#define        rxi_AllocConnection()   (struct rx_connection *) rxi_Alloc(sizeof(struct rx_connection))
+#define        rxi_AllocConnection()   rxi_Alloc(sizeof(struct rx_connection))
 #define rxi_FreeConnection(conn) (rxi_Free(conn, sizeof(struct rx_connection)))
 
 EXT afs_int32 rx_stats_active GLOBALSINIT(1);  /* boolean - rx statistics gathering */
@@ -558,18 +567,19 @@ EXT int rxdebug_active;
 #define dpf(args) do { if (rxdebug_active) rxi_DebugPrint args; } while (0)
 #else
 #ifdef DPF_FSLOG
+#include <afs/afsutil.h>
 #define dpf(args) FSLog args
 #else
 #define dpf(args) do { if (rx_debugFile) rxi_DebugPrint args; } while (0)
-#endif 
+#endif
 #endif
 #define rx_Log_event rxevent_debugFile
-
-EXT char *rx_packetTypes[RX_N_PACKET_TYPES] GLOBALSINIT(RX_PACKET_TYPES);      /* Strings defined in rx.h */
 #else
 #define dpf(args)
 #endif /* RXDEBUG */
 
+EXT char *rx_packetTypes[RX_N_PACKET_TYPES] GLOBALSINIT(RX_PACKET_TYPES);      /* Strings defined in rx.h */
+
 #ifndef KERNEL
 /*
  * Counter used to implement connection specific data
@@ -602,22 +612,18 @@ EXT int rxi_callAbortDelay GLOBALSINIT(3000);
 #if defined(AFS_PTHREAD_ENV)
 EXT int rxi_fcfs_thread_num GLOBALSINIT(0);
 EXT pthread_key_t rx_thread_id_key;
-/* keep track of pthread numbers - protected by rx_stats_mutex, 
- * except in rx_Init() before mutex exists! */
-EXT int rxi_pthread_hinum GLOBALSINIT(0);
 #else
 #define rxi_fcfs_thread_num (0)
 #endif
 
 #if defined(RX_ENABLE_LOCKS)
-EXT afs_kmutex_t rx_stats_mutex;       /* used to protect stats gathering */
 EXT afs_kmutex_t rx_waiting_mutex;     /* used to protect waiting counters */
 EXT afs_kmutex_t rx_quota_mutex;       /* used to protect quota counters */
 EXT afs_kmutex_t rx_pthread_mutex;     /* used to protect pthread counters */
 EXT afs_kmutex_t rx_packets_mutex;     /* used to protect packet counters */
 #endif
 
-EXT2 int rx_enable_stats GLOBALSINIT(0);
+EXT int rx_enable_stats GLOBALSINIT(0);
 
 /*
  * Set this flag to enable the listener thread to trade places with an idle