RX: Make rxi_Alloc return (void *)
[openafs.git] / src / rx / rx_globals.h
index 87ef987..85a6246 100644 (file)
@@ -1,7 +1,7 @@
 /*
  * Copyright 2000, International Business Machines Corporation and others.
  * All Rights Reserved.
- * 
+ *
  * This software has been released under the terms of the IBM Public
  * License.  For details, see the LICENSE file in the top-level source
  * directory or online at http://www.openafs.org/dl/license10.html
 #define RX_STATS_INTERLOCKED 1
 #if defined(AFS_PTHREAD_ENV)
 #define EXT __declspec(dllimport) extern
-#else
+#else /* AFS_PTHREAD_ENV */
 #define        EXT extern
-#endif
-#define EXT2 __declspec(dllimport) extern
-#else
-#define EXT2 extern
+#endif /* AFS_PTHREAD_ENV */
+#else /* AFS_NT40_ENV */
 #define EXT extern
-#endif
+#endif /* AFS_NT40_ENV */
 #endif /* !GLOBALSINIT */
 
 /* Basic socket for client requests; other sockets (for receiving server requests) are in the service structures */
@@ -74,8 +72,8 @@ EXT int rx_intentionallyDroppedOnReadPer100  GLOBALSINIT(0);  /* Dropped on Read
 
 /* extra packets to add to the quota */
 EXT int rx_extraQuota GLOBALSINIT(0);
-/* extra packets to alloc (2 windows by deflt) */
-EXT int rx_extraPackets GLOBALSINIT(32);
+/* extra packets to alloc (2 * maxWindowSize by default) */
+EXT int rx_extraPackets GLOBALSINIT(256);
 
 EXT int rx_stackSize GLOBALSINIT(RX_DEFAULT_STACK_SIZE);
 
@@ -102,16 +100,14 @@ EXT int rx_UdpBufSize GLOBALSINIT(64 * 1024);
 #ifdef AFS_NT40_ENV
 int   rx_GetMinUdpBufSize(void);
 void  rx_SetUdpBufSize(int x);
-void rx_SetMaxClonesPerConn(int x);
 #else
 #define rx_GetMinUdpBufSize()   (64*1024)
 #define rx_SetUdpBufSize(x)     (((x)>rx_GetMinUdpBufSize()) ? (rx_UdpBufSize = (x)):0)
-#define rx_SetMaxClonesPerConn(x)  (rx_max_clones_per_connection = x)
 #endif
 /*
  * Variables to control RX overload management. When the number of calls
  * waiting for a thread exceed the threshold, new calls are aborted
- * with the busy error. 
+ * with the busy error.
  */
 EXT int rx_BusyThreshold GLOBALSINIT(-1);      /* default is disabled */
 EXT int rx_BusyError GLOBALSINIT(-1);
@@ -125,17 +121,19 @@ EXT int rx_BusyError GLOBALSINIT(-1);
 #define        RX_REAP_TIME    60      /* Check for tossable connections every 60 seconds */
 #endif
 
-#define RX_FAST_ACK_RATE 1     /* as of 3.4, ask for an ack every 
+#define RX_FAST_ACK_RATE 1     /* as of 3.4, ask for an ack every
                                 * other packet. */
 
+EXT int rx_minPeerTimeout GLOBALSINIT(350); /* in milliseconds */
 EXT int rx_minWindow GLOBALSINIT(1);
+EXT int rx_maxWindow GLOBALSINIT(65535);        /* twind is u_short */
 EXT int rx_initReceiveWindow GLOBALSINIT(16);  /* how much to accept */
-EXT int rx_maxReceiveWindow GLOBALSINIT(64);   /* how much to accept */
+EXT int rx_maxReceiveWindow GLOBALSINIT(128);  /* how much to accept */
 EXT int rx_initSendWindow GLOBALSINIT(16);
-EXT int rx_maxSendWindow GLOBALSINIT(64);
+EXT int rx_maxSendWindow GLOBALSINIT(128);
 EXT int rx_nackThreshold GLOBALSINIT(3);       /* Number NACKS to trigger congestion recovery */
 EXT int rx_nDgramThreshold GLOBALSINIT(4);     /* Number of packets before increasing
-                                        * packets per datagram */
+                                                 * packets per datagram */
 #define RX_MAX_FRAGS 4
 EXT int rxi_nSendFrags GLOBALSINIT(RX_MAX_FRAGS);      /* max fragments in a datagram */
 EXT int rxi_nRecvFrags GLOBALSINIT(RX_MAX_FRAGS);
@@ -152,8 +150,6 @@ EXT int rxi_SoftAckRate GLOBALSINIT(RX_FAST_ACK_RATE);
    send a soft ack, immediately followed by a hard ack. */
 EXT int rxi_HardAckRate GLOBALSINIT(RX_FAST_ACK_RATE + 1);
 
-/* EXT int rx_maxWindow GLOBALSINIT(15);   Temporary HACK:  transmit/receive window */
-
 /* If window sizes become very variable (in terms of #packets), be
  * sure that the sender can get back a hard acks without having to wait for
  * some kind of timer event first (like a keep-alive, for instance).
@@ -162,7 +158,7 @@ EXT int rxi_HardAckRate GLOBALSINIT(RX_FAST_ACK_RATE + 1);
 
 #define        ACKHACK(p,r) { if (((p)->header.seq & (rxi_SoftAckRate))==0) (p)->header.flags |= RX_REQUEST_ACK; }
 
-EXT int rx_nPackets GLOBALSINIT(100);  /* obsolete; use rx_extraPackets now */
+EXT int rx_nPackets GLOBALSINIT(0);    /* preallocate packets with rx_extraPackets */
 
 /*
  * pthreads thread-specific rx info support
@@ -178,7 +174,7 @@ typedef struct rx_ts_info_t {
         struct rx_queue queue;
         int len;                /* local queue length */
         int delta;              /* number of new packets alloc'd locally since last sync w/ global queue */
-        
+
         /* FPQ stats */
         int checkin_ops;
         int checkin_xfer;
@@ -195,7 +191,7 @@ typedef struct rx_ts_info_t {
     } _FPQ;
     struct rx_packet * local_special_packet;
 } rx_ts_info_t;
-struct rx_ts_info_t * rx_ts_info_init(void);   /* init function for thread-specific data struct */
+EXT struct rx_ts_info_t * rx_ts_info_init(void);   /* init function for thread-specific data struct */
 #define RX_TS_INFO_GET(ts_info_p) \
     do { \
         ts_info_p = (struct rx_ts_info_t*)pthread_getspecific(rx_ts_info_key); \
@@ -211,6 +207,7 @@ struct rx_ts_info_t * rx_ts_info_init(void);   /* init function for thread-speci
  * in which the first tier is thread-specific, and the second tier is
  * a global free packet queue */
 EXT struct rx_queue rx_freePacketQueue;
+#ifdef RX_TRACK_PACKETS
 #define RX_FPQ_MARK_FREE(p) \
     do { \
         if ((p)->flags & RX_PKTFLAG_FREE) \
@@ -227,6 +224,18 @@ EXT struct rx_queue rx_freePacketQueue;
         (p)->flags = 0;                /* clear RX_PKTFLAG_FREE, initialize the rest */ \
         (p)->header.flags = 0; \
     } while(0)
+#else
+#define RX_FPQ_MARK_FREE(p) \
+    do { \
+        (p)->length = 0; \
+        (p)->niovecs = 0; \
+    } while(0)
+#define RX_FPQ_MARK_USED(p) \
+    do { \
+        (p)->flags = 0;                /* clear RX_PKTFLAG_FREE, initialize the rest */ \
+        (p)->header.flags = 0; \
+    } while(0)
+#endif
 #define RX_PACKET_IOV_INIT(p) \
     do { \
        (p)->wirevec[0].iov_base = (char *)((p)->wirehead); \
@@ -253,9 +262,9 @@ EXT afs_kmutex_t rx_freePktQ_lock;
 EXT int rx_TSFPQGlobSize GLOBALSINIT(3); /* number of packets to transfer between global and local queues in one op */
 EXT int rx_TSFPQLocalMax GLOBALSINIT(15); /* max number of packets on local FPQ before returning a glob to the global pool */
 EXT int rx_TSFPQMaxProcs GLOBALSINIT(0); /* max number of threads expected */
-void rxi_MorePacketsTSFPQ(int apackets, int flush_global, int num_keep_local); /* more flexible packet alloc function */
-void rxi_AdjustLocalPacketsTSFPQ(int num_keep_local, int allow_overcommit); /* adjust thread-local queue length, for places where we know how many packets we will need a priori */
-void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to global queue */
+EXT void rxi_MorePacketsTSFPQ(int apackets, int flush_global, int num_keep_local); /* more flexible packet alloc function */
+EXT void rxi_AdjustLocalPacketsTSFPQ(int num_keep_local, int allow_overcommit); /* adjust thread-local queue length, for places where we know how many packets we will need a priori */
+EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to global queue */
 #define RX_TS_FPQ_FLUSH_GLOBAL 1
 #define RX_TS_FPQ_PULL_GLOBAL 1
 #define RX_TS_FPQ_ALLOW_OVERCOMMIT 1
@@ -266,11 +275,12 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
  * also set minimum values of 15 and 3.  Given the algorithms, the number of buffers allocated
  * by each call to AllocPacketBufs() will increase indefinitely without a cap on the transfer
  * glob size.  A cap of 64 is selected because that will produce an allocation of greater than
- * three times that amount which is greater than half of ncalls * maxReceiveWindow. 
+ * three times that amount which is greater than half of ncalls * maxReceiveWindow.
+ * Must be called under rx_packets_mutex.
  */
 #define RX_TS_FPQ_COMPUTE_LIMITS \
     do { \
-        register int newmax, newglob; \
+        int newmax, newglob; \
         newmax = (rx_nPackets * 9) / (10 * rx_TSFPQMaxProcs); \
         newmax = (newmax >= 15) ? newmax : 15; \
         newglob = newmax / 5; \
@@ -278,14 +288,14 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
         rx_TSFPQLocalMax = newmax; \
         rx_TSFPQGlobSize = newglob; \
     } while(0)
-/* record the number of packets allocated by this thread 
+/* record the number of packets allocated by this thread
  * and stored in the thread local queue */
 #define RX_TS_FPQ_LOCAL_ALLOC(rx_ts_info_p,num_alloc) \
     do { \
         (rx_ts_info_p)->_FPQ.lalloc_ops++; \
         (rx_ts_info_p)->_FPQ.lalloc_xfer += num_alloc; \
     } while (0)
-/* record the number of packets allocated by this thread 
+/* record the number of packets allocated by this thread
  * and stored in the global queue */
 #define RX_TS_FPQ_GLOBAL_ALLOC(rx_ts_info_p,num_alloc) \
     do { \
@@ -296,9 +306,9 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
    rx_freePktQ_lock must be held. default is to reduce the queue size to 40% ofmax */
 #define RX_TS_FPQ_LTOG(rx_ts_info_p) \
     do { \
-        register int i; \
-        register struct rx_packet * p; \
-        register int tsize = (rx_ts_info_p)->_FPQ.len - rx_TSFPQLocalMax + 3 *  rx_TSFPQGlobSize; \
+        int i; \
+        struct rx_packet * p; \
+        int tsize = MIN((rx_ts_info_p)->_FPQ.len, (rx_ts_info_p)->_FPQ.len - rx_TSFPQLocalMax + 3 *  rx_TSFPQGlobSize); \
        if (tsize <= 0) break; \
         for (i=0,p=queue_Last(&((rx_ts_info_p)->_FPQ), rx_packet); \
              i < tsize; i++,p=queue_Prev(p, rx_packet)); \
@@ -308,17 +318,17 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
         (rx_ts_info_p)->_FPQ.ltog_ops++; \
         (rx_ts_info_p)->_FPQ.ltog_xfer += tsize; \
         if ((rx_ts_info_p)->_FPQ.delta) { \
-            MUTEX_ENTER(&rx_stats_mutex); \
+            MUTEX_ENTER(&rx_packets_mutex); \
             RX_TS_FPQ_COMPUTE_LIMITS; \
-            MUTEX_EXIT(&rx_stats_mutex); \
+            MUTEX_EXIT(&rx_packets_mutex); \
            (rx_ts_info_p)->_FPQ.delta = 0; \
         } \
     } while(0)
 /* same as above, except user has direct control over number to transfer */
 #define RX_TS_FPQ_LTOG2(rx_ts_info_p,num_transfer) \
     do { \
-        register int i; \
-        register struct rx_packet * p; \
+        int i; \
+        struct rx_packet * p; \
         if (num_transfer <= 0) break; \
         for (i=0,p=queue_Last(&((rx_ts_info_p)->_FPQ), rx_packet); \
             i < (num_transfer); i++,p=queue_Prev(p, rx_packet)); \
@@ -328,9 +338,9 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
         (rx_ts_info_p)->_FPQ.ltog_ops++; \
         (rx_ts_info_p)->_FPQ.ltog_xfer += (num_transfer); \
         if ((rx_ts_info_p)->_FPQ.delta) { \
-            MUTEX_ENTER(&rx_stats_mutex); \
+            MUTEX_ENTER(&rx_packets_mutex); \
             RX_TS_FPQ_COMPUTE_LIMITS; \
-            MUTEX_EXIT(&rx_stats_mutex); \
+            MUTEX_EXIT(&rx_packets_mutex); \
             (rx_ts_info_p)->_FPQ.delta = 0; \
         } \
     } while(0)
@@ -338,8 +348,8 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
    rx_freePktQ_lock must be held. */
 #define RX_TS_FPQ_GTOL(rx_ts_info_p) \
     do { \
-        register int i, tsize; \
-        register struct rx_packet * p; \
+        int i, tsize; \
+        struct rx_packet * p; \
         tsize = (rx_TSFPQGlobSize <= rx_nFreePackets) ? \
                  rx_TSFPQGlobSize : rx_nFreePackets; \
         for (i=0,p=queue_First(&rx_freePacketQueue, rx_packet); \
@@ -353,8 +363,8 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
 /* same as above, except user has direct control over number to transfer */
 #define RX_TS_FPQ_GTOL2(rx_ts_info_p,num_transfer) \
     do { \
-        register int i, tsize; \
-        register struct rx_packet * p; \
+        int i, tsize; \
+        struct rx_packet * p; \
         tsize = (num_transfer); \
         if (tsize > rx_nFreePackets) tsize = rx_nFreePackets; \
         for (i=0,p=queue_First(&rx_freePacketQueue, rx_packet); \
@@ -380,8 +390,8 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
  */
 #define RX_TS_FPQ_QCHECKOUT(rx_ts_info_p,num_transfer,q) \
     do { \
-        register int i; \
-        register struct rx_packet *p; \
+        int i; \
+        struct rx_packet *p; \
         if (num_transfer > (rx_ts_info_p)->_FPQ.len) num_transfer = (rx_ts_info_p)->_FPQ.len; \
         for (i=0, p=queue_First(&((rx_ts_info_p)->_FPQ), rx_packet); \
              i < num_transfer; \
@@ -403,12 +413,12 @@ void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to glob
         (rx_ts_info_p)->_FPQ.checkin_xfer++; \
     } while(0)
 /* check multiple packets into the thread-specific free packet queue */
-/* num_transfer must equal length of (q); it is not a means of checking 
- * in part of (q).  passing num_transfer just saves us instructions 
+/* num_transfer must equal length of (q); it is not a means of checking
+ * in part of (q).  passing num_transfer just saves us instructions
  * since caller already knows length of (q) for other reasons */
 #define RX_TS_FPQ_QCHECKIN(rx_ts_info_p,num_transfer,q) \
     do { \
-        register struct rx_packet *p, *np; \
+        struct rx_packet *p, *np; \
         for (queue_Scan((q), p, np, rx_packet)) { \
             RX_FPQ_MARK_FREE(p); \
         } \
@@ -534,35 +544,48 @@ EXT afs_kmutex_t rx_connHashTable_lock;
 /* Forward definitions of internal procedures */
 #define        rxi_ChallengeOff(conn)  rxevent_Cancel((conn)->challengeEvent, (struct rx_call*)0, 0);
 #define rxi_KeepAliveOff(call) rxevent_Cancel((call)->keepAliveEvent, call, RX_CALL_REFCOUNT_ALIVE)
+#define rxi_NatKeepAliveOff(conn) rxevent_Cancel((conn)->natKeepAliveEvent, (struct rx_call*)0, 0)
 
-#define rxi_AllocSecurityObject() (struct rx_securityClass *) rxi_Alloc(sizeof(struct rx_securityClass))
+#define rxi_AllocSecurityObject() rxi_Alloc(sizeof(struct rx_securityClass))
 #define        rxi_FreeSecurityObject(obj) rxi_Free(obj, sizeof(struct rx_securityClass))
-#define        rxi_AllocService()      (struct rx_service *) rxi_Alloc(sizeof(struct rx_service))
-#define        rxi_FreeService(obj)    rxi_Free(obj, sizeof(struct rx_service))
-#define        rxi_AllocPeer()         (struct rx_peer *) rxi_Alloc(sizeof(struct rx_peer))
+#define        rxi_AllocService()      rxi_Alloc(sizeof(struct rx_service))
+#define        rxi_FreeService(obj) \
+do { \
+    MUTEX_DESTROY(&(obj)->svc_data_lock);  \
+    rxi_Free((obj), sizeof(struct rx_service)); \
+} while (0)
+#define        rxi_AllocPeer()         rxi_Alloc(sizeof(struct rx_peer))
 #define        rxi_FreePeer(peer)      rxi_Free(peer, sizeof(struct rx_peer))
-#define        rxi_AllocConnection()   (struct rx_connection *) rxi_Alloc(sizeof(struct rx_connection))
+#define        rxi_AllocConnection()   rxi_Alloc(sizeof(struct rx_connection))
 #define rxi_FreeConnection(conn) (rxi_Free(conn, sizeof(struct rx_connection)))
 
-#ifdef RXDEBUG
+EXT afs_int32 rx_stats_active GLOBALSINIT(1);  /* boolean - rx statistics gathering */
+
+#ifndef KERNEL
 /* Some debugging stuff */
 EXT FILE *rx_debugFile;                /* Set by the user to a stdio file for debugging output */
 EXT FILE *rxevent_debugFile;   /* Set to an stdio descriptor for event logging to that file */
+#endif
 
+#ifdef RXDEBUG
 #define rx_Log rx_debugFile
 #ifdef AFS_NT40_ENV
 EXT int rxdebug_active;
 #define dpf(args) do { if (rxdebug_active) rxi_DebugPrint args; } while (0)
 #else
 #ifdef DPF_FSLOG
+#include <afs/afsutil.h>
 #define dpf(args) FSLog args
 #else
 #define dpf(args) do { if (rx_debugFile) rxi_DebugPrint args; } while (0)
-#endif 
+#endif
 #endif
 #define rx_Log_event rxevent_debugFile
 
 EXT char *rx_packetTypes[RX_N_PACKET_TYPES] GLOBALSINIT(RX_PACKET_TYPES);      /* Strings defined in rx.h */
+#else
+#define dpf(args)
+#endif /* RXDEBUG */
 
 #ifndef KERNEL
 /*
@@ -578,10 +601,6 @@ EXT afs_kmutex_t rxi_keyCreate_lock;
 #endif /* RX_ENABLE_LOCKS */
 #endif /* !KERNEL */
 
-#else
-#define dpf(args)
-#endif /* RXDEBUG */
-
 /*
  * SERVER ONLY: Threshholds used to throttle error replies to looping
  * clients. When consecutive calls are aborting with the same error, the
@@ -600,18 +619,22 @@ EXT int rxi_callAbortDelay GLOBALSINIT(3000);
 #if defined(AFS_PTHREAD_ENV)
 EXT int rxi_fcfs_thread_num GLOBALSINIT(0);
 EXT pthread_key_t rx_thread_id_key;
-/* keep track of pthread numbers - protected by rx_stats_mutex, 
-   except in rx_Init() before mutex exists! */
+/* keep track of pthread numbers - protected by rx_stats_mutex,
+ * except in rx_Init() before mutex exists! */
 EXT int rxi_pthread_hinum GLOBALSINIT(0);
 #else
 #define rxi_fcfs_thread_num (0)
 #endif
 
 #if defined(RX_ENABLE_LOCKS)
-EXT afs_kmutex_t rx_stats_mutex;       /* used to activate stats gathering */
+EXT afs_kmutex_t rx_stats_mutex;       /* used to protect stats gathering */
+EXT afs_kmutex_t rx_waiting_mutex;     /* used to protect waiting counters */
+EXT afs_kmutex_t rx_quota_mutex;       /* used to protect quota counters */
+EXT afs_kmutex_t rx_pthread_mutex;     /* used to protect pthread counters */
+EXT afs_kmutex_t rx_packets_mutex;     /* used to protect packet counters */
 #endif
 
-EXT2 int rx_enable_stats GLOBALSINIT(0);
+EXT int rx_enable_stats GLOBALSINIT(0);
 
 /*
  * Set this flag to enable the listener thread to trade places with an idle
@@ -620,12 +643,5 @@ EXT2 int rx_enable_stats GLOBALSINIT(0);
  */
 EXT int rx_enable_hot_thread GLOBALSINIT(0);
 
-/*
- * Set rx_max_clones_per_connection to a value > 0 to enable connection clone 
- * workaround to RX_MAXCALLS limit.
- */
-#define RX_HARD_MAX_CLONES 10
-EXT int rx_max_clones_per_connection GLOBALSINIT(2);
-
 EXT int RX_IPUDP_SIZE GLOBALSINIT(_RX_IPUDP_SIZE);
 #endif /* AFS_RX_GLOBALS_H */