rx-buffer-allocation-corrected-20080813
[openafs.git] / src / rx / rx_globals.h
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /* RX:  Globals for internal use, basically */
11
12 #ifndef AFS_RX_GLOBALS_H
13 #define AFS_RX_GLOBALS_H
14
15
16 #ifdef  KERNEL
17 #include "rx/rx.h"
18 #else /* KERNEL */
19 # include "rx.h"
20 #endif /* KERNEL */
21
22 #ifndef GLOBALSINIT
23 #define GLOBALSINIT(x)
24 #if defined(AFS_NT40_ENV)
25 #define RX_STATS_INTERLOCKED 1
26 #if defined(AFS_PTHREAD_ENV)
27 #define EXT __declspec(dllimport) extern
28 #else
29 #define EXT extern
30 #endif
31 #define EXT2 __declspec(dllimport) extern
32 #else
33 #define EXT2 extern
34 #define EXT extern
35 #endif
36 #endif /* !GLOBALSINIT */
37
38 /* Basic socket for client requests; other sockets (for receiving server requests) are in the service structures */
39 EXT osi_socket rx_socket;
40
41 /* The array of installed services.  Null terminated. */
42 EXT struct rx_service *rx_services[RX_MAX_SERVICES + 1];
43 #ifdef RX_ENABLE_LOCKS
44 /* Protects nRequestsRunning as well as pool allocation variables. */
45 EXT afs_kmutex_t rx_serverPool_lock;
46 #endif /* RX_ENABLE_LOCKS */
47
48 /* Incoming calls wait on this queue when there are no available server processes */
49 EXT struct rx_queue rx_incomingCallQueue;
50
51 /* Server processes wait on this queue when there are no appropriate calls to process */
52 EXT struct rx_queue rx_idleServerQueue;
53
54 /* Constant delay time before sending an acknowledge of the last packet received.  This is to avoid sending an extra acknowledge when the client is about to make another call, anyway, or the server is about to respond. */
55 EXT struct clock rx_lastAckDelay;
56
57 /* Constant delay time before sending a hard ack if the receiver consumes
58  * a packet while no delayed ack event is scheduled. Ensures that the
59  * sender is able to advance its window when the receiver consumes a packet
60  * after the sender has exhausted its transmit window.
61  */
62 EXT struct clock rx_hardAckDelay;
63
64 /* Constant delay time before sending a soft ack when none was requested.
65  * This is to make sure we send soft acks before the sender times out,
66  * Normally we wait and send a hard ack when the receiver consumes the packet */
67 EXT struct clock rx_softAckDelay;
68
69 /* Variable to allow introduction of network unreliability */
70 #ifdef RXDEBUG
71 EXT int rx_intentionallyDroppedPacketsPer100 GLOBALSINIT(0);    /* Dropped on Send */
72 EXT int rx_intentionallyDroppedOnReadPer100  GLOBALSINIT(0);    /* Dropped on Read */
73 #endif
74
75 /* extra packets to add to the quota */
76 EXT int rx_extraQuota GLOBALSINIT(0);
77 /* extra packets to alloc (2 windows by deflt) */
78 EXT int rx_extraPackets GLOBALSINIT(32);
79
80 EXT int rx_stackSize GLOBALSINIT(RX_DEFAULT_STACK_SIZE);
81
82 /* Time until an unresponsive connection is declared dead */
83 EXT int rx_connDeadTime GLOBALSINIT(12);
84 /* Set rx default connection dead time; set on both services and connections at creation time */
85 #define rx_SetRxDeadTime(seconds)   (rx_connDeadTime = (seconds))
86
87 /* Time until we toss an idle connection */
88 EXT int rx_idleConnectionTime GLOBALSINIT(700);
89 /* Time until we toss a peer structure, after all connections using are gone */
90 EXT int rx_idlePeerTime GLOBALSINIT(60);
91
92 /* The file server is temporarily salvaging */
93 EXT int rx_tranquil GLOBALSINIT(0);
94
95 /* UDP rcv buffer size */
96 EXT int rx_UdpBufSize GLOBALSINIT(64 * 1024);
97 #define rx_GetMinUdpBufSize()   (64*1024)
98 #define rx_SetUdpBufSize(x)     (((x)>rx_GetMinUdpBufSize()) ? (rx_UdpBufSize = (x)):0)
99
100 /*
101  * Variables to control RX overload management. When the number of calls
102  * waiting for a thread exceed the threshold, new calls are aborted
103  * with the busy error. 
104  */
105 EXT int rx_BusyThreshold GLOBALSINIT(-1);       /* default is disabled */
106 EXT int rx_BusyError GLOBALSINIT(-1);
107
108 /* These definitions should be in one place */
109 #ifdef  AFS_SUN5_ENV
110 #define RX_CBUF_TIME    180     /* Check for packet deficit */
111 #define RX_REAP_TIME    90      /* Check for tossable connections every 90 seconds */
112 #else
113 #define RX_CBUF_TIME    120     /* Check for packet deficit */
114 #define RX_REAP_TIME    60      /* Check for tossable connections every 60 seconds */
115 #endif
116
117 #define RX_FAST_ACK_RATE 1      /* as of 3.4, ask for an ack every 
118                                  * other packet. */
119
120 EXT int rx_minWindow GLOBALSINIT(1);
121 EXT int rx_initReceiveWindow GLOBALSINIT(16);   /* how much to accept */
122 EXT int rx_maxReceiveWindow GLOBALSINIT(64);    /* how much to accept */
123 EXT int rx_initSendWindow GLOBALSINIT(16);
124 EXT int rx_maxSendWindow GLOBALSINIT(64);
125 EXT int rx_nackThreshold GLOBALSINIT(3);        /* Number NACKS to trigger congestion recovery */
126 EXT int rx_nDgramThreshold GLOBALSINIT(4);      /* Number of packets before increasing
127                                          * packets per datagram */
128 #define RX_MAX_FRAGS 4
129 EXT int rxi_nSendFrags GLOBALSINIT(RX_MAX_FRAGS);       /* max fragments in a datagram */
130 EXT int rxi_nRecvFrags GLOBALSINIT(RX_MAX_FRAGS);
131 EXT int rxi_OrphanFragSize GLOBALSINIT(512);
132
133 #define RX_MAX_DGRAM_PACKETS 6  /* max packets per jumbogram */
134
135 EXT int rxi_nDgramPackets GLOBALSINIT(RX_MAX_DGRAM_PACKETS);
136 /* allow n packets between soft acks - must be power of 2 -1, else change
137  * macro below */
138 EXT int rxi_SoftAckRate GLOBALSINIT(RX_FAST_ACK_RATE);
139 /* consume n packets before sending hard ack, should be larger than above,
140    but not absolutely necessary.  If it's smaller, than fast receivers will
141    send a soft ack, immediately followed by a hard ack. */
142 EXT int rxi_HardAckRate GLOBALSINIT(RX_FAST_ACK_RATE + 1);
143
144 /* EXT int rx_maxWindow GLOBALSINIT(15);   Temporary HACK:  transmit/receive window */
145
146 /* If window sizes become very variable (in terms of #packets), be
147  * sure that the sender can get back a hard acks without having to wait for
148  * some kind of timer event first (like a keep-alive, for instance).
149  * It might be kind of tricky, so it might be better to shrink the
150  * window size by reducing the packet size below the "natural" MTU. */
151
152 #define ACKHACK(p,r) { if (((p)->header.seq & (rxi_SoftAckRate))==0) (p)->header.flags |= RX_REQUEST_ACK; }
153
154 EXT int rx_nPackets GLOBALSINIT(100);   /* obsolete; use rx_extraPackets now */
155
156 /*
157  * pthreads thread-specific rx info support
158  * the rx_ts_info_t struct is meant to support all kinds of
159  * thread-specific rx data:
160  *
161  *  _FPQ member contains a thread-specific free packet queue
162  */
163 #ifdef AFS_PTHREAD_ENV
164 EXT pthread_key_t rx_ts_info_key;
165 typedef struct rx_ts_info_t {
166     struct {
167         struct rx_queue queue;
168         int len;                /* local queue length */
169         int delta;              /* number of new packets alloc'd locally since last sync w/ global queue */
170         
171         /* FPQ stats */
172         int checkin_ops;
173         int checkin_xfer;
174         int checkout_ops;
175         int checkout_xfer;
176         int gtol_ops;
177         int gtol_xfer;
178         int ltog_ops;
179         int ltog_xfer;
180         int alloc_ops;
181         int alloc_xfer;
182     } _FPQ;
183     struct rx_packet * local_special_packet;
184 } rx_ts_info_t;
185 EXT struct rx_ts_info_t * rx_ts_info_init();   /* init function for thread-specific data struct */
186 #define RX_TS_INFO_GET(ts_info_p) \
187     do { \
188         ts_info_p = (struct rx_ts_info_t*)pthread_getspecific(rx_ts_info_key); \
189         if (ts_info_p == NULL) { \
190             assert((ts_info_p = rx_ts_info_init()) != NULL); \
191         } \
192     } while(0)
193 #endif /* AFS_PTHREAD_ENV */
194
195
196 /* List of free packets */
197 /* in pthreads rx, free packet queue is now a two-tiered queueing system
198  * in which the first tier is thread-specific, and the second tier is
199  * a global free packet queue */
200 EXT struct rx_queue rx_freePacketQueue;
201 #define RX_FPQ_MARK_FREE(p) \
202     do { \
203         if ((p)->flags & RX_PKTFLAG_FREE) \
204             osi_Panic("rx packet already free\n"); \
205         (p)->flags |= RX_PKTFLAG_FREE; \
206         (p)->length = 0; \
207         (p)->niovecs = 0; \
208     } while(0)
209 #define RX_FPQ_MARK_USED(p) \
210     do { \
211         if (!((p)->flags & RX_PKTFLAG_FREE)) \
212             osi_Panic("rx packet not free\n"); \
213         (p)->flags = 0;         /* clear RX_PKTFLAG_FREE, initialize the rest */ \
214         (p)->header.flags = 0; \
215     } while(0)
216 #define RX_PACKET_IOV_INIT(p) \
217     do { \
218         (p)->wirevec[0].iov_base = (char *)((p)->wirehead); \
219         (p)->wirevec[0].iov_len = RX_HEADER_SIZE; \
220         (p)->wirevec[1].iov_base = (char *)((p)->localdata); \
221         (p)->wirevec[1].iov_len = RX_FIRSTBUFFERSIZE; \
222     } while(0)
223 #define RX_PACKET_IOV_FULLINIT(p) \
224     do { \
225         (p)->wirevec[0].iov_base = (char *)((p)->wirehead); \
226         (p)->wirevec[0].iov_len = RX_HEADER_SIZE; \
227         (p)->wirevec[1].iov_base = (char *)((p)->localdata); \
228         (p)->wirevec[1].iov_len = RX_FIRSTBUFFERSIZE; \
229         (p)->niovecs = 2; \
230         (p)->length = RX_FIRSTBUFFERSIZE; \
231     } while(0)
232
233 #ifdef RX_ENABLE_LOCKS
234 EXT afs_kmutex_t rx_freePktQ_lock;
235 #endif /* RX_ENABLE_LOCKS */
236
237 #if defined(AFS_PTHREAD_ENV)
238 #define RX_ENABLE_TSFPQ
239 EXT int rx_TSFPQGlobSize GLOBALSINIT(3); /* number of packets to transfer between global and local queues in one op */
240 EXT int rx_TSFPQLocalMax GLOBALSINIT(15); /* max number of packets on local FPQ before returning a glob to the global pool */
241 EXT int rx_TSFPQMaxProcs GLOBALSINIT(0); /* max number of threads expected */
242 EXT void rxi_MorePacketsTSFPQ(int apackets, int flush_global, int num_keep_local); /* more flexible packet alloc function */
243 EXT void rxi_AdjustLocalPacketsTSFPQ(int num_keep_local, int allow_overcommit); /* adjust thread-local queue length, for places where we know how many packets we will need a priori */
244 EXT void rxi_FlushLocalPacketsTSFPQ(void); /* flush all thread-local packets to global queue */
245 #define RX_TS_FPQ_FLUSH_GLOBAL 1
246 #define RX_TS_FPQ_PULL_GLOBAL 1
247 #define RX_TS_FPQ_ALLOW_OVERCOMMIT 1
248 /*
249  * compute the localmax and globsize values from rx_TSFPQMaxProcs and rx_nPackets.
250  * arbitarily set local max so that all threads consume 90% of packets, if all local queues are full.
251  * arbitarily set transfer glob size to 20% of max local packet queue length.
252  * also set minimum values of 15 and 3.  Given the algorithms, the number of buffers allocated
253  * by each call to AllocPacketBufs() will increase indefinitely without a cap on the transfer
254  * glob size.  A cap of 64 is selected because that will produce an allocation of greater than
255  * three times that amount which is greater than half of ncalls * maxReceiveWindow. 
256  */
257 #define RX_TS_FPQ_COMPUTE_LIMITS \
258     do { \
259         register int newmax, newglob; \
260         newmax = (rx_nPackets * 9) / (10 * rx_TSFPQMaxProcs); \
261         newmax = (newmax >= 15) ? newmax : 15; \
262         newglob = newmax / 5; \
263         newglob = (newglob >= 3) ? (newglob < 64 ? newglob : 64) : 3; \
264         rx_TSFPQLocalMax = newmax; \
265         rx_TSFPQGlobSize = newglob; \
266     } while(0)
267 /* move packets from local (thread-specific) to global free packet queue.
268    rx_freePktQ_lock must be held. default is to move the difference between the current lenght, and the 
269    allowed max plus one extra glob. */
270 #define RX_TS_FPQ_LTOG(rx_ts_info_p) \
271     do { \
272         register int i; \
273         register struct rx_packet * p; \
274         register int tsize = (rx_ts_info_p)->_FPQ.len - rx_TSFPQLocalMax + rx_TSFPQGlobSize; \
275         for (i=0,p=queue_Last(&((rx_ts_info_p)->_FPQ), rx_packet); \
276              i < tsize; i++,p=queue_Prev(p, rx_packet)); \
277         queue_SplitAfterPrepend(&((rx_ts_info_p)->_FPQ),&rx_freePacketQueue,p); \
278         (rx_ts_info_p)->_FPQ.len -= tsize; \
279         rx_nFreePackets += tsize; \
280         (rx_ts_info_p)->_FPQ.ltog_ops++; \
281         (rx_ts_info_p)->_FPQ.ltog_xfer += tsize; \
282         if ((rx_ts_info_p)->_FPQ.delta) { \
283             (rx_ts_info_p)->_FPQ.alloc_ops++; \
284             (rx_ts_info_p)->_FPQ.alloc_xfer += (rx_ts_info_p)->_FPQ.delta; \
285             MUTEX_ENTER(&rx_stats_mutex); \
286             rx_nPackets += (rx_ts_info_p)->_FPQ.delta; \
287             RX_TS_FPQ_COMPUTE_LIMITS; \
288             MUTEX_EXIT(&rx_stats_mutex); \
289            (rx_ts_info_p)->_FPQ.delta = 0; \
290         } \
291     } while(0)
292 /* same as above, except user has direct control over number to transfer */
293 #define RX_TS_FPQ_LTOG2(rx_ts_info_p,num_transfer) \
294     do { \
295         register int i; \
296         register struct rx_packet * p; \
297         for (i=0,p=queue_Last(&((rx_ts_info_p)->_FPQ), rx_packet); \
298              i < (num_transfer); i++,p=queue_Prev(p, rx_packet)); \
299         queue_SplitAfterPrepend(&((rx_ts_info_p)->_FPQ),&rx_freePacketQueue,p); \
300         (rx_ts_info_p)->_FPQ.len -= (num_transfer); \
301         rx_nFreePackets += (num_transfer); \
302         (rx_ts_info_p)->_FPQ.ltog_ops++; \
303         (rx_ts_info_p)->_FPQ.ltog_xfer += (num_transfer); \
304         if ((rx_ts_info_p)->_FPQ.delta) { \
305             (rx_ts_info_p)->_FPQ.alloc_ops++; \
306             (rx_ts_info_p)->_FPQ.alloc_xfer += (rx_ts_info_p)->_FPQ.delta; \
307             MUTEX_ENTER(&rx_stats_mutex); \
308             rx_nPackets += (rx_ts_info_p)->_FPQ.delta; \
309             RX_TS_FPQ_COMPUTE_LIMITS; \
310             MUTEX_EXIT(&rx_stats_mutex); \
311             (rx_ts_info_p)->_FPQ.delta = 0; \
312         } \
313     } while(0)
314 /* move packets from global to local (thread-specific) free packet queue.
315    rx_freePktQ_lock must be held. */
316 #define RX_TS_FPQ_GTOL(rx_ts_info_p) \
317     do { \
318         register int i, tsize; \
319         register struct rx_packet * p; \
320         tsize = (rx_TSFPQGlobSize <= rx_nFreePackets) ? \
321                  rx_TSFPQGlobSize : rx_nFreePackets; \
322         for (i=0,p=queue_First(&rx_freePacketQueue, rx_packet); \
323              i < tsize; i++,p=queue_Next(p, rx_packet)); \
324         queue_SplitBeforeAppend(&rx_freePacketQueue,&((rx_ts_info_p)->_FPQ),p); \
325         (rx_ts_info_p)->_FPQ.len += i; \
326         rx_nFreePackets -= i; \
327         (rx_ts_info_p)->_FPQ.gtol_ops++; \
328         (rx_ts_info_p)->_FPQ.gtol_xfer += i; \
329     } while(0)
330 /* same as above, except user has direct control over number to transfer */
331 #define RX_TS_FPQ_GTOL2(rx_ts_info_p,num_transfer) \
332     do { \
333         register int i, tsize; \
334         register struct rx_packet * p; \
335         tsize = (num_transfer); \
336         if (tsize > rx_nFreePackets) tsize = rx_nFreePackets; \
337         for (i=0,p=queue_First(&rx_freePacketQueue, rx_packet); \
338              i < tsize; i++,p=queue_Next(p, rx_packet)); \
339         queue_SplitBeforeAppend(&rx_freePacketQueue,&((rx_ts_info_p)->_FPQ),p); \
340         (rx_ts_info_p)->_FPQ.len += i; \
341         rx_nFreePackets -= i; \
342         (rx_ts_info_p)->_FPQ.gtol_ops++; \
343         (rx_ts_info_p)->_FPQ.gtol_xfer += i; \
344     } while(0)
345 /* checkout a packet from the thread-specific free packet queue */
346 #define RX_TS_FPQ_CHECKOUT(rx_ts_info_p,p) \
347     do { \
348         (p) = queue_First(&((rx_ts_info_p)->_FPQ), rx_packet); \
349         queue_Remove(p); \
350         RX_FPQ_MARK_USED(p); \
351         (rx_ts_info_p)->_FPQ.len--; \
352         (rx_ts_info_p)->_FPQ.checkout_ops++; \
353         (rx_ts_info_p)->_FPQ.checkout_xfer++; \
354     } while(0)
355 /* checkout multiple packets from the thread-specific free packet queue.
356  * num_transfer must be a variable.
357  */
358 #define RX_TS_FPQ_QCHECKOUT(rx_ts_info_p,num_transfer,q) \
359     do { \
360         register int i; \
361         register struct rx_packet *p; \
362         if (num_transfer > (rx_ts_info_p)->_FPQ.len) num_transfer = (rx_ts_info_p)->_FPQ.len; \
363         for (i=0, p=queue_First(&((rx_ts_info_p)->_FPQ), rx_packet); \
364              i < num_transfer; \
365              i++, p=queue_Next(p, rx_packet)) { \
366             RX_FPQ_MARK_USED(p); \
367         } \
368         queue_SplitBeforeAppend(&((rx_ts_info_p)->_FPQ),(q),p); \
369         (rx_ts_info_p)->_FPQ.len -= num_transfer; \
370         (rx_ts_info_p)->_FPQ.checkout_ops++; \
371         (rx_ts_info_p)->_FPQ.checkout_xfer += num_transfer; \
372     } while(0)
373 /* check a packet into the thread-specific free packet queue */
374 #define RX_TS_FPQ_CHECKIN(rx_ts_info_p,p) \
375     do { \
376         queue_Prepend(&((rx_ts_info_p)->_FPQ), (p)); \
377         RX_FPQ_MARK_FREE(p); \
378         (rx_ts_info_p)->_FPQ.len++; \
379         (rx_ts_info_p)->_FPQ.checkin_ops++; \
380         (rx_ts_info_p)->_FPQ.checkin_xfer++; \
381     } while(0)
382 /* check multiple packets into the thread-specific free packet queue */
383 /* num_transfer must equal length of (q); it is not a means of checking 
384  * in part of (q).  passing num_transfer just saves us instructions 
385  * since caller already knows length of (q) for other reasons */
386 #define RX_TS_FPQ_QCHECKIN(rx_ts_info_p,num_transfer,q) \
387     do { \
388         register struct rx_packet *p, *np; \
389         for (queue_Scan((q), p, np, rx_packet)) { \
390             RX_FPQ_MARK_FREE(p); \
391         } \
392         queue_SplicePrepend(&((rx_ts_info_p)->_FPQ),(q)); \
393         (rx_ts_info_p)->_FPQ.len += (num_transfer); \
394         (rx_ts_info_p)->_FPQ.checkin_ops++; \
395         (rx_ts_info_p)->_FPQ.checkin_xfer += (num_transfer); \
396     } while(0)
397 #endif /* AFS_PTHREAD_ENV */
398
399 /* Number of free packets */
400 EXT int rx_nFreePackets GLOBALSINIT(0);
401 EXT int rxi_NeedMorePackets GLOBALSINIT(0);
402 EXT int rx_nWaiting GLOBALSINIT(0);
403 EXT int rx_nWaited GLOBALSINIT(0);
404 EXT int rx_packetReclaims GLOBALSINIT(0);
405
406 /* largest packet which we can safely receive, initialized to AFS 3.2 value
407  * This is provided for backward compatibility with peers which may be unable
408  * to swallow anything larger. THIS MUST NEVER DECREASE WHILE AN APPLICATION
409  * IS RUNNING! */
410 EXT afs_uint32 rx_maxReceiveSize GLOBALSINIT(_OLD_MAX_PACKET_SIZE * RX_MAX_FRAGS +
411                                       UDP_HDR_SIZE * (RX_MAX_FRAGS - 1));
412
413 /* this is the maximum packet size that the user wants us to receive */
414 /* this is set by rxTune if required */
415 EXT afs_uint32 rx_maxReceiveSizeUser GLOBALSINIT(0xffffffff);
416
417 /* rx_MyMaxSendSize is the size of the largest packet we will send,
418  * including the RX header. Just as rx_maxReceiveSize is the
419  * max we will receive, including the rx header.
420  */
421 EXT afs_uint32 rx_MyMaxSendSize GLOBALSINIT(8588);
422
423 /* Maximum size of a jumbo datagram we can receive */
424 EXT afs_uint32 rx_maxJumboRecvSize GLOBALSINIT(RX_MAX_PACKET_SIZE);
425
426 /* need this to permit progs to run on AIX systems */
427 EXT int (*rxi_syscallp) (afs_uint32 a3, afs_uint32 a4, void *a5)GLOBALSINIT(0);
428
429 /* List of free queue entries */
430 EXT struct rx_serverQueueEntry *rx_FreeSQEList GLOBALSINIT(0);
431 #ifdef  RX_ENABLE_LOCKS
432 EXT afs_kmutex_t freeSQEList_lock;
433 #endif
434
435 /* List of free call structures */
436 EXT struct rx_queue rx_freeCallQueue;
437 #ifdef  RX_ENABLE_LOCKS
438 EXT afs_kmutex_t rx_freeCallQueue_lock;
439 #endif
440 EXT afs_int32 rxi_nCalls GLOBALSINIT(0);
441
442 /* Port requested at rx_Init.  If this is zero, the actual port used will be different--but it will only be used for client operations.  If non-zero, server provided services may use the same port. */
443 EXT u_short rx_port;
444
445 #if !defined(KERNEL) && !defined(AFS_PTHREAD_ENV)
446 /* 32-bit select Mask for rx_Listener. */
447 EXT fd_set rx_selectMask;
448 EXT osi_socket rx_maxSocketNumber;      /* Maximum socket number in the select mask. */
449 /* Minumum socket number in the select mask. */
450 EXT osi_socket rx_minSocketNumber GLOBALSINIT(0x7fffffff);
451 #endif
452
453 /* This is actually the minimum number of packets that must remain free,
454     overall, immediately after a packet of the requested class has been
455     allocated.  *WARNING* These must be assigned with a great deal of care.
456     In order, these are receive quota, send quota, special quota, receive
457     continuation quota, and send continuation quota. */
458 #define RX_PACKET_QUOTAS {1, 10, 0, 1, 10}
459 /* value large enough to guarantee that no allocation fails due to RX_PACKET_QUOTAS.
460    Make it a little bigger, just for fun */
461 #define RX_MAX_QUOTA    15      /* part of min packet computation */
462 EXT int rx_packetQuota[RX_N_PACKET_CLASSES] GLOBALSINIT(RX_PACKET_QUOTAS);
463 EXT int meltdown_1pkt GLOBALSINIT(1);   /* prefer to schedule single-packet calls */
464 EXT int rxi_doreclaim GLOBALSINIT(1);   /* if discard one packet, discard all */
465 EXT int rxi_md2cnt GLOBALSINIT(0);      /* counter of skipped calls */
466 EXT int rxi_2dchoice GLOBALSINIT(1);    /* keep track of another call to schedule */
467
468 /* quota system: each attached server process must be able to make
469     progress to avoid system deadlock, so we ensure that we can always
470     handle the arrival of the next unacknowledged data packet for an
471     attached call.  rxi_dataQuota gives the max # of packets that must be
472     reserved for active calls for them to be able to make progress, which is
473     essentially enough to queue up a window-full of packets (the first packet
474     may be missing, so these may not get read) + the # of packets the thread
475     may use before reading all of its input (# free must be one more than send
476     packet quota).  Thus, each thread allocates rx_maxReceiveWindow+1 (max
477     queued packets) + an extra for sending data.  The system also reserves
478     RX_MAX_QUOTA (must be more than RX_PACKET_QUOTA[i], which is 10), so that
479     the extra packet can be sent (must be under the system-wide send packet
480     quota to send any packets) */
481 /* # to reserve so that thread with input can still make calls (send packets)
482    without blocking */
483 EXT int rxi_dataQuota GLOBALSINIT(RX_MAX_QUOTA);        /* packets to reserve for active threads */
484
485 EXT afs_int32 rxi_availProcs GLOBALSINIT(0);    /* number of threads in the pool */
486 EXT afs_int32 rxi_totalMin GLOBALSINIT(0);      /* Sum(minProcs) forall services */
487 EXT afs_int32 rxi_minDeficit GLOBALSINIT(0);    /* number of procs needed to handle all minProcs */
488
489 EXT int rx_nextCid;             /* Next connection call id */
490 EXT int rx_epoch;               /* Initialization time of rx */
491 #ifdef  RX_ENABLE_LOCKS
492 EXT afs_kcondvar_t rx_waitingForPackets_cv;
493 #endif
494 EXT char rx_waitingForPackets;  /* Processes set and wait on this variable when waiting for packet buffers */
495
496 EXT struct rx_stats rx_stats;
497
498 EXT struct rx_peer **rx_peerHashTable;
499 EXT struct rx_connection **rx_connHashTable;
500 EXT struct rx_connection *rx_connCleanup_list GLOBALSINIT(0);
501 EXT afs_uint32 rx_hashTableSize GLOBALSINIT(257);       /* Prime number */
502 #ifdef RX_ENABLE_LOCKS
503 EXT afs_kmutex_t rx_peerHashTable_lock;
504 EXT afs_kmutex_t rx_connHashTable_lock;
505 #endif /* RX_ENABLE_LOCKS */
506
507 #define CONN_HASH(host, port, cid, epoch, type) ((((cid)>>RX_CIDSHIFT)%rx_hashTableSize))
508
509 #define PEER_HASH(host, port)  ((host ^ port) % rx_hashTableSize)
510
511 /* Forward definitions of internal procedures */
512 #define rxi_ChallengeOff(conn)  rxevent_Cancel((conn)->challengeEvent, (struct rx_call*)0, 0);
513 #define rxi_KeepAliveOff(call) rxevent_Cancel((call)->keepAliveEvent, call, RX_CALL_REFCOUNT_ALIVE)
514
515 #define rxi_AllocSecurityObject() (struct rx_securityClass *) rxi_Alloc(sizeof(struct rx_securityClass))
516 #define rxi_FreeSecurityObject(obj) rxi_Free(obj, sizeof(struct rx_securityClass))
517 #define rxi_AllocService()      (struct rx_service *) rxi_Alloc(sizeof(struct rx_service))
518 #define rxi_FreeService(obj)    rxi_Free(obj, sizeof(struct rx_service))
519 #define rxi_AllocPeer()         (struct rx_peer *) rxi_Alloc(sizeof(struct rx_peer))
520 #define rxi_FreePeer(peer)      rxi_Free(peer, sizeof(struct rx_peer))
521 #define rxi_AllocConnection()   (struct rx_connection *) rxi_Alloc(sizeof(struct rx_connection))
522 #define rxi_FreeConnection(conn) (rxi_Free(conn, sizeof(struct rx_connection)))
523
524 #ifdef RXDEBUG
525 /* Some debugging stuff */
526 EXT FILE *rx_debugFile;         /* Set by the user to a stdio file for debugging output */
527 EXT FILE *rxevent_debugFile;    /* Set to an stdio descriptor for event logging to that file */
528
529 #define rx_Log rx_debugFile
530 #ifdef AFS_NT40_ENV
531 EXT int rxdebug_active;
532 #if !defined(_WIN64)
533 #define dpf(args) if (rxdebug_active) rxi_DebugPrint args;
534 #else
535 #define dpf(args)
536 #endif
537 #else
538 #ifdef DPF_FSLOG
539 #define dpf(args) FSLog args
540 #else
541 #define dpf(args) if (rx_debugFile) rxi_DebugPrint args; else
542 #endif 
543 #endif
544 #define rx_Log_event rxevent_debugFile
545
546 EXT char *rx_packetTypes[RX_N_PACKET_TYPES] GLOBALSINIT(RX_PACKET_TYPES);       /* Strings defined in rx.h */
547
548 #ifndef KERNEL
549 /*
550  * Counter used to implement connection specific data
551  */
552 EXT int rxi_keyCreate_counter GLOBALSINIT(0);
553 /*
554  * Array of function pointers used to destory connection specific data
555  */
556 EXT rx_destructor_t *rxi_keyCreate_destructor GLOBALSINIT(NULL);
557 #ifdef RX_ENABLE_LOCKS
558 EXT afs_kmutex_t rxi_keyCreate_lock;
559 #endif /* RX_ENABLE_LOCKS */
560 #endif /* !KERNEL */
561
562 #else
563 #define dpf(args)
564 #endif /* RXDEBUG */
565
566 /*
567  * SERVER ONLY: Threshholds used to throttle error replies to looping
568  * clients. When consecutive calls are aborting with the same error, the
569  * server throttles the client by waiting before sending error messages.
570  * Disabled if abort thresholds are zero.
571  */
572 EXT int rxi_connAbortThreshhold GLOBALSINIT(0);
573 EXT int rxi_connAbortDelay GLOBALSINIT(3000);
574 EXT int rxi_callAbortThreshhold GLOBALSINIT(0);
575 EXT int rxi_callAbortDelay GLOBALSINIT(3000);
576
577 /*
578  * Thread specific thread ID used to implement LWP_Index().
579  */
580
581 #if defined(AFS_PTHREAD_ENV)
582 EXT int rxi_fcfs_thread_num GLOBALSINIT(0);
583 EXT pthread_key_t rx_thread_id_key;
584 /* keep track of pthread numbers - protected by rx_stats_mutex, 
585    except in rx_Init() before mutex exists! */
586 EXT int rxi_pthread_hinum GLOBALSINIT(0);
587 #else
588 #define rxi_fcfs_thread_num (0)
589 #endif
590
591 #if defined(RX_ENABLE_LOCKS)
592 EXT afs_kmutex_t rx_stats_mutex;        /* used to activate stats gathering */
593 #endif
594
595 EXT2 int rx_enable_stats GLOBALSINIT(0);
596
597 /*
598  * Set this flag to enable the listener thread to trade places with an idle
599  * worker thread to move the context switch from listener to worker out of
600  * the request path.
601  */
602 EXT int rx_enable_hot_thread GLOBALSINIT(0);
603
604 /*
605  * Set rx_max_clones_per_connection to a value > 0 to enable connection clone 
606  * workaround to RX_MAXCALLS limit.
607  */
608  
609 #define RX_HARD_MAX_CLONES 10
610
611 EXT int rx_max_clones_per_connection GLOBALSINIT(2);
612
613 EXT int RX_IPUDP_SIZE GLOBALSINIT(_RX_IPUDP_SIZE);
614 #endif /* AFS_RX_GLOBALS_H */