ebe0047e1eac0ba693644bedda7f8d88cc127abe
[openafs.git] / src / rx / rx.h
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #ifdef KDUMP_RX_LOCK
11 /* kdump for SGI needs MP and SP versions of rx_serverQueueEntry,
12  * rx_peer, rx_connection and rx_call structs. rx.h gets included a
13  * second time to pick up mp_ versions of those structs. Currently
14  * the affected struct's have #ifdef's in them for the second pass.
15  * This should change once we start using only ANSI compilers.
16  * Actually, kdump does not use rx_serverQueueEntry, but I'm including
17  * it for completeness.
18  */
19 #undef _RX_
20 #endif
21
22 #ifndef _RX_
23 #define _RX_
24
25 #ifndef KDUMP_RX_LOCK
26 #ifdef  KERNEL
27 #include "rx_kmutex.h"
28 #include "rx_kernel.h"
29 #include "rx_clock.h"
30 #include "rx_event.h"
31 #include "rx_queue.h"
32 #include "rx_packet.h"
33 #include "rx_misc.h"
34 #include "rx_multi.h"
35 #if defined (AFS_OBSD_ENV) && !defined (MLEN)
36 #include "sys/mbuf.h"
37 #endif
38 #include "netinet/in.h"
39 #include "sys/socket.h"
40 #else /* KERNEL */
41 # include <sys/types.h>
42 # include <stdio.h>
43 # include <string.h>
44 #ifdef AFS_PTHREAD_ENV
45 # include "rx_pthread.h"
46 #else
47 # include "rx_lwp.h"
48 #endif
49 #ifdef AFS_NT40_ENV
50 #include <malloc.h>
51 #include <winsock2.h>
52 #include <ws2tcpip.h>
53 #endif
54 # include "rx_user.h"
55 # include "rx_clock.h"
56 # include "rx_event.h"
57 # include "rx_packet.h"
58 # include "rx_misc.h"
59 # include "rx_null.h"
60 # include "rx_multi.h"
61 #ifndef AFS_NT40_ENV
62 # include <netinet/in.h>
63 # include <sys/socket.h>
64 #endif
65 #endif /* KERNEL */
66
67
68 /* Configurable parameters */
69 #define RX_IDLE_DEAD_TIME       60      /* default idle dead time */
70 #define RX_MAX_SERVICES         20      /* Maximum number of services that may be installed */
71 #if defined(KERNEL) && defined(AFS_AIX51_ENV) && defined(__64__)
72 #define RX_DEFAULT_STACK_SIZE   24000
73 #else
74 #define RX_DEFAULT_STACK_SIZE   16000   /* Default process stack size; overriden by rx_SetStackSize */
75 #endif
76
77 /* This parameter should not normally be changed */
78 #define RX_PROCESS_PRIORITY     LWP_NORMAL_PRIORITY
79
80 /* backoff is fixed point binary.  Ie, units of 1/4 seconds */
81 #define MAXBACKOFF 0x1F
82
83 #define ADDRSPERSITE 16
84
85 #ifndef KDUMP_RX_LOCK
86 /* Bottom n-bits of the Call Identifier give the call number */
87 #define RX_MAXCALLS 4           /* Power of 2; max async calls per connection */
88 #define RX_CIDSHIFT 2           /* Log2(RX_MAXCALLS) */
89 #define RX_CHANNELMASK (RX_MAXCALLS-1)
90 #define RX_CIDMASK  (~RX_CHANNELMASK)
91 #endif /* !KDUMP_RX_LOCK */
92
93 #ifndef KERNEL
94 typedef void (*rx_destructor_t) (void *);
95 int rx_KeyCreate(rx_destructor_t);
96 osi_socket rxi_GetHostUDPSocket(u_int host, u_short port);
97 osi_socket rxi_GetUDPSocket(u_short port);
98 #endif /* KERNEL */
99
100
101 int ntoh_syserr_conv(int error);
102
103 #define RX_WAIT     1
104 #define RX_DONTWAIT 0
105
106 #define rx_ConnectionOf(call)           ((call)->conn)
107 #define rx_PeerOf(conn)                 ((conn)->peer)
108 #define rx_HostOf(peer)                 ((peer)->host)
109 #define rx_PortOf(peer)                 ((peer)->port)
110 #define rx_SetLocalStatus(call, status) ((call)->localStatus = (status))
111 #define rx_GetLocalStatus(call, status) ((call)->localStatus)
112 #define rx_GetRemoteStatus(call)        ((call)->remoteStatus)
113 #define rx_Error(call)                  ((call)->error)
114 #define rx_ConnError(conn)              ((conn)->error)
115 #define rx_IsServerConn(conn)           ((conn)->type == RX_SERVER_CONNECTION)
116 #define rx_IsClientConn(conn)           ((conn)->type == RX_CLIENT_CONNECTION)
117 /* Don't use these; use the IsServerConn style */
118 #define rx_ServerConn(conn)             ((conn)->type == RX_SERVER_CONNECTION)
119 #define rx_ClientConn(conn)             ((conn)->type == RX_CLIENT_CONNECTION)
120 #define rx_IsUsingPktCksum(conn)        ((conn)->flags & RX_CONN_USING_PACKET_CKSUM)
121 #define rx_ServiceIdOf(conn)            ((conn)->serviceId)
122 #define rx_SecurityClassOf(conn)        ((conn)->securityIndex)
123 #define rx_SecurityObjectOf(conn)       ((conn)->securityObject)
124
125 /*******************
126  * Macros callable by the user to further define attributes of a
127  * service.  Must be called before rx_StartServer
128  */
129
130 /* Set the service stack size.  This currently just sets the stack
131  * size for all processes to be the maximum seen, so far */
132 #define rx_SetStackSize(service, stackSize) \
133   rx_stackSize = (((stackSize) > rx_stackSize)? stackSize: rx_stackSize)
134
135 /* Set minimum number of processes guaranteed to be available for this
136  * service at all times */
137 #define rx_SetMinProcs(service, min) ((service)->minProcs = (min))
138
139 /* Set maximum number of processes that will be made available to this
140  * service (also a guarantee that this number will be made available
141  * if there is no competition) */
142 #define rx_SetMaxProcs(service, max) ((service)->maxProcs = (max))
143
144 /* Define a procedure to be called just before a server connection is destroyed */
145 #define rx_SetDestroyConnProc(service,proc) ((service)->destroyConnProc = (proc))
146
147 /* Define procedure to set service dead time */
148 #define rx_SetIdleDeadTime(service,time) ((service)->idleDeadTime = (time))
149
150 /* Define error to return in server connections when failing to answer */
151 #define rx_SetServerIdleDeadErr(service,err) ((service)->idleDeadErr = (err))
152
153 /* Define procedures for getting and setting before and after execute-request procs */
154 #define rx_SetAfterProc(service,proc) ((service)->afterProc = (proc))
155 #define rx_SetBeforeProc(service,proc) ((service)->beforeProc = (proc))
156 #define rx_GetAfterProc(service) ((service)->afterProc)
157 #define rx_GetBeforeProc(service) ((service)->beforeProc)
158
159 /* Define a procedure to be called when a server connection is created */
160 #define rx_SetNewConnProc(service, proc) ((service)->newConnProc = (proc))
161
162 /* NOTE:  We'll probably redefine the following three routines, again, sometime. */
163
164 /* Set the connection dead time for any connections created for this service (server only) */
165 #define rx_SetServiceDeadTime(service, seconds) ((service)->secondsUntilDead = (seconds))
166
167 /* Enable or disable asymmetric client checking for a service */
168 #define rx_SetCheckReach(service, x) ((service)->checkReach = (x))
169
170 /* Set connection hard and idle timeouts for a connection */
171 #define rx_SetConnHardDeadTime(conn, seconds) ((conn)->hardDeadTime = (seconds))
172 #define rx_SetConnIdleDeadTime(conn, seconds) ((conn)->idleDeadTime = (seconds))
173 #define rx_SetServerConnIdleDeadErr(conn,err) ((conn)->idleDeadErr = (err))
174
175 /* Set the overload threshold and the overload error */
176 #define rx_SetBusyThreshold(threshold, code) (rx_BusyThreshold=(threshold),rx_BusyError=(code))
177
178 /* If this flag is set,no new requests are processed by rx, all new requests are
179 returned with an error code of RX_CALL_DEAD ( transient error ) */
180 #define rx_SetRxTranquil()              (rx_tranquil = 1)
181 #define rx_ClearRxTranquil()            (rx_tranquil = 0)
182
183 /* Set the threshold and time to delay aborts for consecutive errors */
184 #define rx_SetCallAbortThreshold(A) (rxi_callAbortThreshhold = (A))
185 #define rx_SetCallAbortDelay(A) (rxi_callAbortDelay = (A))
186 #define rx_SetConnAbortThreshold(A) (rxi_connAbortThreshhold = (A))
187 #define rx_SetConnAbortDelay(A) (rxi_connAbortDelay = (A))
188
189 #define rx_GetCallAbortCode(call) ((call)->abortCode)
190 #define rx_SetCallAbortCode(call, code) ((call)->abortCode = (code))
191
192 #define cpspace(call) ((call)->curlen)
193 #define cppos(call) ((call)->curpos)
194
195 #define rx_Read(call, buf, nbytes)   rx_ReadProc(call, buf, nbytes)
196 #define rx_Read32(call, value)   rx_ReadProc32(call, value)
197 #define rx_Readv(call, iov, nio, maxio, nbytes) \
198    rx_ReadvProc(call, iov, nio, maxio, nbytes)
199 #define rx_Write(call, buf, nbytes) rx_WriteProc(call, buf, nbytes)
200 #define rx_Write32(call, value) rx_WriteProc32(call, value)
201 #define rx_Writev(call, iov, nio, nbytes) \
202    rx_WritevProc(call, iov, nio, nbytes)
203
204 /* This is the maximum size data packet that can be sent on this connection, accounting for security module-specific overheads. */
205 #define rx_MaxUserDataSize(call)                ((call)->MTU - RX_HEADER_SIZE - (call)->conn->securityHeaderSize - (call)->conn->securityMaxTrailerSize)
206
207 /* Macros to turn the hot thread feature on and off. Enabling hot threads
208  * allows the listener thread to trade places with an idle worker thread,
209  * which moves the context switch from listener to worker out of the
210  * critical path.
211  */
212 #define rx_EnableHotThread()            (rx_enable_hot_thread = 1)
213 #define rx_DisableHotThread()           (rx_enable_hot_thread = 0)
214
215 #define rx_PutConnection(conn) rx_DestroyConnection(conn)
216
217 /* A connection is an authenticated communication path, allowing 
218    limited multiple asynchronous conversations. */
219 #ifdef KDUMP_RX_LOCK
220 struct rx_connection_rx_lock {
221     struct rx_connection_rx_lock *next; /*  on hash chain _or_ free list */
222     struct rx_peer_rx_lock *peer;
223 #else
224 struct rx_connection {
225     struct rx_connection *next; /*  on hash chain _or_ free list */
226     struct rx_peer *peer;
227 #endif
228 #ifdef  RX_ENABLE_LOCKS
229     afs_kmutex_t conn_call_lock;        /* locks conn_call_cv */
230     afs_kcondvar_t conn_call_cv;
231     afs_kmutex_t conn_data_lock;        /* locks packet data */
232 #endif
233     afs_uint32 epoch;           /* Process start time of client side of connection */
234     afs_uint32 cid;             /* Connection id (call channel is bottom bits) */
235     afs_int32 error;            /* If this connection is in error, this is it */
236 #ifdef KDUMP_RX_LOCK
237     struct rx_call_rx_lock *call[RX_MAXCALLS];
238 #else
239     struct rx_call *call[RX_MAXCALLS];
240 #endif
241     afs_uint32 callNumber[RX_MAXCALLS]; /* Current call numbers */
242     afs_uint32 rwind[RX_MAXCALLS];
243     u_short twind[RX_MAXCALLS];
244     afs_uint32 serial;          /* Next outgoing packet serial number */
245     afs_uint32 lastSerial;      /* # of last packet received, for computing skew */
246     afs_int32 maxSerial;        /* largest serial number seen on incoming packets */
247 /*    afs_int32 maxPacketSize;    max packet size should be per-connection since */
248     /* peer process could be restarted on us. Includes RX Header.       */
249     struct rxevent *challengeEvent;     /* Scheduled when the server is challenging a     */
250     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
251     struct rxevent *checkReachEvent;    /* Scheduled when checking reachability */
252     int abortCount;             /* count of abort messages sent */
253     /* client-- to retransmit the challenge */
254     struct rx_service *service; /* used by servers only */
255     u_short serviceId;          /* To stamp on requests (clients only) */
256     afs_uint32 refCount;                /* Reference count */
257     u_char flags;               /* Defined below */
258     u_char type;                /* Type of connection, defined below */
259     u_char secondsUntilPing;    /* how often to ping for each active call */
260     u_char securityIndex;       /* corresponds to the security class of the */
261     /* securityObject for this conn */
262     struct rx_securityClass *securityObject;    /* Security object for this connection */
263     void *securityData;         /* Private data for this conn's security class */
264     u_short securityHeaderSize; /* Length of security module's packet header data */
265     u_short securityMaxTrailerSize;     /* Length of security module's packet trailer data */
266
267     int timeout;                /* Overall timeout per call (seconds) for this conn */
268     int lastSendTime;           /* Last send time for this connection */
269     u_short secondsUntilDead;   /* Maximum silence from peer before RX_CALL_DEAD */
270     u_short hardDeadTime;       /* hard max for call execution */
271     u_short idleDeadTime;       /* max time a call can be idle (no data) */
272     u_char ackRate;             /* how many packets between ack requests */
273     u_char makeCallWaiters;     /* how many rx_NewCalls are waiting */
274     afs_int32 idleDeadErr;
275     int nSpecific;              /* number entries in specific data */
276     void **specific;            /* pointer to connection specific data */
277 };
278
279
280 /* A service is installed by rx_NewService, and specifies a service type that
281  * is exported by this process.  Incoming calls are stamped with the service
282  * type, and must match an installed service for the call to be accepted.
283  * Each service exported has a (port,serviceId) pair to uniquely identify it.
284  * It is also named:  this is intended to allow a remote statistics gathering
285  * program to retrieve per service statistics without having to know the local
286  * service id's.  Each service has a number of
287  */
288
289 /* security objects (instances of security classes) which implement
290  * various types of end-to-end security protocols for connections made
291  * to this service.  Finally, there are two parameters controlling the
292  * number of requests which may be executed in parallel by this
293  * service: minProcs is the number of requests to this service which
294  * are guaranteed to be able to run in parallel at any time; maxProcs
295  * has two meanings: it limits the total number of requests which may
296  * execute in parallel and it also guarantees that that many requests
297  * may be handled in parallel if no other service is handling any
298  * requests. */
299
300 struct rx_service {
301     u_short serviceId;          /* Service number */
302     afs_uint32 serviceHost;     /* IP address for this service */
303     u_short servicePort;        /* UDP port for this service */
304     char *serviceName;          /* Name of the service */
305     osi_socket socket;          /* socket structure or file descriptor */
306     u_short nRequestsRunning;   /* Number of requests currently in progress */
307     u_short nSecurityObjects;   /* Number of entries in security objects array */
308     struct rx_securityClass **securityObjects;  /* Array of security class objects */
309       afs_int32(*executeRequestProc) (struct rx_call * acall);  /* Routine to call when an rpc request is received */
310     void (*destroyConnProc) (struct rx_connection * tcon);      /* Routine to call when a server connection is destroyed */
311     void (*newConnProc) (struct rx_connection * tcon);  /* Routine to call when a server connection is created */
312     void (*beforeProc) (struct rx_call * acall);        /* routine to call before a call is executed */
313     void (*afterProc) (struct rx_call * acall, afs_int32 code); /* routine to call after a call is executed */
314     u_short maxProcs;           /* Maximum procs to be used for this service */
315     u_short minProcs;           /* Minimum # of requests guaranteed executable simultaneously */
316     u_short connDeadTime;       /* Seconds until a client of this service will be declared dead, if it is not responding */
317     u_short idleDeadTime;       /* Time a server will wait for I/O to start up again */
318     u_char checkReach;          /* Check for asymmetric clients? */
319     afs_int32 idleDeadErr;
320 };
321
322 #endif /* KDUMP_RX_LOCK */
323
324 /* A server puts itself on an idle queue for a service using an
325  * instance of the following structure.  When a call arrives, the call
326  * structure pointer is placed in "newcall", the routine to execute to
327  * service the request is placed in executeRequestProc, and the
328  * process is woken up.  The queue entry's address is used for the
329  * sleep/wakeup. If socketp is non-null, then this thread is willing
330  * to become a listener thread. A thread sets *socketp to -1 before
331  * sleeping. If *socketp is not -1 when the thread awakes, it is now
332  * the listener thread for *socketp. When socketp is non-null, tno
333  * contains the server's threadID, which is used to make decitions in GetCall.
334  */
335 #ifdef KDUMP_RX_LOCK
336 struct rx_serverQueueEntry_rx_lock {
337 #else
338 struct rx_serverQueueEntry {
339 #endif
340     struct rx_queue queueItemHeader;
341 #ifdef KDUMP_RX_LOCK
342     struct rx_call_rx_lock *newcall;
343 #else
344     struct rx_call *newcall;
345 #endif
346 #ifdef  RX_ENABLE_LOCKS
347     afs_kmutex_t lock;
348     afs_kcondvar_t cv;
349 #endif
350     int tno;
351     osi_socket *socketp;
352 };
353
354
355 /* A peer refers to a peer process, specified by a (host,port) pair.  There may be more than one peer on a given host. */
356 #ifdef KDUMP_RX_LOCK
357 struct rx_peer_rx_lock {
358     struct rx_peer_rx_lock *next;       /* Next in hash conflict or free list */
359 #else
360 struct rx_peer {
361     struct rx_peer *next;       /* Next in hash conflict or free list */
362 #endif
363 #ifdef RX_ENABLE_LOCKS
364     afs_kmutex_t peer_lock;     /* Lock peer */
365 #endif                          /* RX_ENABLE_LOCKS */
366     afs_uint32 host;            /* Remote IP address, in net byte order */
367     u_short port;               /* Remote UDP port, in net byte order */
368
369     /* interface mtu probably used for this host  -  includes RX Header */
370     u_short ifMTU;              /* doesn't include IP header */
371
372     /* For garbage collection */
373     afs_uint32 idleWhen;        /* When the refcountwent to zero */
374     afs_uint32 refCount;                /* Reference count for this structure */
375
376     /* Congestion control parameters */
377     u_char burstSize;           /* Reinitialization size for the burst parameter */
378     u_char burst;               /* Number of packets that can be transmitted right now, without pausing */
379     struct clock burstWait;     /* Delay until new burst is allowed */
380     struct rx_queue congestionQueue;    /* Calls that are waiting for non-zero burst value */
381     int rtt;                    /* Round trip time, measured in milliseconds/8 */
382     int rtt_dev;                /* rtt smoothed error, in milliseconds/4 */
383     struct clock timeout;       /* Current retransmission delay */
384     int nSent;                  /* Total number of distinct data packets sent, not including retransmissions */
385     int reSends;                /* Total number of retransmissions for this peer, since this structure was created */
386
387 /* Skew: if a packet is received N packets later than expected (based
388  * on packet serial numbers), then we define it to have a skew of N.
389  * The maximum skew values allow us to decide when a packet hasn't
390  * been received yet because it is out-of-order, as opposed to when it
391  * is likely to have been dropped. */
392     afs_uint32 inPacketSkew;    /* Maximum skew on incoming packets */
393     afs_uint32 outPacketSkew;   /* Peer-reported max skew on our sent packets */
394     int rateFlag;               /* Flag for rate testing (-no 0yes +decrement) */
395
396     /* the "natural" MTU, excluding IP,UDP headers, is negotiated by the endpoints */
397     u_short natMTU;
398     u_short maxMTU;
399     /* negotiated maximum number of packets to send in a single datagram. */
400     u_short maxDgramPackets;
401     /* local maximum number of packets to send in a single datagram. */
402     u_short ifDgramPackets;
403     /*
404      * MTU, cwind, and nDgramPackets are used to initialize
405      * slow start parameters for new calls. These values are set whenever a
406      * call sends a retransmission and at the end of each call.
407      * congestSeq is incremented each time the congestion parameters are
408      * changed by a call recovering from a dropped packet. A call used
409      * MAX when updating congestion parameters if it started with the
410      * current congestion sequence number, otherwise it uses MIN.
411      */
412     u_short MTU;                /* MTU for AFS 3.4a jumboGrams */
413     u_short cwind;              /* congestion window */
414     u_short nDgramPackets;      /* number packets per AFS 3.5 jumbogram */
415     u_short congestSeq;         /* Changed when a call retransmits */
416     afs_hyper_t bytesSent;      /* Number of bytes sent to this peer */
417     afs_hyper_t bytesReceived;  /* Number of bytes received from this peer */
418     struct rx_queue rpcStats;   /* rpc statistic list */
419     int lastReachTime;          /* Last time we verified reachability */
420 };
421
422
423 #ifndef KDUMP_RX_LOCK
424 /* Flag bits for connection structure */
425 #define RX_CONN_MAKECALL_WAITING    1   /* rx_MakeCall is waiting for a channel */
426 #define RX_CONN_DESTROY_ME          2   /* Destroy *client* connection after last call */
427 #define RX_CONN_USING_PACKET_CKSUM  4   /* non-zero header.spare field seen */
428 #define RX_CONN_KNOW_WINDOW         8   /* window size negotiation works */
429 #define RX_CONN_RESET              16   /* connection is reset, remove */
430 #define RX_CONN_BUSY               32   /* connection is busy; don't delete */
431 #define RX_CONN_ATTACHWAIT         64   /* attach waiting for peer->lastReach */
432
433 /* Type of connection, client or server */
434 #define RX_CLIENT_CONNECTION    0
435 #define RX_SERVER_CONNECTION    1
436 #endif /* !KDUMP_RX_LOCK */
437
438 /* Call structure:  only instantiated for active calls and dallying server calls.  The permanent call state (i.e. the call number as well as state shared with other calls associated with this connection) is maintained in the connection structure. */
439 #ifdef KDUMP_RX_LOCK
440 struct rx_call_rx_lock {
441 #else
442 struct rx_call {
443 #endif
444     struct rx_queue queue_item_header;  /* Call can be on various queues (one-at-a-time) */
445     struct rx_queue tq;         /* Transmit packet queue */
446     struct rx_queue rq;         /* Receive packet queue */
447     /*
448      * The following fields are accessed while the call is unlocked.
449      * These fields are used by the caller/server thread to marshall
450      * and unmarshall RPC data. The only time they may be changed by
451      * other threads is when the RX_CALL_IOVEC_WAIT flag is set. 
452      * 
453      * NOTE: Be sure that these fields start and end on a double
454      *       word boundary. Otherwise threads that are changing
455      *       adjacent fields will cause problems.
456      */
457     struct rx_queue iovq;       /* readv/writev packet queue */
458     u_short nLeft;              /* Number bytes left in first receive packet */
459     u_short curvec;             /* current iovec in currentPacket */
460     u_short curlen;             /* bytes remaining in curvec */
461     u_short nFree;              /* Number bytes free in last send packet */
462     struct rx_packet *currentPacket;    /* Current packet being assembled or being read */
463     char *curpos;               /* current position in curvec */
464     /*
465      * End of fields accessed with call unlocked
466      */
467     u_char channel;             /* Index of call, within connection */
468     u_char state;               /* Current call state as defined below */
469     u_char mode;                /* Current mode of a call in ACTIVE state */
470 #ifdef  RX_ENABLE_LOCKS
471     afs_kmutex_t lock;          /* lock covers data as well as mutexes. */
472     afs_kmutex_t *call_queue_lock;      /* points to lock for queue we're on,
473                                          * if any. */
474     afs_kcondvar_t cv_twind;
475     afs_kcondvar_t cv_rq;
476     afs_kcondvar_t cv_tq;
477 #endif
478 #ifdef KDUMP_RX_LOCK
479     struct rx_connection_rx_lock *conn; /* Parent connection for call */
480 #else
481     struct rx_connection *conn; /* Parent connection for this call */
482 #endif
483     afs_uint32 *callNumber;     /* Pointer to call number field within connection */
484     afs_uint32 flags;           /* Some random flags */
485     u_char localStatus;         /* Local user status sent out of band */
486     u_char remoteStatus;        /* Remote user status received out of band */
487     afs_int32 error;            /* Error condition for this call */
488     afs_uint32 timeout;         /* High level timeout for this call */
489     afs_uint32 rnext;           /* Next sequence number expected to be read by rx_ReadData */
490     afs_uint32 rprev;           /* Previous packet received; used for deciding what the next packet to be received should be, in order to decide whether a negative acknowledge should be sent */
491     afs_uint32 rwind;           /* The receive window:  the peer must not send packets with sequence numbers >= rnext+rwind */
492     afs_uint32 tfirst;          /* First unacknowledged transmit packet number */
493     afs_uint32 tnext;           /* Next transmit sequence number to use */
494     u_short twind;              /* The transmit window:  we cannot assign a sequence number to a packet >= tfirst + twind */
495     u_short cwind;              /* The congestion window */
496     u_short nSoftAcked;         /* Number soft acked transmit packets */
497     u_short nextCwind;          /* The congestion window after recovery */
498     u_short nCwindAcks;         /* Number acks received at current cwind */
499     u_short ssthresh;           /* The slow start threshold */
500     u_short nDgramPackets;      /* Packets per AFS 3.5 jumbogram */
501     u_short nAcks;              /* The number of consecttive acks */
502     u_short nNacks;             /* Number packets acked that follow the
503                                  * first negatively acked packet */
504     u_short nSoftAcks;          /* The number of delayed soft acks */
505     u_short nHardAcks;          /* The number of delayed hard acks */
506     u_short congestSeq;         /* Peer's congestion sequence counter */
507     struct rxevent *resendEvent;        /* If this is non-Null, there is a retransmission event pending */
508     struct rxevent *timeoutEvent;       /* If this is non-Null, then there is an overall timeout for this call */
509     struct rxevent *keepAliveEvent;     /* Scheduled periodically in active calls to keep call alive */
510     struct rxevent *delayedAckEvent;    /* Scheduled after all packets are received to send an ack if a reply or new call is not generated soon */
511     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
512     int abortCode;              /* error code from last RPC */
513     int abortCount;             /* number of times last error was sent */
514     u_int lastSendTime;         /* Last time a packet was sent on this call */
515     u_int lastReceiveTime;      /* Last time a packet was received for this call */
516     u_int lastSendData;         /* Last time a nonping was sent on this call */
517     void (*arrivalProc) (register struct rx_call * call, register void * mh, register int index);       /* Procedure to call when reply is received */
518     void *arrivalProcHandle;    /* Handle to pass to replyFunc */
519     int arrivalProcArg;         /* Additional arg to pass to reply Proc */
520     afs_uint32 lastAcked;       /* last packet "hard" acked by receiver */
521     afs_uint32 startWait;       /* time server began waiting for input data/send quota */
522     struct clock traceWait;     /* time server began waiting for input data/send quota */
523     struct clock traceStart;    /* time the call started running */
524     u_short MTU;                /* size of packets currently sending */
525 #ifdef RX_ENABLE_LOCKS
526     short refCount;             /* Used to keep calls from disappearring
527                                  * when we get them from a queue. */
528 #endif                          /* RX_ENABLE_LOCKS */
529 /* Call refcount modifiers */
530 #define RX_CALL_REFCOUNT_BEGIN  0       /* GetCall/NewCall/EndCall */
531 #define RX_CALL_REFCOUNT_RESEND 1       /* resend event */
532 #define RX_CALL_REFCOUNT_DELAY  2       /* delayed ack */
533 #define RX_CALL_REFCOUNT_ALIVE  3       /* keep alive event */
534 #define RX_CALL_REFCOUNT_PACKET 4       /* waiting for packets. */
535 #define RX_CALL_REFCOUNT_SEND   5       /* rxi_Send */
536 #define RX_CALL_REFCOUNT_ACKALL 6       /* rxi_AckAll */
537 #define RX_CALL_REFCOUNT_ABORT  7       /* delayed abort */
538 #define RX_CALL_REFCOUNT_MAX    8       /* array size. */
539 #ifdef RX_REFCOUNT_CHECK
540     short refCDebug[RX_CALL_REFCOUNT_MAX];
541 #endif                          /* RX_REFCOUNT_CHECK */
542     int iovNBytes;              /* byte count for current iovec */
543     int iovMax;                 /* number elements in current iovec */
544     int iovNext;                /* next entry in current iovec */
545     struct iovec *iov;          /* current iovec */
546     struct clock queueTime;     /* time call was queued */
547     struct clock startTime;     /* time call was started */
548     afs_hyper_t bytesSent;      /* Number bytes sent */
549     afs_hyper_t bytesRcvd;      /* Number bytes received */
550     u_short tqWaiters;
551 };
552
553 #ifndef KDUMP_RX_LOCK
554 /* Major call states */
555 #define RX_STATE_NOTINIT  0     /* Call structure has never been initialized */
556 #define RX_STATE_PRECALL  1     /* Server-only:  call is not in progress, but packets have arrived */
557 #define RX_STATE_ACTIVE   2     /* An active call; a process is dealing with this call */
558 #define RX_STATE_DALLY    3     /* Dallying after process is done with call */
559 #define RX_STATE_HOLD     4     /* Waiting for acks on reply data packets */
560
561 /* Call modes:  the modes of a call in RX_STATE_ACTIVE state (process attached) */
562 #define RX_MODE_SENDING   1     /* Sending or ready to send */
563 #define RX_MODE_RECEIVING 2     /* Receiving or ready to receive */
564 #define RX_MODE_ERROR     3     /* Something in error for current conversation */
565 #define RX_MODE_EOF       4     /* Server has flushed (or client has read) last reply packet */
566
567 /* Flags */
568 #define RX_CALL_READER_WAIT        1    /* Reader is waiting for next packet */
569 #define RX_CALL_WAIT_WINDOW_ALLOC  2    /* Sender is waiting for window to allocate buffers */
570 #define RX_CALL_WAIT_WINDOW_SEND   4    /* Sender is waiting for window to send buffers */
571 #define RX_CALL_WAIT_PACKETS       8    /* Sender is waiting for packet buffers */
572 #define RX_CALL_WAIT_PROC         16    /* Waiting for a process to be assigned */
573 #define RX_CALL_RECEIVE_DONE      32    /* All packets received on this call */
574 #define RX_CALL_CLEARED           64    /* Receive queue cleared in precall state */
575 #define RX_CALL_TQ_BUSY          128    /* Call's Xmit Queue is busy; don't modify */
576 #define RX_CALL_TQ_CLEARME       256    /* Need to clear this call's TQ later */
577 #define RX_CALL_TQ_SOME_ACKED    512    /* rxi_Start needs to discard ack'd packets. */
578 #define RX_CALL_TQ_WAIT         1024    /* Reader is waiting for TQ_BUSY to be reset */
579 #define RX_CALL_FAST_RECOVER    2048    /* call is doing congestion recovery */
580 #define RX_CALL_FAST_RECOVER_WAIT 4096  /* thread is waiting to start recovery */
581 #define RX_CALL_SLOW_START_OK   8192    /* receiver acks every other packet */
582 #define RX_CALL_IOVEC_WAIT      16384   /* waiting thread is using an iovec */
583 #define RX_CALL_HAVE_LAST       32768   /* Last packet has been received */
584 #define RX_CALL_NEED_START      0x10000 /* tells rxi_Start to start again */
585
586 /* Maximum number of acknowledgements in an acknowledge packet */
587 #define RX_MAXACKS          255
588
589 /* The structure of the data portion of an acknowledge packet: An acknowledge
590  * packet is in network byte order at all times.  An acknowledgement is always
591  * prompted for a specific reason by a specific incoming packet.  This reason
592  * is reported in "reason" and the packet's sequence number in the packet
593  * header.seq.  In addition to this information, all of the current
594  * acknowledgement information about this call is placed in the packet.
595  * "FirstPacket" is the sequence number of the first packet represented in an
596  * array of bytes, "acks", containing acknowledgement information for a number
597  * of consecutive packets.  All packets prior to FirstPacket are implicitly
598  * acknowledged: the sender need no longer be concerned about them.  Packets
599  * from firstPacket+nAcks and on are not acknowledged.  Packets in the range
600  * [firstPacket,firstPacket+nAcks) are each acknowledged explicitly.  The
601  * acknowledgement may be RX_NACK if the packet is not (currently) at the
602  * receiver (it may have never been received, or received and then later
603  * dropped), or it may be RX_ACK if the packet is queued up waiting to be read
604  * by the upper level software.  RX_ACK does not imply that the packet may not
605  * be dropped before it is read; it does imply that the sender should stop
606  * retransmitting the packet until notified otherwise.  The field
607  * previousPacket identifies the previous packet received by the peer.  This
608  * was used in a previous version of this software, and could be used in the
609  * future.  The serial number in the data part of the ack packet corresponds to
610  * the serial number oof the packet which prompted the acknowledge.  Any
611  * packets which are explicitly not acknowledged, and which were last
612  * transmitted with a serial number less than the provided serial number,
613  * should be retransmitted immediately.  Actually, this is slightly inaccurate:
614  * packets are not necessarily received in order.  When packets are habitually
615  * transmitted out of order, this is allowed for in the retransmission
616  * algorithm by introducing the notion of maximum packet skew: the degree of
617  * out-of-orderness of the packets received on the wire.  This number is
618  * communicated from the receiver to the sender in ack packets. */
619
620 struct rx_ackPacket {
621     u_short bufferSpace;        /* Number of packet buffers available.  That is:  the number of buffers that the sender of the ack packet is willing to provide for data, on this or subsequent calls.  Lying is permissable. */
622     u_short maxSkew;            /* Maximum difference between serial# of packet acknowledged and highest packet yet received */
623     afs_uint32 firstPacket;     /* The first packet in the list of acknowledged packets */
624     afs_uint32 previousPacket;  /* The previous packet number received (obsolete?) */
625     afs_uint32 serial;          /* Serial number of the packet which prompted the acknowledge */
626     u_char reason;              /* Reason for the acknowledge of ackPacket, defined below */
627     u_char nAcks;               /* Number of acknowledgements */
628     u_char acks[RX_MAXACKS];    /* Up to RX_MAXACKS packet acknowledgements, defined below */
629     /* Packets <firstPacket are implicitly acknowledged and may be discarded by the sender.  Packets >= firstPacket+nAcks are implicitly NOT acknowledged.  No packets with sequence numbers >= firstPacket should be discarded by the sender (they may thrown out at any time by the receiver) */
630 };
631
632 #define FIRSTACKOFFSET 4
633
634 /* Reason for acknowledge message */
635 #define RX_ACK_REQUESTED        1       /* Peer requested an ack on this packet */
636 #define RX_ACK_DUPLICATE        2       /* Duplicate packet */
637 #define RX_ACK_OUT_OF_SEQUENCE  3       /* Packet out of sequence */
638 #define RX_ACK_EXCEEDS_WINDOW   4       /* Packet sequence number higher than window; discarded */
639 #define RX_ACK_NOSPACE          5       /* No buffer space at all */
640 #define RX_ACK_PING             6       /* This is a keep-alive ack */
641 #define RX_ACK_PING_RESPONSE    7       /* Ack'ing because we were pinged */
642 #define RX_ACK_DELAY            8       /* Ack generated since nothing has happened since receiving packet */
643 #define RX_ACK_IDLE             9       /* Similar to RX_ACK_DELAY, but can 
644                                          * be used to compute RTT */
645
646 /* Packet acknowledgement type */
647 #define RX_ACK_TYPE_NACK        0       /* I Don't have this packet */
648 #define RX_ACK_TYPE_ACK         1       /* I have this packet, although I may discard it later */
649
650 /* The packet size transmitted for an acknowledge is adjusted to reflect the actual size of the acks array.  This macro defines the size */
651 #define rx_AckDataSize(nAcks) (3 + nAcks + offsetof(struct rx_ackPacket, acks[0]))
652
653 #define RX_CHALLENGE_TIMEOUT    2       /* Number of seconds before another authentication request packet is generated */
654 #define RX_CHALLENGE_MAXTRIES   50      /* Max # of times we resend challenge */
655 #define RX_CHECKREACH_TIMEOUT   2       /* Number of seconds before another ping is generated */
656 #define RX_CHECKREACH_TTL       60      /* Re-check reachability this often */
657
658 /* RX error codes.  RX uses error codes from -1 to -64.  Rxgen may use other error codes < -64; user programs are expected to return positive error codes */
659
660 /* Something bad happened to the connection; temporary loss of communication */
661 #define RX_CALL_DEAD                (-1)
662
663 /* An invalid operation, such as a client attempting to send data after having received the beginning of a reply from the server */
664 #define RX_INVALID_OPERATION        (-2)
665
666 /* An optional timeout per call may be specified */
667 #define RX_CALL_TIMEOUT             (-3)
668
669 /* End of data on a read */
670 #define RX_EOF                      (-4)
671
672 /* Some sort of low-level protocol error */
673 #define RX_PROTOCOL_ERROR           (-5)
674
675 /* Generic user abort code; used when no more specific error code needs to be communicated.  For example, multi rx clients use this code to abort a multi rx call */
676 #define RX_USER_ABORT               (-6)
677
678 /* Port already in use (from rx_Init) */
679 #define RX_ADDRINUSE                (-7)
680
681 /* EMSGSIZE returned from network.  Packet too big, must fragment */
682 #define RX_MSGSIZE                  (-8)
683
684 /* transient failure detected ( possibly the server is restarting ) */
685 /* this shud be equal to VRESTARTING ( util/errors.h ) for old clients to work */
686 #define RX_RESTARTING               (-100)
687
688 struct rx_securityObjectStats {
689     char type;                  /* 0:unk 1:null,2:vab 3:kad */
690     char level;
691     char sparec[10];            /* force correct alignment */
692     afs_int32 flags;            /* 1=>unalloc, 2=>auth, 4=>expired */
693     afs_uint32 expires;
694     afs_uint32 packetsReceived;
695     afs_uint32 packetsSent;
696     afs_uint32 bytesReceived;
697     afs_uint32 bytesSent;
698     short spares[4];
699     afs_int32 sparel[8];
700 };
701
702 /* Configuration settings */
703
704 /* Enum for storing configuration variables which can be set via the 
705  * SetConfiguration method in the rx_securityClass, below
706  */
707
708 typedef enum {
709      RXS_CONFIG_FLAGS /* afs_uint32 set of bitwise flags */
710 } rx_securityConfigVariables;
711
712 /* For the RXS_CONFIG_FLAGS, the following bit values are defined */
713
714 /* Disable the principal name contains dot check in rxkad */
715 #define RXS_CONFIG_FLAGS_DISABLE_DOTCHECK       0x01
716
717 /* XXXX (rewrite this description) A security class object contains a set of
718  * procedures and some private data to implement a security model for rx
719  * connections.  These routines are called by rx as appropriate.  Rx knows
720  * nothing about the internal details of any particular security model, or
721  * about security state.  Rx does maintain state per connection on behalf of
722  * the security class.  Each security class implementation is also expected to
723  * provide routines to create these objects.  Rx provides a basic routine to
724  * allocate one of these objects; this routine must be called by the class. */
725 struct rx_securityClass {
726     struct rx_securityOps {
727         int (*op_Close) (struct rx_securityClass * aobj);
728         int (*op_NewConnection) (struct rx_securityClass * aobj,
729                                  struct rx_connection * aconn);
730         int (*op_PreparePacket) (struct rx_securityClass * aobj,
731                                  struct rx_call * acall,
732                                  struct rx_packet * apacket);
733         int (*op_SendPacket) (struct rx_securityClass * aobj,
734                               struct rx_call * acall,
735                               struct rx_packet * apacket);
736         int (*op_CheckAuthentication) (struct rx_securityClass * aobj,
737                                        struct rx_connection * aconn);
738         int (*op_CreateChallenge) (struct rx_securityClass * aobj,
739                                    struct rx_connection * aconn);
740         int (*op_GetChallenge) (struct rx_securityClass * aobj,
741                                 struct rx_connection * aconn,
742                                 struct rx_packet * apacket);
743         int (*op_GetResponse) (struct rx_securityClass * aobj,
744                                struct rx_connection * aconn,
745                                struct rx_packet * apacket);
746         int (*op_CheckResponse) (struct rx_securityClass * aobj,
747                                  struct rx_connection * aconn,
748                                  struct rx_packet * apacket);
749         int (*op_CheckPacket) (struct rx_securityClass * aobj,
750                                struct rx_call * acall,
751                                struct rx_packet * apacket);
752         int (*op_DestroyConnection) (struct rx_securityClass * aobj,
753                                      struct rx_connection * aconn);
754         int (*op_GetStats) (struct rx_securityClass * aobj,
755                             struct rx_connection * aconn,
756                             struct rx_securityObjectStats * astats);
757         int (*op_SetConfiguration) (struct rx_securityClass * aobj,
758                                     struct rx_connection * aconn,
759                                     rx_securityConfigVariables atype,
760                                     void * avalue,
761                                     void ** acurrentValue);
762         int (*op_Spare2) (void);
763         int (*op_Spare3) (void);
764     } *ops;
765     void *privateData;
766     int refCount;
767 };
768
769 #define RXS_OP(obj,op,args) ((obj && (obj->ops->op_ ## op)) ? (*(obj)->ops->op_ ## op)args : 0)
770
771 #define RXS_Close(obj) RXS_OP(obj,Close,(obj))
772 #define RXS_NewConnection(obj,conn) RXS_OP(obj,NewConnection,(obj,conn))
773 #define RXS_PreparePacket(obj,call,packet) RXS_OP(obj,PreparePacket,(obj,call,packet))
774 #define RXS_SendPacket(obj,call,packet) RXS_OP(obj,SendPacket,(obj,call,packet))
775 #define RXS_CheckAuthentication(obj,conn) RXS_OP(obj,CheckAuthentication,(obj,conn))
776 #define RXS_CreateChallenge(obj,conn) RXS_OP(obj,CreateChallenge,(obj,conn))
777 #define RXS_GetChallenge(obj,conn,packet) RXS_OP(obj,GetChallenge,(obj,conn,packet))
778 #define RXS_GetResponse(obj,conn,packet) RXS_OP(obj,GetResponse,(obj,conn,packet))
779 #define RXS_CheckResponse(obj,conn,packet) RXS_OP(obj,CheckResponse,(obj,conn,packet))
780 #define RXS_CheckPacket(obj,call,packet) RXS_OP(obj,CheckPacket,(obj,call,packet))
781 #define RXS_DestroyConnection(obj,conn) RXS_OP(obj,DestroyConnection,(obj,conn))
782 #define RXS_GetStats(obj,conn,stats) RXS_OP(obj,GetStats,(obj,conn,stats))
783 #define RXS_SetConfiguration(obj, conn, type, value, currentValue) RXS_OP(obj, SetConfiguration,(obj,conn,type,value,currentValue))
784
785
786 /* Structure for keeping rx statistics.  Note that this structure is returned
787  * by rxdebug, so, for compatibility reasons, new fields should be appended (or
788  * spares used), the rxdebug protocol checked, if necessary, and the PrintStats
789  * code should be updated as well.
790  *
791  * Clearly we assume that ntohl will work on these structures so sizeof(int)
792  * must equal sizeof(afs_int32). */
793
794 struct rx_stats {               /* General rx statistics */
795     int packetRequests;         /* Number of packet allocation requests */
796     int receivePktAllocFailures;
797     int sendPktAllocFailures;
798     int specialPktAllocFailures;
799     int socketGreedy;           /* Whether SO_GREEDY succeeded */
800     int bogusPacketOnRead;      /* Number of inappropriately short packets received */
801     int bogusHost;              /* Host address from bogus packets */
802     int noPacketOnRead;         /* Number of read packets attempted when there was actually no packet to read off the wire */
803     int noPacketBuffersOnRead;  /* Number of dropped data packets due to lack of packet buffers */
804     int selects;                /* Number of selects waiting for packet or timeout */
805     int sendSelects;            /* Number of selects forced when sending packet */
806     int packetsRead[RX_N_PACKET_TYPES]; /* Total number of packets read, per type */
807     int dataPacketsRead;        /* Number of unique data packets read off the wire */
808     int ackPacketsRead;         /* Number of ack packets read */
809     int dupPacketsRead;         /* Number of duplicate data packets read */
810     int spuriousPacketsRead;    /* Number of inappropriate data packets */
811     int packetsSent[RX_N_PACKET_TYPES]; /* Number of rxi_Sends: packets sent over the wire, per type */
812     int ackPacketsSent;         /* Number of acks sent */
813     int pingPacketsSent;        /* Total number of ping packets sent */
814     int abortPacketsSent;       /* Total number of aborts */
815     int busyPacketsSent;        /* Total number of busies sent received */
816     int dataPacketsSent;        /* Number of unique data packets sent */
817     int dataPacketsReSent;      /* Number of retransmissions */
818     int dataPacketsPushed;      /* Number of retransmissions pushed early by a NACK */
819     int ignoreAckedPacket;      /* Number of packets with acked flag, on rxi_Start */
820     struct clock totalRtt;      /* Total round trip time measured (use to compute average) */
821     struct clock minRtt;        /* Minimum round trip time measured */
822     struct clock maxRtt;        /* Maximum round trip time measured */
823     int nRttSamples;            /* Total number of round trip samples */
824     int nServerConns;           /* Total number of server connections */
825     int nClientConns;           /* Total number of client connections */
826     int nPeerStructs;           /* Total number of peer structures */
827     int nCallStructs;           /* Total number of call structures allocated */
828     int nFreeCallStructs;       /* Total number of previously allocated free call structures */
829     int netSendFailures;
830     afs_int32 fatalErrors;
831     int ignorePacketDally;      /* packets dropped because call is in dally state */
832     int receiveCbufPktAllocFailures;
833     int sendCbufPktAllocFailures;
834     int nBusies;
835     int spares[4];
836 };
837
838 /* structures for debug input and output packets */
839
840 /* debug input types */
841 struct rx_debugIn {
842     afs_int32 type;
843     afs_int32 index;
844 };
845
846 /* Invalid rx debug package type */
847 #define RX_DEBUGI_BADTYPE     (-8)
848
849 #define RX_DEBUGI_VERSION_MINIMUM ('L') /* earliest real version */
850 #define RX_DEBUGI_VERSION     ('R')     /* Latest version */
851     /* first version w/ secStats */
852 #define RX_DEBUGI_VERSION_W_SECSTATS ('L')
853     /* version M is first supporting GETALLCONN and RXSTATS type */
854 #define RX_DEBUGI_VERSION_W_GETALLCONN ('M')
855 #define RX_DEBUGI_VERSION_W_RXSTATS ('M')
856     /* last version with unaligned debugConn */
857 #define RX_DEBUGI_VERSION_W_UNALIGNED_CONN ('L')
858 #define RX_DEBUGI_VERSION_W_WAITERS ('N')
859 #define RX_DEBUGI_VERSION_W_IDLETHREADS ('O')
860 #define RX_DEBUGI_VERSION_W_NEWPACKETTYPES ('P')
861 #define RX_DEBUGI_VERSION_W_GETPEER ('Q')
862 #define RX_DEBUGI_VERSION_W_WAITED ('R')
863
864 #define RX_DEBUGI_GETSTATS      1       /* get basic rx stats */
865 #define RX_DEBUGI_GETCONN       2       /* get connection info */
866 #define RX_DEBUGI_GETALLCONN    3       /* get even uninteresting conns */
867 #define RX_DEBUGI_RXSTATS       4       /* get all rx stats */
868 #define RX_DEBUGI_GETPEER       5       /* get all peer structs */
869
870 struct rx_debugStats {
871     afs_int32 nFreePackets;
872     afs_int32 packetReclaims;
873     afs_int32 callsExecuted;
874     char waitingForPackets;
875     char usedFDs;
876     char version;
877     char spare1;
878     afs_int32 nWaiting;
879     afs_int32 idleThreads;      /* Number of server threads that are idle */
880     afs_int32 nWaited;
881     afs_int32 spare2[7];
882 };
883
884 struct rx_debugConn_vL {
885     afs_int32 host;
886     afs_int32 cid;
887     afs_int32 serial;
888     afs_int32 callNumber[RX_MAXCALLS];
889     afs_int32 error;
890     short port;
891     char flags;
892     char type;
893     char securityIndex;
894     char callState[RX_MAXCALLS];
895     char callMode[RX_MAXCALLS];
896     char callFlags[RX_MAXCALLS];
897     char callOther[RX_MAXCALLS];
898     /* old style getconn stops here */
899     struct rx_securityObjectStats secStats;
900     afs_int32 sparel[10];
901 };
902
903 struct rx_debugConn {
904     afs_int32 host;
905     afs_int32 cid;
906     afs_int32 serial;
907     afs_int32 callNumber[RX_MAXCALLS];
908     afs_int32 error;
909     short port;
910     char flags;
911     char type;
912     char securityIndex;
913     char sparec[3];             /* force correct alignment */
914     char callState[RX_MAXCALLS];
915     char callMode[RX_MAXCALLS];
916     char callFlags[RX_MAXCALLS];
917     char callOther[RX_MAXCALLS];
918     /* old style getconn stops here */
919     struct rx_securityObjectStats secStats;
920     afs_int32 epoch;
921     afs_int32 natMTU;
922     afs_int32 sparel[9];
923 };
924
925 struct rx_debugPeer {
926     afs_uint32 host;
927     u_short port;
928     u_short ifMTU;
929     afs_uint32 idleWhen;
930     short refCount;
931     u_char burstSize;
932     u_char burst;
933     struct clock burstWait;
934     afs_int32 rtt;
935     afs_int32 rtt_dev;
936     struct clock timeout;
937     afs_int32 nSent;
938     afs_int32 reSends;
939     afs_int32 inPacketSkew;
940     afs_int32 outPacketSkew;
941     afs_int32 rateFlag;
942     u_short natMTU;
943     u_short maxMTU;
944     u_short maxDgramPackets;
945     u_short ifDgramPackets;
946     u_short MTU;
947     u_short cwind;
948     u_short nDgramPackets;
949     u_short congestSeq;
950     afs_hyper_t bytesSent;
951     afs_hyper_t bytesReceived;
952     afs_int32 sparel[10];
953 };
954
955 #define RX_OTHER_IN     1       /* packets avail in in queue */
956 #define RX_OTHER_OUT    2       /* packets avail in out queue */
957
958
959
960 /* Only include this once, even when re-loading for kdump. */
961 #ifndef _CALL_REF_DEFINED_
962 #define _CALL_REF_DEFINED_
963
964 #ifdef RX_ENABLE_LOCKS
965 #ifdef RX_REFCOUNT_CHECK
966 /* RX_REFCOUNT_CHECK is used to test for call refcount leaks by event
967  * type.
968  */
969 extern int rx_callHoldType;
970 #define CALL_HOLD(call, type) do { \
971                                  call->refCount++; \
972                                  call->refCDebug[type]++; \
973                                  if (call->refCDebug[type] > 50)  {\
974                                      rx_callHoldType = type; \
975                                      osi_Panic("Huge call refCount"); \
976                                                                } \
977                              } while (0)
978 #define CALL_RELE(call, type) do { \
979                                  call->refCount--; \
980                                  call->refCDebug[type]--; \
981                                  if (call->refCDebug[type] > 50) {\
982                                      rx_callHoldType = type; \
983                                      osi_Panic("Negative call refCount"); \
984                                                               } \
985                              } while (0)
986 #else /* RX_REFCOUNT_CHECK */
987 #define CALL_HOLD(call, type)    call->refCount++
988 #define CALL_RELE(call, type)    call->refCount--
989 #endif /* RX_REFCOUNT_CHECK */
990
991 #else /* RX_ENABLE_LOCKS */
992 #define CALL_HOLD(call, type)
993 #define CALL_RELE(call, type)
994 #endif /* RX_ENABLE_LOCKS */
995
996 #endif /* _CALL_REF_DEFINED_ */
997
998 #define RX_SERVER_DEBUG_SEC_STATS               0x1
999 #define RX_SERVER_DEBUG_ALL_CONN                0x2
1000 #define RX_SERVER_DEBUG_RX_STATS                0x4
1001 #define RX_SERVER_DEBUG_WAITER_CNT              0x8
1002 #define RX_SERVER_DEBUG_IDLE_THREADS            0x10
1003 #define RX_SERVER_DEBUG_OLD_CONN                0x20
1004 #define RX_SERVER_DEBUG_NEW_PACKETS             0x40
1005 #define RX_SERVER_DEBUG_ALL_PEER                0x80
1006 #define RX_SERVER_DEBUG_WAITED_CNT              0x100
1007
1008 #define AFS_RX_STATS_CLEAR_ALL                  0xffffffff
1009 #define AFS_RX_STATS_CLEAR_INVOCATIONS          0x1
1010 #define AFS_RX_STATS_CLEAR_BYTES_SENT           0x2
1011 #define AFS_RX_STATS_CLEAR_BYTES_RCVD           0x4
1012 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SUM       0x8
1013 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SQUARE    0x10
1014 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MIN       0x20
1015 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MAX       0x40
1016 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SUM        0x80
1017 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SQUARE     0x100
1018 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MIN        0x200
1019 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MAX        0x400
1020
1021 typedef struct rx_function_entry_v1 {
1022     afs_uint32 remote_peer;
1023     afs_uint32 remote_port;
1024     afs_uint32 remote_is_server;
1025     afs_uint32 interfaceId;
1026     afs_uint32 func_total;
1027     afs_uint32 func_index;
1028     afs_hyper_t invocations;
1029     afs_hyper_t bytes_sent;
1030     afs_hyper_t bytes_rcvd;
1031     struct clock queue_time_sum;
1032     struct clock queue_time_sum_sqr;
1033     struct clock queue_time_min;
1034     struct clock queue_time_max;
1035     struct clock execution_time_sum;
1036     struct clock execution_time_sum_sqr;
1037     struct clock execution_time_min;
1038     struct clock execution_time_max;
1039 } rx_function_entry_v1_t, *rx_function_entry_v1_p;
1040
1041 /*
1042  * If you need to change rx_function_entry, you should probably create a brand
1043  * new structure.  Keeping the old structure will allow backwards compatibility
1044  * with old clients (even if it is only used to calculate allocation size).
1045  * If you do change the size or the format, you'll need to bump
1046  * RX_STATS_RETRIEVAL_VERSION.  This allows some primitive form
1047  * of versioning a la rxdebug.
1048  */
1049
1050 #define RX_STATS_RETRIEVAL_VERSION 1    /* latest version */
1051 #define RX_STATS_RETRIEVAL_FIRST_EDITION 1      /* first implementation */
1052
1053 typedef struct rx_interface_stat {
1054     struct rx_queue queue_header;
1055     struct rx_queue all_peers;
1056     rx_function_entry_v1_t stats[1];    /* make sure this is aligned correctly */
1057 } rx_interface_stat_t, *rx_interface_stat_p;
1058
1059 #define RX_STATS_SERVICE_ID 409
1060
1061 #ifdef AFS_NT40_ENV
1062 #define rx_MutexIncrement(object, mutex) InterlockedIncrement(&object)
1063 #define rx_MutexAdd(object, addend, mutex) InterlockedAdd(&object, addend)
1064 #define rx_MutexDecrement(object, mutex) InterlockedDecrement(&object)
1065 #define rx_MutexAdd1Increment2(object1, addend, object2, mutex) \
1066     do { \
1067         MUTEX_ENTER(&mutex); \
1068         object1 += addend; \
1069         InterlockedIncrement(&object2); \
1070         MUTEX_EXIT(&mutex); \
1071     } while (0)
1072 #define rx_MutexAdd1Decrement2(object1, addend, object2, mutex) \
1073     do { \
1074         MUTEX_ENTER(&mutex); \
1075         object1 += addend; \
1076         InterlockedDecrement(&object2); \
1077         MUTEX_EXIT(&mutex); \
1078     } while (0)
1079 #else
1080 #define rx_MutexIncrement(object, mutex) \
1081     do { \
1082         MUTEX_ENTER(&mutex); \
1083         object++; \
1084         MUTEX_EXIT(&mutex); \
1085     } while(0)
1086 #define rx_MutexAdd(object, addend, mutex) \
1087     do { \
1088         MUTEX_ENTER(&mutex); \
1089         object += addend; \
1090         MUTEX_EXIT(&mutex); \
1091     } while(0)
1092 #define rx_MutexAdd1Increment2(object1, addend, object2, mutex) \
1093     do { \
1094         MUTEX_ENTER(&mutex); \
1095         object1 += addend; \
1096         object2++; \
1097         MUTEX_EXIT(&mutex); \
1098     } while(0)
1099 #define rx_MutexAdd1Decrement2(object1, addend, object2, mutex) \
1100     do { \
1101         MUTEX_ENTER(&mutex); \
1102         object1 += addend; \
1103         object2--; \
1104         MUTEX_EXIT(&mutex); \
1105     } while(0)
1106 #define rx_MutexDecrement(object, mutex) \
1107     do { \
1108         MUTEX_ENTER(&mutex); \
1109         object--; \
1110         MUTEX_EXIT(&mutex); \
1111     } while(0)
1112 #endif 
1113
1114 #endif /* _RX_   End of rx.h */
1115
1116 #ifdef  KERNEL
1117 #include "rx/rx_prototypes.h"
1118 #else
1119 #include "rx_prototypes.h"
1120 #endif
1121
1122 #endif /* !KDUMP_RX_LOCK */