rx-race-condition-cleanup-by-adding-busy-status-20010605
[openafs.git] / src / rx / rx.h
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #ifdef KDUMP_RX_LOCK
11 /* kdump for SGI needs MP and SP versions of rx_serverQueueEntry,
12  * rx_peer, rx_connection and rx_call structs. rx.h gets included a
13  * second time to pick up mp_ versions of those structs. Currently
14  * the affected struct's have #ifdef's in them for the second pass.
15  * This should change once we start using only ANSI compilers.
16  * Actually, kdump does not use rx_serverQueueEntry, but I'm including
17  * it for completeness.
18  */
19 #undef _RX_
20 #endif
21
22 #ifndef _RX_
23 #define _RX_
24
25 #ifndef KDUMP_RX_LOCK
26 /* Substitute VOID (char) for void, because some compilers are confused by void
27  * in some situations */
28 #ifndef AFS_NT40_ENV
29 #define VOID    char
30 #endif
31
32 #ifdef  KERNEL
33 #include "../rx/rx_kmutex.h"
34 #include "../rx/rx_kernel.h"
35 #include "../rx/rx_clock.h"
36 #include "../rx/rx_event.h"
37 #include "../rx/rx_queue.h"
38 #include "../rx/rx_packet.h"
39 #include "../rx/rx_misc.h"
40 #include "../netinet/in.h"
41 #else /* KERNEL */
42 # include <sys/types.h>
43 # include <stdio.h>
44 #ifdef AFS_PTHREAD_ENV
45 # include <rx/rx_pthread.h>
46 #else
47 # include "rx_lwp.h"
48 #endif
49 #ifdef AFS_NT40_ENV
50 #include <malloc.h>
51 #endif
52 # include "rx_user.h"
53 # include "rx_clock.h"
54 # include "rx_event.h"
55 # include "rx_packet.h"
56 # include "rx_misc.h"
57 #ifndef AFS_NT40_ENV
58 # include <netinet/in.h>
59 #endif
60 #endif /* KERNEL */
61
62
63 /* Configurable parameters */
64 #define RX_IDLE_DEAD_TIME       60      /* default idle dead time */
65 #define RX_MAX_SERVICES         20      /* Maximum number of services that may be installed */
66 #define RX_DEFAULT_STACK_SIZE   16000   /* Default process stack size; overriden by rx_SetStackSize */
67
68 /* This parameter should not normally be changed */
69 #define RX_PROCESS_PRIORITY     LWP_NORMAL_PRIORITY
70
71 /* backoff is fixed point binary.  Ie, units of 1/4 seconds */
72 #define MAXBACKOFF 0x1F
73
74 #define ADDRSPERSITE 16
75
76 /* Exported interfaces XXXX clean this up:  not all of these are exported*/
77 int rx_Init();
78 struct rx_service *rx_NewService();
79 struct rx_connection *rx_NewConnection();
80 struct rx_call *rx_NewCall();
81 struct rx_call *rx_GetCall();  /* Not normally used, but not obsolete */
82 afs_int32 rx_EndCall();
83 int rx_AllocPackets();
84 void rx_FreePackets();
85 int rx_WriteProc();
86 int rx_WritevProc();
87 int rx_WriteProc32();
88 int rx_WritevAlloc();
89 int rx_ReadProc();
90 int rx_ReadvProc();
91 int rx_ReadProc32();
92 void rx_FlushWrite();
93 int rxi_WriteProc();
94 int rxi_WritevProc();
95 int rxi_WritevAlloc();
96 int rxi_ReadProc();
97 int rxi_ReadvProc();
98 int rxi_FillReadVec();
99 void rxi_FlushWrite();
100 void rx_PrintStats();
101 void rx_PrintPeerStats();
102 void rx_SetArrivalProc();
103 void rx_Finalize();
104 void rx_GetIFInfo();
105 #ifndef KERNEL
106 typedef void (*rx_destructor_t)(void *);
107 int rx_KeyCreate(rx_destructor_t);
108 void *rx_GetSpecific(struct rx_connection *conn, int key);
109 void rx_SetSpecific(struct rx_connection *conn, int key, void *ptr);
110 #endif /* KERNEL */
111 int ntoh_syserr_conv(int error);
112
113 #define RX_WAIT     1
114 #define RX_DONTWAIT 0
115
116 #define rx_ConnectionOf(call)           ((call)->conn)
117 #define rx_PeerOf(conn)                 ((conn)->peer)
118 #define rx_HostOf(peer)                 ((peer)->host)
119 #define rx_PortOf(peer)                 ((peer)->port)
120 #define rx_SetLocalStatus(call, status) ((call)->localStatus = (status))
121 #define rx_GetLocalStatus(call, status) ((call)->localStatus)
122 #define rx_GetRemoteStatus(call)        ((call)->remoteStatus)
123 #define rx_Error(call)                  ((call)->error)
124 #define rx_ConnError(conn)              ((conn)->error)
125 #define rx_IsServerConn(conn)           ((conn)->type == RX_SERVER_CONNECTION)
126 #define rx_IsClientConn(conn)           ((conn)->type == RX_CLIENT_CONNECTION)
127 /* Don't use these; use the IsServerConn style */
128 #define rx_ServerConn(conn)             ((conn)->type == RX_SERVER_CONNECTION)
129 #define rx_ClientConn(conn)             ((conn)->type == RX_CLIENT_CONNECTION)
130 #define rx_IsUsingPktCksum(conn)        ((conn)->flags & RX_CONN_USING_PACKET_CKSUM)
131 #define rx_ServiceIdOf(conn)            ((conn)->serviceId)
132 #define rx_SecurityClassOf(conn)        ((conn)->securityIndex)
133 #define rx_SecurityObjectOf(conn)       ((conn)->securityObject)
134
135 /*******************
136  * Macros callable by the user to further define attributes of a
137  * service.  Must be called before rx_StartServer
138  */
139
140 /* Set the service stack size.  This currently just sets the stack
141  * size for all processes to be the maximum seen, so far */
142 #define rx_SetStackSize(service, stackSize) \
143   rx_stackSize = (((stackSize) > rx_stackSize)? stackSize: rx_stackSize)
144
145 /* Set minimum number of processes guaranteed to be available for this
146  * service at all times */
147 #define rx_SetMinProcs(service, min) ((service)->minProcs = (min))
148
149 /* Set maximum number of processes that will be made available to this
150  * service (also a guarantee that this number will be made available
151  * if there is no competition) */
152 #define rx_SetMaxProcs(service, max) ((service)->maxProcs = (max))
153
154 /* Define a procedure to be called just before a server connection is destroyed */
155 #define rx_SetDestroyConnProc(service,proc) ((service)->destroyConnProc = (proc))
156
157 /* Define procedure to set service dead time */
158 #define rx_SetIdleDeadTime(service,time) ((service)->idleDeadTime = (time))
159
160 /* Define procedures for getting and setting before and after execute-request procs */
161 #define rx_SetAfterProc(service,proc) ((service)->afterProc = (proc))
162 #define rx_SetBeforeProc(service,proc) ((service)->beforeProc = (proc))
163 #define rx_GetAfterProc(service) ((service)->afterProc)
164 #define rx_GetBeforeProc(service) ((service)->beforeProc)
165
166 /* Define a procedure to be called when a server connection is created */
167 #define rx_SetNewConnProc(service, proc) ((service)->newConnProc = (proc))
168
169 /* NOTE:  We'll probably redefine the following three routines, again, sometime. */
170
171 /* Set the connection dead time for any connections created for this service (server only) */
172 #define rx_SetServiceDeadTime(service, seconds) ((service)->secondsUntilDead = (seconds))
173
174 /* Set connection dead time, for a specific client or server connection */
175 extern void rx_SetConnDeadTime();
176
177 /* Set connection hard timeout for a connection */
178 #define rx_SetConnHardDeadTime(conn, seconds) ((conn)->hardDeadTime = (seconds))
179
180 /* Set the overload threshold and the overload error */
181 #define rx_SetBusyThreshold(threshold, code) (rx_BusyThreshold=(threshold),rx_BusyError=(code))
182
183 /* If this flag is set,no new requests are processed by rx, all new requests are
184 returned with an error code of RX_CALL_DEAD ( transient error ) */
185 #define rx_SetRxTranquil()              (rx_tranquil = 1)
186 #define rx_ClearRxTranquil()            (rx_tranquil = 0)
187
188 /* Set the threshold and time to delay aborts for consecutive errors */
189 #define rx_SetCallAbortThreshold(A) (rxi_callAbortThreshhold = (A))
190 #define rx_SetCallAbortDelay(A) (rxi_callAbortDelay = (A))
191 #define rx_SetConnAbortThreshold(A) (rxi_connAbortThreshhold = (A))
192 #define rx_SetConnAbortDelay(A) (rxi_connAbortDelay = (A))
193
194 #define cpspace(call) ((call)->curlen)
195 #define cppos(call) ((call)->curpos)
196
197 #define rx_Read(call, buf, nbytes)   rx_ReadProc(call, buf, nbytes)
198 #define rx_Read32(call, value)   rx_ReadProc32(call, value)
199 #define rx_Readv(call, iov, nio, maxio, nbytes) \
200    rx_ReadvProc(call, iov, nio, maxio, nbytes)
201 #define rx_Write(call, buf, nbytes) rx_WriteProc(call, buf, nbytes)
202 #define rx_Write32(call, value) rx_WriteProc32(call, value)
203 #define rx_Writev(call, iov, nio, nbytes) \
204    rx_WritevProc(call, iov, nio, nbytes)
205
206 /* This is the maximum size data packet that can be sent on this connection, accounting for security module-specific overheads. */
207 #define rx_MaxUserDataSize(call)                ((call)->MTU - RX_HEADER_SIZE - (call)->conn->securityHeaderSize - (call)->conn->securityMaxTrailerSize)
208
209 /* Macros to turn the hot thread feature on and off. Enabling hot threads
210  * allows the listener thread to trade places with an idle worker thread,
211  * which moves the context switch from listener to worker out of the
212  * critical path.
213  */
214 #define rx_EnableHotThread()            (rx_enable_hot_thread = 1)
215 #define rx_DisableHotThread()           (rx_enable_hot_thread = 0)
216
217 struct rx_securityObjectStats {
218     char type;                          /* 0:unk 1:null,2:vab 3:kad */
219     char level;
220     char sparec[10];                    /* force correct alignment */
221     afs_int32 flags;                            /* 1=>unalloc, 2=>auth, 4=>expired */
222     afs_uint32 expires;
223     afs_uint32 packetsReceived;
224     afs_uint32 packetsSent;
225     afs_uint32 bytesReceived;
226     afs_uint32 bytesSent;
227     short spares[4];
228     afs_int32 sparel[8];
229 };
230
231 /* XXXX (rewrite this description) A security class object contains a set of
232  * procedures and some private data to implement a security model for rx
233  * connections.  These routines are called by rx as appropriate.  Rx knows
234  * nothing about the internal details of any particular security model, or
235  * about security state.  Rx does maintain state per connection on behalf of
236  * the security class.  Each security class implementation is also expected to
237  * provide routines to create these objects.  Rx provides a basic routine to
238  * allocate one of these objects; this routine must be called by the class. */
239 struct rx_securityClass {
240     struct rx_securityOps {
241         int (*op_Close)(/* obj */);
242         int (*op_NewConnection)(/* obj, conn */);
243         int (*op_PreparePacket)(/* obj, call, packet */);
244         int (*op_SendPacket)(/*obj, call, packet */);
245         int (*op_CheckAuthentication)(/*obj,conn*/);
246         int (*op_CreateChallenge)(/*obj,conn*/);
247         int (*op_GetChallenge)(/*obj,conn,packet*/);
248         int (*op_GetResponse)(/*obj,conn,packet*/);
249         int (*op_CheckResponse)(/*obj,conn,packet*/);
250         int (*op_CheckPacket) (/*obj,call,packet*/);
251         int (*op_DestroyConnection)(/*obj, conn*/);
252         int (*op_GetStats)(/*obj, conn, stats*/);
253         int (*op_Spare1)();
254         int (*op_Spare2)();
255         int (*op_Spare3)();
256     } *ops;
257     VOID *privateData;
258     int refCount;
259 };
260
261 #define RXS_OP(obj,op,args) ((obj->ops->op_ ## op) ? (*(obj)->ops->op_ ## op)args : 0)
262
263 #define RXS_Close(obj) RXS_OP(obj,Close,(obj))
264 #define RXS_NewConnection(obj,conn) RXS_OP(obj,NewConnection,(obj,conn))
265 #define RXS_PreparePacket(obj,call,packet) RXS_OP(obj,PreparePacket,(obj,call,packet))
266 #define RXS_SendPacket(obj,call,packet) RXS_OP(obj,SendPacket,(obj,call,packet))
267 #define RXS_CheckAuthentication(obj,conn) RXS_OP(obj,CheckAuthentication,(obj,conn))
268 #define RXS_CreateChallenge(obj,conn) RXS_OP(obj,CreateChallenge,(obj,conn))
269 #define RXS_GetChallenge(obj,conn,packet) RXS_OP(obj,GetChallenge,(obj,conn,packet))
270 #define RXS_GetResponse(obj,conn,packet) RXS_OP(obj,GetResponse,(obj,conn,packet))
271 #define RXS_CheckResponse(obj,conn,packet) RXS_OP(obj,CheckResponse,(obj,conn,packet))
272 #define RXS_CheckPacket(obj,call,packet) RXS_OP(obj,CheckPacket,(obj,call,packet))
273 #define RXS_DestroyConnection(obj,conn) RXS_OP(obj,DestroyConnection,(obj,conn))
274 #define RXS_GetStats(obj,conn,stats) RXS_OP(obj,GetStats,(obj,conn,stats))
275
276 /* A service is installed by rx_NewService, and specifies a service type that
277  * is exported by this process.  Incoming calls are stamped with the service
278  * type, and must match an installed service for the call to be accepted.
279  * Each service exported has a (port,serviceId) pair to uniquely identify it.
280  * It is also named:  this is intended to allow a remote statistics gathering
281  * program to retrieve per service statistics without having to know the local
282  * service id's.  Each service has a number of
283  */
284
285 /* security objects (instances of security classes) which implement
286  * various types of end-to-end security protocols for connections made
287  * to this service.  Finally, there are two parameters controlling the
288  * number of requests which may be executed in parallel by this
289  * service: minProcs is the number of requests to this service which
290  * are guaranteed to be able to run in parallel at any time; maxProcs
291  * has two meanings: it limits the total number of requests which may
292  * execute in parallel and it also guarantees that that many requests
293  * may be handled in parallel if no other service is handling any
294  * requests. */
295
296 struct rx_service {
297     u_short serviceId;              /* Service number */
298     u_short servicePort;            /* UDP port for this service */
299     char *serviceName;              /* Name of the service */
300     osi_socket socket;              /* socket structure or file descriptor */
301     u_short nRequestsRunning;       /* Number of requests currently in progress */
302     u_short nSecurityObjects;       /* Number of entries in security objects array */
303     struct rx_securityClass **securityObjects;  /* Array of security class objects */
304     afs_int32 (*executeRequestProc)();   /* Routine to call when an rpc request is received */
305     VOID (*destroyConnProc)();      /* Routine to call when a server connection is destroyed */
306     VOID (*newConnProc)();          /* Routine to call when a server connection is created */
307     VOID (*beforeProc)();           /* routine to call before a call is executed */
308     VOID (*afterProc)();            /* routine to call after a call is executed */
309     u_short maxProcs;               /* Maximum procs to be used for this service */
310     u_short minProcs;               /* Minimum # of requests guaranteed executable simultaneously */
311     u_short connDeadTime;                   /* Seconds until a client of this service will be declared dead, if it is not responding */
312     u_short idleDeadTime;                   /* Time a server will wait for I/O to start up again */
313 };
314
315 #endif /* KDUMP_RX_LOCK */
316
317 /* A server puts itself on an idle queue for a service using an
318  * instance of the following structure.  When a call arrives, the call
319  * structure pointer is placed in "newcall", the routine to execute to
320  * service the request is placed in executeRequestProc, and the
321  * process is woken up.  The queue entry's address is used for the
322  * sleep/wakeup. If socketp is non-null, then this thread is willing
323  * to become a listener thread. A thread sets *socketp to -1 before
324  * sleeping. If *socketp is not -1 when the thread awakes, it is now
325  * the listener thread for *socketp. When socketp is non-null, tno
326  * contains the server's threadID, which is used to make decitions in GetCall.
327  */
328 #ifdef KDUMP_RX_LOCK
329 struct rx_serverQueueEntry_rx_lock {
330 #else
331 struct rx_serverQueueEntry {
332 #endif
333     struct rx_queue queueItemHeader;
334 #ifdef KDUMP_RX_LOCK
335     struct rx_call_rx_lock *newcall;
336 #else
337     struct rx_call *newcall;
338 #endif
339 #ifdef  RX_ENABLE_LOCKS
340     afs_kmutex_t lock;
341     afs_kcondvar_t cv;
342 #endif
343     int tno;
344     osi_socket *socketp;
345 };
346
347 #ifndef KDUMP_RX_LOCK
348 /* Bottom n-bits of the Call Identifier give the call number */
349 #define RX_MAXCALLS 4   /* Power of 2; max async calls per connection */
350 #define RX_CIDSHIFT 2   /* Log2(RX_MAXCALLS) */
351 #define RX_CHANNELMASK (RX_MAXCALLS-1)
352 #define RX_CIDMASK  (~RX_CHANNELMASK)
353 #endif /* !KDUMP_RX_LOCK */
354
355 /* A peer refers to a peer process, specified by a (host,port) pair.  There may be more than one peer on a given host. */
356 #ifdef KDUMP_RX_LOCK
357 struct rx_peer_rx_lock {
358     struct rx_peer_rx_lock *next; /* Next in hash conflict or free list */
359 #else
360 struct rx_peer {
361     struct rx_peer *next;           /* Next in hash conflict or free list */
362 #endif
363 #ifdef RX_ENABLE_LOCKS
364     afs_kmutex_t peer_lock;                 /* Lock peer */
365 #endif /* RX_ENABLE_LOCKS */
366     afs_uint32 host;                /* Remote IP address, in net byte order */
367     u_short port;                   /* Remote UDP port, in net byte order */
368
369     /* interface mtu probably used for this host  -  includes RX Header */
370     u_short ifMTU;                  /* doesn't include IP header */
371
372     /* For garbage collection */
373     afs_uint32 idleWhen;                    /* When the refcountwent to zero */
374     short refCount;                 /* Reference count for this structure */
375
376     /* Congestion control parameters */
377     u_char burstSize;               /* Reinitialization size for the burst parameter */
378     u_char burst;                   /* Number of packets that can be transmitted right now, without pausing */
379     struct clock burstWait;         /* Delay until new burst is allowed */
380     struct rx_queue congestionQueue;   /* Calls that are waiting for non-zero burst value */
381     int rtt;                        /* Round trip time, measured in milliseconds/8 */
382     int rtt_dev;                    /* rtt smoothed error, in milliseconds/4 */
383     struct clock timeout;           /* Current retransmission delay */
384     int nSent;                      /* Total number of distinct data packets sent, not including retransmissions */
385     int reSends;                    /* Total number of retransmissions for this peer, since this structure was created */
386
387 /* Skew: if a packet is received N packets later than expected (based
388  * on packet serial numbers), then we define it to have a skew of N.
389  * The maximum skew values allow us to decide when a packet hasn't
390  * been received yet because it is out-of-order, as opposed to when it
391  * is likely to have been dropped. */
392     afs_uint32 inPacketSkew;        /* Maximum skew on incoming packets */
393     afs_uint32 outPacketSkew;     /* Peer-reported max skew on our sent packets */
394     int       rateFlag;       /* Flag for rate testing (-no 0yes +decrement) */
395
396     /* the "natural" MTU, excluding IP,UDP headers, is negotiated by the endpoints */
397     u_short natMTU;         
398     u_short maxMTU;         
399     /* negotiated maximum number of packets to send in a single datagram. */
400     u_short maxDgramPackets;
401     /* local maximum number of packets to send in a single datagram. */
402     u_short ifDgramPackets;
403     /*
404      * MTU, cwind, and nDgramPackets are used to initialize
405      * slow start parameters for new calls. These values are set whenever a
406      * call sends a retransmission and at the end of each call.
407      * congestSeq is incremented each time the congestion parameters are
408      * changed by a call recovering from a dropped packet. A call used
409      * MAX when updating congestion parameters if it started with the
410      * current congestion sequence number, otherwise it uses MIN.
411      */
412     u_short MTU;                /* MTU for AFS 3.4a jumboGrams */
413     u_short cwind;              /* congestion window */
414     u_short nDgramPackets;      /* number packets per AFS 3.5 jumbogram */
415     u_short congestSeq;         /* Changed when a call retransmits */
416     afs_hyper_t bytesSent;      /* Number of bytes sent to this peer */
417     afs_hyper_t bytesReceived;  /* Number of bytes received from this peer */
418     struct rx_queue rpcStats;   /* rpc statistic list */
419 };
420
421 /* A connection is an authenticated communication path, allowing 
422    limited multiple asynchronous conversations. */
423 #ifdef KDUMP_RX_LOCK
424 struct rx_connection_rx_lock {
425     struct rx_connection_rx_lock *next; /*  on hash chain _or_ free list */
426     struct rx_peer_rx_lock *peer;
427 #else
428 struct rx_connection {
429     struct rx_connection *next;     /*  on hash chain _or_ free list */
430     struct rx_peer *peer;
431 #endif
432 #ifdef  RX_ENABLE_LOCKS
433     afs_kmutex_t conn_call_lock;        /* locks conn_call_cv */
434     afs_kcondvar_t conn_call_cv;
435     afs_kmutex_t conn_data_lock;        /* locks packet data */
436 #endif
437     afs_uint32 epoch;     /* Process start time of client side of connection */
438     afs_uint32 cid;         /* Connection id (call channel is bottom bits) */
439     afs_int32 error;        /* If this connection is in error, this is it */
440 #ifdef KDUMP_RX_LOCK
441     struct rx_call_rx_lock *call[RX_MAXCALLS];
442 #else
443     struct rx_call *call[RX_MAXCALLS];
444 #endif
445     afs_uint32 callNumber[RX_MAXCALLS]; /* Current call numbers */
446     afs_uint32 serial;              /* Next outgoing packet serial number */
447     afs_uint32 lastSerial;          /* # of last packet received, for computing skew */
448     afs_int32 maxSerial;           /* largest serial number seen on incoming packets */
449 /*    afs_int32 maxPacketSize;    max packet size should be per-connection since */
450          /* peer process could be restarted on us. Includes RX Header.       */
451     struct rxevent *challengeEvent; /* Scheduled when the server is challenging a     */
452     struct rxevent *delayedAbortEvent; /* Scheduled to throttle looping client */
453     int         abortCount;         /* count of abort messages sent */
454                                     /* client-- to retransmit the challenge */
455     struct rx_service *service;     /* used by servers only */
456     u_short serviceId;              /* To stamp on requests (clients only) */
457     u_short refCount;               /* Reference count */
458     u_char flags;                   /* Defined below */
459     u_char type;                    /* Type of connection, defined below */
460     u_char secondsUntilPing;        /* how often to ping for each active call */
461     u_char securityIndex;           /* corresponds to the security class of the */
462                                     /* securityObject for this conn */
463     struct rx_securityClass *securityObject; /* Security object for this connection */
464     VOID *securityData;             /* Private data for this conn's security class */
465     u_short securityHeaderSize;     /* Length of security module's packet header data */
466     u_short securityMaxTrailerSize; /* Length of security module's packet trailer data */
467
468     int timeout;                    /* Overall timeout per call (seconds) for this conn */
469     int lastSendTime;               /* Last send time for this connection */
470     u_short secondsUntilDead;       /* Maximum silence from peer before RX_CALL_DEAD */
471     u_short hardDeadTime;           /* hard max for call execution */
472     u_char ackRate;                 /* how many packets between ack requests */
473     int nSpecific;                  /* number entries in specific data */
474     void **specific;                /* pointer to connection specific data */
475 };
476
477 #ifndef KDUMP_RX_LOCK
478 /* Flag bits for connection structure */
479 #define RX_CONN_MAKECALL_WAITING    1   /* rx_MakeCall is waiting for a channel */
480 #define RX_CONN_DESTROY_ME          2   /* Destroy *client* connection after last call */
481 #define RX_CONN_USING_PACKET_CKSUM  4   /* non-zero header.spare field seen */
482 #define RX_CONN_KNOW_WINDOW         8   /* window size negotiation works */
483 #define RX_CONN_RESET              16   /* connection is reset, remove */
484 #define RX_CONN_BUSY               32   /* connection is busy; don't delete */
485
486 /* Type of connection, client or server */
487 #define RX_CLIENT_CONNECTION    0
488 #define RX_SERVER_CONNECTION    1
489 #endif /* !KDUMP_RX_LOCK */
490
491 /* Call structure:  only instantiated for active calls and dallying server calls.  The permanent call state (i.e. the call number as well as state shared with other calls associated with this connection) is maintained in the connection structure. */
492 #ifdef KDUMP_RX_LOCK
493 struct rx_call_rx_lock {
494 #else
495 struct rx_call {
496 #endif
497     struct rx_queue queue_item_header; /* Call can be on various queues (one-at-a-time) */
498     struct rx_queue tq;             /* Transmit packet queue */
499     struct rx_queue rq;             /* Receive packet queue */
500     /*
501      * The following fields are accessed while the call is unlocked.
502      * These fields are used by the caller/server thread to marshall
503      * and unmarshall RPC data. The only time they may be changed by
504      * other threads is when the RX_CALL_IOVEC_WAIT flag is set. 
505      * 
506      * NOTE: Be sure that these fields start and end on a double
507      *       word boundary. Otherwise threads that are changing
508      *       adjacent fields will cause problems.
509      */
510     struct rx_queue iovq;           /* readv/writev packet queue */
511     u_short nLeft;                  /* Number bytes left in first receive packet */
512     u_short curvec;                 /* current iovec in currentPacket */
513     u_short curlen;                 /* bytes remaining in curvec */
514     u_short nFree;                  /* Number bytes free in last send packet */
515     struct rx_packet *currentPacket;/* Current packet being assembled or being read */
516     char *curpos;                   /* current position in curvec */
517     /*
518      * End of fields accessed with call unlocked
519      */
520     u_char channel;                 /* Index of call, within connection */
521     u_char state;                   /* Current call state as defined below */
522     u_char mode;                    /* Current mode of a call in ACTIVE state */
523 #ifdef  RX_ENABLE_LOCKS
524     afs_kmutex_t lock;              /* lock covers data as well as mutexes. */
525     afs_kmutex_t *call_queue_lock;  /* points to lock for queue we're on,
526                                        if any. */
527     afs_kcondvar_t cv_twind;
528     afs_kcondvar_t cv_rq;
529     afs_kcondvar_t cv_tq;
530 #endif
531 #ifdef KDUMP_RX_LOCK
532     struct rx_connection_rx_lock *conn; /* Parent connection for call */
533 #else
534     struct rx_connection *conn;     /* Parent connection for this call */
535 #endif
536     afs_uint32 *callNumber;         /* Pointer to call number field within connection */
537     afs_uint32 flags;               /* Some random flags */
538     u_char localStatus;             /* Local user status sent out of band */
539     u_char remoteStatus;            /* Remote user status received out of band */ 
540     afs_int32 error;                        /* Error condition for this call */
541     afs_uint32 timeout;             /* High level timeout for this call */
542     afs_uint32 rnext;               /* Next sequence number expected to be read by rx_ReadData */
543     afs_uint32 rprev;               /* Previous packet received; used for deciding what the next packet to be received should be, in order to decide whether a negative acknowledge should be sent */
544     afs_uint32 rwind;               /* The receive window:  the peer must not send packets with sequence numbers >= rnext+rwind */
545     afs_uint32 tfirst;              /* First unacknowledged transmit packet number */
546     afs_uint32 tnext;               /* Next transmit sequence number to use */
547     u_short twind;                  /* The transmit window:  we cannot assign a sequence number to a packet >= tfirst + twind */
548     u_short cwind;                  /* The congestion window */
549     u_short nSoftAcked;             /* Number soft acked transmit packets */
550     u_short nextCwind;              /* The congestion window after recovery */
551     u_short nCwindAcks;             /* Number acks received at current cwind */
552     u_short ssthresh;               /* The slow start threshold */
553     u_short nDgramPackets;          /* Packets per AFS 3.5 jumbogram */
554     u_short nAcks;                  /* The number of consecttive acks */
555     u_short nNacks;                 /* Number packets acked that follow the
556                                      * first negatively acked packet */
557     u_short nSoftAcks;              /* The number of delayed soft acks */
558     u_short nHardAcks;              /* The number of delayed hard acks */
559     u_short congestSeq;             /* Peer's congestion sequence counter */
560     struct rxevent *resendEvent;    /* If this is non-Null, there is a retransmission event pending */
561     struct rxevent *timeoutEvent;   /* If this is non-Null, then there is an overall timeout for this call */
562     struct rxevent *keepAliveEvent;   /* Scheduled periodically in active calls to keep call alive */
563     struct rxevent *delayedAckEvent;  /* Scheduled after all packets are received to send an ack if a reply or new call is not generated soon */
564     struct rxevent *delayedAbortEvent; /* Scheduled to throttle looping client */
565     int         abortCode;          /* error code from last RPC */
566     int         abortCount;         /* number of times last error was sent */
567     u_int       lastSendTime;               /* Last time a packet was sent on this call */
568     u_int lastReceiveTime;          /* Last time a packet was received for this call */
569     VOID (*arrivalProc)();          /* Procedure to call when reply is received */
570     VOID *arrivalProcHandle;        /* Handle to pass to replyFunc */
571     VOID *arrivalProcArg;           /* Additional arg to pass to reply Proc */
572     afs_uint32 lastAcked;           /* last packet "hard" acked by receiver */
573     afs_uint32 startWait;           /* time server began waiting for input data/send quota */
574     struct clock traceWait;         /* time server began waiting for input data/send quota */
575     struct clock traceStart;        /* time the call started running */
576     u_short MTU;                    /* size of packets currently sending */
577 #ifdef RX_ENABLE_LOCKS
578     short refCount;                 /* Used to keep calls from disappearring
579                                        when we get them from a queue. */
580 #endif /* RX_ENABLE_LOCKS */
581 /* Call refcount modifiers */
582 #define RX_CALL_REFCOUNT_BEGIN  0 /* GetCall/NewCall/EndCall */
583 #define RX_CALL_REFCOUNT_RESEND 1 /* resend event */
584 #define RX_CALL_REFCOUNT_DELAY  2 /* delayed ack */
585 #define RX_CALL_REFCOUNT_ALIVE  3 /* keep alive event */
586 #define RX_CALL_REFCOUNT_PACKET 4 /* waiting for packets. */
587 #define RX_CALL_REFCOUNT_SEND   5 /* rxi_Send */
588 #define RX_CALL_REFCOUNT_ACKALL 6 /* rxi_AckAll */
589 #define RX_CALL_REFCOUNT_ABORT  7 /* delayed abort */
590 #define RX_CALL_REFCOUNT_MAX    8 /* array size. */
591 #ifdef RX_REFCOUNT_CHECK
592     short refCDebug[RX_CALL_REFCOUNT_MAX];
593 #endif  /* RX_REFCOUNT_CHECK */
594     int iovNBytes;              /* byte count for current iovec */
595     int iovMax;                 /* number elements in current iovec */
596     int iovNext;                /* next entry in current iovec */
597     struct iovec *iov;          /* current iovec */
598     struct clock queueTime;     /* time call was queued */
599     struct clock startTime;     /* time call was started */
600     afs_hyper_t bytesSent;      /* Number bytes sent */
601     afs_hyper_t bytesRcvd;      /* Number bytes received */
602 };
603
604 #ifndef KDUMP_RX_LOCK
605 /* Major call states */
606 #define RX_STATE_NOTINIT  0    /* Call structure has never been initialized */
607 #define RX_STATE_PRECALL  1    /* Server-only:  call is not in progress, but packets have arrived */
608 #define RX_STATE_ACTIVE   2    /* An active call; a process is dealing with this call */
609 #define RX_STATE_DALLY    3    /* Dallying after process is done with call */
610 #define RX_STATE_HOLD     4    /* Waiting for acks on reply data packets */
611
612 /* Call modes:  the modes of a call in RX_STATE_ACTIVE state (process attached) */
613 #define RX_MODE_SENDING   1    /* Sending or ready to send */
614 #define RX_MODE_RECEIVING 2    /* Receiving or ready to receive */
615 #define RX_MODE_ERROR     3    /* Something in error for current conversation */
616 #define RX_MODE_EOF       4    /* Server has flushed (or client has read) last reply packet */
617
618 /* Flags */
619 #define RX_CALL_READER_WAIT        1   /* Reader is waiting for next packet */
620 #define RX_CALL_WAIT_WINDOW_ALLOC  2   /* Sender is waiting for window to allocate buffers */
621 #define RX_CALL_WAIT_WINDOW_SEND   4   /* Sender is waiting for window to send buffers */
622 #define RX_CALL_WAIT_PACKETS       8   /* Sender is waiting for packet buffers */
623 #define RX_CALL_WAIT_PROC         16   /* Waiting for a process to be assigned */
624 #define RX_CALL_RECEIVE_DONE      32   /* All packets received on this call */
625 #define RX_CALL_CLEARED           64   /* Receive queue cleared in precall state */
626 #define RX_CALL_TQ_BUSY          128  /* Call's Xmit Queue is busy; don't modify */
627 #define RX_CALL_TQ_CLEARME       256  /* Need to clear this call's TQ later */
628 #define RX_CALL_TQ_SOME_ACKED    512  /* rxi_Start needs to discard ack'd packets. */
629 #define RX_CALL_TQ_WAIT         1024  /* Reader is waiting for TQ_BUSY to be reset */
630 #define RX_CALL_FAST_RECOVER    2048 /* call is doing congestion recovery */
631 #define RX_CALL_FAST_RECOVER_WAIT 4096 /* thread is waiting to start recovery */
632 #define RX_CALL_SLOW_START_OK   8192  /* receiver acks every other packet */
633 #define RX_CALL_IOVEC_WAIT      16384 /* waiting thread is using an iovec */
634 #define RX_CALL_HAVE_LAST       32768 /* Last packet has been received */
635 #define RX_CALL_NEED_START      0x10000 /* tells rxi_Start to start again */
636
637 /* Maximum number of acknowledgements in an acknowledge packet */
638 #define RX_MAXACKS          255
639
640 /* The structure of the data portion of an acknowledge packet: An acknowledge
641  * packet is in network byte order at all times.  An acknowledgement is always
642  * prompted for a specific reason by a specific incoming packet.  This reason
643  * is reported in "reason" and the packet's sequence number in the packet
644  * header.seq.  In addition to this information, all of the current
645  * acknowledgement information about this call is placed in the packet.
646  * "FirstPacket" is the sequence number of the first packet represented in an
647  * array of bytes, "acks", containing acknowledgement information for a number
648  * of consecutive packets.  All packets prior to FirstPacket are implicitly
649  * acknowledged: the sender need no longer be concerned about them.  Packets
650  * from firstPacket+nAcks and on are not acknowledged.  Packets in the range
651  * [firstPacket,firstPacket+nAcks) are each acknowledged explicitly.  The
652  * acknowledgement may be RX_NACK if the packet is not (currently) at the
653  * receiver (it may have never been received, or received and then later
654  * dropped), or it may be RX_ACK if the packet is queued up waiting to be read
655  * by the upper level software.  RX_ACK does not imply that the packet may not
656  * be dropped before it is read; it does imply that the sender should stop
657  * retransmitting the packet until notified otherwise.  The field
658  * previousPacket identifies the previous packet received by the peer.  This
659  * was used in a previous version of this software, and could be used in the
660  * future.  The serial number in the data part of the ack packet corresponds to
661  * the serial number oof the packet which prompted the acknowledge.  Any
662  * packets which are explicitly not acknowledged, and which were last
663  * transmitted with a serial number less than the provided serial number,
664  * should be retransmitted immediately.  Actually, this is slightly inaccurate:
665  * packets are not necessarily received in order.  When packets are habitually
666  * transmitted out of order, this is allowed for in the retransmission
667  * algorithm by introducing the notion of maximum packet skew: the degree of
668  * out-of-orderness of the packets received on the wire.  This number is
669  * communicated from the receiver to the sender in ack packets. */
670
671 struct rx_ackPacket {
672     u_short bufferSpace;    /* Number of packet buffers available.  That is:  the number of buffers that the sender of the ack packet is willing to provide for data, on this or subsequent calls.  Lying is permissable. */
673     u_short maxSkew;        /* Maximum difference between serial# of packet acknowledged and highest packet yet received */
674     afs_uint32  firstPacket;    /* The first packet in the list of acknowledged packets */
675     afs_uint32  previousPacket; /* The previous packet number received (obsolete?) */
676     afs_uint32  serial;     /* Serial number of the packet which prompted the acknowledge */
677     u_char  reason;         /* Reason for the acknowledge of ackPacket, defined below */
678     u_char  nAcks;          /* Number of acknowledgements */
679     u_char  acks[RX_MAXACKS]; /* Up to RX_MAXACKS packet acknowledgements, defined below */
680     /* Packets <firstPacket are implicitly acknowledged and may be discarded by the sender.  Packets >= firstPacket+nAcks are implicitly NOT acknowledged.  No packets with sequence numbers >= firstPacket should be discarded by the sender (they may thrown out at any time by the receiver) */
681 };
682
683 #define FIRSTACKOFFSET 4
684
685 /* Reason for acknowledge message */
686 #define RX_ACK_REQUESTED        1   /* Peer requested an ack on this packet */
687 #define RX_ACK_DUPLICATE        2   /* Duplicate packet */
688 #define RX_ACK_OUT_OF_SEQUENCE  3   /* Packet out of sequence */
689 #define RX_ACK_EXCEEDS_WINDOW   4   /* Packet sequence number higher than window; discarded */
690 #define RX_ACK_NOSPACE          5   /* No buffer space at all */
691 #define RX_ACK_PING             6   /* This is a keep-alive ack */
692 #define RX_ACK_PING_RESPONSE    7   /* Ack'ing because we were pinged */
693 #define RX_ACK_DELAY            8   /* Ack generated since nothing has happened since receiving packet */
694 #define RX_ACK_IDLE             9   /* Similar to RX_ACK_DELAY, but can 
695                                               be */
696
697 /* Packet acknowledgement type */ 
698 #define RX_ACK_TYPE_NACK        0   /* I Don't have this packet */
699 #define RX_ACK_TYPE_ACK         1   /* I have this packet, although I may discard it later */
700
701 /* The packet size transmitted for an acknowledge is adjusted to reflect the actual size of the acks array.  This macro defines the size */
702 #define rx_AckDataSize(nAcks) (sizeof(struct rx_ackPacket) - RX_MAXACKS + (nAcks))
703
704 #define RX_CHALLENGE_TIMEOUT    2   /* Number of seconds before another authentication request packet is generated */
705
706 /* RX error codes.  RX uses error codes from -1 to -64.  Rxgen may use other error codes < -64; user programs are expected to return positive error codes */
707
708 /* Something bad happened to the connection; temporary loss of communication */
709 #define RX_CALL_DEAD                (-1)
710
711 /* An invalid operation, such as a client attempting to send data after having received the beginning of a reply from the server */
712 #define RX_INVALID_OPERATION        (-2)
713
714 /* An optional timeout per call may be specified */
715 #define RX_CALL_TIMEOUT             (-3)
716
717 /* End of data on a read */
718 #define RX_EOF                      (-4)
719
720 /* Some sort of low-level protocol error */
721 #define RX_PROTOCOL_ERROR           (-5)
722
723 /* Generic user abort code; used when no more specific error code needs to be communicated.  For example, multi rx clients use this code to abort a multi rx call */
724 #define RX_USER_ABORT               (-6)
725
726 /* Port already in use (from rx_Init) */
727 #define RX_ADDRINUSE                (-7)
728
729 /* EMSGSIZE returned from network.  Packet too big, must fragment */
730 #define RX_MSGSIZE                  (-8)
731
732 /* transient failure detected ( possibly the server is restarting ) */
733 /* this shud be equal to VRESTARTING ( util/errors.h ) for old clients to work */
734 #define RX_RESTARTING               (-100) 
735
736 /* Structure for keeping rx statistics.  Note that this structure is returned
737  * by rxdebug, so, for compatibility reasons, new fields should be appended (or
738  * spares used), the rxdebug protocol checked, if necessary, and the PrintStats
739  * code should be updated as well.
740  *
741  * Clearly we assume that ntohl will work on these structures so sizeof(int)
742  * must equal sizeof(afs_int32). */
743
744 struct rx_stats {                       /* General rx statistics */
745     int packetRequests;     /* Number of packet allocation requests */
746     int receivePktAllocFailures;
747     int sendPktAllocFailures;
748     int specialPktAllocFailures;
749     int socketGreedy;       /* Whether SO_GREEDY succeeded */
750     int bogusPacketOnRead;  /* Number of inappropriately short packets received */
751     int bogusHost;          /* Host address from bogus packets */
752     int noPacketOnRead;     /* Number of read packets attempted when there was actually no packet to read off the wire */
753     int noPacketBuffersOnRead; /* Number of dropped data packets due to lack of packet buffers */
754     int selects;            /* Number of selects waiting for packet or timeout */
755     int sendSelects;        /* Number of selects forced when sending packet */
756     int packetsRead[RX_N_PACKET_TYPES]; /* Total number of packets read, per type */
757     int dataPacketsRead;    /* Number of unique data packets read off the wire */
758     int ackPacketsRead;     /* Number of ack packets read */
759     int dupPacketsRead;     /* Number of duplicate data packets read */     
760     int spuriousPacketsRead;/* Number of inappropriate data packets */
761     int packetsSent[RX_N_PACKET_TYPES]; /* Number of rxi_Sends: packets sent over the wire, per type */
762     int ackPacketsSent;     /* Number of acks sent */
763     int pingPacketsSent;    /* Total number of ping packets sent */
764     int abortPacketsSent;   /* Total number of aborts */
765     int busyPacketsSent;    /* Total number of busies sent received */
766     int dataPacketsSent;    /* Number of unique data packets sent */
767     int dataPacketsReSent;  /* Number of retransmissions */
768     int dataPacketsPushed;  /* Number of retransmissions pushed early by a NACK */
769     int ignoreAckedPacket;  /* Number of packets with acked flag, on rxi_Start */
770     struct clock totalRtt;  /* Total round trip time measured (use to compute average) */
771     struct clock minRtt;    /* Minimum round trip time measured */
772     struct clock maxRtt;    /* Maximum round trip time measured */
773     int nRttSamples;        /* Total number of round trip samples */
774     int nServerConns;       /* Total number of server connections */
775     int nClientConns;       /* Total number of client connections */
776     int nPeerStructs;       /* Total number of peer structures */
777     int nCallStructs;       /* Total number of call structures allocated */
778     int nFreeCallStructs;   /* Total number of previously allocated free call structures */
779     int netSendFailures;
780     afs_int32 fatalErrors;
781     int ignorePacketDally;  /* packets dropped because call is in dally state */
782     int receiveCbufPktAllocFailures;
783     int sendCbufPktAllocFailures;
784     int spares[5];
785 };
786
787 /* structures for debug input and output packets */
788
789 /* debug input types */
790 struct rx_debugIn {
791     afs_int32 type;
792     afs_int32 index;
793 };
794
795 /* Invalid rx debug package type */
796 #define RX_DEBUGI_BADTYPE     (-8)
797
798 #define RX_DEBUGI_VERSION_MINIMUM ('L') /* earliest real version */
799 #define RX_DEBUGI_VERSION     ('Q')     /* Latest version */
800     /* first version w/ secStats */
801 #define RX_DEBUGI_VERSION_W_SECSTATS ('L')
802     /* version M is first supporting GETALLCONN and RXSTATS type */
803 #define RX_DEBUGI_VERSION_W_GETALLCONN ('M')
804 #define RX_DEBUGI_VERSION_W_RXSTATS ('M')
805     /* last version with unaligned debugConn */
806 #define RX_DEBUGI_VERSION_W_UNALIGNED_CONN ('L')
807 #define RX_DEBUGI_VERSION_W_WAITERS ('N')
808 #define RX_DEBUGI_VERSION_W_IDLETHREADS ('O')
809 #define RX_DEBUGI_VERSION_W_NEWPACKETTYPES ('P')
810 #define RX_DEBUGI_VERSION_W_GETPEER ('Q')
811
812 #define RX_DEBUGI_GETSTATS      1       /* get basic rx stats */
813 #define RX_DEBUGI_GETCONN       2       /* get connection info */
814 #define RX_DEBUGI_GETALLCONN    3       /* get even uninteresting conns */
815 #define RX_DEBUGI_RXSTATS       4       /* get all rx stats */
816 #define RX_DEBUGI_GETPEER       5       /* get all peer structs */
817
818 struct rx_debugStats {
819     afs_int32 nFreePackets;
820     afs_int32 packetReclaims;
821     afs_int32 callsExecuted;
822     char waitingForPackets;
823     char usedFDs;
824     char version;
825     char spare1;
826     afs_int32 nWaiting;
827     afs_int32 idleThreads;          /* Number of server threads that are idle */
828     afs_int32 spare2[8];
829 };
830
831 struct rx_debugConn_vL {
832     afs_int32 host;
833     afs_int32 cid;
834     afs_int32 serial;
835     afs_int32 callNumber[RX_MAXCALLS];
836     afs_int32 error;
837     short port;
838     char flags;
839     char type;
840     char securityIndex;
841     char callState[RX_MAXCALLS];
842     char callMode[RX_MAXCALLS];
843     char callFlags[RX_MAXCALLS];
844     char callOther[RX_MAXCALLS];
845     /* old style getconn stops here */
846     struct rx_securityObjectStats secStats;
847     afs_int32 sparel[10];
848 };
849
850 struct rx_debugConn {
851     afs_int32 host;
852     afs_int32 cid;
853     afs_int32 serial;
854     afs_int32 callNumber[RX_MAXCALLS];
855     afs_int32 error;
856     short port;
857     char flags;
858     char type;
859     char securityIndex;
860     char sparec[3];                     /* force correct alignment */
861     char callState[RX_MAXCALLS];
862     char callMode[RX_MAXCALLS];
863     char callFlags[RX_MAXCALLS];
864     char callOther[RX_MAXCALLS];
865     /* old style getconn stops here */
866     struct rx_securityObjectStats secStats;
867     afs_int32 epoch;
868     afs_int32 natMTU;
869     afs_int32 sparel[9];
870 };
871
872 struct rx_debugPeer {
873     afs_uint32 host;
874     u_short port;
875     u_short ifMTU;
876     afs_uint32 idleWhen;
877     short refCount;
878     u_char burstSize;
879     u_char burst;
880     struct clock burstWait;
881     afs_int32 rtt;
882     afs_int32 rtt_dev;
883     struct clock timeout;
884     afs_int32 nSent;
885     afs_int32 reSends;
886     afs_int32 inPacketSkew;
887     afs_int32 outPacketSkew;
888     afs_int32 rateFlag;
889     u_short natMTU;
890     u_short maxMTU;
891     u_short maxDgramPackets;
892     u_short ifDgramPackets;
893     u_short MTU;
894     u_short cwind;
895     u_short nDgramPackets;
896     u_short congestSeq;
897     afs_hyper_t bytesSent;
898     afs_hyper_t bytesReceived;
899     afs_int32 sparel[10];
900 };
901
902 #define RX_OTHER_IN     1       /* packets avail in in queue */
903 #define RX_OTHER_OUT    2       /* packets avail in out queue */
904
905
906
907 /* Only include this once, even when re-loading for kdump. */
908 #ifndef _CALL_REF_DEFINED_
909 #define _CALL_REF_DEFINED_
910
911 #ifdef RX_ENABLE_LOCKS
912 #ifdef RX_REFCOUNT_CHECK
913 /* RX_REFCOUNT_CHECK is used to test for call refcount leaks by event
914  * type.
915  */
916 extern int rx_callHoldType;
917 #define CALL_HOLD(call, type) do { \
918                                  call->refCount++; \
919                                  call->refCDebug[type]++; \
920                                  if (call->refCDebug[type] > 50)  {\
921                                      rx_callHoldType = type; \
922                                      osi_Panic("Huge call refCount"); \
923                                                                } \
924                              } while (0)
925 #define CALL_RELE(call, type) do { \
926                                  call->refCount--; \
927                                  call->refCDebug[type]--; \
928                                  if (call->refCDebug[type] > 50) {\
929                                      rx_callHoldType = type; \
930                                      osi_Panic("Negative call refCount"); \
931                                                               } \
932                              } while (0)
933 #else /* RX_REFCOUNT_CHECK */
934 #define CALL_HOLD(call, type)    call->refCount++
935 #define CALL_RELE(call, type)    call->refCount--
936 #endif  /* RX_REFCOUNT_CHECK */
937
938 #else /* RX_ENABLE_LOCKS */
939 #define CALL_HOLD(call, type)
940 #define CALL_RELE(call, type)
941 #endif /* RX_ENABLE_LOCKS */
942
943 #endif /* _CALL_REF_DEFINED_ */
944
945 struct rx_connection *rx_GetCachedConnection(
946   unsigned int remoteAddr,
947   unsigned short port,
948   unsigned short service,
949   struct rx_securityClass *securityObject,
950   int securityIndex
951 );
952
953 void rx_ReleaseCachedConnection(
954   struct rx_connection *conn
955 );
956
957 #define RX_SERVER_DEBUG_SEC_STATS               0x1
958 #define RX_SERVER_DEBUG_ALL_CONN                0x2
959 #define RX_SERVER_DEBUG_RX_STATS                0x4
960 #define RX_SERVER_DEBUG_WAITER_CNT              0x8
961 #define RX_SERVER_DEBUG_IDLE_THREADS            0x10
962 #define RX_SERVER_DEBUG_OLD_CONN                0x20
963 #define RX_SERVER_DEBUG_NEW_PACKETS             0x40
964 #define RX_SERVER_DEBUG_ALL_PEER                0x80
965
966 afs_int32 rx_GetServerDebug(
967   int socket,
968   afs_uint32 remoteAddr,
969   afs_uint16 remotePort,
970   struct rx_debugStats *stat,
971   afs_uint32 *supportedValues
972 );
973
974 afs_int32 rx_GetServerStats(
975   int socket,
976   afs_uint32 remoteAddr,
977   afs_uint16 remotePort,
978   struct rx_stats *stat,
979   afs_uint32 *supportedValues
980 );
981
982 afs_int32 rx_GetServerVersion(
983   int socket,
984   afs_uint32 remoteAddr,
985   afs_uint16 remotePort,
986   size_t version_length,
987   char *version
988 );
989
990 afs_int32 rx_GetServerConnections(
991   int socket,
992   afs_uint32 remoteAddr,
993   afs_uint16 remotePort,
994   afs_int32 *nextConnection,
995   int allConnections,
996   afs_uint32 debugSupportedValues,
997   struct rx_debugConn *conn,
998   afs_uint32 *supportedValues
999 );
1000
1001 afs_int32 rx_GetServerPeers(
1002   int socket,
1003   afs_uint32 remoteAddr,
1004   afs_uint16 remotePort,
1005   afs_int32 *nextPeer,
1006   afs_uint32 debugSupportedValues,
1007   struct rx_debugPeer *peer,
1008   afs_uint32 *supportedValues
1009 );
1010
1011 #define AFS_RX_STATS_CLEAR_ALL                  0xffffffff
1012 #define AFS_RX_STATS_CLEAR_INVOCATIONS          0x1
1013 #define AFS_RX_STATS_CLEAR_BYTES_SENT           0x2
1014 #define AFS_RX_STATS_CLEAR_BYTES_RCVD           0x4
1015 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SUM       0x8
1016 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SQUARE    0x10
1017 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MIN       0x20
1018 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MAX       0x40
1019 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SUM        0x80
1020 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SQUARE     0x100
1021 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MIN        0x200
1022 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MAX        0x400
1023
1024 typedef struct rx_function_entry_v1 {
1025   afs_uint32 remote_peer;
1026   afs_uint32 remote_port;
1027   afs_uint32 remote_is_server;
1028   afs_uint32 interfaceId;
1029   afs_uint32 func_total;
1030   afs_uint32 func_index;
1031   afs_hyper_t invocations;
1032   afs_hyper_t bytes_sent;
1033   afs_hyper_t bytes_rcvd;
1034   struct clock queue_time_sum;
1035   struct clock queue_time_sum_sqr;
1036   struct clock queue_time_min;
1037   struct clock queue_time_max;
1038   struct clock execution_time_sum;
1039   struct clock execution_time_sum_sqr;
1040   struct clock execution_time_min;
1041   struct clock execution_time_max;
1042 } rx_function_entry_v1_t, *rx_function_entry_v1_p;
1043
1044 /*
1045  * If you need to change rx_function_entry, you should probably create a brand
1046  * new structure.  Keeping the old structure will allow backwards compatibility
1047  * with old clients (even if it is only used to calculate allocation size).
1048  * If you do change the size or the format, you'll need to bump
1049  * RX_STATS_RETRIEVAL_VERSION.  This allows some primitive form
1050  * of versioning a la rxdebug.
1051  */
1052
1053 #define RX_STATS_RETRIEVAL_VERSION 1            /* latest version */
1054 #define RX_STATS_RETRIEVAL_FIRST_EDITION 1      /* first implementation */
1055
1056 typedef struct rx_interface_stat {
1057   struct rx_queue queue_header;
1058   struct rx_queue all_peers;
1059   rx_function_entry_v1_t stats[1]; /* make sure this is aligned correctly */
1060 } rx_interface_stat_t, *rx_interface_stat_p;
1061
1062 void rx_IncrementTimeAndCount(
1063   struct rx_peer *peer,
1064   afs_uint32 rxInterface,
1065   afs_uint32 currentFunc,
1066   afs_uint32 totalFunc,
1067   struct clock *queueTime,
1068   struct clock *execTime,
1069   afs_hyper_t *bytesSent,
1070   afs_hyper_t *bytesRcvd,
1071   int isServer
1072 );
1073
1074 int rx_RetrieveProcessRPCStats(
1075   afs_uint32 callerVersion,
1076   afs_uint32 *myVersion,
1077   afs_uint32 *clock_sec,
1078   afs_uint32 *clock_usec,
1079   size_t *allocSize,
1080   afs_uint32 *statCount,
1081   afs_uint32 **stats
1082 );
1083
1084 int rx_RetrievePeerRPCStats(
1085   afs_uint32 callerVersion,
1086   afs_uint32 *myVersion,
1087   afs_uint32 *clock_sec,
1088   afs_uint32 *clock_usec,
1089   size_t *allocSize,
1090   afs_uint32 *statCount,
1091   afs_uint32 **stats
1092 );
1093
1094 void rx_FreeRPCStats(
1095   afs_uint32 *stats,
1096   size_t allocSize
1097 );
1098
1099 int rx_queryProcessRPCStats();
1100
1101 int rx_queryPeerRPCStats();
1102
1103 void rx_enableProcessRPCStats();
1104
1105 void rx_enablePeerRPCStats();
1106
1107 void rx_disableProcessRPCStats();
1108
1109 void rx_disablePeerRPCStats();
1110
1111 void rx_clearProcessRPCStats(
1112   afs_uint32 clearFlag
1113 );
1114
1115 void rx_clearPeerRPCStats(
1116   afs_uint32 clearFlag
1117 );
1118
1119 void rx_SetRxStatUserOk(
1120   int (*proc)(struct rx_call *call)
1121 );
1122
1123 int rx_RxStatUserOk(
1124   struct rx_call *call
1125 );
1126
1127
1128 #define RX_STATS_SERVICE_ID 409
1129
1130 #endif /* _RX_   End of rx.h */
1131
1132 #endif /* !KDUMP_RX_LOCK */