src/rx/rx.h

   1 /*
   2  * Copyright 2000, International Business Machines Corporation and others.
   3  * All Rights Reserved.
   4  *
   5  * This software has been released under the terms of the IBM Public
   6  * License.  For details, see the LICENSE file in the top-level source
   7  * directory or online at http://www.openafs.org/dl/license10.html
   8  */
   9
  10 #ifdef KDUMP_RX_LOCK
  11 /* kdump for SGI needs MP and SP versions of rx_serverQueueEntry,
  12  * rx_peer, rx_connection and rx_call structs. rx.h gets included a
  13  * second time to pick up mp_ versions of those structs. Currently
  14  * the affected struct's have #ifdef's in them for the second pass.
  15  * This should change once we start using only ANSI compilers.
  16  * Actually, kdump does not use rx_serverQueueEntry, but I'm including
  17  * it for completeness.
  18  */
  19 #undef _RX_
  20 #endif
  21
  22 #ifndef _RX_
  23 #define _RX_
  24
  25 #ifndef KDUMP_RX_LOCK
  26 #ifdef  KERNEL
  27 #include "rx_kmutex.h"
  28 #include "rx_kernel.h"
  29 #if defined (AFS_OBSD_ENV) && !defined (MLEN)
  30 #include "sys/mbuf.h"
  31 #endif
  32 #include "netinet/in.h"
  33 #include "sys/socket.h"
  34 #else /* KERNEL */
  35 # include <sys/types.h>
  36 # include <stdio.h>
  37 # include <string.h>
  38 #ifdef AFS_PTHREAD_ENV
  39 # include "rx_pthread.h"
  40 #else
  41 # include "rx_lwp.h"
  42 #endif
  43 #ifdef AFS_NT40_ENV
  44 #include <malloc.h>
  45 #include <winsock2.h>
  46 #include <ws2tcpip.h>
  47 #endif
  48 # include "rx_user.h"
  49 #ifndef AFS_NT40_ENV
  50 # include <netinet/in.h>
  51 # include <sys/socket.h>
  52 #endif
  53 #endif /* KERNEL */
  54
  55 #include "rx_clock.h"
  56 #include "rx_event.h"
  57 #include "rx_packet.h"
  58 #include "rx_misc.h"
  59 #include "rx_null.h"
  60 #include "rx_multi.h"
  61
  62 /* Configurable parameters */
  63 #define RX_IDLE_DEAD_TIME       60      /* default idle dead time */
  64 #define RX_MAX_SERVICES         20      /* Maximum number of services that may be installed */
  65 #if defined(KERNEL) && defined(AFS_AIX51_ENV) && defined(__64__)
  66 #define RX_DEFAULT_STACK_SIZE   24000
  67 #else
  68 #define RX_DEFAULT_STACK_SIZE   16000   /* Default process stack size; overriden by rx_SetStackSize */
  69 #endif
  70
  71 /* This parameter should not normally be changed */
  72 #define RX_PROCESS_PRIORITY     LWP_NORMAL_PRIORITY
  73
  74 #define ADDRSPERSITE 16
  75
  76 #ifndef KDUMP_RX_LOCK
  77 /* Bottom n-bits of the Call Identifier give the call number */
  78 #define RX_MAXCALLS 4           /* Power of 2; max async calls per connection */
  79 #define RX_CIDSHIFT 2           /* Log2(RX_MAXCALLS) */
  80 #define RX_CHANNELMASK (RX_MAXCALLS-1)
  81 #define RX_CIDMASK  (~RX_CHANNELMASK)
  82 #endif /* !KDUMP_RX_LOCK */
  83
  84 #ifndef KERNEL
  85 typedef void (*rx_destructor_t) (void *);
  86 int rx_KeyCreate(rx_destructor_t);
  87 osi_socket rxi_GetHostUDPSocket(u_int host, u_short port);
  88 osi_socket rxi_GetUDPSocket(u_short port);
  89 #endif /* KERNEL */
  90
  91
  92 int ntoh_syserr_conv(int error);
  93
  94 #define RX_WAIT     1
  95 #define RX_DONTWAIT 0
  96
  97 #define rx_ConnectionOf(call)           ((call)->conn)
  98 #define rx_PeerOf(conn)                 ((conn)->peer)
  99 #define rx_HostOf(peer)                 ((peer)->host)
 100 #define rx_PortOf(peer)                 ((peer)->port)
 101 #define rx_SetLocalStatus(call, status) ((call)->localStatus = (status))
 102 #define rx_GetLocalStatus(call, status) ((call)->localStatus)
 103 #define rx_GetRemoteStatus(call)        ((call)->remoteStatus)
 104 #define rx_Error(call)                  ((call)->error)
 105 #define rx_ConnError(conn)              ((conn)->error)
 106 #define rx_IsServerConn(conn)           ((conn)->type == RX_SERVER_CONNECTION)
 107 #define rx_IsClientConn(conn)           ((conn)->type == RX_CLIENT_CONNECTION)
 108 /* Don't use these; use the IsServerConn style */
 109 #define rx_ServerConn(conn)             ((conn)->type == RX_SERVER_CONNECTION)
 110 #define rx_ClientConn(conn)             ((conn)->type == RX_CLIENT_CONNECTION)
 111 #define rx_IsUsingPktCksum(conn)        ((conn)->flags & RX_CONN_USING_PACKET_CKSUM)
 112 #define rx_ServiceIdOf(conn)            ((conn)->serviceId)
 113 #define rx_SecurityClassOf(conn)        ((conn)->securityIndex)
 114 #define rx_SecurityObjectOf(conn)       ((conn)->securityObject)
 115
 116 static_inline int
 117 rx_IsLoopbackAddr(afs_uint32 addr)
 118 {
 119     return ((addr & 0xffff0000) == 0x7f000000);
 120 }
 121
 122 /*******************
 123  * Macros callable by the user to further define attributes of a
 124  * service.  Must be called before rx_StartServer
 125  */
 126
 127 /* Set the service stack size.  This currently just sets the stack
 128  * size for all processes to be the maximum seen, so far */
 129 #define rx_SetStackSize(service, stackSize) \
 130   rx_stackSize = (((stackSize) > rx_stackSize)? stackSize: rx_stackSize)
 131
 132 /* Set minimum number of processes guaranteed to be available for this
 133  * service at all times */
 134 #define rx_SetMinProcs(service, min) ((service)->minProcs = (min))
 135
 136 /* Set maximum number of processes that will be made available to this
 137  * service (also a guarantee that this number will be made available
 138  * if there is no competition) */
 139 #define rx_SetMaxProcs(service, max) ((service)->maxProcs = (max))
 140
 141 /* Define a procedure to be called just before a server connection is destroyed */
 142 #define rx_SetDestroyConnProc(service,proc) ((service)->destroyConnProc = (proc))
 143
 144 /* Define procedure to set service dead time */
 145 #define rx_SetIdleDeadTime(service,time) ((service)->idleDeadTime = (time))
 146
 147 /* Define error to return in server connections when failing to answer */
 148 #define rx_SetServerIdleDeadErr(service,err) ((service)->idleDeadErr = (err))
 149
 150 /* Define procedures for getting and setting before and after execute-request procs */
 151 #define rx_SetAfterProc(service,proc) ((service)->afterProc = (proc))
 152 #define rx_SetBeforeProc(service,proc) ((service)->beforeProc = (proc))
 153 #define rx_GetAfterProc(service) ((service)->afterProc)
 154 #define rx_GetBeforeProc(service) ((service)->beforeProc)
 155 #define rx_SetPostProc(service,proc) ((service)->postProc = (proc))
 156 #define rx_GetPostProc(service) ((service)->postProc)
 157
 158 /* Define a procedure to be called when a server connection is created */
 159 #define rx_SetNewConnProc(service, proc) ((service)->newConnProc = (proc))
 160
 161 /* NOTE:  We'll probably redefine the following three routines, again, sometime. */
 162
 163 /* Set the connection dead time for any connections created for this service (server only) */
 164 #define rx_SetServiceDeadTime(service, seconds) ((service)->secondsUntilDead = (seconds))
 165
 166 /* Enable or disable asymmetric client checking for a service */
 167 #define rx_SetCheckReach(service, x) ((service)->checkReach = (x))
 168
 169 #define rx_SetServerConnIdleDeadErr(conn,err) ((conn)->idleDeadErr = (err))
 170
 171 /* Set the overload threshold and the overload error */
 172 #define rx_SetBusyThreshold(threshold, code) (rx_BusyThreshold=(threshold),rx_BusyError=(code))
 173
 174 /* Set the error to use for retrying a connection during MTU tuning */
 175 #define rx_SetMsgsizeRetryErr(conn, err) ((conn)->msgsizeRetryErr = (err))
 176
 177 /* If this flag is set,no new requests are processed by rx, all new requests are
 178 returned with an error code of RX_CALL_DEAD ( transient error ) */
 179 #define rx_SetRxTranquil()              (rx_tranquil = 1)
 180 #define rx_ClearRxTranquil()            (rx_tranquil = 0)
 181
 182 /* Set the threshold and time to delay aborts for consecutive errors */
 183 #define rx_SetCallAbortThreshold(A) (rxi_callAbortThreshhold = (A))
 184 #define rx_SetCallAbortDelay(A) (rxi_callAbortDelay = (A))
 185 #define rx_SetConnAbortThreshold(A) (rxi_connAbortThreshhold = (A))
 186 #define rx_SetConnAbortDelay(A) (rxi_connAbortDelay = (A))
 187
 188 #define rx_GetCallAbortCode(call) ((call)->abortCode)
 189 #define rx_SetCallAbortCode(call, code) ((call)->abortCode = (code))
 190
 191 #define cpspace(call) ((call)->curlen)
 192 #define cppos(call) ((call)->curpos)
 193
 194 #define rx_Read(call, buf, nbytes)   rx_ReadProc(call, buf, nbytes)
 195 #define rx_Read32(call, value)   rx_ReadProc32(call, value)
 196 #define rx_Readv(call, iov, nio, maxio, nbytes) \
 197    rx_ReadvProc(call, iov, nio, maxio, nbytes)
 198 #define rx_Write(call, buf, nbytes) rx_WriteProc(call, buf, nbytes)
 199 #define rx_Write32(call, value) rx_WriteProc32(call, value)
 200 #define rx_Writev(call, iov, nio, nbytes) \
 201    rx_WritevProc(call, iov, nio, nbytes)
 202
 203 /* This is the maximum size data packet that can be sent on this connection, accounting for security module-specific overheads. */
 204 #define rx_MaxUserDataSize(call)                ((call)->MTU - RX_HEADER_SIZE - (call)->conn->securityHeaderSize - (call)->conn->securityMaxTrailerSize)
 205
 206 /* Macros to turn the hot thread feature on and off. Enabling hot threads
 207  * allows the listener thread to trade places with an idle worker thread,
 208  * which moves the context switch from listener to worker out of the
 209  * critical path.
 210  */
 211 #define rx_EnableHotThread()            (rx_enable_hot_thread = 1)
 212 #define rx_DisableHotThread()           (rx_enable_hot_thread = 0)
 213
 214 #define rx_PutConnection(conn) rx_DestroyConnection(conn)
 215
 216 /* A connection is an authenticated communication path, allowing
 217    limited multiple asynchronous conversations. */
 218 #ifdef KDUMP_RX_LOCK
 219 struct rx_connection_rx_lock {
 220     struct rx_connection_rx_lock *next; /*  on hash chain _or_ free list */
 221     struct rx_peer_rx_lock *peer;
 222 #else
 223 struct rx_connection {
 224     struct rx_connection *next; /*  on hash chain _or_ free list */
 225     struct rx_peer *peer;
 226 #endif
 227 #ifdef  RX_ENABLE_LOCKS
 228     afs_kmutex_t conn_call_lock;        /* locks conn_call_cv */
 229     afs_kcondvar_t conn_call_cv;
 230     afs_kmutex_t conn_data_lock;        /* locks packet data */
 231 #endif
 232     afs_uint32 epoch;           /* Process start time of client side of connection */
 233     afs_uint32 cid;             /* Connection id (call channel is bottom bits) */
 234     afs_int32 error;            /* If this connection is in error, this is it */
 235 #ifdef KDUMP_RX_LOCK
 236     struct rx_call_rx_lock *call[RX_MAXCALLS];
 237 #else
 238     struct rx_call *call[RX_MAXCALLS];
 239 #endif
 240     afs_uint32 callNumber[RX_MAXCALLS]; /* Current call numbers */
 241     afs_uint32 rwind[RX_MAXCALLS];
 242     u_short twind[RX_MAXCALLS];
 243     afs_uint32 lastBusy[RX_MAXCALLS]; /* timestamp of the last time we got an
 244                                        * RX_PACKET_TYPE_BUSY packet for this
 245                                        * call slot, or 0 if the slot is not busy */
 246     afs_uint32 serial;          /* Next outgoing packet serial number */
 247     afs_uint32 lastSerial;      /* # of last packet received, for computing skew */
 248     afs_int32 lastPacketSize; /* last >max attempt */
 249     afs_int32 lastPacketSizeSeq; /* seq number of attempt */
 250     afs_int32 lastPingSize; /* last MTU ping attempt */
 251     afs_int32 lastPingSizeSer; /* serial of last MTU ping attempt */
 252     struct rxevent *challengeEvent;     /* Scheduled when the server is challenging a     */
 253     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
 254     struct rxevent *checkReachEvent;    /* Scheduled when checking reachability */
 255     int abortCount;             /* count of abort messages sent */
 256     /* client-- to retransmit the challenge */
 257     struct rx_service *service; /* used by servers only */
 258     u_short serviceId;          /* To stamp on requests (clients only) */
 259     afs_uint32 refCount;        /* Reference count (rx_refcnt_mutex) */
 260     u_char flags;               /* Defined below - (conn_data_lock) */
 261     u_char type;                /* Type of connection, defined below */
 262     u_char secondsUntilPing;    /* how often to ping for each active call */
 263     u_char securityIndex;       /* corresponds to the security class of the */
 264     /* securityObject for this conn */
 265     struct rx_securityClass *securityObject;    /* Security object for this connection */
 266     void *securityData;         /* Private data for this conn's security class */
 267     u_short securityHeaderSize; /* Length of security module's packet header data */
 268     u_short securityMaxTrailerSize;     /* Length of security module's packet trailer data */
 269
 270     int timeout;                /* Overall timeout per call (seconds) for this conn */
 271     int lastSendTime;           /* Last send time for this connection */
 272     u_short secondsUntilDead;   /* Maximum silence from peer before RX_CALL_DEAD */
 273     u_short hardDeadTime;       /* hard max for call execution */
 274     u_short idleDeadTime;       /* max time a call can be idle (no data) */
 275     u_char ackRate;             /* how many packets between ack requests */
 276     u_char makeCallWaiters;     /* how many rx_NewCalls are waiting */
 277     afs_int32 idleDeadErr;
 278     afs_int32 secondsUntilNatPing;      /* how often to ping conn */
 279     struct rxevent *natKeepAliveEvent; /* Scheduled to keep connection open */
 280     afs_int32 msgsizeRetryErr;
 281     int nSpecific;              /* number entries in specific data */
 282     void **specific;            /* pointer to connection specific data */
 283 };
 284
 285
 286 /* A service is installed by rx_NewService, and specifies a service type that
 287  * is exported by this process.  Incoming calls are stamped with the service
 288  * type, and must match an installed service for the call to be accepted.
 289  * Each service exported has a (port,serviceId) pair to uniquely identify it.
 290  * It is also named:  this is intended to allow a remote statistics gathering
 291  * program to retrieve per service statistics without having to know the local
 292  * service id's.  Each service has a number of
 293  */
 294
 295 /* security objects (instances of security classes) which implement
 296  * various types of end-to-end security protocols for connections made
 297  * to this service.  Finally, there are two parameters controlling the
 298  * number of requests which may be executed in parallel by this
 299  * service: minProcs is the number of requests to this service which
 300  * are guaranteed to be able to run in parallel at any time; maxProcs
 301  * has two meanings: it limits the total number of requests which may
 302  * execute in parallel and it also guarantees that that many requests
 303  * may be handled in parallel if no other service is handling any
 304  * requests. */
 305
 306 struct rx_service {
 307     u_short serviceId;          /* Service number */
 308     afs_uint32 serviceHost;     /* IP address for this service */
 309     u_short servicePort;        /* UDP port for this service */
 310     char *serviceName;          /* Name of the service */
 311     osi_socket socket;          /* socket structure or file descriptor */
 312     u_short nRequestsRunning;   /* Number of requests currently in progress */
 313     u_short nSecurityObjects;   /* Number of entries in security objects array */
 314     struct rx_securityClass **securityObjects;  /* Array of security class objects */
 315       afs_int32(*executeRequestProc) (struct rx_call * acall);  /* Routine to call when an rpc request is received */
 316     void (*destroyConnProc) (struct rx_connection * tcon);      /* Routine to call when a server connection is destroyed */
 317     void (*newConnProc) (struct rx_connection * tcon);  /* Routine to call when a server connection is created */
 318     void (*beforeProc) (struct rx_call * acall);        /* routine to call before a call is executed */
 319     void (*afterProc) (struct rx_call * acall, afs_int32 code); /* routine to call after a call is executed */
 320     void (*postProc) (afs_int32 code);  /* routine to call after the call has ended */
 321     u_short maxProcs;           /* Maximum procs to be used for this service */
 322     u_short minProcs;           /* Minimum # of requests guaranteed executable simultaneously */
 323     u_short connDeadTime;       /* Seconds until a client of this service will be declared dead, if it is not responding */
 324     u_short idleDeadTime;       /* Time a server will wait for I/O to start up again */
 325     u_char checkReach;          /* Check for asymmetric clients? */
 326     afs_int32 idleDeadErr;
 327     int nSpecific;              /* number entries in specific data */
 328     void **specific;            /* pointer to connection specific data */
 329 #ifdef  RX_ENABLE_LOCKS
 330     afs_kmutex_t svc_data_lock; /* protect specific data */
 331 #endif
 332
 333 };
 334
 335 #endif /* KDUMP_RX_LOCK */
 336
 337 /* A server puts itself on an idle queue for a service using an
 338  * instance of the following structure.  When a call arrives, the call
 339  * structure pointer is placed in "newcall", the routine to execute to
 340  * service the request is placed in executeRequestProc, and the
 341  * process is woken up.  The queue entry's address is used for the
 342  * sleep/wakeup. If socketp is non-null, then this thread is willing
 343  * to become a listener thread. A thread sets *socketp to -1 before
 344  * sleeping. If *socketp is not -1 when the thread awakes, it is now
 345  * the listener thread for *socketp. When socketp is non-null, tno
 346  * contains the server's threadID, which is used to make decitions in GetCall.
 347  */
 348 #ifdef KDUMP_RX_LOCK
 349 struct rx_serverQueueEntry_rx_lock {
 350 #else
 351 struct rx_serverQueueEntry {
 352 #endif
 353     struct rx_queue queueItemHeader;
 354 #ifdef KDUMP_RX_LOCK
 355     struct rx_call_rx_lock *newcall;
 356 #else
 357     struct rx_call *newcall;
 358 #endif
 359 #ifdef  RX_ENABLE_LOCKS
 360     afs_kmutex_t lock;
 361     afs_kcondvar_t cv;
 362 #endif
 363     int tno;
 364     osi_socket *socketp;
 365 };
 366
 367
 368 /* A peer refers to a peer process, specified by a (host,port) pair.  There may be more than one peer on a given host. */
 369 #ifdef KDUMP_RX_LOCK
 370 struct rx_peer_rx_lock {
 371     struct rx_peer_rx_lock *next;       /* Next in hash conflict or free list */
 372 #else
 373 struct rx_peer {
 374     struct rx_peer *next;       /* Next in hash conflict or free list */
 375 #endif
 376 #ifdef RX_ENABLE_LOCKS
 377     afs_kmutex_t peer_lock;     /* Lock peer */
 378 #endif                          /* RX_ENABLE_LOCKS */
 379     afs_uint32 host;            /* Remote IP address, in net byte order */
 380     u_short port;               /* Remote UDP port, in net byte order */
 381
 382     /* interface mtu probably used for this host  -  includes RX Header */
 383     u_short ifMTU;              /* doesn't include IP header */
 384
 385     /* For garbage collection */
 386     afs_uint32 idleWhen;        /* When the refcountwent to zero */
 387     afs_uint32 refCount;        /* Reference count for this structure (rx_peerHashTable_lock) */
 388
 389     /* Congestion control parameters */
 390     u_char burstSize;           /* Reinitialization size for the burst parameter */
 391     u_char burst;               /* Number of packets that can be transmitted right now, without pausing */
 392     struct clock burstWait;     /* Delay until new burst is allowed */
 393     struct rx_queue congestionQueue;    /* Calls that are waiting for non-zero burst value */
 394     int rtt;                    /* Smoothed round trip time, measured in milliseconds/8 */
 395     int rtt_dev;                /* Smoothed rtt mean difference, in milliseconds/4 */
 396     int nSent;                  /* Total number of distinct data packets sent, not including retransmissions */
 397     int reSends;                /* Total number of retransmissions for this peer, since this structure was created */
 398
 399 /* Skew: if a packet is received N packets later than expected (based
 400  * on packet serial numbers), then we define it to have a skew of N.
 401  * The maximum skew values allow us to decide when a packet hasn't
 402  * been received yet because it is out-of-order, as opposed to when it
 403  * is likely to have been dropped. */
 404     afs_uint32 inPacketSkew;    /* Maximum skew on incoming packets */
 405     afs_uint32 outPacketSkew;   /* Peer-reported max skew on our sent packets */
 406
 407     /* the "natural" MTU, excluding IP,UDP headers, is negotiated by the endpoints */
 408     u_short natMTU;
 409     u_short maxMTU;
 410     /* negotiated maximum number of packets to send in a single datagram. */
 411     u_short maxDgramPackets;
 412     /* local maximum number of packets to send in a single datagram. */
 413     u_short ifDgramPackets;
 414     /*
 415      * MTU, cwind, and nDgramPackets are used to initialize
 416      * slow start parameters for new calls. These values are set whenever a
 417      * call sends a retransmission and at the end of each call.
 418      * congestSeq is incremented each time the congestion parameters are
 419      * changed by a call recovering from a dropped packet. A call used
 420      * MAX when updating congestion parameters if it started with the
 421      * current congestion sequence number, otherwise it uses MIN.
 422      */
 423     u_short MTU;                /* MTU for AFS 3.4a jumboGrams */
 424     u_short cwind;              /* congestion window */
 425     u_short nDgramPackets;      /* number packets per AFS 3.5 jumbogram */
 426     u_short congestSeq;         /* Changed when a call retransmits */
 427     afs_hyper_t bytesSent;      /* Number of bytes sent to this peer */
 428     afs_hyper_t bytesReceived;  /* Number of bytes received from this peer */
 429     struct rx_queue rpcStats;   /* rpc statistic list */
 430     int lastReachTime;          /* Last time we verified reachability */
 431     afs_int32 maxPacketSize;    /* peer packetsize hint */
 432 };
 433
 434 #ifndef KDUMP_RX_LOCK
 435 /* Flag bits for connection structure */
 436 #define RX_CONN_MAKECALL_WAITING    1   /* rx_NewCall is waiting for a channel */
 437 #define RX_CONN_DESTROY_ME          2   /* Destroy *client* connection after last call */
 438 #define RX_CONN_USING_PACKET_CKSUM  4   /* non-zero header.spare field seen */
 439 #define RX_CONN_KNOW_WINDOW         8   /* window size negotiation works */
 440 #define RX_CONN_RESET              16   /* connection is reset, remove */
 441 #define RX_CONN_BUSY               32   /* connection is busy; don't delete */
 442 #define RX_CONN_ATTACHWAIT         64   /* attach waiting for peer->lastReach */
 443 #define RX_CONN_MAKECALL_ACTIVE   128   /* a thread is actively in rx_NewCall */
 444 #define RX_CONN_NAT_PING          256   /* nat ping requested */
 445
 446 /* Type of connection, client or server */
 447 #define RX_CLIENT_CONNECTION    0
 448 #define RX_SERVER_CONNECTION    1
 449 #endif /* !KDUMP_RX_LOCK */
 450
 451 /* Maximum number of acknowledgements in an acknowledge packet */
 452 #define RX_MAXACKS          255
 453
 454 /* Call structure:  only instantiated for active calls and dallying server calls.  The permanent call state (i.e. the call number as well as state shared with other calls associated with this connection) is maintained in the connection structure. */
 455 #ifdef KDUMP_RX_LOCK
 456 struct rx_call_rx_lock {
 457 #else
 458 struct rx_call {
 459 #endif
 460     struct rx_queue queue_item_header;  /* Call can be on various queues (one-at-a-time) */
 461     struct rx_queue tq;         /* Transmit packet queue */
 462     struct rx_queue rq;         /* Receive packet queue */
 463     /*
 464      * The following fields are accessed while the call is unlocked.
 465      * These fields are used by the caller/server thread to marshall
 466      * and unmarshall RPC data. The only time they may be changed by
 467      * other threads is when the RX_CALL_IOVEC_WAIT flag is set.
 468      *
 469      * NOTE: Be sure that these fields start and end on a double
 470      *       word boundary. Otherwise threads that are changing
 471      *       adjacent fields will cause problems.
 472      */
 473     struct rx_queue iovq;       /* readv/writev packet queue */
 474     u_short nLeft;              /* Number bytes left in first receive packet */
 475     u_short curvec;             /* current iovec in currentPacket */
 476     u_short curlen;             /* bytes remaining in curvec */
 477     u_short nFree;              /* Number bytes free in last send packet */
 478     struct rx_packet *currentPacket;    /* Current packet being assembled or being read */
 479     char *curpos;               /* current position in curvec */
 480     /*
 481      * End of fields accessed with call unlocked
 482      */
 483     u_char channel;             /* Index of call, within connection */
 484     u_char state;               /* Current call state as defined below */
 485     u_char mode;                /* Current mode of a call in ACTIVE state */
 486 #ifdef  RX_ENABLE_LOCKS
 487     afs_kmutex_t lock;          /* lock covers data as well as mutexes. */
 488     afs_kmutex_t *call_queue_lock;      /* points to lock for queue we're on,
 489                                          * if any. */
 490     afs_kcondvar_t cv_twind;
 491     afs_kcondvar_t cv_rq;
 492     afs_kcondvar_t cv_tq;
 493 #endif
 494 #ifdef KDUMP_RX_LOCK
 495     struct rx_connection_rx_lock *conn; /* Parent connection for call */
 496 #else
 497     struct rx_connection *conn; /* Parent connection for this call */
 498 #endif
 499     afs_uint32 *callNumber;     /* Pointer to call number field within connection */
 500     afs_uint32 flags;           /* Some random flags */
 501     u_char localStatus;         /* Local user status sent out of band */
 502     u_char remoteStatus;        /* Remote user status received out of band */
 503     afs_int32 error;            /* Error condition for this call */
 504     afs_uint32 timeout;         /* High level timeout for this call */
 505     afs_uint32 rnext;           /* Next sequence number expected to be read by rx_ReadData */
 506     afs_uint32 rprev;           /* Previous packet received; used for deciding what the next packet to be received should be, in order to decide whether a negative acknowledge should be sent */
 507     afs_uint32 rwind;           /* The receive window:  the peer must not send packets with sequence numbers >= rnext+rwind */
 508     afs_uint32 tfirst;          /* First unacknowledged transmit packet number */
 509     afs_uint32 tnext;           /* Next transmit sequence number to use */
 510     afs_uint32 tprev;           /* Last packet that we saw an ack for */
 511     u_short twind;              /* The transmit window:  we cannot assign a sequence number to a packet >= tfirst + twind */
 512     u_short cwind;              /* The congestion window */
 513     u_short nSoftAcked;         /* Number soft acked transmit packets */
 514     u_short nextCwind;          /* The congestion window after recovery */
 515     u_short nCwindAcks;         /* Number acks received at current cwind */
 516     u_short ssthresh;           /* The slow start threshold */
 517     u_short nDgramPackets;      /* Packets per AFS 3.5 jumbogram */
 518     u_short nAcks;              /* The number of consecutive acks */
 519     u_short nNacks;             /* Number packets acked that follow the
 520                                  * first negatively acked packet */
 521     u_short nSoftAcks;          /* The number of delayed soft acks */
 522     u_short nHardAcks;          /* The number of delayed hard acks */
 523     u_short congestSeq;         /* Peer's congestion sequence counter */
 524     int rtt;
 525     int rtt_dev;
 526     struct clock rto;           /* The round trip timeout calculated for this call */
 527     struct rxevent *resendEvent;        /* If this is non-Null, there is a retransmission event pending */
 528     struct rxevent *timeoutEvent;       /* If this is non-Null, then there is an overall timeout for this call */
 529     struct rxevent *keepAliveEvent;     /* Scheduled periodically in active calls to keep call alive */
 530     struct rxevent *growMTUEvent;      /* Scheduled periodically in active calls to discover true maximum MTU */
 531     struct rxevent *delayedAckEvent;    /* Scheduled after all packets are received to send an ack if a reply or new call is not generated soon */
 532     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
 533     int abortCode;              /* error code from last RPC */
 534     int abortCount;             /* number of times last error was sent */
 535     u_int lastSendTime;         /* Last time a packet was sent on this call */
 536     u_int lastReceiveTime;      /* Last time a packet was received for this call */
 537     u_int lastSendData;         /* Last time a nonping was sent on this call */
 538     void (*arrivalProc) (struct rx_call * call, void * mh, int index);  /* Procedure to call when reply is received */
 539     void *arrivalProcHandle;    /* Handle to pass to replyFunc */
 540     int arrivalProcArg;         /* Additional arg to pass to reply Proc */
 541     afs_uint32 lastAcked;       /* last packet "hard" acked by receiver */
 542     afs_uint32 startWait;       /* time server began waiting for input data/send quota */
 543     struct clock traceWait;     /* time server began waiting for input data/send quota */
 544     struct clock traceStart;    /* time the call started running */
 545     u_short MTU;                /* size of packets currently sending */
 546 #ifdef RX_ENABLE_LOCKS
 547     short refCount;             /* Used to keep calls from disappearring
 548                                  * when we get them from a queue. (rx_refcnt_lock) */
 549 #endif                          /* RX_ENABLE_LOCKS */
 550 /* Call refcount modifiers */
 551 #define RX_CALL_REFCOUNT_BEGIN  0       /* GetCall/NewCall/EndCall */
 552 #define RX_CALL_REFCOUNT_RESEND 1       /* resend event */
 553 #define RX_CALL_REFCOUNT_DELAY  2       /* delayed ack */
 554 #define RX_CALL_REFCOUNT_ALIVE  3       /* keep alive event */
 555 #define RX_CALL_REFCOUNT_PACKET 4       /* waiting for packets. */
 556 #define RX_CALL_REFCOUNT_SEND   5       /* rxi_Send */
 557 #define RX_CALL_REFCOUNT_ACKALL 6       /* rxi_AckAll */
 558 #define RX_CALL_REFCOUNT_ABORT  7       /* delayed abort */
 559 #define RX_CALL_REFCOUNT_MAX    8       /* array size. */
 560 #ifdef RX_REFCOUNT_CHECK
 561     short refCDebug[RX_CALL_REFCOUNT_MAX];
 562 #endif                          /* RX_REFCOUNT_CHECK */
 563
 564     /*
 565      * iov, iovNBytes, iovMax, and iovNext are set in rxi_ReadvProc()
 566      * and adjusted by rxi_FillReadVec().  iov does not own the buffers
 567      * it refers to.  The buffers belong to the packets stored in iovq.
 568      * Only one call to rx_ReadvProc() can be active at a time.
 569      */
 570
 571     int iovNBytes;              /* byte count for current iovec */
 572     int iovMax;                 /* number elements in current iovec */
 573     int iovNext;                /* next entry in current iovec */
 574     struct iovec *iov;          /* current iovec */
 575
 576     struct clock queueTime;     /* time call was queued */
 577     struct clock startTime;     /* time call was started */
 578     afs_hyper_t bytesSent;      /* Number bytes sent */
 579     afs_hyper_t bytesRcvd;      /* Number bytes received */
 580     u_short tqWaiters;
 581
 582     struct rx_packet *xmitList[RX_MAXACKS]; /* Can't xmit more than we ack */
 583                                 /* Protected by setting RX_CALL_TQ_BUSY */
 584 #ifdef RXDEBUG_PACKET
 585     u_short tqc;                /* packet count in tq */
 586     u_short rqc;                /* packet count in rq */
 587     u_short iovqc;              /* packet count in iovq */
 588
 589 #ifdef KDUMP_RX_LOCK
 590     struct rx_call_rx_lock *allNextp;
 591 #else
 592     struct rx_call *allNextp;
 593 #endif
 594     afs_uint32 call_id;
 595 #endif
 596 };
 597
 598 #ifndef KDUMP_RX_LOCK
 599 /* Major call states */
 600 #define RX_STATE_NOTINIT  0     /* Call structure has never been initialized */
 601 #define RX_STATE_PRECALL  1     /* Server-only:  call is not in progress, but packets have arrived */
 602 #define RX_STATE_ACTIVE   2     /* An active call; a process is dealing with this call */
 603 #define RX_STATE_DALLY    3     /* Dallying after process is done with call */
 604 #define RX_STATE_HOLD     4     /* Waiting for acks on reply data packets */
 605 #define RX_STATE_RESET    5     /* Call is being reset */
 606
 607 /* Call modes:  the modes of a call in RX_STATE_ACTIVE state (process attached) */
 608 #define RX_MODE_SENDING   1     /* Sending or ready to send */
 609 #define RX_MODE_RECEIVING 2     /* Receiving or ready to receive */
 610 #define RX_MODE_ERROR     3     /* Something in error for current conversation */
 611 #define RX_MODE_EOF       4     /* Server has flushed (or client has read) last reply packet */
 612
 613 /* Flags */
 614 #define RX_CALL_READER_WAIT        1    /* Reader is waiting for next packet */
 615 #define RX_CALL_WAIT_WINDOW_ALLOC  2    /* Sender is waiting for window to allocate buffers */
 616 #define RX_CALL_WAIT_WINDOW_SEND   4    /* Sender is waiting for window to send buffers */
 617 #define RX_CALL_WAIT_PACKETS       8    /* Sender is waiting for packet buffers */
 618 #define RX_CALL_WAIT_PROC         16    /* Waiting for a process to be assigned */
 619 #define RX_CALL_RECEIVE_DONE      32    /* All packets received on this call */
 620 #define RX_CALL_CLEARED           64    /* Receive queue cleared in precall state */
 621 #define RX_CALL_TQ_BUSY          128    /* Call's Xmit Queue is busy; don't modify */
 622 #define RX_CALL_TQ_CLEARME       256    /* Need to clear this call's TQ later */
 623 #define RX_CALL_TQ_SOME_ACKED    512    /* rxi_Start needs to discard ack'd packets. */
 624 #define RX_CALL_TQ_WAIT         1024    /* Reader is waiting for TQ_BUSY to be reset */
 625 #define RX_CALL_FAST_RECOVER    2048    /* call is doing congestion recovery */
 626 /* 4096 was RX_CALL_FAST_RECOVER_WAIT */
 627 #define RX_CALL_SLOW_START_OK   8192    /* receiver acks every other packet */
 628 #define RX_CALL_IOVEC_WAIT      16384   /* waiting thread is using an iovec */
 629 #define RX_CALL_HAVE_LAST       32768   /* Last packet has been received */
 630 #define RX_CALL_NEED_START      0x10000 /* tells rxi_Start to start again */
 631 #define RX_CALL_PEER_BUSY       0x20000 /* the last packet we received on this call was a
 632                                          * BUSY packet; i.e. the channel for this call is busy */
 633 #define RX_CALL_ACKALL_SENT     0x40000 /* ACKALL has been sent on the call */
 634
 635
 636 /* The structure of the data portion of an acknowledge packet: An acknowledge
 637  * packet is in network byte order at all times.  An acknowledgement is always
 638  * prompted for a specific reason by a specific incoming packet.  This reason
 639  * is reported in "reason" and the packet's sequence number in the packet
 640  * header.seq.  In addition to this information, all of the current
 641  * acknowledgement information about this call is placed in the packet.
 642  * "FirstPacket" is the sequence number of the first packet represented in an
 643  * array of bytes, "acks", containing acknowledgement information for a number
 644  * of consecutive packets.  All packets prior to FirstPacket are implicitly
 645  * acknowledged: the sender need no longer be concerned about them.  Packets
 646  * from firstPacket+nAcks and on are not acknowledged.  Packets in the range
 647  * [firstPacket,firstPacket+nAcks) are each acknowledged explicitly.  The
 648  * acknowledgement may be RX_NACK if the packet is not (currently) at the
 649  * receiver (it may have never been received, or received and then later
 650  * dropped), or it may be RX_ACK if the packet is queued up waiting to be read
 651  * by the upper level software.  RX_ACK does not imply that the packet may not
 652  * be dropped before it is read; it does imply that the sender should stop
 653  * retransmitting the packet until notified otherwise.  The field
 654  * previousPacket identifies the previous packet received by the peer.  This
 655  * was used in a previous version of this software, and could be used in the
 656  * future.  The serial number in the data part of the ack packet corresponds to
 657  * the serial number oof the packet which prompted the acknowledge.  Any
 658  * packets which are explicitly not acknowledged, and which were last
 659  * transmitted with a serial number less than the provided serial number,
 660  * should be retransmitted immediately.  Actually, this is slightly inaccurate:
 661  * packets are not necessarily received in order.  When packets are habitually
 662  * transmitted out of order, this is allowed for in the retransmission
 663  * algorithm by introducing the notion of maximum packet skew: the degree of
 664  * out-of-orderness of the packets received on the wire.  This number is
 665  * communicated from the receiver to the sender in ack packets. */
 666
 667 struct rx_ackPacket {
 668     u_short bufferSpace;        /* Number of packet buffers available.  That is:  the number of buffers that the sender of the ack packet is willing to provide for data, on this or subsequent calls.  Lying is permissable. */
 669     u_short maxSkew;            /* Maximum difference between serial# of packet acknowledged and highest packet yet received */
 670     afs_uint32 firstPacket;     /* The first packet in the list of acknowledged packets */
 671     afs_uint32 previousPacket;  /* The previous packet number received (obsolete?) */
 672     afs_uint32 serial;          /* Serial number of the packet which prompted the acknowledge */
 673     u_char reason;              /* Reason for the acknowledge of ackPacket, defined below */
 674     u_char nAcks;               /* Number of acknowledgements */
 675     u_char acks[RX_MAXACKS];    /* Up to RX_MAXACKS packet acknowledgements, defined below */
 676     /* Packets <firstPacket are implicitly acknowledged and may be discarded by the sender.  Packets >= firstPacket+nAcks are implicitly NOT acknowledged.  No packets with sequence numbers >= firstPacket should be discarded by the sender (they may thrown out at any time by the receiver) */
 677 };
 678
 679 #define FIRSTACKOFFSET 4
 680
 681 /* Reason for acknowledge message */
 682 #define RX_ACK_REQUESTED        1       /* Peer requested an ack on this packet */
 683 #define RX_ACK_DUPLICATE        2       /* Duplicate packet */
 684 #define RX_ACK_OUT_OF_SEQUENCE  3       /* Packet out of sequence */
 685 #define RX_ACK_EXCEEDS_WINDOW   4       /* Packet sequence number higher than window; discarded */
 686 #define RX_ACK_NOSPACE          5       /* No buffer space at all */
 687 #define RX_ACK_PING             6       /* This is a keep-alive ack */
 688 #define RX_ACK_PING_RESPONSE    7       /* Ack'ing because we were pinged */
 689 #define RX_ACK_DELAY            8       /* Ack generated since nothing has happened since receiving packet */
 690 #define RX_ACK_IDLE             9       /* Similar to RX_ACK_DELAY, but can
 691                                          * be used to compute RTT */
 692 #define RX_ACK_MTU             -1       /* will be rewritten to ACK_PING */
 693
 694 /* Packet acknowledgement type */
 695 #define RX_ACK_TYPE_NACK        0       /* I Don't have this packet */
 696 #define RX_ACK_TYPE_ACK         1       /* I have this packet, although I may discard it later */
 697
 698 /* The packet size transmitted for an acknowledge is adjusted to reflect the actual size of the acks array.  This macro defines the size */
 699 #define rx_AckDataSize(nAcks) (3 + nAcks + offsetof(struct rx_ackPacket, acks[0]))
 700
 701 #define RX_CHALLENGE_TIMEOUT    2       /* Number of seconds before another authentication request packet is generated */
 702 #define RX_CHALLENGE_MAXTRIES   50      /* Max # of times we resend challenge */
 703 #define RX_CHECKREACH_TIMEOUT   2       /* Number of seconds before another ping is generated */
 704 #define RX_CHECKREACH_TTL       60      /* Re-check reachability this often */
 705
 706 /* RX error codes.  RX uses error codes from -1 to -64.  Rxgen may use other error codes < -64; user programs are expected to return positive error codes */
 707
 708 /* Something bad happened to the connection; temporary loss of communication */
 709 #define RX_CALL_DEAD                (-1)
 710
 711 /* An invalid operation, such as a client attempting to send data after having received the beginning of a reply from the server */
 712 #define RX_INVALID_OPERATION        (-2)
 713
 714 /* An optional timeout per call may be specified */
 715 #define RX_CALL_TIMEOUT             (-3)
 716
 717 /* End of data on a read */
 718 #define RX_EOF                      (-4)
 719
 720 /* Some sort of low-level protocol error */
 721 #define RX_PROTOCOL_ERROR           (-5)
 722
 723 /* Generic user abort code; used when no more specific error code needs to be communicated.  For example, multi rx clients use this code to abort a multi rx call */
 724 #define RX_USER_ABORT               (-6)
 725
 726 /* Port already in use (from rx_Init) */
 727 #define RX_ADDRINUSE                (-7)
 728
 729 /* EMSGSIZE returned from network.  Packet too big, must fragment */
 730 #define RX_MSGSIZE                  (-8)
 731
 732 /* transient failure detected ( possibly the server is restarting ) */
 733 /* this shud be equal to VRESTARTING ( util/errors.h ) for old clients to work */
 734 #define RX_RESTARTING               (-100)
 735
 736 typedef enum {
 737     RX_SECIDX_NULL = 0,
 738     RX_SECIDX_KAD  = 2,
 739     RX_SECIDX_GK   = 4,
 740     RX_SECIDX_K5   = 5,
 741 } rx_securityIndex;
 742
 743 struct rx_securityObjectStats {
 744     char type;                  /* 0:unk 1:null,2:vab 3:kad */
 745     char level;
 746     char sparec[10];            /* force correct alignment */
 747     afs_int32 flags;            /* 1=>unalloc, 2=>auth, 4=>expired */
 748     afs_uint32 expires;
 749     afs_uint32 packetsReceived;
 750     afs_uint32 packetsSent;
 751     afs_uint32 bytesReceived;
 752     afs_uint32 bytesSent;
 753     short spares[4];
 754     afs_int32 sparel[8];
 755 };
 756
 757 /* Configuration settings */
 758
 759 /* Enum for storing configuration variables which can be set via the
 760  * SetConfiguration method in the rx_securityClass, below
 761  */
 762
 763 typedef enum {
 764      RXS_CONFIG_FLAGS /* afs_uint32 set of bitwise flags */
 765 } rx_securityConfigVariables;
 766
 767 /* For the RXS_CONFIG_FLAGS, the following bit values are defined */
 768
 769 /* Disable the principal name contains dot check in rxkad */
 770 #define RXS_CONFIG_FLAGS_DISABLE_DOTCHECK       0x01
 771
 772 /* XXXX (rewrite this description) A security class object contains a set of
 773  * procedures and some private data to implement a security model for rx
 774  * connections.  These routines are called by rx as appropriate.  Rx knows
 775  * nothing about the internal details of any particular security model, or
 776  * about security state.  Rx does maintain state per connection on behalf of
 777  * the security class.  Each security class implementation is also expected to
 778  * provide routines to create these objects.  Rx provides a basic routine to
 779  * allocate one of these objects; this routine must be called by the class. */
 780 struct rx_securityClass {
 781     struct rx_securityOps {
 782         int (*op_Close) (struct rx_securityClass * aobj);
 783         int (*op_NewConnection) (struct rx_securityClass * aobj,
 784                                  struct rx_connection * aconn);
 785         int (*op_PreparePacket) (struct rx_securityClass * aobj,
 786                                  struct rx_call * acall,
 787                                  struct rx_packet * apacket);
 788         int (*op_SendPacket) (struct rx_securityClass * aobj,
 789                               struct rx_call * acall,
 790                               struct rx_packet * apacket);
 791         int (*op_CheckAuthentication) (struct rx_securityClass * aobj,
 792                                        struct rx_connection * aconn);
 793         int (*op_CreateChallenge) (struct rx_securityClass * aobj,
 794                                    struct rx_connection * aconn);
 795         int (*op_GetChallenge) (struct rx_securityClass * aobj,
 796                                 struct rx_connection * aconn,
 797                                 struct rx_packet * apacket);
 798         int (*op_GetResponse) (struct rx_securityClass * aobj,
 799                                struct rx_connection * aconn,
 800                                struct rx_packet * apacket);
 801         int (*op_CheckResponse) (struct rx_securityClass * aobj,
 802                                  struct rx_connection * aconn,
 803                                  struct rx_packet * apacket);
 804         int (*op_CheckPacket) (struct rx_securityClass * aobj,
 805                                struct rx_call * acall,
 806                                struct rx_packet * apacket);
 807         int (*op_DestroyConnection) (struct rx_securityClass * aobj,
 808                                      struct rx_connection * aconn);
 809         int (*op_GetStats) (struct rx_securityClass * aobj,
 810                             struct rx_connection * aconn,
 811                             struct rx_securityObjectStats * astats);
 812         int (*op_SetConfiguration) (struct rx_securityClass * aobj,
 813                                     struct rx_connection * aconn,
 814                                     rx_securityConfigVariables atype,
 815                                     void * avalue,
 816                                     void ** acurrentValue);
 817         int (*op_Spare2) (void);
 818         int (*op_Spare3) (void);
 819     } *ops;
 820     void *privateData;
 821     int refCount;
 822 };
 823
 824 #define RXS_OP(obj,op,args) ((obj && (obj->ops->op_ ## op)) ? (*(obj)->ops->op_ ## op)args : 0)
 825
 826 #define RXS_Close(obj) RXS_OP(obj,Close,(obj))
 827 #define RXS_NewConnection(obj,conn) RXS_OP(obj,NewConnection,(obj,conn))
 828 #define RXS_PreparePacket(obj,call,packet) RXS_OP(obj,PreparePacket,(obj,call,packet))
 829 #define RXS_SendPacket(obj,call,packet) RXS_OP(obj,SendPacket,(obj,call,packet))
 830 #define RXS_CheckAuthentication(obj,conn) RXS_OP(obj,CheckAuthentication,(obj,conn))
 831 #define RXS_CreateChallenge(obj,conn) RXS_OP(obj,CreateChallenge,(obj,conn))
 832 #define RXS_GetChallenge(obj,conn,packet) RXS_OP(obj,GetChallenge,(obj,conn,packet))
 833 #define RXS_GetResponse(obj,conn,packet) RXS_OP(obj,GetResponse,(obj,conn,packet))
 834 #define RXS_CheckResponse(obj,conn,packet) RXS_OP(obj,CheckResponse,(obj,conn,packet))
 835 #define RXS_CheckPacket(obj,call,packet) RXS_OP(obj,CheckPacket,(obj,call,packet))
 836 #define RXS_DestroyConnection(obj,conn) RXS_OP(obj,DestroyConnection,(obj,conn))
 837 #define RXS_GetStats(obj,conn,stats) RXS_OP(obj,GetStats,(obj,conn,stats))
 838 #define RXS_SetConfiguration(obj, conn, type, value, currentValue) RXS_OP(obj, SetConfiguration,(obj,conn,type,value,currentValue))
 839
 840
 841 /* Structure for keeping rx statistics.  Note that this structure is returned
 842  * by rxdebug, so, for compatibility reasons, new fields should be appended (or
 843  * spares used), the rxdebug protocol checked, if necessary, and the PrintStats
 844  * code should be updated as well.
 845  *
 846  * Clearly we assume that ntohl will work on these structures so sizeof(int)
 847  * must equal sizeof(afs_int32). */
 848
 849 struct rx_statistics {          /* General rx statistics */
 850     int packetRequests;         /* Number of packet allocation requests */
 851     int receivePktAllocFailures;
 852     int sendPktAllocFailures;
 853     int specialPktAllocFailures;
 854     int socketGreedy;           /* Whether SO_GREEDY succeeded */
 855     int bogusPacketOnRead;      /* Number of inappropriately short packets received */
 856     int bogusHost;              /* Host address from bogus packets */
 857     int noPacketOnRead;         /* Number of read packets attempted when there was actually no packet to read off the wire */
 858     int noPacketBuffersOnRead;  /* Number of dropped data packets due to lack of packet buffers */
 859     int selects;                /* Number of selects waiting for packet or timeout */
 860     int sendSelects;            /* Number of selects forced when sending packet */
 861     int packetsRead[RX_N_PACKET_TYPES]; /* Total number of packets read, per type */
 862     int dataPacketsRead;        /* Number of unique data packets read off the wire */
 863     int ackPacketsRead;         /* Number of ack packets read */
 864     int dupPacketsRead;         /* Number of duplicate data packets read */
 865     int spuriousPacketsRead;    /* Number of inappropriate data packets */
 866     int packetsSent[RX_N_PACKET_TYPES]; /* Number of rxi_Sends: packets sent over the wire, per type */
 867     int ackPacketsSent;         /* Number of acks sent */
 868     int pingPacketsSent;        /* Total number of ping packets sent */
 869     int abortPacketsSent;       /* Total number of aborts */
 870     int busyPacketsSent;        /* Total number of busies sent received */
 871     int dataPacketsSent;        /* Number of unique data packets sent */
 872     int dataPacketsReSent;      /* Number of retransmissions */
 873     int dataPacketsPushed;      /* Number of retransmissions pushed early by a NACK */
 874     int ignoreAckedPacket;      /* Number of packets with acked flag, on rxi_Start */
 875     struct clock totalRtt;      /* Total round trip time measured (use to compute average) */
 876     struct clock minRtt;        /* Minimum round trip time measured */
 877     struct clock maxRtt;        /* Maximum round trip time measured */
 878     int nRttSamples;            /* Total number of round trip samples */
 879     int nServerConns;           /* Total number of server connections */
 880     int nClientConns;           /* Total number of client connections */
 881     int nPeerStructs;           /* Total number of peer structures */
 882     int nCallStructs;           /* Total number of call structures allocated */
 883     int nFreeCallStructs;       /* Total number of previously allocated free call structures */
 884     int netSendFailures;
 885     afs_int32 fatalErrors;
 886     int ignorePacketDally;      /* packets dropped because call is in dally state */
 887     int receiveCbufPktAllocFailures;
 888     int sendCbufPktAllocFailures;
 889     int nBusies;
 890     int spares[4];
 891 };
 892
 893 /* structures for debug input and output packets */
 894
 895 /* debug input types */
 896 struct rx_debugIn {
 897     afs_int32 type;
 898     afs_int32 index;
 899 };
 900
 901 /* Invalid rx debug package type */
 902 #define RX_DEBUGI_BADTYPE     (-8)
 903
 904 #define RX_DEBUGI_VERSION_MINIMUM ('L') /* earliest real version */
 905 #define RX_DEBUGI_VERSION     ('S')    /* Latest version */
 906     /* first version w/ secStats */
 907 #define RX_DEBUGI_VERSION_W_SECSTATS ('L')
 908     /* version M is first supporting GETALLCONN and RXSTATS type */
 909 #define RX_DEBUGI_VERSION_W_GETALLCONN ('M')
 910 #define RX_DEBUGI_VERSION_W_RXSTATS ('M')
 911     /* last version with unaligned debugConn */
 912 #define RX_DEBUGI_VERSION_W_UNALIGNED_CONN ('L')
 913 #define RX_DEBUGI_VERSION_W_WAITERS ('N')
 914 #define RX_DEBUGI_VERSION_W_IDLETHREADS ('O')
 915 #define RX_DEBUGI_VERSION_W_NEWPACKETTYPES ('P')
 916 #define RX_DEBUGI_VERSION_W_GETPEER ('Q')
 917 #define RX_DEBUGI_VERSION_W_WAITED ('R')
 918 #define RX_DEBUGI_VERSION_W_PACKETS ('S')
 919
 920 #define RX_DEBUGI_GETSTATS      1       /* get basic rx stats */
 921 #define RX_DEBUGI_GETCONN       2       /* get connection info */
 922 #define RX_DEBUGI_GETALLCONN    3       /* get even uninteresting conns */
 923 #define RX_DEBUGI_RXSTATS       4       /* get all rx stats */
 924 #define RX_DEBUGI_GETPEER       5       /* get all peer structs */
 925
 926 struct rx_debugStats {
 927     afs_int32 nFreePackets;
 928     afs_int32 packetReclaims;
 929     afs_int32 callsExecuted;
 930     char waitingForPackets;
 931     char usedFDs;
 932     char version;
 933     char spare1;
 934     afs_int32 nWaiting;
 935     afs_int32 idleThreads;      /* Number of server threads that are idle */
 936     afs_int32 nWaited;
 937     afs_int32 nPackets;
 938     afs_int32 spare2[6];
 939 };
 940
 941 struct rx_debugConn_vL {
 942     afs_uint32 host;
 943     afs_int32 cid;
 944     afs_int32 serial;
 945     afs_int32 callNumber[RX_MAXCALLS];
 946     afs_int32 error;
 947     short port;
 948     char flags;
 949     char type;
 950     char securityIndex;
 951     char callState[RX_MAXCALLS];
 952     char callMode[RX_MAXCALLS];
 953     char callFlags[RX_MAXCALLS];
 954     char callOther[RX_MAXCALLS];
 955     /* old style getconn stops here */
 956     struct rx_securityObjectStats secStats;
 957     afs_int32 sparel[10];
 958 };
 959
 960 struct rx_debugConn {
 961     afs_uint32 host;
 962     afs_int32 cid;
 963     afs_int32 serial;
 964     afs_int32 callNumber[RX_MAXCALLS];
 965     afs_int32 error;
 966     short port;
 967     char flags;
 968     char type;
 969     char securityIndex;
 970     char sparec[3];             /* force correct alignment */
 971     char callState[RX_MAXCALLS];
 972     char callMode[RX_MAXCALLS];
 973     char callFlags[RX_MAXCALLS];
 974     char callOther[RX_MAXCALLS];
 975     /* old style getconn stops here */
 976     struct rx_securityObjectStats secStats;
 977     afs_int32 epoch;
 978     afs_int32 natMTU;
 979     afs_int32 sparel[9];
 980 };
 981
 982 struct rx_debugPeer {
 983     afs_uint32 host;
 984     u_short port;
 985     u_short ifMTU;
 986     afs_uint32 idleWhen;
 987     short refCount;
 988     u_char burstSize;
 989     u_char burst;
 990     struct clock burstWait;
 991     afs_int32 rtt;
 992     afs_int32 rtt_dev;
 993     struct clock timeout;
 994     afs_int32 nSent;
 995     afs_int32 reSends;
 996     afs_int32 inPacketSkew;
 997     afs_int32 outPacketSkew;
 998     afs_int32 rateFlag;
 999     u_short natMTU;
1000     u_short maxMTU;
1001     u_short maxDgramPackets;
1002     u_short ifDgramPackets;
1003     u_short MTU;
1004     u_short cwind;
1005     u_short nDgramPackets;
1006     u_short congestSeq;
1007     afs_hyper_t bytesSent;
1008     afs_hyper_t bytesReceived;
1009     afs_int32 sparel[10];
1010 };
1011
1012 #define RX_OTHER_IN     1       /* packets avail in in queue */
1013 #define RX_OTHER_OUT    2       /* packets avail in out queue */
1014
1015
1016
1017 /* Only include this once, even when re-loading for kdump. */
1018 #ifndef _CALL_REF_DEFINED_
1019 #define _CALL_REF_DEFINED_
1020
1021 #ifdef RX_ENABLE_LOCKS
1022 #ifdef RX_REFCOUNT_CHECK
1023 /* RX_REFCOUNT_CHECK is used to test for call refcount leaks by event
1024  * type.
1025  */
1026 extern int rx_callHoldType;
1027 #define CALL_HOLD(call, type) do { \
1028                                  call->refCount++; \
1029                                  call->refCDebug[type]++; \
1030                                  if (call->refCDebug[type] > 50)  {\
1031                                      rx_callHoldType = type; \
1032                                      osi_Panic("Huge call refCount"); \
1033                                                                } \
1034                              } while (0)
1035 #define CALL_RELE(call, type) do { \
1036                                  call->refCount--; \
1037                                  call->refCDebug[type]--; \
1038                                  if (call->refCDebug[type] > 50) {\
1039                                      rx_callHoldType = type; \
1040                                      osi_Panic("Negative call refCount"); \
1041                                                               } \
1042                              } while (0)
1043 #else /* RX_REFCOUNT_CHECK */
1044 #define CALL_HOLD(call, type)    call->refCount++
1045 #define CALL_RELE(call, type)    call->refCount--
1046 #endif /* RX_REFCOUNT_CHECK */
1047
1048 #else /* RX_ENABLE_LOCKS */
1049 #define CALL_HOLD(call, type)
1050 #define CALL_RELE(call, type)
1051 #endif /* RX_ENABLE_LOCKS */
1052
1053 #endif /* _CALL_REF_DEFINED_ */
1054
1055 #define RX_SERVER_DEBUG_SEC_STATS               0x1
1056 #define RX_SERVER_DEBUG_ALL_CONN                0x2
1057 #define RX_SERVER_DEBUG_RX_STATS                0x4
1058 #define RX_SERVER_DEBUG_WAITER_CNT              0x8
1059 #define RX_SERVER_DEBUG_IDLE_THREADS            0x10
1060 #define RX_SERVER_DEBUG_OLD_CONN                0x20
1061 #define RX_SERVER_DEBUG_NEW_PACKETS             0x40
1062 #define RX_SERVER_DEBUG_ALL_PEER                0x80
1063 #define RX_SERVER_DEBUG_WAITED_CNT              0x100
1064 #define RX_SERVER_DEBUG_PACKETS_CNT              0x200
1065
1066 #define AFS_RX_STATS_CLEAR_ALL                  0xffffffff
1067 #define AFS_RX_STATS_CLEAR_INVOCATIONS          0x1
1068 #define AFS_RX_STATS_CLEAR_BYTES_SENT           0x2
1069 #define AFS_RX_STATS_CLEAR_BYTES_RCVD           0x4
1070 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SUM       0x8
1071 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SQUARE    0x10
1072 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MIN       0x20
1073 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MAX       0x40
1074 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SUM        0x80
1075 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SQUARE     0x100
1076 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MIN        0x200
1077 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MAX        0x400
1078
1079 typedef struct rx_function_entry_v1 {
1080     afs_uint32 remote_peer;
1081     afs_uint32 remote_port;
1082     afs_uint32 remote_is_server;
1083     afs_uint32 interfaceId;
1084     afs_uint32 func_total;
1085     afs_uint32 func_index;
1086     afs_hyper_t invocations;
1087     afs_hyper_t bytes_sent;
1088     afs_hyper_t bytes_rcvd;
1089     struct clock queue_time_sum;
1090     struct clock queue_time_sum_sqr;
1091     struct clock queue_time_min;
1092     struct clock queue_time_max;
1093     struct clock execution_time_sum;
1094     struct clock execution_time_sum_sqr;
1095     struct clock execution_time_min;
1096     struct clock execution_time_max;
1097 } rx_function_entry_v1_t, *rx_function_entry_v1_p;
1098
1099 /*
1100  * If you need to change rx_function_entry, you should probably create a brand
1101  * new structure.  Keeping the old structure will allow backwards compatibility
1102  * with old clients (even if it is only used to calculate allocation size).
1103  * If you do change the size or the format, you'll need to bump
1104  * RX_STATS_RETRIEVAL_VERSION.  This allows some primitive form
1105  * of versioning a la rxdebug.
1106  */
1107
1108 #define RX_STATS_RETRIEVAL_VERSION 1    /* latest version */
1109 #define RX_STATS_RETRIEVAL_FIRST_EDITION 1      /* first implementation */
1110
1111 typedef struct rx_interface_stat {
1112     struct rx_queue queue_header;
1113     struct rx_queue all_peers;
1114     rx_function_entry_v1_t stats[1];    /* make sure this is aligned correctly */
1115 } rx_interface_stat_t, *rx_interface_stat_p;
1116
1117 #define RX_STATS_SERVICE_ID 409
1118
1119 #ifdef AFS_NT40_ENV
1120 extern int rx_DumpCalls(FILE *outputFile, char *cookie);
1121 #endif
1122
1123 #endif /* _RX_   End of rx.h */
1124
1125 #ifdef  KERNEL
1126 #include "rx/rx_prototypes.h"
1127 #else
1128 #include "rx_prototypes.h"
1129 #endif
1130
1131 #endif /* !KDUMP_RX_LOCK */