src/rx/rx.h

   1 /*
   2  * Copyright 2000, International Business Machines Corporation and others.
   3  * All Rights Reserved.
   4  *
   5  * This software has been released under the terms of the IBM Public
   6  * License.  For details, see the LICENSE file in the top-level source
   7  * directory or online at http://www.openafs.org/dl/license10.html
   8  */
   9
  10 #ifdef KDUMP_RX_LOCK
  11 /* kdump for SGI needs MP and SP versions of rx_serverQueueEntry,
  12  * rx_peer, rx_connection and rx_call structs. rx.h gets included a
  13  * second time to pick up mp_ versions of those structs. Currently
  14  * the affected struct's have #ifdef's in them for the second pass.
  15  * This should change once we start using only ANSI compilers.
  16  * Actually, kdump does not use rx_serverQueueEntry, but I'm including
  17  * it for completeness.
  18  */
  19 #undef _RX_
  20 #endif
  21
  22 #ifndef _RX_
  23 #define _RX_
  24
  25 #ifndef KDUMP_RX_LOCK
  26 #ifdef  KERNEL
  27 #include "rx_kmutex.h"
  28 #include "rx_kernel.h"
  29 #include "rx_clock.h"
  30 #include "rx_event.h"
  31 #include "rx_queue.h"
  32 #include "rx_packet.h"
  33 #include "rx_misc.h"
  34 #include "rx_multi.h"
  35 #if defined (AFS_OBSD_ENV) && !defined (MLEN)
  36 #include "sys/mbuf.h"
  37 #endif
  38 #include "netinet/in.h"
  39 #include "sys/socket.h"
  40 #else /* KERNEL */
  41 # include <sys/types.h>
  42 # include <stdio.h>
  43 # include <string.h>
  44 #ifdef AFS_PTHREAD_ENV
  45 # include "rx_pthread.h"
  46 #else
  47 # include "rx_lwp.h"
  48 #endif
  49 #ifdef AFS_NT40_ENV
  50 #include <malloc.h>
  51 #include <winsock2.h>
  52 #include <ws2tcpip.h>
  53 #endif
  54 # include "rx_user.h"
  55 # include "rx_clock.h"
  56 # include "rx_event.h"
  57 # include "rx_packet.h"
  58 # include "rx_misc.h"
  59 # include "rx_null.h"
  60 # include "rx_multi.h"
  61 #ifndef AFS_NT40_ENV
  62 # include <netinet/in.h>
  63 # include <sys/socket.h>
  64 #endif
  65 #endif /* KERNEL */
  66
  67
  68 /* Configurable parameters */
  69 #define RX_IDLE_DEAD_TIME       60      /* default idle dead time */
  70 #define RX_MAX_SERVICES         20      /* Maximum number of services that may be installed */
  71 #if defined(KERNEL) && defined(AFS_AIX51_ENV) && defined(__64__)
  72 #define RX_DEFAULT_STACK_SIZE   24000
  73 #else
  74 #define RX_DEFAULT_STACK_SIZE   16000   /* Default process stack size; overriden by rx_SetStackSize */
  75 #endif
  76
  77 /* This parameter should not normally be changed */
  78 #define RX_PROCESS_PRIORITY     LWP_NORMAL_PRIORITY
  79
  80 /* backoff is fixed point binary.  Ie, units of 1/4 seconds */
  81 #define MAXBACKOFF 0x1F
  82
  83 #define ADDRSPERSITE 16
  84
  85 #ifndef KDUMP_RX_LOCK
  86 /* Bottom n-bits of the Call Identifier give the call number */
  87 #define RX_MAXCALLS 4           /* Power of 2; max async calls per connection */
  88 #define RX_CIDSHIFT 2           /* Log2(RX_MAXCALLS) */
  89 #define RX_CHANNELMASK (RX_MAXCALLS-1)
  90 #define RX_CIDMASK  (~RX_CHANNELMASK)
  91 #endif /* !KDUMP_RX_LOCK */
  92
  93 #ifndef KERNEL
  94 typedef void (*rx_destructor_t) (void *);
  95 int rx_KeyCreate(rx_destructor_t);
  96 osi_socket rxi_GetHostUDPSocket(u_int host, u_short port);
  97 osi_socket rxi_GetUDPSocket(u_short port);
  98 #endif /* KERNEL */
  99
 100
 101 int ntoh_syserr_conv(int error);
 102
 103 #define RX_WAIT     1
 104 #define RX_DONTWAIT 0
 105
 106 #define rx_ConnectionOf(call)           ((call)->conn)
 107 #define rx_PeerOf(conn)                 ((conn)->peer)
 108 #define rx_HostOf(peer)                 ((peer)->host)
 109 #define rx_PortOf(peer)                 ((peer)->port)
 110 #define rx_SetLocalStatus(call, status) ((call)->localStatus = (status))
 111 #define rx_GetLocalStatus(call, status) ((call)->localStatus)
 112 #define rx_GetRemoteStatus(call)        ((call)->remoteStatus)
 113 #define rx_Error(call)                  ((call)->error)
 114 #define rx_IsServerConn(conn)           ((conn)->type == RX_SERVER_CONNECTION)
 115 #define rx_IsClientConn(conn)           ((conn)->type == RX_CLIENT_CONNECTION)
 116 /* Don't use these; use the IsServerConn style */
 117 #define rx_ServerConn(conn)             ((conn)->type == RX_SERVER_CONNECTION)
 118 #define rx_ClientConn(conn)             ((conn)->type == RX_CLIENT_CONNECTION)
 119 #define rx_IsUsingPktCksum(conn)        ((conn)->flags & RX_CONN_USING_PACKET_CKSUM)
 120 #define rx_IsClonedConn(conn)           ((conn)->flags & RX_CLONED_CONNECTION)
 121 #define rx_ServiceIdOf(conn)            ((conn)->serviceId)
 122 #define rx_SecurityClassOf(conn)        ((conn)->securityIndex)
 123 #define rx_SecurityObjectOf(conn)       ((conn)->securityObject)
 124 #define rx_ConnError(conn)              (rx_IsClonedConn((conn)) ? (conn)->parent->error : (conn)->error)
 125 #define rx_SetConnError(conn, err)      (rx_IsClonedConn((conn)) ? ((conn)->parent->error = err): ((conn)->error = err))
 126 #define rx_ConnHardDeadTime(conn)       (rx_IsClonedConn((conn)) ? (conn)->parent->hardDeadTime : (conn)->hardDeadTime)
 127 #define rx_ConnIdleDeadTime(conn)       (rx_IsClonedConn((conn)) ? (conn)->parent->idleDeadTime : (conn)->idleDeadTime)
 128 #define rx_ConnIdleDeadErr(conn)        (rx_IsClonedConn((conn)) ? (conn)->parent->idleDeadErr : (conn)->idleDeadErr)
 129 #define rx_ConnSecondsUntilDead(conn)   (rx_IsClonedConn((conn)) ? (conn)->parent->secondsUntilDead : (conn)->secondsUntilDead)
 130 #define rx_ConnSecondsUntilPing(conn)   (rx_IsClonedConn((conn)) ? (conn)->parent->secondsUntilPing : (conn)->secondsUntilPing)
 131
 132
 133 /*******************
 134  * Macros callable by the user to further define attributes of a
 135  * service.  Must be called before rx_StartServer
 136  */
 137
 138 /* Set the service stack size.  This currently just sets the stack
 139  * size for all processes to be the maximum seen, so far */
 140 #define rx_SetStackSize(service, stackSize) \
 141   rx_stackSize = (((stackSize) > rx_stackSize)? stackSize: rx_stackSize)
 142
 143 /* Set minimum number of processes guaranteed to be available for this
 144  * service at all times */
 145 #define rx_SetMinProcs(service, min) ((service)->minProcs = (min))
 146
 147 /* Set maximum number of processes that will be made available to this
 148  * service (also a guarantee that this number will be made available
 149  * if there is no competition) */
 150 #define rx_SetMaxProcs(service, max) ((service)->maxProcs = (max))
 151
 152 /* Define a procedure to be called just before a server connection is destroyed */
 153 #define rx_SetDestroyConnProc(service,proc) ((service)->destroyConnProc = (proc))
 154
 155 /* Define procedure to set service dead time */
 156 #define rx_SetIdleDeadTime(service,time) ((service)->idleDeadTime = (time))
 157
 158 /* Define error to return in server connections when failing to answer */
 159 #define rx_SetServerIdleDeadErr(service,err) ((service)->idleDeadErr = (err))
 160
 161 /* Define procedures for getting and setting before and after execute-request procs */
 162 #define rx_SetAfterProc(service,proc) ((service)->afterProc = (proc))
 163 #define rx_SetBeforeProc(service,proc) ((service)->beforeProc = (proc))
 164 #define rx_GetAfterProc(service) ((service)->afterProc)
 165 #define rx_GetBeforeProc(service) ((service)->beforeProc)
 166
 167 /* Define a procedure to be called when a server connection is created */
 168 #define rx_SetNewConnProc(service, proc) ((service)->newConnProc = (proc))
 169
 170 /* NOTE:  We'll probably redefine the following three routines, again, sometime. */
 171
 172 /* Set the connection dead time for any connections created for this service (server only) */
 173 #define rx_SetServiceDeadTime(service, seconds) ((service)->secondsUntilDead = (seconds))
 174
 175 /* Enable or disable asymmetric client checking for a service */
 176 #define rx_SetCheckReach(service, x) ((service)->checkReach = (x))
 177
 178 /* Set connection hard and idle timeouts for a connection */
 179 #define rx_SetConnHardDeadTime(conn, seconds)\
 180     {\
 181     if (rx_IsClonedConn(conn))                                          \
 182         (conn)->parent->hardDeadTime = (seconds);                       \
 183     else                                                                \
 184         (conn)->hardDeadTime = (seconds);                               \
 185     }
 186
 187 #define rx_SetConnIdleDeadTime(conn, seconds)\
 188     {\
 189     if (rx_IsClonedConn(conn))                                          \
 190         (conn)->parent->idleDeadTime = (seconds);                       \
 191     else                                                                \
 192         (conn)->idleDeadTime = (seconds);                               \
 193     }
 194
 195 #define rx_SetServerConnIdleDeadErr(conn, err)\
 196     {\
 197     if (rx_IsClonedConn(conn))                                          \
 198         (conn)->parent->idleDeadErr = (err);                            \
 199     else                                                                \
 200         (conn)->idleDeadErr = (err);                                    \
 201     }
 202
 203
 204 /* Set the overload threshold and the overload error */
 205 #define rx_SetBusyThreshold(threshold, code) (rx_BusyThreshold=(threshold),rx_BusyError=(code))
 206
 207 /* If this flag is set,no new requests are processed by rx, all new requests are
 208 returned with an error code of RX_CALL_DEAD ( transient error ) */
 209 #define rx_SetRxTranquil()              (rx_tranquil = 1)
 210 #define rx_ClearRxTranquil()            (rx_tranquil = 0)
 211
 212 /* Set the threshold and time to delay aborts for consecutive errors */
 213 #define rx_SetCallAbortThreshold(A) (rxi_callAbortThreshhold = (A))
 214 #define rx_SetCallAbortDelay(A) (rxi_callAbortDelay = (A))
 215 #define rx_SetConnAbortThreshold(A) (rxi_connAbortThreshhold = (A))
 216 #define rx_SetConnAbortDelay(A) (rxi_connAbortDelay = (A))
 217
 218 #define rx_GetCallAbortCode(call) ((call)->abortCode)
 219 #define rx_SetCallAbortCode(call, code) ((call)->abortCode = (code))
 220
 221 #define cpspace(call) ((call)->curlen)
 222 #define cppos(call) ((call)->curpos)
 223
 224 #define rx_Read(call, buf, nbytes)   rx_ReadProc(call, buf, nbytes)
 225 #define rx_Read32(call, value)   rx_ReadProc32(call, value)
 226 #define rx_Readv(call, iov, nio, maxio, nbytes) \
 227    rx_ReadvProc(call, iov, nio, maxio, nbytes)
 228 #define rx_Write(call, buf, nbytes) rx_WriteProc(call, buf, nbytes)
 229 #define rx_Write32(call, value) rx_WriteProc32(call, value)
 230 #define rx_Writev(call, iov, nio, nbytes) \
 231    rx_WritevProc(call, iov, nio, nbytes)
 232
 233 /* This is the maximum size data packet that can be sent on this connection, accounting for security module-specific overheads. */
 234 #define rx_MaxUserDataSize(call)                ((call)->MTU - RX_HEADER_SIZE - (call)->conn->securityHeaderSize - (call)->conn->securityMaxTrailerSize)
 235
 236 /* Macros to turn the hot thread feature on and off. Enabling hot threads
 237  * allows the listener thread to trade places with an idle worker thread,
 238  * which moves the context switch from listener to worker out of the
 239  * critical path.
 240  */
 241 #define rx_EnableHotThread()            (rx_enable_hot_thread = 1)
 242 #define rx_DisableHotThread()           (rx_enable_hot_thread = 0)
 243
 244 /* Macros to set max connection clones (each allows RX_MAXCALLS
 245  * outstanding calls */
 246
 247 #define rx_SetMaxCalls(v) \
 248 do {\
 249         rx_SetCloneMax(v/4); \
 250 } while(0);
 251
 252 #define rx_SetCloneMax(v) \
 253 do {\
 254         if(v < RX_HARD_MAX_CLONES) \
 255                 rx_max_clones_per_connection = v; \
 256 } while(0);
 257
 258 typedef afs_int32 rx_atomic_t;
 259
 260 #define rx_PutConnection(conn) rx_DestroyConnection(conn)
 261
 262 /* A connection is an authenticated communication path, allowing
 263    limited multiple asynchronous conversations. */
 264 #ifdef KDUMP_RX_LOCK
 265 struct rx_connection_rx_lock {
 266     struct rx_connection_rx_lock *next; /*  on hash chain _or_ free list */
 267     struct rx_peer_rx_lock *peer;
 268 #else
 269 struct rx_connection {
 270     struct rx_connection *next; /* on hash chain _or_ free list */
 271     struct rx_peer *peer;
 272 #endif
 273 #ifdef  RX_ENABLE_LOCKS
 274     afs_kmutex_t conn_call_lock;        /* locks conn_call_cv */
 275     afs_kcondvar_t conn_call_cv;
 276     afs_kmutex_t conn_data_lock;        /* locks packet data */
 277 #endif
 278     afs_uint32 epoch;           /* Process start time of client side of connection */
 279     afs_uint32 cid;             /* Connection id (call channel is bottom bits) */
 280     afs_int32 error;            /* If this connection is in error, this is it */
 281 #ifdef KDUMP_RX_LOCK
 282     struct rx_call_rx_lock *call[RX_MAXCALLS];
 283 #else
 284     struct rx_call *call[RX_MAXCALLS];
 285 #endif
 286     afs_uint32 callNumber[RX_MAXCALLS]; /* Current call numbers */
 287     afs_uint32 rwind[RX_MAXCALLS];
 288     u_short twind[RX_MAXCALLS];
 289     afs_uint32 serial;          /* Next outgoing packet serial number */
 290     afs_uint32 lastSerial;      /* # of last packet received, for computing skew */
 291     afs_int32 maxSerial;        /* largest serial number seen on incoming packets */
 292 /*    afs_int32 maxPacketSize;    max packet size should be per-connection since */
 293     /* peer process could be restarted on us. Includes RX Header.       */
 294     struct rxevent *challengeEvent;     /* Scheduled when the server is challenging a     */
 295     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
 296     struct rxevent *checkReachEvent;    /* Scheduled when checking reachability */
 297     int abortCount;             /* count of abort messages sent */
 298     /* client-- to retransmit the challenge */
 299     struct rx_service *service; /* used by servers only */
 300     u_short serviceId;          /* To stamp on requests (clients only) */
 301     rx_atomic_t refCount;       /* Reference count */
 302     u_char flags;               /* Defined below */
 303     u_char type;                /* Type of connection, defined below */
 304     u_char secondsUntilPing;    /* how often to ping for each active call */
 305     u_char securityIndex;       /* corresponds to the security class of the */
 306     /* securityObject for this conn */
 307     struct rx_securityClass *securityObject;    /* Security object for this connection */
 308     void *securityData;         /* Private data for this conn's security class */
 309     u_short securityHeaderSize; /* Length of security module's packet header data */
 310     u_short securityMaxTrailerSize;     /* Length of security module's packet trailer data */
 311
 312     int timeout;                /* Overall timeout per call (seconds) for this conn */
 313     int lastSendTime;           /* Last send time for this connection */
 314     u_short secondsUntilDead;   /* Maximum silence from peer before RX_CALL_DEAD */
 315     u_short hardDeadTime;       /* hard max for call execution */
 316     u_short idleDeadTime;       /* max time a call can be idle (no data) */
 317     u_char ackRate;             /* how many packets between ack requests */
 318     u_char makeCallWaiters;     /* how many rx_NewCalls are waiting */
 319     afs_int32 idleDeadErr;
 320     int nSpecific;              /* number entries in specific data */
 321     void **specific;            /* pointer to connection specific data */
 322     struct rx_connection *parent; /* primary connection, if this is a clone */
 323     struct rx_connection *next_clone; /* next in list of clones */
 324     afs_uint32 nclones; /* count of clone connections (if not a clone) */
 325 };
 326
 327
 328 /* A service is installed by rx_NewService, and specifies a service type that
 329  * is exported by this process.  Incoming calls are stamped with the service
 330  * type, and must match an installed service for the call to be accepted.
 331  * Each service exported has a (port,serviceId) pair to uniquely identify it.
 332  * It is also named:  this is intended to allow a remote statistics gathering
 333  * program to retrieve per service statistics without having to know the local
 334  * service id's.  Each service has a number of
 335  */
 336
 337 /* security objects (instances of security classes) which implement
 338  * various types of end-to-end security protocols for connections made
 339  * to this service.  Finally, there are two parameters controlling the
 340  * number of requests which may be executed in parallel by this
 341  * service: minProcs is the number of requests to this service which
 342  * are guaranteed to be able to run in parallel at any time; maxProcs
 343  * has two meanings: it limits the total number of requests which may
 344  * execute in parallel and it also guarantees that that many requests
 345  * may be handled in parallel if no other service is handling any
 346  * requests. */
 347
 348 struct rx_service {
 349     u_short serviceId;          /* Service number */
 350     afs_uint32 serviceHost;     /* IP address for this service */
 351     u_short servicePort;        /* UDP port for this service */
 352     char *serviceName;          /* Name of the service */
 353     osi_socket socket;          /* socket structure or file descriptor */
 354     u_short nRequestsRunning;   /* Number of requests currently in progress */
 355     u_short nSecurityObjects;   /* Number of entries in security objects array */
 356     struct rx_securityClass **securityObjects;  /* Array of security class objects */
 357       afs_int32(*executeRequestProc) (struct rx_call * acall);  /* Routine to call when an rpc request is received */
 358     void (*destroyConnProc) (struct rx_connection * tcon);      /* Routine to call when a server connection is destroyed */
 359     void (*newConnProc) (struct rx_connection * tcon);  /* Routine to call when a server connection is created */
 360     void (*beforeProc) (struct rx_call * acall);        /* routine to call before a call is executed */
 361     void (*afterProc) (struct rx_call * acall, afs_int32 code); /* routine to call after a call is executed */
 362     u_short maxProcs;           /* Maximum procs to be used for this service */
 363     u_short minProcs;           /* Minimum # of requests guaranteed executable simultaneously */
 364     u_short connDeadTime;       /* Seconds until a client of this service will be declared dead, if it is not responding */
 365     u_short idleDeadTime;       /* Time a server will wait for I/O to start up again */
 366     u_char checkReach;          /* Check for asymmetric clients? */
 367     afs_int32 idleDeadErr;
 368 };
 369
 370 #endif /* KDUMP_RX_LOCK */
 371
 372 /* A server puts itself on an idle queue for a service using an
 373  * instance of the following structure.  When a call arrives, the call
 374  * structure pointer is placed in "newcall", the routine to execute to
 375  * service the request is placed in executeRequestProc, and the
 376  * process is woken up.  The queue entry's address is used for the
 377  * sleep/wakeup. If socketp is non-null, then this thread is willing
 378  * to become a listener thread. A thread sets *socketp to -1 before
 379  * sleeping. If *socketp is not -1 when the thread awakes, it is now
 380  * the listener thread for *socketp. When socketp is non-null, tno
 381  * contains the server's threadID, which is used to make decitions in GetCall.
 382  */
 383 #ifdef KDUMP_RX_LOCK
 384 struct rx_serverQueueEntry_rx_lock {
 385 #else
 386 struct rx_serverQueueEntry {
 387 #endif
 388     struct rx_queue queueItemHeader;
 389 #ifdef KDUMP_RX_LOCK
 390     struct rx_call_rx_lock *newcall;
 391 #else
 392     struct rx_call *newcall;
 393 #endif
 394 #ifdef  RX_ENABLE_LOCKS
 395     afs_kmutex_t lock;
 396     afs_kcondvar_t cv;
 397 #endif
 398     int tno;
 399     osi_socket *socketp;
 400 };
 401
 402
 403 /* A peer refers to a peer process, specified by a (host,port) pair.  There may be more than one peer on a given host. */
 404 #ifdef KDUMP_RX_LOCK
 405 struct rx_peer_rx_lock {
 406     struct rx_peer_rx_lock *next;       /* Next in hash conflict or free list */
 407 #else
 408 struct rx_peer {
 409     struct rx_peer *next;       /* Next in hash conflict or free list */
 410 #endif
 411 #ifdef RX_ENABLE_LOCKS
 412     afs_kmutex_t peer_lock;     /* Lock peer */
 413 #endif                          /* RX_ENABLE_LOCKS */
 414     afs_uint32 host;            /* Remote IP address, in net byte order */
 415     u_short port;               /* Remote UDP port, in net byte order */
 416
 417     /* interface mtu probably used for this host  -  includes RX Header */
 418     u_short ifMTU;              /* doesn't include IP header */
 419
 420     /* For garbage collection */
 421     afs_uint32 idleWhen;        /* When the refcountwent to zero */
 422     rx_atomic_t refCount;               /* Reference count */
 423
 424
 425     /* Congestion control parameters */
 426     u_char burstSize;           /* Reinitialization size for the burst parameter */
 427     u_char burst;               /* Number of packets that can be transmitted right now, without pausing */
 428     struct clock burstWait;     /* Delay until new burst is allowed */
 429     struct rx_queue congestionQueue;    /* Calls that are waiting for non-zero burst value */
 430     int rtt;                    /* Round trip time, measured in milliseconds/8 */
 431     int rtt_dev;                /* rtt smoothed error, in milliseconds/4 */
 432     struct clock timeout;       /* Current retransmission delay */
 433     int nSent;                  /* Total number of distinct data packets sent, not including retransmissions */
 434     int reSends;                /* Total number of retransmissions for this peer, since this structure was created */
 435
 436 /* Skew: if a packet is received N packets later than expected (based
 437  * on packet serial numbers), then we define it to have a skew of N.
 438  * The maximum skew values allow us to decide when a packet hasn't
 439  * been received yet because it is out-of-order, as opposed to when it
 440  * is likely to have been dropped. */
 441     afs_uint32 inPacketSkew;    /* Maximum skew on incoming packets */
 442     afs_uint32 outPacketSkew;   /* Peer-reported max skew on our sent packets */
 443     int rateFlag;               /* Flag for rate testing (-no 0yes +decrement) */
 444
 445     /* the "natural" MTU, excluding IP,UDP headers, is negotiated by the endpoints */
 446     u_short natMTU;
 447     u_short maxMTU;
 448     /* negotiated maximum number of packets to send in a single datagram. */
 449     u_short maxDgramPackets;
 450     /* local maximum number of packets to send in a single datagram. */
 451     u_short ifDgramPackets;
 452     /*
 453      * MTU, cwind, and nDgramPackets are used to initialize
 454      * slow start parameters for new calls. These values are set whenever a
 455      * call sends a retransmission and at the end of each call.
 456      * congestSeq is incremented each time the congestion parameters are
 457      * changed by a call recovering from a dropped packet. A call used
 458      * MAX when updating congestion parameters if it started with the
 459      * current congestion sequence number, otherwise it uses MIN.
 460      */
 461     u_short MTU;                /* MTU for AFS 3.4a jumboGrams */
 462     u_short cwind;              /* congestion window */
 463     u_short nDgramPackets;      /* number packets per AFS 3.5 jumbogram */
 464     u_short congestSeq;         /* Changed when a call retransmits */
 465     afs_hyper_t bytesSent;      /* Number of bytes sent to this peer */
 466     afs_hyper_t bytesReceived;  /* Number of bytes received from this peer */
 467     struct rx_queue rpcStats;   /* rpc statistic list */
 468     int lastReachTime;          /* Last time we verified reachability */
 469 };
 470
 471
 472 #ifndef KDUMP_RX_LOCK
 473 /* Flag bits for connection structure */
 474 #define RX_CONN_MAKECALL_WAITING    1   /* rx_MakeCall is waiting for a channel */
 475 #define RX_CONN_DESTROY_ME          2   /* Destroy *client* connection after last call */
 476 #define RX_CONN_USING_PACKET_CKSUM  4   /* non-zero header.spare field seen */
 477 #define RX_CONN_KNOW_WINDOW         8   /* window size negotiation works */
 478 #define RX_CONN_RESET              16   /* connection is reset, remove */
 479 #define RX_CONN_BUSY               32   /* connection is busy; don't delete */
 480 #define RX_CONN_ATTACHWAIT         64   /* attach waiting for peer->lastReach */
 481 #define RX_CLONED_CONNECTION      128   /* connection is a clone */
 482
 483 /* Type of connection, client or server */
 484 #define RX_CLIENT_CONNECTION    0
 485 #define RX_SERVER_CONNECTION    1
 486 #endif /* !KDUMP_RX_LOCK */
 487
 488 /* Call structure:  only instantiated for active calls and dallying server calls.  The permanent call state (i.e. the call number as well as state shared with other calls associated with this connection) is maintained in the connection structure. */
 489 #ifdef KDUMP_RX_LOCK
 490 struct rx_call_rx_lock {
 491 #else
 492 struct rx_call {
 493 #endif
 494     struct rx_queue queue_item_header;  /* Call can be on various queues (one-at-a-time) */
 495     struct rx_queue tq;         /* Transmit packet queue */
 496     struct rx_queue rq;         /* Receive packet queue */
 497     /*
 498      * The following fields are accessed while the call is unlocked.
 499      * These fields are used by the caller/server thread to marshall
 500      * and unmarshall RPC data. The only time they may be changed by
 501      * other threads is when the RX_CALL_IOVEC_WAIT flag is set.
 502      *
 503      * NOTE: Be sure that these fields start and end on a double
 504      *       word boundary. Otherwise threads that are changing
 505      *       adjacent fields will cause problems.
 506      */
 507     struct rx_queue iovq;       /* readv/writev packet queue */
 508     u_short nLeft;              /* Number bytes left in first receive packet */
 509     u_short curvec;             /* current iovec in currentPacket */
 510     u_short curlen;             /* bytes remaining in curvec */
 511     u_short nFree;              /* Number bytes free in last send packet */
 512     struct rx_packet *currentPacket;    /* Current packet being assembled or being read */
 513     char *curpos;               /* current position in curvec */
 514     /*
 515      * End of fields accessed with call unlocked
 516      */
 517     u_char channel;             /* Index of call, within connection */
 518     u_char state;               /* Current call state as defined below */
 519     u_char mode;                /* Current mode of a call in ACTIVE state */
 520 #ifdef  RX_ENABLE_LOCKS
 521     afs_kmutex_t lock;          /* lock covers data as well as mutexes. */
 522     afs_kmutex_t *call_queue_lock;      /* points to lock for queue we're on,
 523                                          * if any. */
 524     afs_kcondvar_t cv_twind;
 525     afs_kcondvar_t cv_rq;
 526     afs_kcondvar_t cv_tq;
 527 #endif
 528 #ifdef KDUMP_RX_LOCK
 529     struct rx_connection_rx_lock *conn; /* Parent connection for call */
 530 #else
 531     struct rx_connection *conn; /* Parent connection for this call */
 532 #endif
 533     afs_uint32 *callNumber;     /* Pointer to call number field within connection */
 534     afs_uint32 flags;           /* Some random flags */
 535     u_char localStatus;         /* Local user status sent out of band */
 536     u_char remoteStatus;        /* Remote user status received out of band */
 537     afs_int32 error;            /* Error condition for this call */
 538     afs_uint32 timeout;         /* High level timeout for this call */
 539     afs_uint32 rnext;           /* Next sequence number expected to be read by rx_ReadData */
 540     afs_uint32 rprev;           /* Previous packet received; used for deciding what the next packet to be received should be, in order to decide whether a negative acknowledge should be sent */
 541     afs_uint32 rwind;           /* The receive window:  the peer must not send packets with sequence numbers >= rnext+rwind */
 542     afs_uint32 tfirst;          /* First unacknowledged transmit packet number */
 543     afs_uint32 tnext;           /* Next transmit sequence number to use */
 544     u_short twind;              /* The transmit window:  we cannot assign a sequence number to a packet >= tfirst + twind */
 545     u_short cwind;              /* The congestion window */
 546     u_short nSoftAcked;         /* Number soft acked transmit packets */
 547     u_short nextCwind;          /* The congestion window after recovery */
 548     u_short nCwindAcks;         /* Number acks received at current cwind */
 549     u_short ssthresh;           /* The slow start threshold */
 550     u_short nDgramPackets;      /* Packets per AFS 3.5 jumbogram */
 551     u_short nAcks;              /* The number of consecutive acks */
 552     u_short nNacks;             /* Number packets acked that follow the
 553                                  * first negatively acked packet */
 554     u_short nSoftAcks;          /* The number of delayed soft acks */
 555     u_short nHardAcks;          /* The number of delayed hard acks */
 556     u_short congestSeq;         /* Peer's congestion sequence counter */
 557     struct rxevent *resendEvent;        /* If this is non-Null, there is a retransmission event pending */
 558     struct rxevent *timeoutEvent;       /* If this is non-Null, then there is an overall timeout for this call */
 559     struct rxevent *keepAliveEvent;     /* Scheduled periodically in active calls to keep call alive */
 560     struct rxevent *delayedAckEvent;    /* Scheduled after all packets are received to send an ack if a reply or new call is not generated soon */
 561     struct rxevent *delayedAbortEvent;  /* Scheduled to throttle looping client */
 562     int abortCode;              /* error code from last RPC */
 563     int abortCount;             /* number of times last error was sent */
 564     u_int lastSendTime;         /* Last time a packet was sent on this call */
 565     u_int lastReceiveTime;      /* Last time a packet was received for this call */
 566     u_int lastSendData;         /* Last time a nonping was sent on this call */
 567     void (*arrivalProc) (struct rx_call * call, void * mh, int index);  /* Procedure to call when reply is received */
 568     void *arrivalProcHandle;    /* Handle to pass to replyFunc */
 569     int arrivalProcArg;         /* Additional arg to pass to reply Proc */
 570     afs_uint32 lastAcked;       /* last packet "hard" acked by receiver */
 571     afs_uint32 startWait;       /* time server began waiting for input data/send quota */
 572     struct clock traceWait;     /* time server began waiting for input data/send quota */
 573     struct clock traceStart;    /* time the call started running */
 574     u_short MTU;                /* size of packets currently sending */
 575 #ifdef RX_ENABLE_LOCKS
 576     short refCount;             /* Used to keep calls from disappearring
 577                                  * when we get them from a queue. */
 578 #endif                          /* RX_ENABLE_LOCKS */
 579 /* Call refcount modifiers */
 580 #define RX_CALL_REFCOUNT_BEGIN  0       /* GetCall/NewCall/EndCall */
 581 #define RX_CALL_REFCOUNT_RESEND 1       /* resend event */
 582 #define RX_CALL_REFCOUNT_DELAY  2       /* delayed ack */
 583 #define RX_CALL_REFCOUNT_ALIVE  3       /* keep alive event */
 584 #define RX_CALL_REFCOUNT_PACKET 4       /* waiting for packets. */
 585 #define RX_CALL_REFCOUNT_SEND   5       /* rxi_Send */
 586 #define RX_CALL_REFCOUNT_ACKALL 6       /* rxi_AckAll */
 587 #define RX_CALL_REFCOUNT_ABORT  7       /* delayed abort */
 588 #define RX_CALL_REFCOUNT_MAX    8       /* array size. */
 589 #ifdef RX_REFCOUNT_CHECK
 590     short refCDebug[RX_CALL_REFCOUNT_MAX];
 591 #endif                          /* RX_REFCOUNT_CHECK */
 592
 593     /*
 594      * iov, iovNBytes, iovMax, and iovNext are set in rxi_ReadvProc()
 595      * and adjusted by rxi_FillReadVec().  iov does not own the buffers
 596      * it refers to.  The buffers belong to the packets stored in iovq.
 597      * Only one call to rx_ReadvProc() can be active at a time.
 598      */
 599
 600     int iovNBytes;              /* byte count for current iovec */
 601     int iovMax;                 /* number elements in current iovec */
 602     int iovNext;                /* next entry in current iovec */
 603     struct iovec *iov;          /* current iovec */
 604
 605     struct clock queueTime;     /* time call was queued */
 606     struct clock startTime;     /* time call was started */
 607     afs_hyper_t bytesSent;      /* Number bytes sent */
 608     afs_hyper_t bytesRcvd;      /* Number bytes received */
 609     u_short tqWaiters;
 610
 611 #ifdef RXDEBUG_PACKET
 612     u_short tqc;                /* packet count in tq */
 613     u_short rqc;                /* packet count in rq */
 614     u_short iovqc;              /* packet count in iovq */
 615
 616 #ifdef KDUMP_RX_LOCK
 617     struct rx_call_rx_lock *allNextp;
 618 #else
 619     struct rx_call *allNextp;
 620 #endif
 621     afs_uint32 call_id;
 622 #endif
 623 };
 624
 625 #ifndef KDUMP_RX_LOCK
 626 /* Major call states */
 627 #define RX_STATE_NOTINIT  0     /* Call structure has never been initialized */
 628 #define RX_STATE_PRECALL  1     /* Server-only:  call is not in progress, but packets have arrived */
 629 #define RX_STATE_ACTIVE   2     /* An active call; a process is dealing with this call */
 630 #define RX_STATE_DALLY    3     /* Dallying after process is done with call */
 631 #define RX_STATE_HOLD     4     /* Waiting for acks on reply data packets */
 632
 633 /* Call modes:  the modes of a call in RX_STATE_ACTIVE state (process attached) */
 634 #define RX_MODE_SENDING   1     /* Sending or ready to send */
 635 #define RX_MODE_RECEIVING 2     /* Receiving or ready to receive */
 636 #define RX_MODE_ERROR     3     /* Something in error for current conversation */
 637 #define RX_MODE_EOF       4     /* Server has flushed (or client has read) last reply packet */
 638
 639 /* Flags */
 640 #define RX_CALL_READER_WAIT        1    /* Reader is waiting for next packet */
 641 #define RX_CALL_WAIT_WINDOW_ALLOC  2    /* Sender is waiting for window to allocate buffers */
 642 #define RX_CALL_WAIT_WINDOW_SEND   4    /* Sender is waiting for window to send buffers */
 643 #define RX_CALL_WAIT_PACKETS       8    /* Sender is waiting for packet buffers */
 644 #define RX_CALL_WAIT_PROC         16    /* Waiting for a process to be assigned */
 645 #define RX_CALL_RECEIVE_DONE      32    /* All packets received on this call */
 646 #define RX_CALL_CLEARED           64    /* Receive queue cleared in precall state */
 647 #define RX_CALL_TQ_BUSY          128    /* Call's Xmit Queue is busy; don't modify */
 648 #define RX_CALL_TQ_CLEARME       256    /* Need to clear this call's TQ later */
 649 #define RX_CALL_TQ_SOME_ACKED    512    /* rxi_Start needs to discard ack'd packets. */
 650 #define RX_CALL_TQ_WAIT         1024    /* Reader is waiting for TQ_BUSY to be reset */
 651 #define RX_CALL_FAST_RECOVER    2048    /* call is doing congestion recovery */
 652 #define RX_CALL_FAST_RECOVER_WAIT 4096  /* thread is waiting to start recovery */
 653 #define RX_CALL_SLOW_START_OK   8192    /* receiver acks every other packet */
 654 #define RX_CALL_IOVEC_WAIT      16384   /* waiting thread is using an iovec */
 655 #define RX_CALL_HAVE_LAST       32768   /* Last packet has been received */
 656 #define RX_CALL_NEED_START      0x10000 /* tells rxi_Start to start again */
 657
 658 /* Maximum number of acknowledgements in an acknowledge packet */
 659 #define RX_MAXACKS          255
 660
 661 /* The structure of the data portion of an acknowledge packet: An acknowledge
 662  * packet is in network byte order at all times.  An acknowledgement is always
 663  * prompted for a specific reason by a specific incoming packet.  This reason
 664  * is reported in "reason" and the packet's sequence number in the packet
 665  * header.seq.  In addition to this information, all of the current
 666  * acknowledgement information about this call is placed in the packet.
 667  * "FirstPacket" is the sequence number of the first packet represented in an
 668  * array of bytes, "acks", containing acknowledgement information for a number
 669  * of consecutive packets.  All packets prior to FirstPacket are implicitly
 670  * acknowledged: the sender need no longer be concerned about them.  Packets
 671  * from firstPacket+nAcks and on are not acknowledged.  Packets in the range
 672  * [firstPacket,firstPacket+nAcks) are each acknowledged explicitly.  The
 673  * acknowledgement may be RX_NACK if the packet is not (currently) at the
 674  * receiver (it may have never been received, or received and then later
 675  * dropped), or it may be RX_ACK if the packet is queued up waiting to be read
 676  * by the upper level software.  RX_ACK does not imply that the packet may not
 677  * be dropped before it is read; it does imply that the sender should stop
 678  * retransmitting the packet until notified otherwise.  The field
 679  * previousPacket identifies the previous packet received by the peer.  This
 680  * was used in a previous version of this software, and could be used in the
 681  * future.  The serial number in the data part of the ack packet corresponds to
 682  * the serial number oof the packet which prompted the acknowledge.  Any
 683  * packets which are explicitly not acknowledged, and which were last
 684  * transmitted with a serial number less than the provided serial number,
 685  * should be retransmitted immediately.  Actually, this is slightly inaccurate:
 686  * packets are not necessarily received in order.  When packets are habitually
 687  * transmitted out of order, this is allowed for in the retransmission
 688  * algorithm by introducing the notion of maximum packet skew: the degree of
 689  * out-of-orderness of the packets received on the wire.  This number is
 690  * communicated from the receiver to the sender in ack packets. */
 691
 692 struct rx_ackPacket {
 693     u_short bufferSpace;        /* Number of packet buffers available.  That is:  the number of buffers that the sender of the ack packet is willing to provide for data, on this or subsequent calls.  Lying is permissable. */
 694     u_short maxSkew;            /* Maximum difference between serial# of packet acknowledged and highest packet yet received */
 695     afs_uint32 firstPacket;     /* The first packet in the list of acknowledged packets */
 696     afs_uint32 previousPacket;  /* The previous packet number received (obsolete?) */
 697     afs_uint32 serial;          /* Serial number of the packet which prompted the acknowledge */
 698     u_char reason;              /* Reason for the acknowledge of ackPacket, defined below */
 699     u_char nAcks;               /* Number of acknowledgements */
 700     u_char acks[RX_MAXACKS];    /* Up to RX_MAXACKS packet acknowledgements, defined below */
 701     /* Packets <firstPacket are implicitly acknowledged and may be discarded by the sender.  Packets >= firstPacket+nAcks are implicitly NOT acknowledged.  No packets with sequence numbers >= firstPacket should be discarded by the sender (they may thrown out at any time by the receiver) */
 702 };
 703
 704 #define FIRSTACKOFFSET 4
 705
 706 /* Reason for acknowledge message */
 707 #define RX_ACK_REQUESTED        1       /* Peer requested an ack on this packet */
 708 #define RX_ACK_DUPLICATE        2       /* Duplicate packet */
 709 #define RX_ACK_OUT_OF_SEQUENCE  3       /* Packet out of sequence */
 710 #define RX_ACK_EXCEEDS_WINDOW   4       /* Packet sequence number higher than window; discarded */
 711 #define RX_ACK_NOSPACE          5       /* No buffer space at all */
 712 #define RX_ACK_PING             6       /* This is a keep-alive ack */
 713 #define RX_ACK_PING_RESPONSE    7       /* Ack'ing because we were pinged */
 714 #define RX_ACK_DELAY            8       /* Ack generated since nothing has happened since receiving packet */
 715 #define RX_ACK_IDLE             9       /* Similar to RX_ACK_DELAY, but can
 716                                          * be used to compute RTT */
 717
 718 /* Packet acknowledgement type */
 719 #define RX_ACK_TYPE_NACK        0       /* I Don't have this packet */
 720 #define RX_ACK_TYPE_ACK         1       /* I have this packet, although I may discard it later */
 721
 722 /* The packet size transmitted for an acknowledge is adjusted to reflect the actual size of the acks array.  This macro defines the size */
 723 #define rx_AckDataSize(nAcks) (3 + nAcks + offsetof(struct rx_ackPacket, acks[0]))
 724
 725 #define RX_CHALLENGE_TIMEOUT    2       /* Number of seconds before another authentication request packet is generated */
 726 #define RX_CHALLENGE_MAXTRIES   50      /* Max # of times we resend challenge */
 727 #define RX_CHECKREACH_TIMEOUT   2       /* Number of seconds before another ping is generated */
 728 #define RX_CHECKREACH_TTL       60      /* Re-check reachability this often */
 729
 730 /* RX error codes.  RX uses error codes from -1 to -64.  Rxgen may use other error codes < -64; user programs are expected to return positive error codes */
 731
 732 /* Something bad happened to the connection; temporary loss of communication */
 733 #define RX_CALL_DEAD                (-1)
 734
 735 /* An invalid operation, such as a client attempting to send data after having received the beginning of a reply from the server */
 736 #define RX_INVALID_OPERATION        (-2)
 737
 738 /* An optional timeout per call may be specified */
 739 #define RX_CALL_TIMEOUT             (-3)
 740
 741 /* End of data on a read */
 742 #define RX_EOF                      (-4)
 743
 744 /* Some sort of low-level protocol error */
 745 #define RX_PROTOCOL_ERROR           (-5)
 746
 747 /* Generic user abort code; used when no more specific error code needs to be communicated.  For example, multi rx clients use this code to abort a multi rx call */
 748 #define RX_USER_ABORT               (-6)
 749
 750 /* Port already in use (from rx_Init) */
 751 #define RX_ADDRINUSE                (-7)
 752
 753 /* EMSGSIZE returned from network.  Packet too big, must fragment */
 754 #define RX_MSGSIZE                  (-8)
 755
 756 /* transient failure detected ( possibly the server is restarting ) */
 757 /* this shud be equal to VRESTARTING ( util/errors.h ) for old clients to work */
 758 #define RX_RESTARTING               (-100)
 759
 760 struct rx_securityObjectStats {
 761     char type;                  /* 0:unk 1:null,2:vab 3:kad */
 762     char level;
 763     char sparec[10];            /* force correct alignment */
 764     afs_int32 flags;            /* 1=>unalloc, 2=>auth, 4=>expired */
 765     afs_uint32 expires;
 766     afs_uint32 packetsReceived;
 767     afs_uint32 packetsSent;
 768     afs_uint32 bytesReceived;
 769     afs_uint32 bytesSent;
 770     short spares[4];
 771     afs_int32 sparel[8];
 772 };
 773
 774 /* Configuration settings */
 775
 776 /* Enum for storing configuration variables which can be set via the
 777  * SetConfiguration method in the rx_securityClass, below
 778  */
 779
 780 typedef enum {
 781      RXS_CONFIG_FLAGS /* afs_uint32 set of bitwise flags */
 782 } rx_securityConfigVariables;
 783
 784 /* For the RXS_CONFIG_FLAGS, the following bit values are defined */
 785
 786 /* Disable the principal name contains dot check in rxkad */
 787 #define RXS_CONFIG_FLAGS_DISABLE_DOTCHECK       0x01
 788
 789 /* XXXX (rewrite this description) A security class object contains a set of
 790  * procedures and some private data to implement a security model for rx
 791  * connections.  These routines are called by rx as appropriate.  Rx knows
 792  * nothing about the internal details of any particular security model, or
 793  * about security state.  Rx does maintain state per connection on behalf of
 794  * the security class.  Each security class implementation is also expected to
 795  * provide routines to create these objects.  Rx provides a basic routine to
 796  * allocate one of these objects; this routine must be called by the class. */
 797 struct rx_securityClass {
 798     struct rx_securityOps {
 799         int (*op_Close) (struct rx_securityClass * aobj);
 800         int (*op_NewConnection) (struct rx_securityClass * aobj,
 801                                  struct rx_connection * aconn);
 802         int (*op_PreparePacket) (struct rx_securityClass * aobj,
 803                                  struct rx_call * acall,
 804                                  struct rx_packet * apacket);
 805         int (*op_SendPacket) (struct rx_securityClass * aobj,
 806                               struct rx_call * acall,
 807                               struct rx_packet * apacket);
 808         int (*op_CheckAuthentication) (struct rx_securityClass * aobj,
 809                                        struct rx_connection * aconn);
 810         int (*op_CreateChallenge) (struct rx_securityClass * aobj,
 811                                    struct rx_connection * aconn);
 812         int (*op_GetChallenge) (struct rx_securityClass * aobj,
 813                                 struct rx_connection * aconn,
 814                                 struct rx_packet * apacket);
 815         int (*op_GetResponse) (struct rx_securityClass * aobj,
 816                                struct rx_connection * aconn,
 817                                struct rx_packet * apacket);
 818         int (*op_CheckResponse) (struct rx_securityClass * aobj,
 819                                  struct rx_connection * aconn,
 820                                  struct rx_packet * apacket);
 821         int (*op_CheckPacket) (struct rx_securityClass * aobj,
 822                                struct rx_call * acall,
 823                                struct rx_packet * apacket);
 824         int (*op_DestroyConnection) (struct rx_securityClass * aobj,
 825                                      struct rx_connection * aconn);
 826         int (*op_GetStats) (struct rx_securityClass * aobj,
 827                             struct rx_connection * aconn,
 828                             struct rx_securityObjectStats * astats);
 829         int (*op_SetConfiguration) (struct rx_securityClass * aobj,
 830                                     struct rx_connection * aconn,
 831                                     rx_securityConfigVariables atype,
 832                                     void * avalue,
 833                                     void ** acurrentValue);
 834         int (*op_Spare2) (void);
 835         int (*op_Spare3) (void);
 836     } *ops;
 837     void *privateData;
 838     int refCount;
 839 };
 840
 841 #define RXS_OP(obj,op,args) ((obj && (obj->ops->op_ ## op)) ? (*(obj)->ops->op_ ## op)args : 0)
 842
 843 #define RXS_Close(obj) RXS_OP(obj,Close,(obj))
 844 #define RXS_NewConnection(obj,conn) RXS_OP(obj,NewConnection,(obj,conn))
 845 #define RXS_PreparePacket(obj,call,packet) RXS_OP(obj,PreparePacket,(obj,call,packet))
 846 #define RXS_SendPacket(obj,call,packet) RXS_OP(obj,SendPacket,(obj,call,packet))
 847 #define RXS_CheckAuthentication(obj,conn) RXS_OP(obj,CheckAuthentication,(obj,conn))
 848 #define RXS_CreateChallenge(obj,conn) RXS_OP(obj,CreateChallenge,(obj,conn))
 849 #define RXS_GetChallenge(obj,conn,packet) RXS_OP(obj,GetChallenge,(obj,conn,packet))
 850 #define RXS_GetResponse(obj,conn,packet) RXS_OP(obj,GetResponse,(obj,conn,packet))
 851 #define RXS_CheckResponse(obj,conn,packet) RXS_OP(obj,CheckResponse,(obj,conn,packet))
 852 #define RXS_CheckPacket(obj,call,packet) RXS_OP(obj,CheckPacket,(obj,call,packet))
 853 #define RXS_DestroyConnection(obj,conn) RXS_OP(obj,DestroyConnection,(obj,conn))
 854 #define RXS_GetStats(obj,conn,stats) RXS_OP(obj,GetStats,(obj,conn,stats))
 855 #define RXS_SetConfiguration(obj, conn, type, value, currentValue) RXS_OP(obj, SetConfiguration,(obj,conn,type,value,currentValue))
 856
 857
 858 /* Structure for keeping rx statistics.  Note that this structure is returned
 859  * by rxdebug, so, for compatibility reasons, new fields should be appended (or
 860  * spares used), the rxdebug protocol checked, if necessary, and the PrintStats
 861  * code should be updated as well.
 862  *
 863  * Clearly we assume that ntohl will work on these structures so sizeof(int)
 864  * must equal sizeof(afs_int32). */
 865
 866 struct rx_statistics {          /* General rx statistics */
 867     rx_atomic_t packetRequests;         /* Number of packet allocation requests */
 868     rx_atomic_t receivePktAllocFailures;
 869     rx_atomic_t sendPktAllocFailures;
 870     rx_atomic_t specialPktAllocFailures;
 871     rx_atomic_t socketGreedy;           /* Whether SO_GREEDY succeeded */
 872     rx_atomic_t bogusPacketOnRead;      /* Number of inappropriately short packets received */
 873     rx_atomic_t bogusHost;              /* Host address from bogus packets */
 874     rx_atomic_t noPacketOnRead;         /* Number of read packets attempted when there was actually no packet to read off the wire */
 875     rx_atomic_t noPacketBuffersOnRead;  /* Number of dropped data packets due to lack of packet buffers */
 876     rx_atomic_t selects;                /* Number of selects waiting for packet or timeout */
 877     rx_atomic_t sendSelects;            /* Number of selects forced when sending packet */
 878     rx_atomic_t packetsRead[RX_N_PACKET_TYPES]; /* Total number of packets read, per type */
 879     rx_atomic_t dataPacketsRead;        /* Number of unique data packets read off the wire */
 880     rx_atomic_t ackPacketsRead;         /* Number of ack packets read */
 881     rx_atomic_t dupPacketsRead;         /* Number of duplicate data packets read */
 882     rx_atomic_t spuriousPacketsRead;    /* Number of inappropriate data packets */
 883     rx_atomic_t packetsSent[RX_N_PACKET_TYPES]; /* Number of rxi_Sends: packets sent over the wire, per type */
 884     rx_atomic_t ackPacketsSent;         /* Number of acks sent */
 885     rx_atomic_t pingPacketsSent;        /* Total number of ping packets sent */
 886     rx_atomic_t abortPacketsSent;       /* Total number of aborts */
 887     rx_atomic_t busyPacketsSent;        /* Total number of busies sent received */
 888     rx_atomic_t dataPacketsSent;        /* Number of unique data packets sent */
 889     rx_atomic_t dataPacketsReSent;      /* Number of retransmissions */
 890     rx_atomic_t dataPacketsPushed;      /* Number of retransmissions pushed early by a NACK */
 891     rx_atomic_t ignoreAckedPacket;      /* Number of packets with acked flag, on rxi_Start */
 892     struct clock totalRtt;      /* Total round trip time measured (use to compute average) */
 893     struct clock minRtt;        /* Minimum round trip time measured */
 894     struct clock maxRtt;        /* Maximum round trip time measured */
 895     rx_atomic_t nRttSamples;            /* Total number of round trip samples */
 896     rx_atomic_t nServerConns;           /* Total number of server connections */
 897     rx_atomic_t nClientConns;           /* Total number of client connections */
 898     rx_atomic_t nPeerStructs;           /* Total number of peer structures */
 899     rx_atomic_t nCallStructs;           /* Total number of call structures allocated */
 900     rx_atomic_t nFreeCallStructs;       /* Total number of previously allocated free call structures */
 901     rx_atomic_t netSendFailures;
 902     rx_atomic_t fatalErrors;
 903     rx_atomic_t ignorePacketDally;      /* packets dropped because call is in dally state */
 904     rx_atomic_t receiveCbufPktAllocFailures;
 905     rx_atomic_t sendCbufPktAllocFailures;
 906     rx_atomic_t nBusies;
 907     rx_atomic_t spares[4];
 908 };
 909
 910 /* structures for debug input and output packets */
 911
 912 /* debug input types */
 913 struct rx_debugIn {
 914     afs_int32 type;
 915     afs_int32 index;
 916 };
 917
 918 /* Invalid rx debug package type */
 919 #define RX_DEBUGI_BADTYPE     (-8)
 920
 921 #define RX_DEBUGI_VERSION_MINIMUM ('L') /* earliest real version */
 922 #define RX_DEBUGI_VERSION     ('S')    /* Latest version */
 923     /* first version w/ secStats */
 924 #define RX_DEBUGI_VERSION_W_SECSTATS ('L')
 925     /* version M is first supporting GETALLCONN and RXSTATS type */
 926 #define RX_DEBUGI_VERSION_W_GETALLCONN ('M')
 927 #define RX_DEBUGI_VERSION_W_RXSTATS ('M')
 928     /* last version with unaligned debugConn */
 929 #define RX_DEBUGI_VERSION_W_UNALIGNED_CONN ('L')
 930 #define RX_DEBUGI_VERSION_W_WAITERS ('N')
 931 #define RX_DEBUGI_VERSION_W_IDLETHREADS ('O')
 932 #define RX_DEBUGI_VERSION_W_NEWPACKETTYPES ('P')
 933 #define RX_DEBUGI_VERSION_W_GETPEER ('Q')
 934 #define RX_DEBUGI_VERSION_W_WAITED ('R')
 935 #define RX_DEBUGI_VERSION_W_PACKETS ('S')
 936
 937 #define RX_DEBUGI_GETSTATS      1       /* get basic rx stats */
 938 #define RX_DEBUGI_GETCONN       2       /* get connection info */
 939 #define RX_DEBUGI_GETALLCONN    3       /* get even uninteresting conns */
 940 #define RX_DEBUGI_RXSTATS       4       /* get all rx stats */
 941 #define RX_DEBUGI_GETPEER       5       /* get all peer structs */
 942
 943 struct rx_debugStats {
 944     afs_int32 nFreePackets;
 945     afs_int32 packetReclaims;
 946     afs_int32 callsExecuted;
 947     char waitingForPackets;
 948     char usedFDs;
 949     char version;
 950     char spare1;
 951     afs_int32 nWaiting;
 952     afs_int32 idleThreads;      /* Number of server threads that are idle */
 953     afs_int32 nWaited;
 954     afs_int32 nPackets;
 955     afs_int32 spare2[6];
 956 };
 957
 958 struct rx_debugConn_vL {
 959     afs_uint32 host;
 960     afs_uint32 cid;
 961     struct rx_debugConn_vL *parent;     /* primary connection, if this is a clone */
 962     afs_uint32 serial;
 963     afs_uint32 callNumber[RX_MAXCALLS];
 964     afs_uint32 error;
 965     u_short port;
 966     u_char flags;
 967     u_char type;
 968     u_char securityIndex;
 969     u_char callState[RX_MAXCALLS];
 970     u_char callMode[RX_MAXCALLS];
 971     u_char callFlags[RX_MAXCALLS];
 972     u_char callOther[RX_MAXCALLS];
 973     /* old style getconn stops here */
 974     struct rx_securityObjectStats secStats;
 975     afs_uint32 sparel[10];
 976 };
 977
 978 struct rx_debugConn {
 979     afs_uint32 host;
 980     afs_uint32 cid;
 981     struct rx_debugConn *parent;        /* primary connection, if this is a clone */
 982     afs_uint32 serial;
 983     afs_uint32 callNumber[RX_MAXCALLS];
 984     afs_uint32 error;
 985     u_short port;
 986     u_char flags;
 987     u_char type;
 988     u_char securityIndex;
 989     u_char sparec[3];           /* force correct alignment */
 990     u_char callState[RX_MAXCALLS];
 991     u_char callMode[RX_MAXCALLS];
 992     u_char callFlags[RX_MAXCALLS];
 993     u_char callOther[RX_MAXCALLS];
 994     /* old style getconn stops here */
 995     struct rx_securityObjectStats secStats;
 996     afs_uint32 epoch;
 997     afs_uint32 natMTU;
 998     afs_uint32 sparel[9];
 999 };
1000
1001 struct rx_debugPeer {
1002     afs_uint32 host;
1003     u_short port;
1004     u_short ifMTU;
1005     afs_uint32 idleWhen;
1006     short refCount;
1007     u_char burstSize;
1008     u_char burst;
1009     struct clock burstWait;
1010     afs_int32 rtt;
1011     afs_int32 rtt_dev;
1012     struct clock timeout;
1013     afs_int32 nSent;
1014     afs_int32 reSends;
1015     afs_int32 inPacketSkew;
1016     afs_int32 outPacketSkew;
1017     afs_int32 rateFlag;
1018     u_short natMTU;
1019     u_short maxMTU;
1020     u_short maxDgramPackets;
1021     u_short ifDgramPackets;
1022     u_short MTU;
1023     u_short cwind;
1024     u_short nDgramPackets;
1025     u_short congestSeq;
1026     afs_hyper_t bytesSent;
1027     afs_hyper_t bytesReceived;
1028     afs_int32 sparel[10];
1029 };
1030
1031 #define RX_OTHER_IN     1       /* packets avail in in queue */
1032 #define RX_OTHER_OUT    2       /* packets avail in out queue */
1033
1034
1035
1036 /* Only include this once, even when re-loading for kdump. */
1037 #ifndef _CALL_REF_DEFINED_
1038 #define _CALL_REF_DEFINED_
1039
1040 #ifdef RX_ENABLE_LOCKS
1041 #ifdef RX_REFCOUNT_CHECK
1042 /* RX_REFCOUNT_CHECK is used to test for call refcount leaks by event
1043  * type.
1044  */
1045 extern int rx_callHoldType;
1046 #define CALL_HOLD(call, type) do { \
1047                                  call->refCount++; \
1048                                  call->refCDebug[type]++; \
1049                                  if (call->refCDebug[type] > 50)  {\
1050                                      rx_callHoldType = type; \
1051                                      osi_Panic("Huge call refCount"); \
1052                                                                } \
1053                              } while (0)
1054 #define CALL_RELE(call, type) do { \
1055                                  call->refCount--; \
1056                                  call->refCDebug[type]--; \
1057                                  if (call->refCDebug[type] > 50) {\
1058                                      rx_callHoldType = type; \
1059                                      osi_Panic("Negative call refCount"); \
1060                                                               } \
1061                              } while (0)
1062 #else /* RX_REFCOUNT_CHECK */
1063 #define CALL_HOLD(call, type)    call->refCount++
1064 #define CALL_RELE(call, type)    call->refCount--
1065 #endif /* RX_REFCOUNT_CHECK */
1066
1067 #else /* RX_ENABLE_LOCKS */
1068 #define CALL_HOLD(call, type)
1069 #define CALL_RELE(call, type)
1070 #endif /* RX_ENABLE_LOCKS */
1071
1072 #endif /* _CALL_REF_DEFINED_ */
1073
1074 #define RX_SERVER_DEBUG_SEC_STATS               0x1
1075 #define RX_SERVER_DEBUG_ALL_CONN                0x2
1076 #define RX_SERVER_DEBUG_RX_STATS                0x4
1077 #define RX_SERVER_DEBUG_WAITER_CNT              0x8
1078 #define RX_SERVER_DEBUG_IDLE_THREADS            0x10
1079 #define RX_SERVER_DEBUG_OLD_CONN                0x20
1080 #define RX_SERVER_DEBUG_NEW_PACKETS             0x40
1081 #define RX_SERVER_DEBUG_ALL_PEER                0x80
1082 #define RX_SERVER_DEBUG_WAITED_CNT              0x100
1083 #define RX_SERVER_DEBUG_PACKETS_CNT              0x200
1084
1085 #define AFS_RX_STATS_CLEAR_ALL                  0xffffffff
1086 #define AFS_RX_STATS_CLEAR_INVOCATIONS          0x1
1087 #define AFS_RX_STATS_CLEAR_BYTES_SENT           0x2
1088 #define AFS_RX_STATS_CLEAR_BYTES_RCVD           0x4
1089 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SUM       0x8
1090 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_SQUARE    0x10
1091 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MIN       0x20
1092 #define AFS_RX_STATS_CLEAR_QUEUE_TIME_MAX       0x40
1093 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SUM        0x80
1094 #define AFS_RX_STATS_CLEAR_EXEC_TIME_SQUARE     0x100
1095 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MIN        0x200
1096 #define AFS_RX_STATS_CLEAR_EXEC_TIME_MAX        0x400
1097
1098 typedef struct rx_function_entry_v1 {
1099     afs_uint32 remote_peer;
1100     afs_uint32 remote_port;
1101     afs_uint32 remote_is_server;
1102     afs_uint32 interfaceId;
1103     afs_uint32 func_total;
1104     afs_uint32 func_index;
1105     afs_hyper_t invocations;
1106     afs_hyper_t bytes_sent;
1107     afs_hyper_t bytes_rcvd;
1108     struct clock queue_time_sum;
1109     struct clock queue_time_sum_sqr;
1110     struct clock queue_time_min;
1111     struct clock queue_time_max;
1112     struct clock execution_time_sum;
1113     struct clock execution_time_sum_sqr;
1114     struct clock execution_time_min;
1115     struct clock execution_time_max;
1116 } rx_function_entry_v1_t, *rx_function_entry_v1_p;
1117
1118 /*
1119  * If you need to change rx_function_entry, you should probably create a brand
1120  * new structure.  Keeping the old structure will allow backwards compatibility
1121  * with old clients (even if it is only used to calculate allocation size).
1122  * If you do change the size or the format, you'll need to bump
1123  * RX_STATS_RETRIEVAL_VERSION.  This allows some primitive form
1124  * of versioning a la rxdebug.
1125  */
1126
1127 #define RX_STATS_RETRIEVAL_VERSION 1    /* latest version */
1128 #define RX_STATS_RETRIEVAL_FIRST_EDITION 1      /* first implementation */
1129
1130 typedef struct rx_interface_stat {
1131     struct rx_queue queue_header;
1132     struct rx_queue all_peers;
1133     rx_function_entry_v1_t stats[1];    /* make sure this is aligned correctly */
1134 } rx_interface_stat_t, *rx_interface_stat_p;
1135
1136 #define RX_STATS_SERVICE_ID 409
1137
1138 #ifdef AFS_NT40_ENV
1139 extern int rx_DumpCalls(FILE *outputFile, char *cookie);
1140 #endif /* AFS_NT40_ENV */
1141 #endif /* _RX_   End of rx.h */
1142
1143 #ifdef  KERNEL
1144 #include "rx/rx_prototypes.h"
1145 #else
1146 #include "rx_prototypes.h"
1147 #endif
1148
1149 #endif /* !KDUMP_RX_LOCK */