unroll-experimental-rx-20090603
[openafs.git] / src / rx / rx_pthread.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*
11  * An implementation of the rx socket listener for pthreads (not using select).
12  * This assumes that multiple read system calls may be extant at any given
13  * time. Also implements the pthread-specific event handling for rx.
14  *
15  * rx_pthread.c is used for the thread safe RX package.
16  */
17
18 #include <afsconfig.h>
19 #include <afs/param.h>
20
21 RCSID
22     ("$Header$");
23
24 #include <sys/types.h>
25 #include <errno.h>
26 #include <signal.h>
27 #include <string.h>
28 #ifndef AFS_NT40_ENV
29 # include <sys/socket.h>
30 # include <sys/file.h>
31 # include <netdb.h>
32 # include <netinet/in.h>
33 # include <net/if.h>
34 # include <sys/ioctl.h>
35 # include <sys/time.h>
36 #endif
37 #include <sys/stat.h>
38 #include <rx/rx.h>
39 #include <rx/rx_globals.h>
40 #include <assert.h>
41 #include <rx/rx_pthread.h>
42 #include <rx/rx_clock.h>
43
44 /*
45  * Number of times the event handling thread was signalled because a new
46  * event was scheduled earlier than the lastest event.
47  *
48  * Protected by event_handler_mutex
49  */
50 static long rx_pthread_n_event_wakeups;
51
52 /* Set rx_pthread_event_rescheduled if event_handler should just try
53  * again instead of sleeping.
54  *
55  * Protected by event_handler_mutex
56  */
57 static int rx_pthread_event_rescheduled = 0;
58
59 static void *rx_ListenerProc(void *);
60
61 /*
62  * We supply an event handling thread for Rx's event processing.
63  * The condition variable is used to wakeup the thread whenever a new
64  * event is scheduled earlier than the previous earliest event.
65  * This thread is also responsible for keeping time.
66  */
67 static pthread_t event_handler_thread;
68 afs_kcondvar_t rx_event_handler_cond;
69 afs_kmutex_t event_handler_mutex;
70 afs_kcondvar_t rx_listener_cond;
71 afs_kmutex_t listener_mutex;
72 static int listeners_started = 0;
73 afs_kmutex_t rx_clock_mutex;
74 struct clock rxi_clockNow;
75
76 /*
77  * Delay the current thread the specified number of seconds.
78  */
79 void
80 rxi_Delay(int sec)
81 {
82     sleep(sec);
83 }
84
85 /*
86  * Called from rx_Init()
87  */
88 void
89 rxi_InitializeThreadSupport(void)
90 {
91         /* listeners_started must only be reset if
92          * the listener thread terminates */
93         /* listeners_started = 0; */
94     clock_GetTime(&rxi_clockNow);
95 }
96
97 static void *
98 server_entry(void *argp)
99 {
100     void (*server_proc) () = (void (*)())argp;
101     server_proc();
102     dpf(("rx_pthread.c: server_entry: Server proc returned unexpectedly\n"));
103     exit(1);
104     return (void *)0;
105 }
106
107 /*
108  * Start an Rx server process.
109  */
110 void
111 rxi_StartServerProc(void *(*proc) (void *), int stacksize)
112 {
113     pthread_t thread;
114     pthread_attr_t tattr;
115     AFS_SIGSET_DECL;
116
117     if (pthread_attr_init(&tattr) != 0) {
118         dpf(("Unable to Create Rx server thread (pthread_attr_init)\n"));
119         exit(1);
120     }
121
122     if (pthread_attr_setdetachstate(&tattr, PTHREAD_CREATE_DETACHED) != 0) {
123         dpf
124             (("Unable to Create Rx server thread (pthread_attr_setdetachstate)\n"));
125         exit(1);
126     }
127
128     /*
129      * NOTE: We are ignoring the stack size parameter, for now.
130      */
131     AFS_SIGSET_CLEAR();
132     if (pthread_create(&thread, &tattr, server_entry, (void *)proc) != 0) {
133         dpf(("Unable to Create Rx server thread\n"));
134         exit(1);
135     }
136     AFS_SIGSET_RESTORE();
137 }
138
139 /*
140  * The event handling process.
141  */
142 static void *
143 event_handler(void *argp)
144 {
145     struct clock rx_pthread_last_event_wait_time = { 0, 0 };
146     unsigned long rx_pthread_n_event_expired = 0;
147     unsigned long rx_pthread_n_event_waits = 0;
148     long rx_pthread_n_event_woken = 0;
149     unsigned long rx_pthread_n_event_error = 0;
150     struct timespec rx_pthread_next_event_time = { 0, 0 };
151     int error;
152
153     MUTEX_ENTER(&event_handler_mutex);
154
155     for (;;) {
156         struct clock cv;
157         struct clock next;
158
159         MUTEX_EXIT(&event_handler_mutex);
160
161         next.sec = 30;          /* Time to sleep if there are no events scheduled */
162         next.usec = 0;
163         clock_GetTime(&cv);
164         rxevent_RaiseEvents(&next);
165
166         MUTEX_ENTER(&event_handler_mutex);
167         if (rx_pthread_event_rescheduled) {
168             rx_pthread_event_rescheduled = 0;
169             continue;
170         }
171
172         clock_Add(&cv, &next);
173         rx_pthread_next_event_time.tv_sec = cv.sec;
174         rx_pthread_next_event_time.tv_nsec = cv.usec * 1000;
175         rx_pthread_n_event_waits++;
176         error = CV_TIMEDWAIT(&rx_event_handler_cond, &event_handler_mutex, &rx_pthread_next_event_time);
177         if (error == 0) {
178             rx_pthread_n_event_woken++;
179         } 
180 #ifdef AFS_NT40_ENV        
181         else if (error == ETIMEDOUT) {
182             rx_pthread_n_event_expired++;
183         } else {
184             rx_pthread_n_event_error++;
185         }
186 #else
187         else if (errno == ETIMEDOUT) {
188             rx_pthread_n_event_expired++;
189         } else {
190             rx_pthread_n_event_error++;
191         }
192 #endif
193         rx_pthread_event_rescheduled = 0;
194     }
195 }
196
197
198 /*
199  * This routine will get called by the event package whenever a new,
200  * earlier than others, event is posted. */
201 void
202 rxi_ReScheduleEvents(void)
203 {
204     MUTEX_ENTER(&event_handler_mutex);
205     CV_SIGNAL(&rx_event_handler_cond);
206     rx_pthread_event_rescheduled = 1;
207     MUTEX_EXIT(&event_handler_mutex);
208 }
209
210
211 /* Loop to listen on a socket. Return setting *newcallp if this
212  * thread should become a server thread.  */
213 static void
214 rxi_ListenerProc(osi_socket sock, int *tnop, struct rx_call **newcallp)
215 {
216     unsigned int host;
217     u_short port;
218     struct rx_packet *p = (struct rx_packet *)0;
219
220     MUTEX_ENTER(&listener_mutex);
221     while (!listeners_started) {
222         CV_WAIT(&rx_listener_cond, &listener_mutex);
223     }
224     MUTEX_EXIT(&listener_mutex);
225
226     for (;;) {
227         /*
228          * Grab a new packet only if necessary (otherwise re-use the old one)
229          */
230         if (p) {
231             rxi_RestoreDataBufs(p);
232         } else {
233             if (!(p = rxi_AllocPacket(RX_PACKET_CLASS_RECEIVE))) {
234                 /* Could this happen with multiple socket listeners? */
235                 dpf(("rxi_Listener: no packets!"));     /* Shouldn't happen */
236                 exit(1);
237             }
238         }
239
240         if (rxi_ReadPacket(sock, p, &host, &port)) {
241             clock_NewTime();
242             p = rxi_ReceivePacket(p, sock, host, port, tnop, newcallp);
243             if (newcallp && *newcallp) {
244                 if (p)
245                     rxi_FreePacket(p);
246                 return;
247             }
248         }
249     }
250     /* NOTREACHED */
251 }
252
253 /* This is the listener process request loop. The listener process loop
254  * becomes a server thread when rxi_ListenerProc returns, and stays
255  * server thread until rxi_ServerProc returns. */
256 static void *
257 rx_ListenerProc(void *argp)
258 {
259     int threadID;
260     osi_socket sock = (osi_socket)argp;
261     struct rx_call *newcall;
262
263     while (1) {
264         newcall = NULL;
265         threadID = -1;
266         rxi_ListenerProc(sock, &threadID, &newcall);
267         /* assert(threadID != -1); */
268         /* assert(newcall != NULL); */
269         sock = OSI_NULLSOCKET;
270         assert(pthread_setspecific(rx_thread_id_key, (void *)threadID) == 0);
271         rxi_ServerProc(threadID, newcall, &sock);
272         /* assert(sock != OSI_NULLSOCKET); */
273     }
274     /* not reached */
275 }
276
277 /* This is the server process request loop. The server process loop
278  * becomes a listener thread when rxi_ServerProc returns, and stays
279  * listener thread until rxi_ListenerProc returns. */
280 void *
281 rx_ServerProc(void * dummy)
282 {
283     osi_socket sock;
284     int threadID;
285     struct rx_call *newcall = NULL;
286
287     rxi_MorePackets(rx_maxReceiveWindow + 2);   /* alloc more packets */
288     MUTEX_ENTER(&rx_quota_mutex);
289     rxi_dataQuota += rx_initSendWindow; /* Reserve some pkts for hard times */
290     /* threadID is used for making decisions in GetCall.  Get it by bumping
291      * number of threads handling incoming calls */
292     /* Unique thread ID: used for scheduling purposes *and* as index into
293      * the host hold table (fileserver). 
294      * The previously used rxi_availProcs is unsuitable as it
295      * will already go up and down as packets arrive while the server
296      * threads are still initialising! The recently introduced
297      * rxi_pthread_hinum does not necessarily lead to a server
298      * thread with id 0, which is not allowed to hop through the
299      * incoming call queue.
300      * So either introduce yet another counter or flag the FCFS
301      * thread... chose the latter.
302      */
303     MUTEX_ENTER(&rx_pthread_mutex);
304     threadID = ++rxi_pthread_hinum;
305     if (rxi_fcfs_thread_num == 0 && rxi_fcfs_thread_num != threadID)
306         rxi_fcfs_thread_num = threadID;
307     MUTEX_EXIT(&rx_pthread_mutex);
308     ++rxi_availProcs;
309     MUTEX_EXIT(&rx_quota_mutex);
310
311     while (1) {
312         sock = OSI_NULLSOCKET;
313         assert(pthread_setspecific(rx_thread_id_key, (void *)threadID) == 0);
314         rxi_ServerProc(threadID, newcall, &sock);
315         /* assert(sock != OSI_NULLSOCKET); */
316         newcall = NULL;
317         rxi_ListenerProc(sock, &threadID, &newcall);
318         /* assert(threadID != -1); */
319         /* assert(newcall != NULL); */
320     }
321     /* not reached */
322 }
323
324 /*
325  * Historically used to start the listener process. We now have multiple
326  * listener processes (one for each socket); these are started by GetUdpSocket.
327  *
328  * The event handling process *is* started here (the old listener used
329  * to also handle events). The listener threads can't actually start 
330  * listening until rxi_StartListener is called because most of R may not
331  * be initialized when rxi_Listen is called.
332  */
333 void
334 rxi_StartListener(void)
335 {
336     pthread_attr_t tattr;
337     AFS_SIGSET_DECL;
338
339         if (listeners_started)
340                 return;
341
342     if (pthread_attr_init(&tattr) != 0) {
343         dpf
344             (("Unable to create Rx event handling thread (pthread_attr_init)\n"));
345         exit(1);
346     }
347
348     if (pthread_attr_setdetachstate(&tattr, PTHREAD_CREATE_DETACHED) != 0) {
349         dpf
350             (("Unable to create Rx event handling thread (pthread_attr_setdetachstate)\n"));
351         exit(1);
352     }
353
354     AFS_SIGSET_CLEAR();
355     if (pthread_create(&event_handler_thread, &tattr, event_handler, NULL) !=
356         0) {
357         dpf(("Unable to create Rx event handling thread\n"));
358         exit(1);
359     }
360     MUTEX_ENTER(&rx_pthread_mutex);
361     ++rxi_pthread_hinum;
362     MUTEX_EXIT(&rx_pthread_mutex);
363     AFS_SIGSET_RESTORE();
364
365     MUTEX_ENTER(&listener_mutex);
366     CV_BROADCAST(&rx_listener_cond);
367     listeners_started = 1;
368     MUTEX_EXIT(&listener_mutex);
369
370 }
371
372 /*
373  * Listen on the specified socket.
374  */
375 int
376 rxi_Listen(osi_socket sock)
377 {
378     pthread_t thread;
379     pthread_attr_t tattr;
380     AFS_SIGSET_DECL;
381
382     if (pthread_attr_init(&tattr) != 0) {
383         dpf
384             (("Unable to create socket listener thread (pthread_attr_init)\n"));
385         exit(1);
386     }
387
388     if (pthread_attr_setdetachstate(&tattr, PTHREAD_CREATE_DETACHED) != 0) {
389         dpf
390             (("Unable to create socket listener thread (pthread_attr_setdetachstate)\n"));
391         exit(1);
392     }
393
394     AFS_SIGSET_CLEAR();
395     if (pthread_create(&thread, &tattr, rx_ListenerProc, (void *)sock) != 0) {
396         dpf(("Unable to create socket listener thread\n"));
397         exit(1);
398     }
399     MUTEX_ENTER(&rx_pthread_mutex);
400     ++rxi_pthread_hinum;
401     MUTEX_EXIT(&rx_pthread_mutex);
402     AFS_SIGSET_RESTORE();
403     return 0;
404 }
405
406
407 /*
408  * Recvmsg.
409  *
410  */
411 int
412 rxi_Recvmsg(osi_socket socket, struct msghdr *msg_p, int flags)
413 {
414     int ret;
415 #if defined(HAVE_LINUX_ERRQUEUE_H) && defined(ADAPT_PMTU)
416     while((rxi_HandleSocketError(socket)) > 0)
417       ;
418 #endif
419     ret = recvmsg(socket, msg_p, flags);
420     return ret;
421 }
422
423 /*
424  * Sendmsg.
425  */
426 int
427 rxi_Sendmsg(osi_socket socket, struct msghdr *msg_p, int flags)
428 {
429     int ret;
430     ret = sendmsg(socket, msg_p, flags);
431 #ifdef AFS_LINUX22_ENV
432     /* linux unfortunately returns ECONNREFUSED if the target port
433      * is no longer in use */
434     /* and EAGAIN if a UDP checksum is incorrect */
435     if (ret == -1 && errno != ECONNREFUSED && errno != EAGAIN) {
436 #else
437     if (ret == -1) {
438 #endif
439         dpf(("rxi_sendmsg failed, error %d\n", errno));
440         fflush(stdout);
441         return -1;
442     }
443     return 0;
444 }
445
446 struct rx_ts_info_t * rx_ts_info_init() {
447     struct rx_ts_info_t * rx_ts_info;
448     rx_ts_info = (rx_ts_info_t *) malloc(sizeof(rx_ts_info_t));
449     assert(rx_ts_info != NULL && pthread_setspecific(rx_ts_info_key, rx_ts_info) == 0);
450     memset(rx_ts_info, 0, sizeof(rx_ts_info_t));
451 #ifdef RX_ENABLE_TSFPQ
452     queue_Init(&rx_ts_info->_FPQ);
453
454     MUTEX_ENTER(&rx_packets_mutex);
455     rx_TSFPQMaxProcs++;
456     RX_TS_FPQ_COMPUTE_LIMITS;
457     MUTEX_EXIT(&rx_packets_mutex);
458 #endif /* RX_ENABLE_TSFPQ */
459     return rx_ts_info;
460 }