DEVEL15-background-fsync-consistency-issues-20090522
[openafs.git] / src / vol / ihandle.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  * 
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /*  ihandle.c   - file descriptor cacheing for Inode handles.           */
11 /*                                                                      */
12 /************************************************************************/
13
14 #include <afsconfig.h>
15 #include <afs/param.h>
16
17 RCSID
18     ("$Header$");
19
20 #include <stdio.h>
21 #include <sys/types.h>
22 #include <errno.h>
23 #include <string.h>
24 #ifdef AFS_NT40_ENV
25 #include <fcntl.h>
26 #else
27 #include <sys/file.h>
28 #include <unistd.h>
29 #include <sys/stat.h>
30 #if defined(AFS_SUN5_ENV) || defined(AFS_NBSD_ENV)
31 #include <sys/fcntl.h>
32 #include <sys/resource.h>
33 #endif
34 #endif
35
36 #include <rx/xdr.h>
37 #include <afs/afsint.h>
38 #include <errno.h>
39 #include <afs/afssyscalls.h>
40 #include "nfs.h"
41 #include "ihandle.h"
42 #include "viceinode.h"
43 #ifdef AFS_PTHREAD_ENV
44 #include <assert.h>
45 #else /* AFS_PTHREAD_ENV */
46 #include "afs/assert.h"
47 #endif /* AFS_PTHREAD_ENV */
48 #include <limits.h>
49
50 #ifndef AFS_NT40_ENV
51 #ifdef O_LARGEFILE
52 #define afs_stat        stat64
53 #define afs_fstat       fstat64
54 #else /* !O_LARGEFILE */
55 #define afs_stat        stat
56 #define afs_fstat       fstat
57 #endif /* !O_LARGEFILE */
58 #endif /* AFS_NT40_ENV */
59
60 #ifdef AFS_PTHREAD_ENV
61 pthread_once_t ih_glock_once = PTHREAD_ONCE_INIT;
62 pthread_mutex_t ih_glock_mutex;
63 #endif /* AFS_PTHREAD_ENV */
64
65 /* Linked list of available inode handles */
66 IHandle_t *ihAvailHead;
67 IHandle_t *ihAvailTail;
68
69 /* Linked list of available file descriptor handles */
70 FdHandle_t *fdAvailHead;
71 FdHandle_t *fdAvailTail;
72
73 /* Linked list of available stream descriptor handles */
74 StreamHandle_t *streamAvailHead;
75 StreamHandle_t *streamAvailTail;
76
77 /* LRU list for file descriptor handles */
78 FdHandle_t *fdLruHead;
79 FdHandle_t *fdLruTail;
80
81 int ih_Inited = 0;
82
83 /* Most of the servers use fopen/fdopen. Since the FILE structure
84  * only has eight bits for the file descriptor, the cache size
85  * has to be less than 256. The cache can be made larger as long
86  * as you are sure you don't need fopen/fdopen. */
87 int fdMaxCacheSize = 0;
88 int fdCacheSize = 0;
89
90 /* Number of in use file descriptors */
91 int fdInUseCount = 0;
92
93 /* Hash table for inode handles */
94 IHashBucket_t ihashTable[I_HANDLE_HASH_SIZE];
95
96 void *ih_sync_thread(void *);
97
98 #ifdef AFS_PTHREAD_ENV
99 /* Initialize the global ihandle mutex */
100 void
101 ih_glock_init()
102 {
103     assert(pthread_mutex_init(&ih_glock_mutex, NULL) == 0);
104 }
105 #endif /* AFS_PTHREAD_ENV */
106
107 /* Initialize the file descriptor cache */
108 void
109 ih_Initialize(void)
110 {
111     int i;
112     assert(!ih_Inited);
113     ih_Inited = 1;
114     DLL_INIT_LIST(ihAvailHead, ihAvailTail);
115     DLL_INIT_LIST(fdAvailHead, fdAvailTail);
116     DLL_INIT_LIST(fdLruHead, fdLruTail);
117     for (i = 0; i < I_HANDLE_HASH_SIZE; i++) {
118         DLL_INIT_LIST(ihashTable[i].ihash_head, ihashTable[i].ihash_tail);
119     }
120 #if defined(AFS_NT40_ENV)
121     fdMaxCacheSize = FD_MAX_CACHESIZE;
122 #elif defined(AFS_SUN5_ENV) || defined(AFS_NBSD_ENV)
123     {
124         struct rlimit rlim;
125         assert(getrlimit(RLIMIT_NOFILE, &rlim) == 0);
126         rlim.rlim_cur = rlim.rlim_max;
127         assert(setrlimit(RLIMIT_NOFILE, &rlim) == 0);
128         fdMaxCacheSize = rlim.rlim_cur - FD_HANDLE_SETASIDE;
129 #ifdef AFS_NBSD_ENV
130         /* XXX this is to avoid using up all system fd netbsd is
131          * somewhat broken and have set maximum fd for a root process
132          * to the same as system fd that is avaible, so if the
133          * fileserver uses all up process fds, all system fd will be
134          * used up too !
135          *
136          * Check for this better
137          */
138         fdMaxCacheSize /= 4;
139 #endif
140         fdMaxCacheSize = MIN(fdMaxCacheSize, FD_MAX_CACHESIZE);
141         assert(fdMaxCacheSize > 0);
142     }
143 #elif defined(AFS_HPUX_ENV)
144     /* Avoid problems with "UFSOpen: igetinode failed" panics on HPUX 11.0 */
145     fdMaxCacheSize = 0;
146 #else
147     {
148         long fdMax = MAX(sysconf(_SC_OPEN_MAX) - FD_HANDLE_SETASIDE, 0);
149         fdMaxCacheSize = (int)MIN(fdMax, FD_MAX_CACHESIZE);
150     }
151 #endif
152     fdCacheSize = MIN(fdMaxCacheSize, FD_DEFAULT_CACHESIZE);
153
154     {
155 #ifdef AFS_PTHREAD_ENV
156         pthread_t syncer;
157         pthread_attr_t tattr;
158
159         pthread_attr_init(&tattr);
160         pthread_attr_setdetachstate(&tattr,PTHREAD_CREATE_DETACHED);
161
162         pthread_create(&syncer, &tattr, ih_sync_thread, NULL);
163 #else /* AFS_PTHREAD_ENV */
164         PROCESS syncer;
165         LWP_CreateProcess(ih_sync_thread, 16*1024, LWP_MAX_PRIORITY - 2,
166             NULL, "ih_syncer", &syncer);
167 #endif /* AFS_PTHREAD_ENV */
168     }
169
170 }
171
172 /* Make the file descriptor cache as big as possible. Don't this call
173  * if the program uses fopen or fdopen. */
174 void
175 ih_UseLargeCache(void)
176 {
177     IH_LOCK;
178     if (!ih_Inited) {
179         ih_Initialize();
180     }
181     fdCacheSize = fdMaxCacheSize;
182
183     IH_UNLOCK;
184 }
185
186 /* Allocate a chunk of inode handles */
187 void
188 iHandleAllocateChunk(void)
189 {
190     int i;
191     IHandle_t *ihP;
192
193     assert(ihAvailHead == NULL);
194     ihP = (IHandle_t *) malloc(I_HANDLE_MALLOCSIZE * sizeof(IHandle_t));
195     assert(ihP != NULL);
196     for (i = 0; i < I_HANDLE_MALLOCSIZE; i++) {
197         ihP[i].ih_refcnt = 0;
198         DLL_INSERT_TAIL(&ihP[i], ihAvailHead, ihAvailTail, ih_next, ih_prev);
199     }
200 }
201
202 /* Initialize an inode handle */
203 IHandle_t *
204 ih_init(int dev, int vid, Inode ino)
205 {
206     int ihash = IH_HASH(dev, vid, ino);
207     IHandle_t *ihP;
208
209     IH_LOCK;
210     if (!ih_Inited) {
211         ih_Initialize();
212     }
213
214     /* Do we already have a handle for this Inode? */
215     for (ihP = ihashTable[ihash].ihash_head; ihP; ihP = ihP->ih_next) {
216         if (ihP->ih_ino == ino && ihP->ih_vid == vid && ihP->ih_dev == dev) {
217             ihP->ih_refcnt++;
218             IH_UNLOCK;
219             return ihP;
220         }
221     }
222
223     /* Allocate and initialize a new Inode handle */
224     if (ihAvailHead == NULL) {
225         iHandleAllocateChunk();
226     }
227     ihP = ihAvailHead;
228     assert(ihP->ih_refcnt == 0);
229     DLL_DELETE(ihP, ihAvailHead, ihAvailTail, ih_next, ih_prev);
230     ihP->ih_dev = dev;
231     ihP->ih_vid = vid;
232     ihP->ih_ino = ino;
233     ihP->ih_flags = 0;
234     ihP->ih_refcnt = 1;
235     DLL_INIT_LIST(ihP->ih_fdhead, ihP->ih_fdtail);
236     DLL_INSERT_TAIL(ihP, ihashTable[ihash].ihash_head,
237                     ihashTable[ihash].ihash_tail, ih_next, ih_prev);
238     IH_UNLOCK;
239     return ihP;
240 }
241
242 /* Copy an inode handle */
243 IHandle_t *
244 ih_copy(IHandle_t * ihP)
245 {
246     IH_LOCK;
247     assert(ih_Inited);
248     assert(ihP->ih_refcnt > 0);
249     ihP->ih_refcnt++;
250     IH_UNLOCK;
251     return ihP;
252 }
253
254 /* Allocate a chunk of file descriptor handles */
255 void
256 fdHandleAllocateChunk(void)
257 {
258     int i;
259     FdHandle_t *fdP;
260
261     assert(fdAvailHead == NULL);
262     fdP = (FdHandle_t *) malloc(FD_HANDLE_MALLOCSIZE * sizeof(FdHandle_t));
263     assert(fdP != NULL);
264     for (i = 0; i < FD_HANDLE_MALLOCSIZE; i++) {
265         fdP[i].fd_status = FD_HANDLE_AVAIL;
266         fdP[i].fd_ih = NULL;
267         fdP[i].fd_fd = INVALID_FD;
268         DLL_INSERT_TAIL(&fdP[i], fdAvailHead, fdAvailTail, fd_next, fd_prev);
269     }
270 }
271
272 /* Allocate a chunk of stream handles */
273 void
274 streamHandleAllocateChunk(void)
275 {
276     int i;
277     StreamHandle_t *streamP;
278
279     assert(streamAvailHead == NULL);
280     streamP = (StreamHandle_t *)
281         malloc(STREAM_HANDLE_MALLOCSIZE * sizeof(StreamHandle_t));
282     assert(streamP != NULL);
283     for (i = 0; i < STREAM_HANDLE_MALLOCSIZE; i++) {
284         streamP[i].str_fd = INVALID_FD;
285         DLL_INSERT_TAIL(&streamP[i], streamAvailHead, streamAvailTail,
286                         str_next, str_prev);
287     }
288 }
289
290 /*
291  * Get a file descriptor handle given an Inode handle
292  */
293 FdHandle_t *
294 ih_open(IHandle_t * ihP)
295 {
296     FdHandle_t *fdP;
297     FD_t fd;
298     FD_t closeFd;
299
300     if (!ihP)                   /* XXX should log here in the fileserver */
301         return NULL;
302
303     IH_LOCK;
304
305     /* Do we already have an open file handle for this Inode? */
306     for (fdP = ihP->ih_fdtail; fdP != NULL; fdP = fdP->fd_ihprev) {
307         if (fdP->fd_status != FD_HANDLE_INUSE) {
308             assert(fdP->fd_status == FD_HANDLE_OPEN);
309             fdP->fd_status = FD_HANDLE_INUSE;
310             DLL_DELETE(fdP, fdLruHead, fdLruTail, fd_next, fd_prev);
311             ihP->ih_refcnt++;
312             IH_UNLOCK;
313             (void)FDH_SEEK(fdP, 0, SEEK_SET);
314             return fdP;
315         }
316     }
317
318     /*
319      * Try to open the Inode, return NULL on error.
320      */
321     fdInUseCount += 1;
322     IH_UNLOCK;
323 ih_open_retry:
324     fd = OS_IOPEN(ihP);
325     IH_LOCK;
326     if (fd == INVALID_FD && (errno != EMFILE || fdLruHead == NULL) ) {
327         fdInUseCount -= 1;
328         IH_UNLOCK;
329         return NULL;
330     }
331
332     /* fdCacheSize limits the size of the descriptor cache, but
333      * we permit the number of open files to exceed fdCacheSize.
334      * We only recycle open file descriptors when the number
335      * of open files reaches the size of the cache */
336     if ((fdInUseCount > fdCacheSize || fd == INVALID_FD)  && fdLruHead != NULL) {
337         fdP = fdLruHead;
338         assert(fdP->fd_status == FD_HANDLE_OPEN);
339         DLL_DELETE(fdP, fdLruHead, fdLruTail, fd_next, fd_prev);
340         DLL_DELETE(fdP, fdP->fd_ih->ih_fdhead, fdP->fd_ih->ih_fdtail,
341                    fd_ihnext, fd_ihprev);
342         closeFd = fdP->fd_fd;
343         if (fd == INVALID_FD) {
344             fdCacheSize--;          /* reduce in order to not run into here too often */
345             DLL_INSERT_TAIL(fdP, fdAvailHead, fdAvailTail, fd_next, fd_prev);
346             fdP->fd_status = FD_HANDLE_AVAIL;
347             fdP->fd_ih = NULL;
348             fdP->fd_fd = INVALID_FD;
349             IH_UNLOCK;
350             OS_CLOSE(closeFd);
351             goto ih_open_retry;
352         }
353     } else {
354         if (fdAvailHead == NULL) {
355             fdHandleAllocateChunk();
356         }
357         fdP = fdAvailHead;
358         assert(fdP->fd_status == FD_HANDLE_AVAIL);
359         DLL_DELETE(fdP, fdAvailHead, fdAvailTail, fd_next, fd_prev);
360         closeFd = INVALID_FD;
361     }
362
363     fdP->fd_status = FD_HANDLE_INUSE;
364     fdP->fd_fd = fd;
365     fdP->fd_ih = ihP;
366
367     ihP->ih_refcnt++;
368
369     /* Add this handle to the Inode's list of open descriptors */
370     DLL_INSERT_TAIL(fdP, ihP->ih_fdhead, ihP->ih_fdtail, fd_ihnext,
371                     fd_ihprev);
372
373     if (closeFd != INVALID_FD) {
374         IH_UNLOCK;
375         OS_CLOSE(closeFd);
376         IH_LOCK;
377         fdInUseCount -= 1;
378     }
379
380     IH_UNLOCK;
381     return fdP;
382 }
383
384 /*
385  * Return a file descriptor handle to the cache
386  */
387 int
388 fd_close(FdHandle_t * fdP)
389 {
390     IHandle_t *ihP;
391
392     if (!fdP)
393         return 0;
394
395     IH_LOCK;
396     assert(ih_Inited);
397     assert(fdInUseCount > 0);
398     assert(fdP->fd_status == FD_HANDLE_INUSE);
399
400     ihP = fdP->fd_ih;
401
402     /* Call fd_reallyclose to really close the unused file handles if
403      * the previous attempt to close (ih_reallyclose()) all file handles
404      * failed (this is determined by checking the ihandle for the flag
405      * IH_REALLY_CLOSED) or we have too many open files.
406      */
407     if (ihP->ih_flags & IH_REALLY_CLOSED || fdInUseCount > fdCacheSize) {
408         IH_UNLOCK;
409         return fd_reallyclose(fdP);
410     }
411
412     /* Put this descriptor back into the cache */
413     fdP->fd_status = FD_HANDLE_OPEN;
414     DLL_INSERT_TAIL(fdP, fdLruHead, fdLruTail, fd_next, fd_prev);
415
416     /* If this is not the only reference to the Inode then we can decrement
417      * the reference count, otherwise we need to call ih_release.
418      */
419     if (ihP->ih_refcnt > 1) {
420         ihP->ih_refcnt--;
421         IH_UNLOCK;
422     } else {
423         IH_UNLOCK;
424         ih_release(ihP);
425     }
426
427     return 0;
428 }
429
430 /*
431  * Actually close the file descriptor handle and return it to
432  * the free list.
433  */
434 int
435 fd_reallyclose(FdHandle_t * fdP)
436 {
437     FD_t closeFd;
438     IHandle_t *ihP;
439
440     if (!fdP)
441         return 0;
442
443     IH_LOCK;
444     assert(ih_Inited);
445     assert(fdInUseCount > 0);
446     assert(fdP->fd_status == FD_HANDLE_INUSE);
447
448     ihP = fdP->fd_ih;
449     closeFd = fdP->fd_fd;
450
451     DLL_DELETE(fdP, ihP->ih_fdhead, ihP->ih_fdtail, fd_ihnext, fd_ihprev);
452     DLL_INSERT_TAIL(fdP, fdAvailHead, fdAvailTail, fd_next, fd_prev);
453
454     fdP->fd_status = FD_HANDLE_AVAIL;
455     fdP->fd_ih = NULL;
456     fdP->fd_fd = INVALID_FD;
457
458     /* All the file descriptor handles have been closed; reset
459      * the IH_REALLY_CLOSED flag indicating that ih_reallyclose
460      * has completed its job.
461      */
462     if (!ihP->ih_fdhead) {
463         ihP->ih_flags &= ~IH_REALLY_CLOSED;
464     }
465
466     IH_UNLOCK;
467     OS_CLOSE(closeFd);
468     IH_LOCK;
469     fdInUseCount -= 1;
470
471     /* If this is not the only reference to the Inode then we can decrement
472      * the reference count, otherwise we need to call ih_release. */
473     if (ihP->ih_refcnt > 1) {
474         ihP->ih_refcnt--;
475         IH_UNLOCK;
476     } else {
477         IH_UNLOCK;
478         ih_release(ihP);
479     }
480
481     return 0;
482 }
483
484 /* Enable buffered I/O on a file descriptor */
485 StreamHandle_t *
486 stream_fdopen(FD_t fd)
487 {
488     StreamHandle_t *streamP;
489
490     IH_LOCK;
491     if (streamAvailHead == NULL) {
492         streamHandleAllocateChunk();
493     }
494     streamP = streamAvailHead;
495     DLL_DELETE(streamP, streamAvailHead, streamAvailTail, str_next, str_prev);
496     IH_UNLOCK;
497     streamP->str_fd = fd;
498     streamP->str_buflen = 0;
499     streamP->str_bufoff = 0;
500     streamP->str_error = 0;
501     streamP->str_eof = 0;
502     streamP->str_direction = STREAM_DIRECTION_NONE;
503     return streamP;
504 }
505
506 /* Open a file for buffered I/O */
507 StreamHandle_t *
508 stream_open(const char *filename, const char *mode)
509 {
510     FD_t fd = INVALID_FD;
511
512     if (strcmp(mode, "r") == 0) {
513         fd = OS_OPEN(filename, O_RDONLY, 0);
514     } else if (strcmp(mode, "r+") == 0) {
515         fd = OS_OPEN(filename, O_RDWR, 0);
516     } else if (strcmp(mode, "w") == 0) {
517         fd = OS_OPEN(filename, O_WRONLY | O_TRUNC | O_CREAT, 0);
518     } else if (strcmp(mode, "w+") == 0) {
519         fd = OS_OPEN(filename, O_RDWR | O_TRUNC | O_CREAT, 0);
520     } else if (strcmp(mode, "a") == 0) {
521         fd = OS_OPEN(filename, O_WRONLY | O_APPEND | O_CREAT, 0);
522     } else if (strcmp(mode, "a+") == 0) {
523         fd = OS_OPEN(filename, O_RDWR | O_APPEND | O_CREAT, 0);
524     } else {
525         assert(FALSE);          /* not implemented */
526     }
527
528     if (fd == INVALID_FD) {
529         return NULL;
530     }
531     return stream_fdopen(fd);
532 }
533
534 /* fread for buffered I/O handles */
535 afs_sfsize_t
536 stream_read(void *ptr, afs_fsize_t size, afs_fsize_t nitems,
537             StreamHandle_t * streamP)
538 {
539     afs_fsize_t nbytes, bytesRead, bytesToRead;
540     char *p;
541
542     /* Need to seek before changing direction */
543     if (streamP->str_direction == STREAM_DIRECTION_NONE) {
544         streamP->str_direction = STREAM_DIRECTION_READ;
545         streamP->str_bufoff = 0;
546         streamP->str_buflen = 0;
547     } else {
548         assert(streamP->str_direction == STREAM_DIRECTION_READ);
549     }
550
551     bytesRead = 0;
552     nbytes = size * nitems;
553     p = (char *)ptr;
554     while (nbytes > 0 && !streamP->str_eof) {
555         if (streamP->str_buflen == 0) {
556             streamP->str_bufoff = 0;
557             streamP->str_buflen =
558                 OS_READ(streamP->str_fd, streamP->str_buffer,
559                         STREAM_HANDLE_BUFSIZE);
560             if (streamP->str_buflen < 0) {
561                 streamP->str_error = errno;
562                 streamP->str_buflen = 0;
563                 bytesRead = 0;
564                 break;
565             } else if (streamP->str_buflen == 0) {
566                 streamP->str_eof = 1;
567                 break;
568             }
569         }
570
571         bytesToRead = nbytes;
572         if (bytesToRead > streamP->str_buflen) {
573             bytesToRead = streamP->str_buflen;
574         }
575         memcpy(p, streamP->str_buffer + streamP->str_bufoff, bytesToRead);
576         p += bytesToRead;
577         streamP->str_bufoff += bytesToRead;
578         streamP->str_buflen -= bytesToRead;
579         bytesRead += bytesToRead;
580         nbytes -= bytesToRead;
581     }
582
583     return (bytesRead / size);
584 }
585
586 /* fwrite for buffered I/O handles */
587 afs_sfsize_t
588 stream_write(void *ptr, afs_fsize_t size, afs_fsize_t nitems,
589              StreamHandle_t * streamP)
590 {
591     char *p;
592     afs_sfsize_t rc;
593     afs_fsize_t nbytes, bytesWritten, bytesToWrite;
594
595     /* Need to seek before changing direction */
596     if (streamP->str_direction == STREAM_DIRECTION_NONE) {
597         streamP->str_direction = STREAM_DIRECTION_WRITE;
598         streamP->str_bufoff = 0;
599         streamP->str_buflen = STREAM_HANDLE_BUFSIZE;
600     } else {
601         assert(streamP->str_direction == STREAM_DIRECTION_WRITE);
602     }
603
604     nbytes = size * nitems;
605     bytesWritten = 0;
606     p = (char *)ptr;
607     while (nbytes > 0) {
608         if (streamP->str_buflen == 0) {
609             rc = OS_WRITE(streamP->str_fd, streamP->str_buffer,
610                           STREAM_HANDLE_BUFSIZE);
611             if (rc < 0) {
612                 streamP->str_error = errno;
613                 bytesWritten = 0;
614                 break;
615             }
616             streamP->str_bufoff = 0;
617             streamP->str_buflen = STREAM_HANDLE_BUFSIZE;
618         }
619
620         bytesToWrite = nbytes;
621         if (bytesToWrite > streamP->str_buflen) {
622             bytesToWrite = streamP->str_buflen;
623         }
624         memcpy(streamP->str_buffer + streamP->str_bufoff, p, bytesToWrite);
625         p += bytesToWrite;
626         streamP->str_bufoff += bytesToWrite;
627         streamP->str_buflen -= bytesToWrite;
628         bytesWritten += bytesToWrite;
629         nbytes -= bytesToWrite;
630     }
631
632     return (bytesWritten / size);
633 }
634
635 /* fseek for buffered I/O handles */
636 int
637 stream_seek(StreamHandle_t * streamP, afs_foff_t offset, int whence)
638 {
639     int rc;
640     int retval = 0;
641
642     if (streamP->str_direction == STREAM_DIRECTION_WRITE
643         && streamP->str_bufoff > 0) {
644         rc = OS_WRITE(streamP->str_fd, streamP->str_buffer,
645                       streamP->str_bufoff);
646         if (rc < 0) {
647             streamP->str_error = errno;
648             retval = -1;
649         }
650     }
651     streamP->str_bufoff = 0;
652     streamP->str_buflen = 0;
653     streamP->str_eof = 0;
654     streamP->str_direction = STREAM_DIRECTION_NONE;
655     if (OS_SEEK(streamP->str_fd, offset, whence) < 0) {
656         streamP->str_error = errno;
657         retval = -1;
658     }
659     return retval;
660 }
661
662 /* fflush for buffered I/O handles */
663 int
664 stream_flush(StreamHandle_t * streamP)
665 {
666     int rc;
667     int retval = 0;
668
669     if (streamP->str_direction == STREAM_DIRECTION_WRITE
670         && streamP->str_bufoff > 0) {
671         rc = OS_WRITE(streamP->str_fd, streamP->str_buffer,
672                       streamP->str_bufoff);
673         if (rc < 0) {
674             streamP->str_error = errno;
675             retval = -1;
676         }
677         streamP->str_bufoff = 0;
678         streamP->str_buflen = STREAM_HANDLE_BUFSIZE;
679     }
680
681     return retval;
682 }
683
684 /* Free a buffered I/O handle */
685 int
686 stream_close(StreamHandle_t * streamP, int reallyClose)
687 {
688     int rc;
689     int retval = 0;
690
691     assert(streamP != NULL);
692     if (streamP->str_direction == STREAM_DIRECTION_WRITE
693         && streamP->str_bufoff > 0) {
694         rc = OS_WRITE(streamP->str_fd, streamP->str_buffer,
695                       streamP->str_bufoff);
696         if (rc < 0) {
697             retval = -1;
698         }
699     }
700     if (reallyClose) {
701         rc = OS_CLOSE(streamP->str_fd);
702         if (rc < 0) {
703             retval = -1;
704         }
705     }
706     streamP->str_fd = INVALID_FD;
707
708     IH_LOCK;
709     DLL_INSERT_TAIL(streamP, streamAvailHead, streamAvailTail,
710                     str_next, str_prev);
711     IH_UNLOCK;
712     return retval;
713 }
714
715 /* Close all unused file descriptors associated with the inode
716  * handle. Called with IH_LOCK held. May drop and reacquire
717  * IH_LOCK. Sets the IH_REALLY_CLOSED flag in the inode handle
718  * if it fails to close all file handles.
719  */
720 static int
721 ih_fdclose(IHandle_t * ihP)
722 {
723     int closeCount, closedAll;
724     FdHandle_t *fdP, *head, *tail, *next;
725
726     assert(ihP->ih_refcnt > 0);
727
728     closedAll = 1;
729     DLL_INIT_LIST(head, tail);
730     ihP->ih_flags &= ~IH_REALLY_CLOSED;
731
732     /*
733      * Remove the file descriptors for this Inode from the LRU queue
734      * and the IHandle queue and put them on a temporary queue so we
735      * can drop the lock before we close the files.
736      */
737     for (fdP = ihP->ih_fdhead; fdP != NULL; fdP = next) {
738         next = fdP->fd_ihnext;
739         assert(fdP->fd_ih == ihP);
740         assert(fdP->fd_status == FD_HANDLE_OPEN
741                || fdP->fd_status == FD_HANDLE_INUSE);
742         if (fdP->fd_status == FD_HANDLE_OPEN) {
743             DLL_DELETE(fdP, ihP->ih_fdhead, ihP->ih_fdtail, fd_ihnext,
744                        fd_ihprev);
745             DLL_DELETE(fdP, fdLruHead, fdLruTail, fd_next, fd_prev);
746             DLL_INSERT_TAIL(fdP, head, tail, fd_next, fd_prev);
747         } else {
748             closedAll = 0;
749             ihP->ih_flags |= IH_REALLY_CLOSED;
750         }
751     }
752
753     /* If the ihandle reference count is 1, we should have
754      * closed all file descriptors.
755      */
756     if (ihP->ih_refcnt == 1 || closedAll) {
757         assert(closedAll);
758         assert(!ihP->ih_fdhead);
759         assert(!ihP->ih_fdtail);
760     }
761
762     if (head == NULL) {
763         return 0;               /* No file descriptors closed */
764     }
765
766     IH_UNLOCK;
767     /*
768      * Close the file descriptors
769      */
770     closeCount = 0;
771     for (fdP = head; fdP != NULL; fdP = fdP->fd_next) {
772         OS_CLOSE(fdP->fd_fd);
773         fdP->fd_status = FD_HANDLE_AVAIL;
774         fdP->fd_fd = INVALID_FD;
775         fdP->fd_ih = NULL;
776         closeCount++;
777     }
778
779     IH_LOCK;
780     assert(fdInUseCount >= closeCount);
781     fdInUseCount -= closeCount;
782
783     /*
784      * Append the temporary queue to the list of available descriptors
785      */
786     if (fdAvailHead == NULL) {
787         fdAvailHead = head;
788         fdAvailTail = tail;
789     } else {
790         fdAvailTail->fd_next = head;
791         head->fd_prev = fdAvailTail;
792         fdAvailTail = tail;
793     }
794
795     return 0;
796 }
797
798 /* Close all cached file descriptors for this inode. */
799 int
800 ih_reallyclose(IHandle_t * ihP)
801 {
802     if (!ihP)
803         return 0;
804
805     IH_LOCK;
806     ihP->ih_refcnt++;   /* must not disappear over unlock */
807     if (ihP->ih_synced) {
808         FdHandle_t *fdP;
809         IH_UNLOCK;
810         
811         fdP = IH_OPEN(ihP);
812         if (fdP) { 
813             OS_SYNC(fdP->fd_fd);
814             FDH_CLOSE(fdP);
815         }
816         
817         IH_LOCK;
818     }
819
820     assert(ihP->ih_refcnt > 0);
821     ihP->ih_synced = 0;
822
823     ih_fdclose(ihP);
824
825     if (ihP->ih_refcnt > 1) {
826         ihP->ih_refcnt--;
827         IH_UNLOCK;
828     } else {
829         IH_UNLOCK;
830         ih_release(ihP);
831     }
832     return 0;
833 }
834
835 /* Release an Inode handle. All cached file descriptors for this
836  * inode are closed when the last reference to this handle is released
837  */
838 int
839 ih_release(IHandle_t * ihP)
840 {
841     int ihash;
842
843     if (!ihP)
844         return 0;
845
846     IH_LOCK;
847     assert(ihP->ih_refcnt > 0);
848
849     if (ihP->ih_refcnt > 1) {
850         ihP->ih_refcnt--;
851         IH_UNLOCK;
852         return 0;
853     }
854
855     ihash = IH_HASH(ihP->ih_dev, ihP->ih_vid, ihP->ih_ino);
856     DLL_DELETE(ihP, ihashTable[ihash].ihash_head,
857                ihashTable[ihash].ihash_tail, ih_next, ih_prev);
858
859     ih_fdclose(ihP);
860
861     ihP->ih_refcnt--;
862
863     DLL_INSERT_TAIL(ihP, ihAvailHead, ihAvailTail, ih_next, ih_prev);
864
865     IH_UNLOCK;
866     return 0;
867 }
868
869 /* Sync an inode to disk if its handle isn't NULL */
870 int
871 ih_condsync(IHandle_t * ihP)
872 {
873     int code;
874     FdHandle_t *fdP;
875
876     if (!ihP)
877         return 0;
878
879     fdP = IH_OPEN(ihP);
880     if (fdP == NULL)
881         return -1;
882
883     code = FDH_SYNC(fdP);
884     FDH_CLOSE(fdP);
885
886     return code;
887 }
888
889 void
890 ih_sync_all(void) {
891
892     int ihash;
893
894     IH_LOCK;
895     for (ihash = 0; ihash < I_HANDLE_HASH_SIZE; ihash++) {
896         IHandle_t *ihP, *ihPnext;
897
898         ihP = ihashTable[ihash].ihash_head;
899         if (ihP)
900             ihP->ih_refcnt++;   /* must not disappear over unlock */
901         for (; ihP; ihP = ihPnext) {
902             
903             if (ihP->ih_synced) {
904                 FdHandle_t *fdP;
905
906                 ihP->ih_synced = 0;
907                 IH_UNLOCK;
908
909                 fdP = IH_OPEN(ihP);
910                 if (fdP) { 
911                     OS_SYNC(fdP->fd_fd);
912                     FDH_CLOSE(fdP);
913                 }
914
915                 IH_LOCK;
916             }
917
918             /* when decrementing the refcount, the ihandle might disappear
919                and we might not even be able to proceed to the next one.
920                Hence the gymnastics putting a hold on the next one already */
921             ihPnext = ihP->ih_next;
922             if (ihPnext) ihPnext->ih_refcnt++;
923
924             if (ihP->ih_refcnt > 1) {
925                 ihP->ih_refcnt--;
926             } else {
927                 IH_UNLOCK;
928                 ih_release(ihP);
929                 IH_LOCK;
930             }
931
932         }
933     }
934     IH_UNLOCK;
935 }
936
937 void *
938 ih_sync_thread(void *dummy) {
939     while(1) {
940
941 #ifdef AFS_PTHREAD_ENV
942         sleep(10);
943 #else /* AFS_PTHREAD_ENV */
944         IOMGR_Sleep(60);
945 #endif /* AFS_PTHREAD_ENV */
946
947 #ifndef AFS_NT40_ENV
948         sync();
949 #endif
950         ih_sync_all();
951     }
952     return NULL;
953 }
954
955
956 /*************************************************************************
957  * OS specific support routines.
958  *************************************************************************/
959 #ifndef AFS_NAMEI_ENV
960 Inode
961 ih_icreate(IHandle_t * ih, int dev, char *part, Inode nI, int p1, int p2,
962            int p3, int p4)
963 {
964     Inode ino;
965 #ifdef  AFS_3DISPARES
966     /* See viceinode.h */
967     if (p2 == INODESPECIAL) {
968         int tp = p3;
969         p3 = p4;
970         p4 = tp;
971     }
972 #endif
973     ino = ICREATE(dev, part, nI, p1, p2, p3, p4);
974     return ino;
975 }
976 #endif /* AFS_NAMEI_ENV */
977
978
979 #ifndef AFS_NT40_ENV
980 afs_sfsize_t
981 ih_size(int fd)
982 {
983     struct afs_stat status;
984     if (afs_fstat(fd, &status) < 0)
985         return -1;
986     return status.st_size;
987 }
988 #endif