namei: Ignore misplaced files
[openafs.git] / src / vol / namei_ops.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 /* I/O operations for the Unix open by name (namei) interface. */
11
12 #include <afsconfig.h>
13 #include <afs/param.h>
14
15 #include <roken.h>
16
17
18 #ifdef AFS_NAMEI_ENV
19
20 #ifdef HAVE_SYS_FILE_H
21 # include <sys/file.h>
22 #endif
23
24 #ifdef AFS_NT40_ENV
25 #define DELETE_ZLC
26 #include <windows.h>
27 #include <winnt.h>
28 #include <winbase.h>
29 #include <direct.h>
30 #endif
31
32 #include <afs/opr.h>
33 #include <rx/rx_queue.h>
34 #ifdef AFS_PTHREAD_ENV
35 # include <opr/lock.h>
36 #endif
37 #include <lock.h>
38 #include <afs/afsutil.h>
39 #include <lwp.h>
40 #include "nfs.h"
41 #include <afs/afsint.h>
42 #include "ihandle.h"
43 #include "vnode.h"
44 #include "volume.h"
45 #include "viceinode.h"
46 #include "voldefs.h"
47 #include "partition.h"
48 #include "fssync.h"
49 #include "volume_inline.h"
50 #include "common.h"
51 #include <afs/errors.h>
52
53 #ifdef AFS_NT40_ENV
54 #include <afs/errmap_nt.h>
55 #endif
56
57 #ifndef LOCK_SH
58 #define   LOCK_SH   1    /* shared lock */
59 #define   LOCK_EX   2    /* exclusive lock */
60 #define   LOCK_NB   4    /* don't block when locking */
61 #define   LOCK_UN   8    /* unlock */
62 #endif
63
64 #ifdef AFS_SALSRV_ENV
65 #include <pthread.h>
66 #include <afs/work_queue.h>
67 #include <afs/thread_pool.h>
68 #include <vol/vol-salvage.h>
69 #endif
70
71 int Testing=0;
72
73
74 afs_sfsize_t
75 namei_iread(IHandle_t * h, afs_foff_t offset, char *buf, afs_fsize_t size)
76 {
77     afs_sfsize_t nBytes;
78     FdHandle_t *fdP;
79
80     fdP = IH_OPEN(h);
81     if (fdP == NULL)
82         return -1;
83
84     nBytes = FDH_PREAD(fdP, buf, size, offset);
85     if (nBytes < 0)
86         FDH_REALLYCLOSE(fdP);
87     else
88         FDH_CLOSE(fdP);
89     return nBytes;
90 }
91
92 afs_sfsize_t
93 namei_iwrite(IHandle_t * h, afs_foff_t offset, char *buf, afs_fsize_t size)
94 {
95     afs_sfsize_t nBytes;
96     FdHandle_t *fdP;
97
98     fdP = IH_OPEN(h);
99     if (fdP == NULL)
100         return -1;
101
102     nBytes = FDH_PWRITE(fdP, buf, size, offset);
103     if (nBytes < 0)
104         FDH_REALLYCLOSE(fdP);
105     else
106         FDH_CLOSE(fdP);
107     return nBytes;
108 }
109
110 #ifdef AFS_NT40_ENV
111 /* Inode number format:
112  * low 32 bits - if a regular file or directory, the vnode; else the type.
113  * 32-36 - uniquifier tag and index into counts array for this vnode. Only
114  *         two of the available bits are currently used. The rest are
115  *         present in case we ever increase the number of types of volumes
116  *         in the volume group.
117  * bit 37 : 1  == special, 0 == regular
118  */
119 # define NAMEI_VNODEMASK    0x00ffffffff
120 # define NAMEI_TAGSHIFT     32
121 # define NAMEI_INODESPECIAL 0x2000000000
122 # define NAMEI_SPECDIR "R"
123 # define NAMEI_SPECDIRC 'R'
124 #else /* !AFS_NT40_ENV */
125 /* Inode number format:
126  * low 26 bits - vnode number - all 1's if volume special file.
127  * next 3 bits - tag
128  * next 3 bits spare (0's)
129  * high 32 bits - uniquifier (regular) or type if spare
130  */
131 # define NAMEI_VNODEMASK    0x003ffffff
132 # define NAMEI_TAGSHIFT     26
133 # define NAMEI_UNIQMASK     0xffffffff
134 # define NAMEI_UNIQSHIFT    32
135 # define NAMEI_INODESPECIAL ((Inode)NAMEI_VNODEMASK)
136 /* dir1 is the high 8 bits of the 26 bit vnode */
137 # define VNO_DIR1(vno) ((vno >> 14) & 0xff)
138 /* dir2 is the next 9 bits */
139 # define VNO_DIR2(vno) ((vno >> 9) & 0x1ff)
140 /* "name" is the low 9 bits of the vnode, the 3 bit tag and the uniq */
141 # define NAMEI_SPECDIR "special"
142 #endif /* !AFS_NT40_ENV */
143 #define NAMEI_TAGMASK      0x7
144 #define NAMEI_VNODESPECIAL NAMEI_VNODEMASK
145
146 #define NAMEI_SPECDIRLEN (sizeof(NAMEI_SPECDIR)-1)
147
148 #define NAMEI_MAXVOLS 5         /* Maximum supported number of volumes per volume
149                                  * group, not counting temporary (move) volumes.
150                                  * This is the number of separate files, all having
151                                  * the same vnode number, which can occur in a volume
152                                  * group at once.
153                                  */
154
155 #ifndef AFS_NT40_ENV
156 typedef struct {
157     int ogm_owner;
158     int ogm_group;
159     int ogm_mode;
160 } namei_ogm_t;
161 #endif
162
163 static int GetFreeTag(IHandle_t * ih, int vno);
164
165 /* namei_HandleToInodeDir
166  *
167  * Construct the path name of the directory holding the inode data.
168  * Format: /<vicepx>/INODEDIR
169  *
170  */
171 #ifdef AFS_NT40_ENV
172 static void
173 namei_HandleToInodeDir(namei_t * name, IHandle_t * ih)
174 {
175     memset(name, '\0', sizeof(*name));
176     nt_DevToDrive(name->n_drive, ih->ih_dev);
177     strlcpy(name->n_path, name->n_drive, sizeof(name->n_path));
178 }
179
180 #else
181 /* Format: /<vicepx>/INODEDIR */
182 #define PNAME_BLEN 64
183 static void
184 namei_HandleToInodeDir(namei_t * name, IHandle_t * ih)
185 {
186     size_t offset;
187
188     memset(name, '\0', sizeof(*name));
189
190     /*
191      * Add the /vicepXX string to the start of name->n_base and then calculate
192      * offset as the number of bytes we know we added.
193      *
194      * FIXME: This embeds knowledge of the vice partition naming scheme and
195      * mapping from device numbers.  There needs to be an API that tells us
196      * this offset.
197      */
198     volutil_PartitionName_r(ih->ih_dev, name->n_base, sizeof(name->n_base));
199     offset = VICE_PREFIX_SIZE + (ih->ih_dev > 25 ? 2 : 1);
200     name->n_base[offset] = OS_DIRSEPC;
201     offset++;
202     strlcpy(name->n_base + offset, INODEDIR, sizeof(name->n_base) - offset);
203     strlcpy(name->n_path, name->n_base, sizeof(name->n_path));
204 }
205 #endif
206
207 #define addtoname(N, C)                                         \
208 do {                                                            \
209     if ((N)->n_path[strlen((N)->n_path)-1] != OS_DIRSEPC)       \
210         strlcat((N)->n_path, OS_DIRSEP, sizeof((N)->n_path));   \
211     strlcat((N)->n_path, (C), sizeof((N)->n_path));             \
212 } while(0)
213
214
215 #ifdef AFS_NT40_ENV
216 static void
217 namei_HandleToVolDir(namei_t * name, IHandle_t * ih)
218 {
219     /* X:\Vol_XXXXXXX.data */
220     b32_string_t str1;
221     char *namep;
222
223     namei_HandleToInodeDir(name, ih);
224     /* nt_drive added to name by namei_HandleToInodeDir() */
225     namep = name->n_voldir;
226     (void)memcpy(namep, "\\Vol_", 5);
227     namep += 5;
228     (void)strcpy(namep, int_to_base32(str1, ih->ih_vid));
229     namep += strlen(namep);
230     memcpy(namep, ".data", 5);
231     namep += 5;
232     *namep = '\0';
233     addtoname(name, name->n_voldir);
234 }
235 #else
236 static void
237 namei_HandleToVolDir(namei_t * name, IHandle_t * ih)
238 {
239     lb64_string_t tmp;
240
241     namei_HandleToInodeDir(name, ih);
242     (void)int32_to_flipbase64(tmp, (int64_t) (ih->ih_vid & 0xff));
243     strlcpy(name->n_voldir1, tmp, sizeof(name->n_voldir1));
244     addtoname(name, name->n_voldir1);
245     (void)int32_to_flipbase64(tmp, (int64_t) ih->ih_vid);
246     strlcpy(name->n_voldir2, tmp, sizeof(name->n_voldir2));
247     addtoname(name, name->n_voldir2);
248 }
249 #endif
250
251 /* namei_HandleToName
252  *
253  * Constructs a file name for the fully qualified handle.
254  */
255 #ifdef AFS_NT40_ENV
256 /* Note that special files end up in X:\Vol_XXXXXXX.data\R */
257 void
258 namei_HandleToName(namei_t * name, IHandle_t * ih)
259 {
260     int vno = (int)(ih->ih_ino & NAMEI_VNODEMASK);
261     int special = (ih->ih_ino & NAMEI_INODESPECIAL)?1:0;
262     int tag = (int)((ih->ih_ino >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
263     b32_string_t str1;
264     char *namep;
265     namei_HandleToVolDir(name, ih);
266
267     if (special) {
268         name->n_dir[0] = NAMEI_SPECDIRC;
269     } else {
270         if (vno & 0x1)
271             name->n_dir[0] = 'Q';
272         else
273             name->n_dir[0] = ((vno & 0x1f) >> 1) + 'A';
274
275     }
276     name->n_dir[1] = '\0';
277     addtoname(name, name->n_dir);
278     /* X:\Vol_XXXXXXX.data\X\V_XXXXXXX.XXX */
279     namep = name->n_inode;
280     (void)memcpy(namep, "\\V_", 3);
281     namep += 3;
282     (void)strcpy(namep, int_to_base32(str1, vno));
283     namep += strlen(namep);
284     *(namep++) = '.';
285     (void)strcpy(namep, int_to_base32(str1, tag));
286     namep += strlen(namep);
287     addtoname(name, name->n_inode);
288 }
289 #else
290 /* Note that special files end up in /vicepX/InodeDir/Vxx/V*.data/special */
291 void
292 namei_HandleToName(namei_t * name, IHandle_t * ih)
293 {
294     int vno = (int)(ih->ih_ino & NAMEI_VNODEMASK);
295     lb64_string_t str;
296
297     namei_HandleToVolDir(name, ih);
298
299     if (vno == NAMEI_VNODESPECIAL) {
300         strlcpy(name->n_dir1, NAMEI_SPECDIR, sizeof(name->n_dir1));
301         addtoname(name, name->n_dir1);
302         name->n_dir2[0] = '\0';
303     } else {
304         (void)int32_to_flipbase64(str, VNO_DIR1(vno));
305         strlcpy(name->n_dir1, str, sizeof(name->n_dir1));
306         addtoname(name, name->n_dir1);
307         (void)int32_to_flipbase64(str, VNO_DIR2(vno));
308         strlcpy(name->n_dir2, str, sizeof(name->n_dir2));
309         addtoname(name, name->n_dir2);
310     }
311     (void)int64_to_flipbase64(str, (int64_t) ih->ih_ino);
312     strlcpy(name->n_inode, str, sizeof(name->n_inode));
313     addtoname(name, name->n_inode);
314 }
315 #endif
316
317 #ifndef AFS_NT40_ENV
318 /* The following is a warning to tell sys-admins to not muck about in this
319  * name space.
320  */
321 #define VICE_README "These files and directories are a part of the AFS \
322 namespace. Modifying them\nin any way will result in loss of AFS data,\n\
323 ownership and permissions included.\n"
324 int
325 namei_ViceREADME(char *partition)
326 {
327     char filename[32];
328     int fd;
329
330     /* Create the inode directory if we're starting for the first time */
331     snprintf(filename, sizeof filename, "%s" OS_DIRSEP "%s", partition,
332              INODEDIR);
333     mkdir(filename, 0700);
334
335     snprintf(filename, sizeof filename,
336              "%s" OS_DIRSEP "%s" OS_DIRSEP "README",
337              partition, INODEDIR);
338     fd = OS_OPEN(filename, O_WRONLY | O_CREAT | O_TRUNC, 0444);
339     if (fd != INVALID_FD) {
340         (void)OS_WRITE(fd, VICE_README, strlen(VICE_README));
341         OS_CLOSE(fd);
342     }
343     return (errno);
344 }
345 #endif
346
347 /* namei_CreateDataDirectories
348  *
349  * If creating the file failed because of ENOENT or ENOTDIR, try
350  * creating all the directories first.
351  */
352 #ifdef AFS_NT40_ENV
353 static int
354 namei_CreateDataDirectories(namei_t * name, int *created)
355 {
356     char tmp[256];
357     char *s;
358     int i;
359
360     *created = 0;
361     snprintf(tmp, 256, "%s" OS_DIRSEP "%s", name->n_drive, name->n_voldir);
362
363     if (mkdir(tmp) < 0) {
364         if (errno != EEXIST)
365             return -1;
366     } else
367         *created = 1;
368
369     s = tmp;
370     s += strlen(tmp);
371
372     *s++ = OS_DIRSEPC;
373     *(s + 1) = '\0';
374     for (i = 'A'; i <= NAMEI_SPECDIRC; i++) {
375         *s = (char)i;
376         if (mkdir(tmp) < 0 && errno != EEXIST)
377             return -1;
378     }
379     return 0;
380 }
381 #else
382 #define create_dir() \
383 do { \
384     if (mkdir(tmp, 0700)<0) { \
385         if (errno != EEXIST) \
386             return -1; \
387     } \
388     else { \
389         *created = 1; \
390     } \
391 } while (0)
392
393 #define create_nextdir(A) \
394 do { \
395          strcat(tmp, OS_DIRSEP); strcat(tmp, A); create_dir();  \
396 } while(0)
397
398 static int
399 namei_CreateDataDirectories(namei_t * name, int *created)
400 {
401     char tmp[256];
402
403     *created = 0;
404
405     strlcpy(tmp, name->n_base, sizeof(tmp));
406     create_dir();
407
408     create_nextdir(name->n_voldir1);
409     create_nextdir(name->n_voldir2);
410     create_nextdir(name->n_dir1);
411     if (name->n_dir2[0]) {
412         create_nextdir(name->n_dir2);
413     }
414     return 0;
415 }
416 #endif
417
418 #ifndef AFS_NT40_ENV
419 /* delTree(): Deletes an entire tree of directories (no files)
420  * Input:
421  *   root : Full path to the subtree. Should be big enough for PATH_MAX
422  *   tree : the subtree to be deleted is rooted here. Specifies only the
423  *          subtree beginning at tree (not the entire path). It should be
424  *          a pointer into the "root" buffer.
425  * Output:
426  *  errp : errno of the first error encountered during the directory cleanup.
427  *         *errp should have been initialized to 0.
428  *
429  * Return Values:
430  *  -1  : If errors were encountered during cleanup and error is set to
431  *        the first errno.
432  *   0  : Success.
433  *
434  * If there are errors, we try to work around them and delete as many
435  * directories as possible. We don't attempt to remove directories that still
436  * have non-dir entries in them.
437  */
438 static int
439 delTree(char *root, char *tree, int *errp)
440 {
441     char *cp;
442     DIR *ds;
443     struct dirent *dirp;
444     struct afs_stat st;
445
446     if (*tree) {
447         /* delete the children first */
448         cp = strchr(tree, OS_DIRSEPC);
449         if (cp) {
450             delTree(root, cp + 1, errp);
451             *cp = '\0';
452         } else
453             cp = tree + strlen(tree);   /* move cp to the end of string tree */
454
455         /* now delete all entries in this dir */
456         if ((ds = opendir(root)) != NULL) {
457             errno = 0;
458             while ((dirp = readdir(ds))) {
459                 /* ignore . and .. */
460                 if (!strcmp(dirp->d_name, ".") || !strcmp(dirp->d_name, ".."))
461                     continue;
462                 /* since root is big enough, we reuse the space to
463                  * concatenate the dirname to the current tree
464                  */
465                 strcat(root, OS_DIRSEP);
466                 strcat(root, dirp->d_name);
467                 if (afs_stat(root, &st) == 0 && S_ISDIR(st.st_mode)) {
468                     /* delete this subtree */
469                     delTree(root, cp + 1, errp);
470                 } else
471                     *errp = *errp ? *errp : errno;
472
473                 /* recover path to our cur tree by truncating it to
474                  * its original len
475                  */
476                 *cp = 0;
477             }
478             /* if (!errno) -- closedir not implicit if we got an error */
479             closedir(ds);
480         }
481
482         /* finally axe the current dir */
483         if (rmdir(root))
484             *errp = *errp ? *errp : errno;
485
486 #ifndef AFS_PTHREAD_ENV         /* let rx get some work done */
487         IOMGR_Poll();
488 #endif /* !AFS_PTHREAD_ENV */
489
490     }
491
492     /* if valid tree */
493     /* if we encountered errors during cleanup, we return a -1 */
494     if (*errp)
495         return -1;
496
497     return 0;
498
499 }
500 #endif
501
502 /* namei_RemoveDataDirectories
503  * Return Values:
504  * Returns 0 on success.
505  * Returns -1 on error. Typically, callers ignore this error because we
506  * can continue running if the removes fail. The salvage process will
507  * finish tidying up for us.
508  */
509
510 #ifdef AFS_NT40_ENV
511 static int
512 namei_RemoveDataDirectories(namei_t * name)
513 {
514     int code = 0;
515     char *path;
516     char tmp[256];
517     int i;
518
519     snprintf(tmp, 256, "%s" OS_DIRSEP "%s", name->n_drive, name->n_voldir);
520
521     path = tmp;
522     path += strlen(path);
523     *path++ = OS_DIRSEPC;
524     *(path + 1) = '\0';
525     for (i = 'A'; i <= NAMEI_SPECDIRC; i++) {
526         *path = (char)i;
527         if (rmdir(name->n_path) < 0 && errno != ENOENT)
528             code = -1;
529     }
530
531     if (!code) {
532         /* Delete the Vol_NNNNNN.data directory. */
533         path--;
534         *path = '\0';
535         if (rmdir(name->n_path) < 0 && errno != ENOENT) {
536             code = -1;
537         }
538     }
539     return code;
540 }
541 #else
542 /*
543  * We only use the n_base and n_voldir1 entries
544  * and only do rmdir's.
545  */
546 static int
547 namei_RemoveDataDirectories(namei_t * name)
548 {
549     int code = 0;
550     char *path;
551     int prefixlen = strlen(name->n_base), err = 0;
552     int vollen = strlen(name->n_voldir1);
553     char pbuf[MAXPATHLEN];
554
555     path = pbuf;
556
557     strlcpy(path, name->n_path, sizeof(pbuf));
558
559     /* move past the prefix and n_voldir1 */
560     path = path + prefixlen + 1 + vollen + 1;   /* skip over the trailing / */
561
562     /* now delete all dirs upto path */
563     code = delTree(pbuf, path, &err);
564
565     /* We've now deleted everything under /n_base/n_voldir1/n_voldir2 that
566      * we could. Do not delete /n_base/n_voldir1, since doing such might
567      * interrupt another thread trying to create a volume. We could introduce
568      * some locking to make this safe (or only remove it for whole-partition
569      * salvages), but by not deleting it we only leave behind a maximum of
570      * 256 empty directories. So at least for now, don't bother. */
571     return code;
572 }
573 #endif
574
575 /* Create the file in the name space.
576  *
577  * Parameters stored as follows:
578  * Regular files:
579  * p1 - volid - implied in containing directory.
580  * p2 - vnode - name is <vno:31-23>/<vno:22-15>/<vno:15-0><uniq:31-5><tag:2-0>
581  * p3 - uniq -- bits 4-0 are in mode bits 4-0
582  * p4 - dv ---- dv:15-0 in uid, dv:29-16 in gid, dv:31-30 in mode:6-5
583  * Special files:
584  * p1 - volid - creation time - dwHighDateTime
585  * p2 - vnode - -1 means special, file goes in "S" subdirectory.
586  * p3 - type -- name is <type>.<tag> where tag is a file name unqiquifier.
587  * p4 - parid - parent volume id - implied in containing directory.
588  *
589  * Return value is the inode number or (Inode)-1 if error.
590  * We "know" there is only one link table, so return EEXIST if there already
591  * is a link table. It's up to the calling code to test errno and increment
592  * the link count.
593  */
594
595 /* namei_MakeSpecIno
596  *
597  * This function is called by VCreateVolume to hide the implementation
598  * details of the inode numbers. This only allows for 7 volume special
599  * types, but if we get that far, this could should be dead by then.
600  */
601 Inode
602 namei_MakeSpecIno(VolumeId volid, int type)
603 {
604     Inode ino;
605     ino = NAMEI_INODESPECIAL;
606 #ifdef AFS_NT40_ENV
607     ino |= type;
608     /* tag is always 0 for special */
609 #else
610     type &= NAMEI_TAGMASK;
611     ino |= ((Inode) type) << NAMEI_TAGSHIFT;
612     ino |= ((Inode) volid) << NAMEI_UNIQSHIFT;
613 #endif
614     return ino;
615 }
616
617 #ifdef AFS_NT40_ENV
618 /* SetOGM */
619 static int
620 SetOGM(FD_t fd, int parm, int tag)
621 {
622     return -1;
623 }
624
625 static int
626 SetWinOGM(FD_t fd, int p1, int p2)
627 {
628     BOOL code;
629     FILETIME ftime;
630
631     ftime.dwHighDateTime = p1;
632     ftime.dwLowDateTime = p2;
633
634     code = SetFileTime(fd, &ftime, NULL /*access*/, NULL /*write*/);
635     if (!code)
636         return -1;
637     return 0;
638 }
639
640 static int
641 GetWinOGM(FD_t fd, int *p1, int *p2)
642 {
643     BOOL code;
644     FILETIME ftime;
645
646     code = GetFileTime(fd, &ftime, NULL /*access*/, NULL /*write*/);
647     if (!code)
648         return -1;
649
650     *p1 = ftime.dwHighDateTime;
651     *p2 = ftime.dwLowDateTime;
652
653     return 0;
654 }
655
656 static int
657 CheckOGM(FdHandle_t *fdP, int p1)
658 {
659     int ogm_p1, ogm_p2;
660
661     if (GetWinOGM(fdP->fd_fd, &ogm_p1, &ogm_p2)) {
662         return -1;
663     }
664
665     if (ogm_p1 != p1) {
666         return -1;
667     }
668
669     return 0;
670 }
671
672 static int
673 FixSpecialOGM(FdHandle_t *fdP, int check)
674 {
675     Inode ino = fdP->fd_ih->ih_ino;
676     VnodeId vno = NAMEI_VNODESPECIAL, ogm_vno;
677     int ogm_volid;
678
679     if (GetWinOGM(fdP->fd_fd, &ogm_volid, &ogm_vno)) {
680         return -1;
681     }
682
683     /* the only thing we can check is the vnode number; for the volid we have
684      * nothing else to compare against */
685     if (vno != ogm_vno) {
686         if (check) {
687             return -1;
688         }
689         if (SetWinOGM(fdP->fd_fd, ogm_volid, vno)) {
690             return -1;
691         }
692     }
693     return 0;
694 }
695
696 #else /* AFS_NT40_ENV */
697 /* SetOGM - set owner group and mode bits from parm and tag */
698 static int
699 SetOGM(FD_t fd, int parm, int tag)
700 {
701 /*
702  * owner - low 15 bits of parm.
703  * group - next 15 bits of parm.
704  * mode - 2 bits of parm, then lowest = 3 bits of tag.
705  */
706     int owner, group, mode;
707
708     owner = parm & 0x7fff;
709     group = (parm >> 15) & 0x7fff;
710     if (fchown(fd, owner, group) < 0)
711         return -1;
712
713     mode = (parm >> 27) & 0x18;
714     mode |= tag & 0x7;
715     if (fchmod(fd, mode) < 0)
716         return -1;
717     return 0;
718 }
719
720 /* GetOGM - get parm and tag from owner, group and mode bits. */
721 static void
722 GetOGMFromStat(struct afs_stat_st *status, int *parm, int *tag)
723 {
724     *parm = status->st_uid | (status->st_gid << 15);
725     *parm |= (status->st_mode & 0x18) << 27;
726     *tag = status->st_mode & 0x7;
727 }
728
729 static int
730 GetOGM(FdHandle_t *fdP, int *parm, int *tag)
731 {
732     struct afs_stat_st status;
733     if (afs_fstat(fdP->fd_fd, &status) < 0)
734         return -1;
735     GetOGMFromStat(&status, parm, tag);
736     return 0;
737 }
738
739 static int
740 CheckOGM(FdHandle_t *fdP, int p1)
741 {
742     int parm, tag;
743
744     if (GetOGM(fdP, &parm, &tag) < 0)
745         return -1;
746     if (parm != p1)
747         return -1;
748
749     return 0;
750 }
751
752 static int
753 FixSpecialOGM(FdHandle_t *fdP, int check)
754 {
755     int inode_volid, ogm_volid;
756     int inode_type, ogm_type;
757     Inode ino = fdP->fd_ih->ih_ino;
758
759     inode_volid = ((ino >> NAMEI_UNIQSHIFT) & NAMEI_UNIQMASK);
760     inode_type = (int)((ino >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
761
762     if (GetOGM(fdP, &ogm_volid, &ogm_type) < 0) {
763         Log("Error retrieving OGM info\n");
764         return -1;
765     }
766
767     if (inode_volid != ogm_volid || inode_type != ogm_type) {
768         Log("%sIncorrect OGM data (ino: vol %u type %d) (ogm: vol %u type %d)\n",
769             check?"":"Fixing ", inode_volid, inode_type, ogm_volid, ogm_type);
770
771         if (check) {
772             return -1;
773         }
774
775         if (SetOGM(fdP->fd_fd, inode_volid, inode_type) < 0) {
776             Log("Error setting OGM data\n");
777             return -1;
778         }
779     }
780     return 0;
781 }
782
783 #endif /* !AFS_NT40_ENV */
784
785 /**
786  * Check/fix the OGM data for an inode
787  *
788  * @param[in] fdP   Open file handle for the inode to check
789  * @param[in] check 1 to just check the OGM data, and return an error if it
790  *                  is incorrect. 0 to fix the OGM data if it is incorrect.
791  *
792  * @pre fdP must be for a special inode
793  *
794  * @return status
795  *  @retval 0 success
796  *  @retval -1 error
797  */
798 int
799 namei_FixSpecialOGM(FdHandle_t *fdP, int check)
800 {
801     int vnode;
802     Inode ino = fdP->fd_ih->ih_ino;
803
804     vnode = (int)(ino & NAMEI_VNODEMASK);
805     if (vnode != NAMEI_VNODESPECIAL) {
806         Log("FixSpecialOGM: non-special vnode %u\n", vnode);
807         return -1;
808     }
809
810     return FixSpecialOGM(fdP, check);
811 }
812
813 int big_vno = 0;                /* Just in case we ever do 64 bit vnodes. */
814
815 /* Derive the name and create it O_EXCL. If that fails we have an error.
816  * Get the tag from a free column in the link table.
817  */
818 #ifdef AFS_NT40_ENV
819 Inode
820 namei_icreate(IHandle_t * lh, char *part, afs_uint32 p1, afs_uint32 p2, afs_uint32 p3, afs_uint32 p4)
821 {
822     namei_t name;
823     FD_t fd = INVALID_FD;
824     int code = 0;
825     int created_dir = 0;
826     IHandle_t tmp;
827     FdHandle_t *fdP;
828     FdHandle_t tfd;
829     int type, tag;
830     int ogm_p1, ogm_p2;
831     char *p;
832     b32_string_t str1;
833
834     memset((void *)&tmp, 0, sizeof(IHandle_t));
835     memset(&tfd, 0, sizeof(FdHandle_t));
836
837     tmp.ih_dev = nt_DriveToDev(part);
838     if (tmp.ih_dev == -1) {
839         errno = EINVAL;
840         return -1;
841     }
842
843     if (p2 == INODESPECIAL) {
844         /* Parameters for special file:
845          * p1 - volume id - goes into owner/group/mode
846          * p2 - vnode == INODESPECIAL
847          * p3 - type
848          * p4 - parent volume id
849          */
850         ogm_p1 = p1;
851         ogm_p2 = p2;
852         type = p3;
853         tmp.ih_vid = p4;        /* Use parent volume id, where this file will be. */
854         tmp.ih_ino = namei_MakeSpecIno(p1, p3);
855     } else {
856         int vno = p2 & NAMEI_VNODEMASK;
857         /* Parameters for regular file:
858          * p1 - volume id
859          * p2 - vnode
860          * p3 - uniq
861          * p4 - dv
862          */
863
864         if (vno != p2) {
865             big_vno++;
866             errno = EINVAL;
867             return -1;
868         }
869
870         tmp.ih_vid = p1;
871         tmp.ih_ino = (Inode) p2;
872         ogm_p1 = p3;
873         ogm_p2 = p4;
874     }
875
876     namei_HandleToName(&name, &tmp);
877     p = strrchr((char *)&name.n_path, '.');
878     p++;
879     for (tag = 0; tag < NAMEI_MAXVOLS; tag++) {
880         *p = *int_to_base32(str1, tag);
881         fd = OS_OPEN((char *)&name.n_path, O_CREAT | O_RDWR | O_EXCL, 0666);
882         if (fd == INVALID_FD) {
883             if (errno == ENOTDIR || errno == ENOENT) {
884                 if (namei_CreateDataDirectories(&name, &created_dir) == 0)
885                     fd = OS_OPEN((char *)&name.n_path, O_CREAT | O_RDWR | O_EXCL, 0666);
886             }
887         }
888
889         if (fd != INVALID_FD)
890             break;
891         if (p2 == INODESPECIAL && p3 == VI_LINKTABLE)
892             break;
893     }
894     if (fd == INVALID_FD) {
895         code = -1;
896         goto bad;
897     }
898     tmp.ih_ino &= ~(((Inode) NAMEI_TAGMASK) << NAMEI_TAGSHIFT);
899     tmp.ih_ino |= (((Inode) tag) << NAMEI_TAGSHIFT);
900
901     if (!code) {
902         if (SetWinOGM(fd, ogm_p1, ogm_p2)) {
903             errno = OS_ERROR(EBADF);
904             code = -1;
905         }
906     }
907
908     if (!code) {
909         if (p2 != INODESPECIAL) {
910             if (fd == INVALID_FD) {
911                 errno = ENOENT;
912                 code = nt_unlink((char *)&name.n_path);
913                 code = -1;
914                 goto bad;
915             }
916             fdP = IH_OPEN(lh);
917             if (fdP == NULL) {
918                 code = -1;
919                 goto bad;
920             }
921             code = namei_SetLinkCount(fdP, tmp.ih_ino, 1, 0);
922             FDH_CLOSE(fdP);
923         } else if (p2 == INODESPECIAL && p3 == VI_LINKTABLE) {
924             if (fd == INVALID_FD)
925                 goto bad;
926             /* hack at tmp to setup for set link count call. */
927             tfd.fd_fd = fd;
928             code = namei_SetLinkCount(&tfd, (Inode) 0, 1, 0);
929         }
930     }
931
932 bad:
933     if (fd != INVALID_FD)
934         OS_CLOSE(fd);
935
936     if (code || (fd == INVALID_FD)) {
937         if (p2 != INODESPECIAL) {
938             fdP = IH_OPEN(lh);
939             if (fdP) {
940                 namei_SetLinkCount(fdP, tmp.ih_ino, 0, 0);
941                 FDH_CLOSE(fdP);
942             }
943         }
944
945         if (created_dir) {
946             int save_errno = errno;
947             namei_RemoveDataDirectories(&name);
948             errno = save_errno;
949         }
950     }
951     return (code || (fd == INVALID_FD)) ? (Inode) -1 : tmp.ih_ino;
952 }
953 #else /* !AFS_NT40_ENV */
954 Inode
955 icreate(IHandle_t * lh, char *part, afs_uint32 p1, afs_uint32 p2, afs_uint32 p3, afs_uint32 p4,
956         FD_t *afd, Inode *ainode)
957 {
958     namei_t name;
959     int fd = INVALID_FD;
960     int code = 0;
961     int created_dir = 0;
962     IHandle_t tmp;
963     FdHandle_t *fdP;
964     FdHandle_t tfd;
965     int tag;
966     int ogm_parm;
967
968     memset((void *)&tmp, 0, sizeof(IHandle_t));
969     memset(&tfd, 0, sizeof(FdHandle_t));
970
971     tmp.ih_dev = volutil_GetPartitionID(part);
972     if (tmp.ih_dev == -1) {
973         errno = EINVAL;
974         return -1;
975     }
976
977     if (p2 == -1) {
978         /* Parameters for special file:
979          * p1 - volume id - goes into owner/group/mode
980          * p2 - vnode == -1
981          * p3 - type
982          * p4 - parent volume id
983          */
984         ogm_parm = p1;
985
986         tag = p3;
987         tmp.ih_vid = p4;        /* Use parent volume id, where this file will be. */
988         tmp.ih_ino = namei_MakeSpecIno(p1, p3);
989     } else {
990         int vno = p2 & NAMEI_VNODEMASK;
991         /* Parameters for regular file:
992          * p1 - volume id
993          * p2 - vnode
994          * p3 - uniq
995          * p4 - dv
996          */
997
998         if (vno != p2) {
999             big_vno++;
1000             errno = EINVAL;
1001             return -1;
1002         }
1003         /* If GetFreeTag succeeds, it atomically sets link count to 1. */
1004         tag = GetFreeTag(lh, p2);
1005         if (tag < 0)
1006             goto bad;
1007
1008         tmp.ih_vid = p1;
1009         tmp.ih_ino = (Inode) p2;
1010         /* name is <uniq(p3)><tag><vno(p2)> */
1011         tmp.ih_ino |= ((Inode) tag) << NAMEI_TAGSHIFT;
1012         tmp.ih_ino |= ((Inode) p3) << NAMEI_UNIQSHIFT;
1013
1014         ogm_parm = p4;
1015     }
1016
1017     namei_HandleToName(&name, &tmp);
1018     fd = OS_OPEN(name.n_path, O_CREAT | O_EXCL | O_RDWR, 0);
1019     if (fd == INVALID_FD) {
1020         if (errno == ENOTDIR || errno == ENOENT) {
1021             if (namei_CreateDataDirectories(&name, &created_dir) < 0)
1022                 goto bad;
1023             fd = OS_OPEN(name.n_path, O_CREAT | O_EXCL | O_RDWR,
1024                           0);
1025             if (fd == INVALID_FD)
1026                 goto bad;
1027         } else {
1028             goto bad;
1029         }
1030     }
1031     if (SetOGM(fd, ogm_parm, tag) < 0) {
1032         OS_CLOSE(fd);
1033         fd = INVALID_FD;
1034         goto bad;
1035     }
1036
1037     if (p2 == (afs_uint32)-1 && p3 == VI_LINKTABLE) {
1038         /* hack at tmp to setup for set link count call. */
1039         memset((void *)&tfd, 0, sizeof(FdHandle_t));    /* minimalistic still, but a little cleaner */
1040         tfd.fd_ih = &tmp;
1041         tfd.fd_fd = fd;
1042         code = namei_SetLinkCount(&tfd, (Inode) 0, 1, 0);
1043     }
1044
1045   bad:
1046     if (code || (fd == INVALID_FD)) {
1047         if (p2 != -1) {
1048             fdP = IH_OPEN(lh);
1049             if (fdP) {
1050                 namei_SetLinkCount(fdP, tmp.ih_ino, 0, 0);
1051                 FDH_CLOSE(fdP);
1052             }
1053         }
1054     }
1055
1056     *afd = fd;
1057     *ainode = tmp.ih_ino;
1058
1059     return code;
1060 }
1061
1062 Inode
1063 namei_icreate(IHandle_t * lh, char *part,
1064               afs_uint32 p1, afs_uint32 p2, afs_uint32 p3, afs_uint32 p4)
1065 {
1066     Inode ino = 0;
1067     int fd = INVALID_FD;
1068     int code;
1069
1070     code = icreate(lh, part, p1, p2, p3, p4, &fd, &ino);
1071     if (fd != INVALID_FD) {
1072         close(fd);
1073     }
1074     return (code || (fd == INVALID_FD)) ? (Inode) - 1 : ino;
1075 }
1076
1077 IHandle_t *
1078 namei_icreate_init(IHandle_t * lh, int dev, char *part,
1079                    afs_uint32 p1, afs_uint32 p2, afs_uint32 p3, afs_uint32 p4)
1080 {
1081     Inode ino = 0;
1082     int fd = INVALID_FD;
1083     int code;
1084     IHandle_t *ihP;
1085     FdHandle_t *fdP;
1086
1087     code = icreate(lh, part, p1, p2, p3, p4, &fd, &ino);
1088     if (fd == INVALID_FD) {
1089         return NULL;
1090     }
1091     if (code) {
1092         close(fd);
1093         return NULL;
1094     }
1095
1096     IH_INIT(ihP, dev, p1, ino);
1097     fdP = ih_attachfd(ihP, fd);
1098     if (!fdP) {
1099         close(fd);
1100     } else {
1101         FDH_CLOSE(fdP);
1102     }
1103
1104     return ihP;
1105 }
1106 #endif
1107
1108 /* namei_iopen */
1109 FD_t
1110 namei_iopen(IHandle_t * h)
1111 {
1112     FD_t fd;
1113     namei_t name;
1114
1115     /* Convert handle to file name. */
1116     namei_HandleToName(&name, h);
1117     fd = OS_OPEN((char *)&name.n_path, O_RDWR, 0666);
1118     return fd;
1119 }
1120
1121 /* Need to detect vol special file and just unlink. In those cases, the
1122  * handle passed in _is_ for the inode. We only check p1 for the special
1123  * files.
1124  */
1125 int
1126 namei_dec(IHandle_t * ih, Inode ino, int p1)
1127 {
1128     int count = 0;
1129     namei_t name;
1130     int code = 0;
1131     FdHandle_t *fdP;
1132
1133     if ((ino & NAMEI_INODESPECIAL) == NAMEI_INODESPECIAL) {
1134         IHandle_t *tmp;
1135         int type = (int)((ino >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
1136
1137         /* Verify this is the right file. */
1138         IH_INIT(tmp, ih->ih_dev, ih->ih_vid, ino);
1139
1140         namei_HandleToName(&name, tmp);
1141
1142         fdP = IH_OPEN(tmp);
1143         if (fdP == NULL) {
1144             IH_RELEASE(tmp);
1145             errno = OS_ERROR(ENOENT);
1146             return -1;
1147         }
1148
1149         if (CheckOGM(fdP, p1) < 0) {
1150             FDH_REALLYCLOSE(fdP);
1151             IH_RELEASE(tmp);
1152             errno = OS_ERROR(EINVAL);
1153             return -1;
1154         }
1155
1156         /* If it's the link table itself, decrement the link count. */
1157         if (type == VI_LINKTABLE) {
1158           if ((count = namei_GetLinkCount(fdP, (Inode) 0, 1, 0, 1)) < 0) {
1159                 FDH_REALLYCLOSE(fdP);
1160                 IH_RELEASE(tmp);
1161                 return -1;
1162             }
1163
1164             count--;
1165             if (namei_SetLinkCount(fdP, (Inode) 0, count < 0 ? 0 : count, 1) <
1166                 0) {
1167                 FDH_REALLYCLOSE(fdP);
1168                 IH_RELEASE(tmp);
1169                 return -1;
1170             }
1171
1172             if (count > 0) {
1173                 FDH_CLOSE(fdP);
1174                 IH_RELEASE(tmp);
1175                 return 0;
1176             }
1177         }
1178
1179         if ((code = OS_UNLINK(name.n_path)) == 0) {
1180             if (type == VI_LINKTABLE) {
1181                 /* Try to remove directory. If it fails, that's ok.
1182                  * Salvage will clean up.
1183                  */
1184                 char *slash = strrchr(name.n_path, OS_DIRSEPC);
1185                 if (slash) {
1186                     /* avoid an rmdir() on the file we just unlinked */
1187                     *slash = '\0';
1188                 }
1189                 (void)namei_RemoveDataDirectories(&name);
1190             }
1191         }
1192         FDH_REALLYCLOSE(fdP);
1193         IH_RELEASE(tmp);
1194     } else {
1195         /* Get a file descriptor handle for this Inode */
1196         fdP = IH_OPEN(ih);
1197         if (fdP == NULL) {
1198             return -1;
1199         }
1200
1201         if ((count = namei_GetLinkCount(fdP, ino, 1, 0, 1)) < 0) {
1202             FDH_REALLYCLOSE(fdP);
1203             return -1;
1204         }
1205
1206         count--;
1207         if (count >= 0) {
1208             if (namei_SetLinkCount(fdP, ino, count, 1) < 0) {
1209                 FDH_REALLYCLOSE(fdP);
1210                 return -1;
1211             }
1212         } else {
1213             IHandle_t *th;
1214             IH_INIT(th, ih->ih_dev, ih->ih_vid, ino);
1215             Log("Warning: Lost ref on ihandle dev %d vid %" AFS_VOLID_FMT " ino %lld\n",
1216                 th->ih_dev, afs_printable_VolumeId_lu(th->ih_vid), (afs_int64)th->ih_ino);
1217             IH_RELEASE(th);
1218
1219             /* If we're less than 0, someone presumably unlinked;
1220                don't bother setting count to 0, but we need to drop a lock */
1221             if (namei_SetLinkCount(fdP, ino, 0, 1) < 0) {
1222                 FDH_REALLYCLOSE(fdP);
1223                 return -1;
1224             }
1225         }
1226         if (count == 0) {
1227             IHandle_t *th;
1228             IH_INIT(th, ih->ih_dev, ih->ih_vid, ino);
1229
1230             namei_HandleToName(&name, th);
1231             IH_RELEASE(th);
1232             code = OS_UNLINK(name.n_path);
1233         }
1234         FDH_CLOSE(fdP);
1235     }
1236
1237     return code;
1238 }
1239
1240 int
1241 namei_inc(IHandle_t * h, Inode ino, int p1)
1242 {
1243     int count;
1244     int code = 0;
1245     FdHandle_t *fdP;
1246
1247     if ((ino & NAMEI_INODESPECIAL) == NAMEI_INODESPECIAL) {
1248         int type = (int)((ino >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
1249         if (type != VI_LINKTABLE)
1250             return 0;
1251         ino = (Inode) 0;
1252     }
1253
1254     /* Get a file descriptor handle for this Inode */
1255     fdP = IH_OPEN(h);
1256     if (fdP == NULL) {
1257         return -1;
1258     }
1259
1260     if ((count = namei_GetLinkCount(fdP, ino, 1, 0, 1)) < 0)
1261         code = -1;
1262     else {
1263         count++;
1264         if (count > 7) {
1265             errno = OS_ERROR(EINVAL);
1266             code = -1;
1267             count = 7;
1268         }
1269         if (namei_SetLinkCount(fdP, ino, count, 1) < 0)
1270             code = -1;
1271     }
1272     if (code) {
1273         FDH_REALLYCLOSE(fdP);
1274     } else {
1275         FDH_CLOSE(fdP);
1276     }
1277     return code;
1278 }
1279
1280 #ifndef AFS_NT40_ENV
1281 int
1282 namei_replace_file_by_hardlink(IHandle_t *hLink, IHandle_t *hTarget)
1283 {
1284     afs_int32 code;
1285     namei_t nameLink;
1286     namei_t nameTarget;
1287
1288     /* Convert handle to file name. */
1289     namei_HandleToName(&nameLink, hLink);
1290     namei_HandleToName(&nameTarget, hTarget);
1291
1292     OS_UNLINK(nameLink.n_path);
1293     code = link(nameTarget.n_path, nameLink.n_path);
1294     return code;
1295 }
1296
1297 int
1298 namei_copy_on_write(IHandle_t *h)
1299 {
1300     afs_int32 code = 0;
1301     FD_t fd;
1302     namei_t name;
1303     FdHandle_t *fdP;
1304     struct afs_stat_st tstat;
1305     afs_foff_t offset;
1306
1307     namei_HandleToName(&name, h);
1308     if (afs_stat(name.n_path, &tstat) < 0)
1309         return EIO;
1310     if (tstat.st_nlink > 1) {                   /* do a copy on write */
1311         char path[259];
1312         char *buf;
1313         afs_size_t size;
1314         ssize_t tlen;
1315
1316         fdP = IH_OPEN(h);
1317         if (!fdP)
1318             return EIO;
1319         snprintf(path, sizeof(path), "%s-tmp", name.n_path);
1320         fd = OS_OPEN(path, O_CREAT | O_EXCL | O_RDWR, 0);
1321         if (fd == INVALID_FD) {
1322             FDH_CLOSE(fdP);
1323             return EIO;
1324         }
1325         buf = malloc(8192);
1326         if (!buf) {
1327             OS_CLOSE(fd);
1328             OS_UNLINK(path);
1329             FDH_CLOSE(fdP);
1330             return ENOMEM;
1331         }
1332         size = tstat.st_size;
1333         offset = 0;
1334         while (size) {
1335             tlen = size > 8192 ? 8192 : size;
1336             if (FDH_PREAD(fdP, buf, tlen, offset) != tlen)
1337                 break;
1338             if (OS_WRITE(fd, buf, tlen) != tlen)
1339                 break;
1340             size -= tlen;
1341             offset += tlen;
1342         }
1343         OS_CLOSE(fd);
1344         FDH_REALLYCLOSE(fdP);
1345         free(buf);
1346         if (size)
1347             code = EIO;
1348         else {
1349             OS_UNLINK(name.n_path);
1350             code = rename(path, name.n_path);
1351         }
1352     }
1353     return code;
1354 }
1355 #endif
1356
1357 /************************************************************************
1358  * File Name Structure
1359  ************************************************************************
1360  *
1361  * Each AFS file needs a unique name and it needs to be findable with
1362  * minimal lookup time. Note that the constraint on the number of files and
1363  * directories in a volume is the size of the vnode index files and the
1364  * max file size AFS supports (for internal files) of 2^31. Since a record
1365  * in the small vnode index file is 64 bytes long, we can have at most
1366  * (2^31)/64 or 33554432 files. A record in the large index file is
1367  * 256 bytes long, giving a maximum of (2^31)/256 = 8388608 directories.
1368  * Another layout parameter is that there is roughly a 16 to 1 ratio between
1369  * the number of files and the number of directories.
1370  *
1371  * Using this information we can see that a layout of 256 directories, each
1372  * with 512 subdirectories and each of those having 512 files gives us
1373  * 256*512*512 = 67108864 AFS files and directories.
1374  *
1375  * The volume, vnode, uniquifier and data version, as well as the tag
1376  * are required, either for finding the file or for salvaging. It's best to
1377  * restrict the name to something that can be mapped into 64 bits so the
1378  * "Inode" is easily comparable (using "==") to other "Inodes". The tag
1379  * is used to distinguish between different versions of the same file
1380  * which are currently in the RW and clones of a volume. See "Link Table
1381  * Organization" below for more information on the tag. The tag is
1382  * required in the name of the file to ensure a unique name.
1383  *
1384  * ifdef AFS_NT40_ENV
1385  * The data for each volume group is in a separate directory. The name of the
1386  * volume is of the form: Vol_NNNNNN.data, where NNNNNN is a base 32
1387  * representation of the RW volume ID (even where the RO is the only volume
1388  * on the partition). Below that are separate subdirectories for the
1389  * AFS directories and special files. There are also 16 directories for files,
1390  * hashed on the low 5 bits (recall bit0 is always 0) of the vnode number.
1391  * These directories are named:
1392  * A - P - 16 file directories.
1393  * Q ----- data directory
1394  * R ----- special files directory
1395  *
1396  * The vnode is hashed into the directory using the low bits of the
1397  * vnode number.
1398  *
1399  * The format of a file name for a regular file is:
1400  * Y:\Vol_NNNNNN.data\X\V_IIIIII.J
1401  * Y - partition encoded as drive letter, starting with D
1402  * NNNNNN - base 32 encoded volume number of RW volume
1403  * X - hash directory, as above
1404  * IIIIII - base 32 encoded vnode number
1405  * J - base 32 encoded tag
1406  *
1407  * uniq is stored in the dwHighDateTime creation time field
1408  * dv is stored in the dwLowDateTime creation time field
1409  *
1410  * Special inodes are always in the R directory, as above, and are
1411  * encoded:
1412  * True child volid is stored in the dwHighDateTime creation time field
1413  * vnode number is always -1 (Special)
1414  * type is the IIIIII part of the filename
1415  * uniq is the J part of the filename
1416  * parent volume id is implied in the containing directory
1417  *
1418  * else
1419  * We can store data in the uid, gid and mode bits of the files, provided
1420  * the directories have root only access. This gives us 15 bits for each
1421  * of uid and gid (GNU chown considers 65535 to mean "don't change").
1422  * There are 9 available mode bits. Adn we need to store a total of
1423  * 32 (volume id) + 26 (vnode) + 32 (uniquifier) + 32 (data-version) + 3 (tag)
1424  * or 131 bits somewhere.
1425  *
1426  * The format of a file name for a regular file is:
1427  * /vicepX/AFSIDat/V1/V2/AA/BB/<tag><uniq><vno>
1428  * V1 - low 8 bits of RW volume id
1429  * V2 - all bits of RW volume id
1430  * AA - high 8 bits of vnode number.
1431  * BB - next 9 bits of vnode number.
1432  * <tag><uniq><vno> - file name
1433  *
1434  * Volume special files are stored in a separate directory:
1435  * /vicepX/AFSIDat/V1/V2/special/<tag><uniq><vno>
1436  *
1437  *
1438  * The vnode is hashed into the directory using the high bits of the
1439  * vnode number. This is so that consecutively created vnodes are in
1440  * roughly the same area on the disk. This will at least be optimal if
1441  * the user is creating many files in the same AFS directory. The name
1442  * should be formed so that the leading characters are different as quickly
1443  * as possible, leading to faster discards of incorrect matches in the
1444  * lookup code.
1445  *
1446  * endif
1447  *
1448  */
1449
1450
1451 /************************************************************************
1452  *  Link Table Organization
1453  ************************************************************************
1454  *
1455  * The link table volume special file is used to hold the link counts that
1456  * are held in the inodes in inode based AFS vice filesystems. For user
1457  * space access, the link counts are being kept in a separate
1458  * volume special file. The file begins with the usual version stamp
1459  * information and is then followed by one row per vnode number. vnode 0
1460  * is used to hold the link count of the link table itself. That is because
1461  * the same link table is shared among all the volumes of the volume group
1462  * and is deleted only when the last volume of a volume group is deleted.
1463  *
1464  * Within each row, the columns are 3 bits wide. They can each hold a 0 based
1465  * link count from 0 through 7. Each colume represents a unique instance of
1466  * that vnode. Say we have a file shared between the RW and a RO and a
1467  * different version of the file (or a different uniquifer) for the BU volume.
1468  * Then one column would be holding the link count of 2 for the RW and RO
1469  * and a different column would hold the link count of 1 for the BU volume.
1470  * # ifdef AFS_NT40_ENV
1471  * The column used is determined for NT by the uniquifier tag applied to
1472  * generate a unique file name in the NTFS namespace. The file name is
1473  * of the form "V_<vno>.<tag>" . And the <tag> is also the column number
1474  * in the link table.
1475  * # else
1476  * Note that we allow only 5 volumes per file, giving 15 bits used in the
1477  * short.
1478  * # endif
1479  */
1480 #define LINKTABLE_WIDTH 2
1481 #define LINKTABLE_SHIFT 1       /* log 2 = 1 */
1482
1483 /**
1484  * compute namei link table file and bit offset from inode number.
1485  *
1486  * @param[in]   ino     inode number
1487  * @param[out]  offset  link table file offset
1488  * @param[out]  index   bit offset within 2-byte record
1489  *
1490  * @internal
1491  */
1492 static void
1493 namei_GetLCOffsetAndIndexFromIno(Inode ino, afs_foff_t * offset, int *index)
1494 {
1495     int toff = (int)(ino & NAMEI_VNODEMASK);
1496     int tindex = (int)((ino >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
1497
1498     *offset = (afs_foff_t) ((toff << LINKTABLE_SHIFT) + 8);     /* * 2 + sizeof stamp */
1499     *index = (tindex << 1) + tindex;
1500 }
1501
1502 #ifdef AFS_PTHREAD_ENV
1503 /* XXX do static initializers work for WINNT/pthread? */
1504 pthread_mutex_t _namei_glc_lock = PTHREAD_MUTEX_INITIALIZER;
1505 #define NAMEI_GLC_LOCK opr_mutex_enter(&_namei_glc_lock)
1506 #define NAMEI_GLC_UNLOCK opr_mutex_exit(&_namei_glc_lock)
1507 #else /* !AFS_PTHREAD_ENV */
1508 #define NAMEI_GLC_LOCK
1509 #define NAMEI_GLC_UNLOCK
1510 #endif /* !AFS_PTHREAD_ENV */
1511
1512 /**
1513  * get the link count of an inode.
1514  *
1515  * @param[in]  h        namei link count table file handle
1516  * @param[in]  ino      inode number for which we are requesting a link count
1517  * @param[in]  lockit   if asserted, return with lock held on link table file
1518  * @param[in]  fixup    if asserted, write 1 to link count when read() returns
1519  *                      zero (at EOF)
1520  * @param[in]  nowrite  return success on zero byte read or ZLC
1521  *
1522  * @post if lockit asserted and lookup was successful, will return with write
1523  *       lock on link table file descriptor
1524  *
1525  * @return link count
1526  *    @retval -1 namei link table i/o error
1527  *
1528  * @internal
1529  */
1530 int
1531 namei_GetLinkCount(FdHandle_t * h, Inode ino, int lockit, int fixup, int nowrite)
1532 {
1533     unsigned short row = 0;
1534     afs_foff_t offset;
1535     ssize_t rc;
1536     int index;
1537
1538     /* there's no linktable yet. the salvager will create one later */
1539     if (h->fd_fd == INVALID_FD && fixup)
1540        return 1;
1541     namei_GetLCOffsetAndIndexFromIno(ino, &offset, &index);
1542
1543     if (lockit) {
1544         if (FDH_LOCKFILE(h, offset) != 0)
1545             return -1;
1546     }
1547
1548     rc = FDH_PREAD(h, (char*)&row, sizeof(row), offset);
1549     if (rc == -1)
1550         goto bad_getLinkByte;
1551
1552     if ((rc == 0 || !((row >> index) & NAMEI_TAGMASK)) && fixup && nowrite)
1553         return 1;
1554     if (rc == 0 && fixup) {
1555         /*
1556          * extend link table and write a link count of 1 for ino
1557          *
1558          * in order to make MT-safe, truncation (extension really)
1559          * must happen under a mutex
1560          */
1561         NAMEI_GLC_LOCK;
1562         if (FDH_SIZE(h) >= offset+sizeof(row)) {
1563             NAMEI_GLC_UNLOCK;
1564             goto bad_getLinkByte;
1565         }
1566         FDH_TRUNC(h, offset+sizeof(row));
1567         row = 1 << index;
1568         rc = FDH_PWRITE(h, (char *)&row, sizeof(row), offset);
1569         NAMEI_GLC_UNLOCK;
1570     }
1571     if (rc != sizeof(row)) {
1572         goto bad_getLinkByte;
1573     }
1574
1575     if (fixup && !((row >> index) & NAMEI_TAGMASK)) {
1576         /*
1577          * fix up zlc
1578          *
1579          * in order to make this mt-safe, we need to do the read-modify-write
1580          * under a mutex.  thus, we repeat the read inside the lock.
1581          */
1582         NAMEI_GLC_LOCK;
1583         rc = FDH_PREAD(h, (char *)&row, sizeof(row), offset);
1584         if (rc == sizeof(row)) {
1585             row |= 1<<index;
1586             rc = FDH_PWRITE(h, (char *)&row, sizeof(row), offset);
1587         }
1588         NAMEI_GLC_UNLOCK;
1589         if (rc != sizeof(row))
1590             goto bad_getLinkByte;
1591     }
1592
1593     return (int)((row >> index) & NAMEI_TAGMASK);
1594
1595   bad_getLinkByte:
1596     if (lockit)
1597         FDH_UNLOCKFILE(h, offset);
1598     return -1;
1599 }
1600
1601 int
1602 namei_SetNonZLC(FdHandle_t * h, Inode ino)
1603 {
1604     return namei_GetLinkCount(h, ino, 0, 1, 0);
1605 }
1606
1607 /* Return a free column index for this vnode. */
1608 static int
1609 GetFreeTag(IHandle_t * ih, int vno)
1610 {
1611     FdHandle_t *fdP;
1612     afs_foff_t offset;
1613     int col;
1614     int coldata;
1615     short row;
1616     ssize_t nBytes;
1617
1618
1619     fdP = IH_OPEN(ih);
1620     if (fdP == NULL)
1621         return -1;
1622
1623     /* Only one manipulates at a time. */
1624     if (FDH_LOCKFILE(fdP, offset) != 0) {
1625         FDH_REALLYCLOSE(fdP);
1626         return -1;
1627     }
1628
1629     offset = (vno << LINKTABLE_SHIFT) + 8;      /* * 2 + sizeof stamp */
1630
1631     nBytes = FDH_PREAD(fdP, (char *)&row, sizeof(row), offset);
1632     if (nBytes != sizeof(row)) {
1633         if (nBytes != 0)
1634             goto badGetFreeTag;
1635         row = 0;
1636     }
1637
1638     /* Now find a free column in this row and claim it. */
1639     for (col = 0; col < NAMEI_MAXVOLS; col++) {
1640         coldata = 7 << (col * 3);
1641         if ((row & coldata) == 0)
1642             break;
1643     }
1644     if (col >= NAMEI_MAXVOLS) {
1645         errno = ENOSPC;
1646         goto badGetFreeTag;
1647     }
1648
1649     coldata = 1 << (col * 3);
1650     row |= coldata;
1651
1652     if (FDH_PWRITE(fdP, (char *)&row, sizeof(row), offset) != sizeof(row)) {
1653         goto badGetFreeTag;
1654     }
1655     (void)FDH_SYNC(fdP);
1656     FDH_UNLOCKFILE(fdP, offset);
1657     FDH_CLOSE(fdP);
1658     return col;
1659
1660   badGetFreeTag:
1661     FDH_UNLOCKFILE(fdP, offset);
1662     FDH_REALLYCLOSE(fdP);
1663     return -1;
1664 }
1665
1666
1667
1668 /* namei_SetLinkCount
1669  * If locked is set, assume file is locked. Otherwise, lock file before
1670  * proceeding to modify it.
1671  */
1672 int
1673 namei_SetLinkCount(FdHandle_t * fdP, Inode ino, int count, int locked)
1674 {
1675     afs_foff_t offset;
1676     int index;
1677     unsigned short row;
1678     int bytesRead;
1679     ssize_t nBytes = -1;
1680
1681     namei_GetLCOffsetAndIndexFromIno(ino, &offset, &index);
1682
1683     if (!locked) {
1684         if (FDH_LOCKFILE(fdP, offset) != 0) {
1685             return -1;
1686         }
1687     }
1688
1689     nBytes = FDH_PREAD(fdP, (char *)&row, sizeof(row), offset);
1690     if (nBytes != sizeof(row)) {
1691         if (nBytes != 0) {
1692             errno = OS_ERROR(EBADF);
1693             goto bad_SetLinkCount;
1694         }
1695         row = 0;
1696     }
1697
1698     bytesRead = 7 << index;
1699     count <<= index;
1700     row &= (unsigned short)~bytesRead;
1701     row |= (unsigned short)count;
1702
1703     if (FDH_PWRITE(fdP, (char *)&row, sizeof(short), offset) != sizeof(short)) {
1704         errno = OS_ERROR(EBADF);
1705         goto bad_SetLinkCount;
1706     }
1707     (void)FDH_SYNC(fdP);
1708
1709     nBytes = 0;
1710
1711
1712   bad_SetLinkCount:
1713     FDH_UNLOCKFILE(fdP, offset);
1714
1715     /* disallowed above 7, so... */
1716     return (int)nBytes;
1717 }
1718
1719
1720 /* ListViceInodes - write inode data to a results file. */
1721 static int DecodeInode(char *dpath, char *name, struct ViceInodeInfo *info,
1722                        IHandle_t *myIH);
1723 static int DecodeVolumeName(char *name, VolumeId *vid);
1724 static int namei_ListAFSSubDirs(IHandle_t * dirIH,
1725                                 int (*write_fun) (FD_t,
1726                                                   struct ViceInodeInfo *,
1727                                                   char *, char *), FD_t fp,
1728                                 int (*judgeFun) (struct ViceInodeInfo *,
1729                                                  VolumeId vid, void *),
1730                                 VolumeId singleVolumeNumber, void *rock);
1731
1732
1733 /* WriteInodeInfo
1734  *
1735  * Write the inode data to the results file.
1736  *
1737  * Returns -2 on error, 0 on success.
1738  *
1739  * This is written as a callback simply so that other listing routines
1740  * can use the same inode reading code.
1741  */
1742 static int
1743 WriteInodeInfo(FD_t fp, struct ViceInodeInfo *info, char *dir, char *name)
1744 {
1745     size_t n;
1746     n = OS_WRITE(fp, info, sizeof(*info));
1747     return (n == sizeof(*info)) ? 0 : -2;
1748 }
1749
1750
1751 int mode_errors;                /* Number of errors found in mode bits on directories. */
1752 void
1753 VerifyDirPerms(char *path)
1754 {
1755     struct afs_stat_st status;
1756
1757     if (afs_stat(path, &status) < 0) {
1758         Log("Unable to stat %s. Please manually verify mode bits for this"
1759             " directory\n", path);
1760     } else {
1761         if (((status.st_mode & 0777) != 0700) || (status.st_uid != 0))
1762             mode_errors++;
1763     }
1764 }
1765
1766 /**
1767  * Fill the results file with the requested inode information.
1768  *
1769  * This code optimizes single volume salvages by just looking at that one
1770  * volume's directory.
1771  *
1772  * @param[in]   devname             device name string
1773  * @param[in]   moutnedOn           vice partition mount point
1774  * @param[in]   resultFile          result file in which to write inode
1775  *                                  metadata.  If NULL, write routine is not
1776  *                                  called.
1777  * @param[in]   judgeInode          filter function pointer.  if not NULL, only
1778  *                                  inodes for which this routine returns non-
1779  *                                  zero will be written to the results file.
1780  * @param[in]   singleVolumeNumber  volume id filter
1781  * @param[out]  forcep              always set to 0 for namei impl
1782  * @param[in]   forceR              not used by namei impl
1783  * @param[in]   wpath               not used by namei impl
1784  * @param[in]   rock                opaque pointer passed to judgeInode
1785  *
1786  * @return operation status
1787  *    @retval 0   success
1788  *    @retval -1  complete failure, salvage should terminate.
1789  *    @retval -2  not enough space on partition, salvager has error message
1790  *                for this.
1791  */
1792 int
1793 ListViceInodes(char *devname, char *mountedOn, FD_t inodeFile,
1794                int (*judgeInode) (struct ViceInodeInfo * info, VolumeId vid, void *rock),
1795                VolumeId singleVolumeNumber, int *forcep, int forceR, char *wpath,
1796                void *rock)
1797 {
1798     int ninodes;
1799
1800     *forcep = 0; /* no need to salvage until further notice */
1801
1802     /* Verify protections on directories. */
1803     mode_errors = 0;
1804     VerifyDirPerms(mountedOn);
1805
1806     ninodes =
1807         namei_ListAFSFiles(mountedOn, WriteInodeInfo, inodeFile, judgeInode,
1808                            singleVolumeNumber, rock);
1809
1810     if (inodeFile == INVALID_FD)
1811         return ninodes;
1812
1813     if (ninodes < 0) {
1814         return ninodes;
1815     }
1816
1817     if (OS_SYNC(inodeFile) == -1) {
1818         Log("Unable to successfully fsync inode file for %s\n", mountedOn);
1819         return -2;
1820     }
1821
1822     /*
1823      * Paranoia:  check that the file is really the right size
1824      */
1825     if (OS_SIZE(inodeFile) != ninodes * sizeof(struct ViceInodeInfo)) {
1826         Log("Wrong size (%d instead of %lu) in inode file for %s\n",
1827             (int) OS_SIZE(inodeFile),
1828             (long unsigned int) ninodes * sizeof(struct ViceInodeInfo),
1829             mountedOn);
1830         return -2;
1831     }
1832     return 0;
1833 }
1834
1835
1836 /**
1837  * Collect all the matching AFS files on the drive.
1838  * If singleVolumeNumber is non-zero, just return files for that volume.
1839  *
1840  * @param[in] dev                 vice partition path
1841  * @param[in] writeFun            function pointer to a function which
1842  *                                writes inode information to FILE fp
1843  * @param[in] fp                  file stream where inode metadata is sent
1844  * @param[in] judgeFun            filter function pointer.  if not NULL,
1845  *                                only entries for which a non-zero value
1846  *                                is returned are written to fp
1847  * @param[in] singleVolumeNumber  volume id filter.  if nonzero, only
1848  *                                process files for that specific volume id
1849  * @param[in] rock                opaque pointer passed into writeFun and
1850  *                                judgeFun
1851  *
1852  * @return operation status
1853  *    @retval <0 error
1854  *    @retval >=0 number of matching files found
1855  */
1856 int
1857 namei_ListAFSFiles(char *dev,
1858                    int (*writeFun) (FD_t, struct ViceInodeInfo *, char *,
1859                                     char *),
1860                    FD_t fp,
1861                    int (*judgeFun) (struct ViceInodeInfo *, VolumeId, void *),
1862                    VolumeId singleVolumeNumber, void *rock)
1863 {
1864     IHandle_t ih;
1865     namei_t name;
1866     int ninodes = 0;
1867     DIR *dirp1;
1868     struct dirent *dp1;
1869 #ifndef AFS_NT40_ENV
1870     DIR *dirp2;
1871     struct dirent *dp2;
1872     char path2[512];
1873 #endif
1874 #ifdef DELETE_ZLC
1875     static void FreeZLCList(void);
1876 #endif
1877
1878     memset((void *)&ih, 0, sizeof(IHandle_t));
1879 #ifdef AFS_NT40_ENV
1880     ih.ih_dev = nt_DriveToDev(dev);
1881 #else
1882     ih.ih_dev = volutil_GetPartitionID(dev);
1883 #endif
1884
1885     if (singleVolumeNumber) {
1886         ih.ih_vid = singleVolumeNumber;
1887         namei_HandleToVolDir(&name, &ih);
1888         ninodes =
1889             namei_ListAFSSubDirs(&ih, writeFun, fp, judgeFun,
1890                                  singleVolumeNumber, rock);
1891         if (ninodes < 0)
1892             return ninodes;
1893     } else {
1894         /* Find all volume data directories and descend through them. */
1895         namei_HandleToInodeDir(&name, &ih);
1896         ninodes = 0;
1897         dirp1 = opendir(name.n_path);
1898         if (!dirp1)
1899             return 0;
1900         while ((dp1 = readdir(dirp1))) {
1901 #ifdef AFS_NT40_ENV
1902             /* Heirarchy is one level on Windows */
1903             if (!DecodeVolumeName(dp1->d_name, &ih.ih_vid)) {
1904                 ninodes +=
1905                     namei_ListAFSSubDirs(&ih, writeFun, fp, judgeFun,
1906                                          0, rock);
1907             }
1908 #else
1909             if (*dp1->d_name == '.')
1910                 continue;
1911             snprintf(path2, sizeof(path2), "%s" OS_DIRSEP "%s", name.n_path,
1912                      dp1->d_name);
1913             dirp2 = opendir(path2);
1914             if (dirp2) {
1915                 while ((dp2 = readdir(dirp2))) {
1916                     if (*dp2->d_name == '.')
1917                         continue;
1918                     if (!DecodeVolumeName(dp2->d_name, &ih.ih_vid)) {
1919                         ninodes +=
1920                             namei_ListAFSSubDirs(&ih, writeFun, fp, judgeFun,
1921                                                  0, rock);
1922                     }
1923                 }
1924                 closedir(dirp2);
1925             }
1926 #endif
1927         }
1928         closedir(dirp1);
1929     }
1930 #ifdef DELETE_ZLC
1931     FreeZLCList();
1932 #endif
1933     return ninodes;
1934 }
1935
1936 #ifdef DELETE_ZLC
1937 static void AddToZLCDeleteList(char dir, char *name);
1938 static void DeleteZLCFiles(char *path);
1939 #endif
1940
1941 /**
1942  * examine a namei volume special file.
1943  *
1944  * @param[in] path1               volume special directory path
1945  * @param[in] dname               directory entry name
1946  * @param[in] myIH                inode handle to volume directory
1947  * @param[out] linkHandle         namei link count fd handle.  if
1948  *                                the inode in question is the link
1949  *                                table, then the FdHandle is populated
1950  * @param[in] writeFun            metadata write function pointer
1951  * @param[in] fp                  file pointer where inode metadata
1952  *                                is written by (*writeFun)()
1953  * @param[in] judgeFun            inode filter function pointer.  if
1954  *                                not NULL, only inodes for which this
1955  *                                function returns non-zero are recorded
1956  *                                into fp by writeFun
1957  * @param[in] singleVolumeNumer   volume id filter.  if non-zero, only
1958  *                                inodes associated with this volume id
1959  *                                are recorded by writeFun
1960  * @param[in] rock                opaque pointer passed to writeFun and
1961  *                                judgeFun
1962  *
1963  * @return operation status
1964  *    @retval 1 count this inode
1965  *    @retval 0 don't count this inode
1966  *    @retval -1 failure
1967  *
1968  * @internal
1969  */
1970 static int
1971 _namei_examine_special(char * path1,
1972                        char * dname,
1973                        IHandle_t * myIH,
1974                        FdHandle_t * linkHandle,
1975                        int (*writeFun) (FD_t, struct ViceInodeInfo *, char *,
1976                                         char *),
1977                        FD_t fp,
1978                        int (*judgeFun) (struct ViceInodeInfo *, VolumeId, void *),
1979                        VolumeId singleVolumeNumber,
1980                        void *rock)
1981 {
1982     int ret = 0;
1983     struct ViceInodeInfo info;
1984
1985     if (DecodeInode(path1, dname, &info, myIH) < 0) {
1986         ret = 0;
1987         goto error;
1988     }
1989
1990     if (info.u.param[2] != VI_LINKTABLE) {
1991         info.linkCount = 1;
1992     } else if (info.u.param[0] != myIH->ih_vid) {
1993         /* VGID encoded in linktable filename and/or OGM data isn't
1994          * consistent with VGID encoded in namei path */
1995         Log("namei_ListAFSSubDirs: warning: inconsistent linktable "
1996             "filename \"%s" OS_DIRSEP "%s\"; salvager will delete it "
1997             "(dir_vgid=%" AFS_VOLID_FMT ", inode_vgid=%" AFS_VOLID_FMT ")\n",
1998             path1, dname, afs_printable_VolumeId_lu(myIH->ih_vid),
1999             afs_printable_VolumeId_lu(info.u.param[0]));
2000         /* We need to set the linkCount to _something_, so linkCount
2001          * doesn't just contain stack garbage. Set it to 0, so in case
2002          * the salvager or whatever our caller is does try to process
2003          * this like a normal file, we won't try to INC or DEC it. */
2004         info.linkCount = 0;
2005     } else {
2006         char path2[512];
2007         /* Open this handle */
2008         snprintf(path2, sizeof(path2),
2009                  "%s" OS_DIRSEP "%s", path1, dname);
2010         linkHandle->fd_fd = OS_OPEN(path2, Testing ? O_RDONLY : O_RDWR, 0666);
2011         info.linkCount =
2012             namei_GetLinkCount(linkHandle, (Inode) 0, 1, 1, Testing);
2013     }
2014
2015     if (!judgeFun ||
2016         (*judgeFun) (&info, singleVolumeNumber, rock)) {
2017         ret = (*writeFun) (fp, &info, path1, dname);
2018         if (ret < 0) {
2019             Log("_namei_examine_special: writeFun returned %d\n", ret);
2020             ret = -1;
2021         } else {
2022             ret = 1;
2023         }
2024     }
2025
2026  error:
2027     return ret;
2028 }
2029
2030 /**
2031  * examine a namei file.
2032  *
2033  * @param[in] path3               volume special directory path
2034  * @param[in] dname               directory entry name
2035  * @param[in] myIH                inode handle to volume directory
2036  * @param[in] linkHandle          namei link count fd handle.
2037  * @param[in] writeFun            metadata write function pointer
2038  * @param[in] fp                  file pointer where inode metadata
2039  *                                is written by (*writeFun)()
2040  * @param[in] judgeFun            inode filter function pointer.  if
2041  *                                not NULL, only inodes for which this
2042  *                                function returns non-zero are recorded
2043  *                                into fp by writeFun
2044  * @param[in] singleVolumeNumer   volume id filter.  if non-zero, only
2045  *                                inodes associated with this volume id
2046  *                                are recorded by writeFun
2047  * @param[in] rock                opaque pointer passed to writeFun and
2048  *                                judgeFun
2049  *
2050  * @return operation status
2051  *    @retval 1 count this inode
2052  *    @retval 0 don't count this inode
2053  *    @retval -1 failure
2054  *    @retval -2 request ZLC delete
2055  *
2056  * @internal
2057  */
2058 static int
2059 _namei_examine_reg(char * path3,
2060                    char * dname,
2061                    IHandle_t * myIH,
2062                    FdHandle_t * linkHandle,
2063                    int (*writeFun) (FD_t, struct ViceInodeInfo *, char *,
2064                                     char *),
2065                    FD_t fp,
2066                    int (*judgeFun) (struct ViceInodeInfo *, VolumeId, void *),
2067                    VolumeId singleVolumeNumber,
2068                    void *rock)
2069 {
2070     int ret = 0;
2071     struct ViceInodeInfo info;
2072 #ifdef DELETE_ZLC
2073     int dirl; /* Windows-only (one level hash dir) */
2074 #endif
2075
2076     if (DecodeInode(path3, dname, &info, myIH) < 0) {
2077         goto error;
2078     }
2079
2080     info.linkCount =
2081         namei_GetLinkCount(linkHandle,
2082                             info.inodeNumber, 1, 1, Testing);
2083     if (info.linkCount == 0) {
2084 #ifdef DELETE_ZLC
2085         Log("Found 0 link count file %s" OS_DIRSEP "%s, deleting it.\n", path3, dname);
2086 #ifdef AFS_SALSRV_ENV
2087         /* defer -- the AddToZLCDeleteList() interface is not MT-safe */
2088         ret = -2;
2089 #else /* !AFS_SALSRV_ENV */
2090         dirl = path3[strlen(path3)-1];
2091         AddToZLCDeleteList((char)dirl, dname);
2092 #endif /* !AFS_SALSRV_ENV */
2093 #else /* !DELETE_ZLC */
2094         Log("Found 0 link count file %s" OS_DIRSEP "%s.\n", path3,
2095             dname);
2096 #endif
2097         goto error;
2098     }
2099
2100     if (!judgeFun ||
2101         (*judgeFun) (&info, singleVolumeNumber, rock)) {
2102         ret = (*writeFun) (fp, &info, path3, dname);
2103         if (ret < 0) {
2104             Log("_namei_examine_reg: writeFun returned %d\n", ret);
2105             ret = -1;
2106         } else {
2107             ret = 1;
2108         }
2109     }
2110
2111  error:
2112     return ret;
2113 }
2114
2115 /**
2116  * listsubdirs work queue node.
2117  */
2118 struct listsubdirs_work_node {
2119 #ifdef AFS_SALSRV_ENV
2120     int *error;                         /**< *error set if an error was
2121                                          *   encountered in any listsubdirs
2122                                          *   thread. */
2123 #endif
2124
2125     IHandle_t * IH;                     /**< volume directory handle */
2126     FdHandle_t *linkHandle;             /**< namei link count fd handle. when
2127                                          *   examinining the link table special
2128                                          *   inode, this will be pointed at the
2129                                          *   link table
2130                                          */
2131     FD_t fp;                            /**< file pointer for writeFun */
2132
2133     /** function which will write inode metadata to fp */
2134     int (*writeFun) (FD_t, struct ViceInodeInfo *, char *, char *);
2135
2136     /** inode filter function */
2137     int (*judgeFun) (struct ViceInodeInfo *, VolumeId, void *);
2138     VolumeId singleVolumeNumber;             /**< volume id filter */
2139     void * rock;                        /**< pointer passed to writeFun and judgeFun */
2140     int code;                           /**< return code from examine function */
2141     int special;                        /**< asserted when this is a volume
2142                                          *   special file */
2143 };
2144
2145 /**
2146  * simple wrapper around _namei_examine_special and _namei_examine_reg.
2147  *
2148  * @param[in] work  the struct listsubdirs_work_node for the associated
2149  *                  "list subdirs" job
2150  * @param[in] dir   the directory to examine
2151  * @param[in] filename  the filename in 'dir' to examine
2152  *
2153  * @return operation status
2154  *   @retval 1  count this inode
2155  *   @retval 0  don't count this inode
2156  *   @retval -1 failure
2157  */
2158 static_inline int
2159 _namei_examine_file(const struct listsubdirs_work_node *work, char *dir,
2160                     char *filename)
2161 {
2162     if (work->special) {
2163         return _namei_examine_special(dir, filename, work->IH,
2164                                       work->linkHandle, work->writeFun, work->fp,
2165                                       work->judgeFun, work->singleVolumeNumber,
2166                                       work->rock);
2167     } else {
2168         return _namei_examine_reg(dir, filename, work->IH,
2169                                   work->linkHandle, work->writeFun, work->fp,
2170                                   work->judgeFun, work->singleVolumeNumber,
2171                                   work->rock);
2172     }
2173 }
2174
2175
2176 #ifdef AFS_SALSRV_ENV
2177 /** @addtogroup afs_vol_salsrv_pario */
2178 /*@{*/
2179
2180 /**
2181  * arguments for the _namei_examine_file_cbk callback function.
2182  */
2183 struct listsubdirs_args {
2184     const struct listsubdirs_work_node *work; /**< arguments that are the same
2185                                                *   for all invocations of
2186                                                *   _namei_examine_file_cbk, in
2187                                                *   threads */
2188     int *result;        /**< where we can store the return code of _namei_examine_file */
2189
2190     char dir[512];      /**< directory to examine */
2191     char filename[256]; /**< filename in 'dir' to examine */
2192 };
2193
2194 /**
2195  * a node in the list of results of listsubdir jobs.
2196  */
2197 struct listsubdirs_result {
2198     struct rx_queue q;
2199     int inodes;        /**< return value from _namei_examine_file */
2200 };
2201
2202 /**
2203  * clean up a list of 'struct listsubdirs_result's and interpret the results.
2204  *
2205  * @param[in] resultlist  a list of 'struct listsubdirs_result's
2206  *
2207  * @return number of inodes found
2208  *   @retval -1  error
2209  */
2210 static int
2211 _namei_listsubdirs_cleanup_results(struct rx_queue *resultlist)
2212 {
2213     struct listsubdirs_result *res, *nres;
2214     int ret = 0;
2215
2216     for(queue_Scan(resultlist, res, nres, listsubdirs_result)) {
2217         if (ret < 0) {
2218             /* noop, retain erroneous error code */
2219         } else if (res->inodes < 0) {
2220             ret = -1;
2221         } else {
2222             ret += res->inodes;
2223         }
2224
2225         queue_Remove(res);
2226         free(res);
2227         res = NULL;
2228     }
2229
2230     return ret;
2231 }
2232
2233 /**
2234  * wait for the spawned listsubdirs jobs to finish, and return how many inodes
2235  * they found.
2236  *
2237  * @param[in] queue    queue to wait to finish
2238  * @param[in] resultlist list of 'struct listsubdirs_result's that the queued
2239  *                       jobs are storing their results in
2240  *
2241  * @return number of inodes found
2242  *   @retval -1  error
2243  */
2244 static int
2245 _namei_listsubdirs_wait(struct afs_work_queue *queue, struct rx_queue *resultlist)
2246 {
2247     int code;
2248
2249     code = afs_wq_wait_all(queue);
2250     if (code) {
2251         return -1;
2252     }
2253
2254     return _namei_listsubdirs_cleanup_results(resultlist);
2255 }
2256
2257 /**
2258  * work queue entry point for examining namei files.
2259  *
2260  * @param[in] queue        pointer to struct Vwork_queue
2261  * @param[in] node         pointer to struct Vwork_queue_node
2262  * @param[in] queue_rock   opaque pointer to struct salsrv_pool_state
2263  * @param[in] node_rock    opaque pointer to struct listsubdirs_work_node
2264  * @param[in] caller_rock  opaque pointer to struct salsrv_worker_thread_state
2265  *
2266  * @return operation status
2267  *
2268  * @see Vwork_queue_callback_func_t
2269  *
2270  * @internal
2271  */
2272 static int
2273 _namei_examine_file_cbk(struct afs_work_queue *queue,
2274                         struct afs_work_queue_node *node,
2275                         void *queue_rock,
2276                         void *node_rock,
2277                         void *caller_rock)
2278 {
2279     int code;
2280     struct listsubdirs_args *args = node_rock;
2281     const struct listsubdirs_work_node * work = args->work;
2282     char *dir = args->dir;
2283     char *filename = args->filename;
2284
2285     code = _namei_examine_file(work, dir, filename);
2286
2287     *(args->result) = code;
2288
2289     if (code < 0) {
2290         *(work->error) = 1;
2291         /* we've errored, so no point in letting more jobs continue */
2292         afs_wq_shutdown(queue);
2293     }
2294
2295     return 0;
2296 }
2297
2298 static pthread_once_t wq_once = PTHREAD_ONCE_INIT;
2299 static pthread_key_t wq_key;
2300
2301 /**
2302  * create the wq_key key for storing a work queue.
2303  */
2304 static void
2305 _namei_wq_keycreate(void)
2306 {
2307     opr_Verify(pthread_key_create(&wq_key, NULL) == 0);
2308 }
2309
2310 /**
2311  * set the work queue for this thread to use for backgrounding namei ops.
2312  *
2313  * The work queue will be used in ListAFSSubdirs (called indirectly by
2314  * ListViceInodes) to examine files in parallel.
2315  *
2316  * @param[in] wq  the work queue to use
2317  */
2318 void
2319 namei_SetWorkQueue(struct afs_work_queue *wq)
2320 {
2321     opr_Verify(pthread_once(&wq_once, _namei_wq_keycreate) == 0);
2322
2323     opr_Verify(pthread_setspecific(wq_key, wq) == 0);
2324 }
2325
2326 /**
2327  * enqueue an examine file work unit.
2328  *
2329  * @param[in] work     the _namei_examine_file arguments that are common to
2330  *                     all callers within the same ListAFSFiles operation
2331  * @param[in] dir      the specific directory to look at (string will be
2332  *                     copied; can be stack/temporary memory)
2333  * @param[in] filename the filename to look at (string will be copied; can be
2334  *                     stack/temporary memory)
2335  * @param[in] wq       work queue to enqueue this work unit to
2336  * @param[in] resultlist the list to append the 'struct listsubdirs_result' to
2337  *                       for the enqueued work unit
2338  *
2339  * @return operation status
2340  *    @retval 0 success
2341  *    @retval -1 fatal error
2342  *
2343  * @note errors MUST be indicated by a -1 error code and nothing else, to be
2344  *       compatible with _namei_examine_reg and _namei_examine_special
2345  *
2346  * @internal
2347  */
2348 static int
2349 _namei_examine_file_spawn(const struct listsubdirs_work_node *work,
2350                           const char *dir, const char *filename,
2351                           struct afs_work_queue *wq,
2352                           struct rx_queue *resultlist)
2353 {
2354     int code, ret = 0;
2355     struct listsubdirs_args *args = NULL;
2356     struct listsubdirs_result *result = NULL;
2357     struct afs_work_queue_node *node = NULL;
2358     struct afs_work_queue_add_opts opts;
2359
2360     args = malloc(sizeof(*args));
2361     if (args == NULL) {
2362         ret = -1;
2363         goto error;
2364     }
2365
2366     result = malloc(sizeof(*result));
2367     if (result == NULL) {
2368         ret = -1;
2369         goto error;
2370     }
2371
2372     code = afs_wq_node_alloc(&node);
2373     if (code) {
2374         ret = -1;
2375         goto error;
2376     }
2377     code = afs_wq_node_set_detached(node);
2378     if (code) {
2379         ret = -1;
2380         goto error;
2381     }
2382
2383     args->work = work;
2384     args->result = &result->inodes;
2385     strlcpy(args->dir, dir, sizeof(args->dir));
2386     strlcpy(args->filename, filename, sizeof(args->filename));
2387
2388     code = afs_wq_node_set_callback(node,
2389                                          &_namei_examine_file_cbk,
2390                                          args, &free);
2391     if (code) {
2392         ret = -1;
2393         goto error;
2394     }
2395     args = NULL;
2396
2397     afs_wq_add_opts_init(&opts);
2398     opts.donate = 1;
2399
2400     code = afs_wq_add(wq, node, &opts);
2401     if (code) {
2402         ret = -1;
2403         goto error;
2404     }
2405     node = NULL;
2406
2407     queue_Append(resultlist, result);
2408     result = NULL;
2409
2410  error:
2411     if (node) {
2412         afs_wq_node_put(node);
2413         node = NULL;
2414     }
2415     if (args) {
2416         free(args);
2417         args = NULL;
2418     }
2419     if (result) {
2420         free(result);
2421         result = NULL;
2422     }
2423
2424     return ret;
2425 }
2426
2427 /*@}*/
2428 #else /* !AFS_SALSRV_ENV */
2429 # define _namei_examine_file_spawn(work, dir, file, wq, resultlist) \
2430          _namei_examine_file(work, dir, file)
2431 #endif /* !AFS_SALSRV_ENV */
2432
2433 /**
2434  * traverse and check inodes.
2435  *
2436  * @param[in] dirIH               volume group directory handle
2437  * @param[in] writeFun            function pointer which will write inode
2438  *                                metadata to FILE stream fp
2439  * @param[in] fp                  file stream where inode metadata gets
2440  *                                written
2441  * @param[in] judgeFun            inode filter function.  if not NULL, only
2442  *                                inodes for which the filter returns non-zero
2443  *                                will be written out by writeFun
2444  * @param[in] singleVolumeNumber  volume id filter.  only inodes matching this
2445  *                                filter are written out by writeFun
2446  * @param[in] rock                opaque pointer passed to judgeFun and writeFun
2447  *
2448  * @return operation status
2449  *    @retval <0 error
2450  *    @retval >=0 number of matching inodes found
2451  *
2452  * @todo the salsrv implementation may consume a lot of
2453  *       memory for a large volume.  at some point we should
2454  *       probably write a background thread to asynchronously
2455  *       clean up the resultlist nodes to reduce memory footprint
2456  *
2457  * @internal
2458  */
2459 static int
2460 namei_ListAFSSubDirs(IHandle_t * dirIH,
2461                      int (*writeFun) (FD_t, struct ViceInodeInfo *, char *,
2462                                       char *),
2463                      FD_t fp,
2464                      int (*judgeFun) (struct ViceInodeInfo *, VolumeId, void *),
2465                      VolumeId singleVolumeNumber, void *rock)
2466 {
2467     int code = 0, ret = 0;
2468     IHandle_t myIH = *dirIH;
2469     namei_t name;
2470     char path1[512], path3[512];
2471     DIR *dirp1, *dirp3;
2472 #ifndef AFS_NT40_ENV
2473     DIR *dirp2;
2474     struct dirent *dp2;
2475     char path2[512];
2476 #endif
2477     struct dirent *dp1, *dp3;
2478     FdHandle_t linkHandle;
2479     int ninodes = 0;
2480     struct listsubdirs_work_node work;
2481 #ifdef AFS_SALSRV_ENV
2482     int error = 0;
2483     struct afs_work_queue *wq;
2484     int wq_up = 0;
2485     struct rx_queue resultlist;
2486 #endif
2487
2488     namei_HandleToVolDir(&name, &myIH);
2489     strlcpy(path1, name.n_path, sizeof(path1));
2490
2491     /* Do the directory containing the special files first to pick up link
2492      * counts.
2493      */
2494     (void)strcat(path1, OS_DIRSEP);
2495     (void)strcat(path1, NAMEI_SPECDIR);
2496
2497     linkHandle.fd_fd = INVALID_FD;
2498 #ifdef AFS_SALSRV_ENV
2499     opr_Verify(pthread_once(&wq_once, _namei_wq_keycreate) == 0);
2500
2501     wq = pthread_getspecific(wq_key);
2502     if (!wq) {
2503         ret = -1;
2504         goto error;
2505     }
2506     wq_up = 1;
2507     queue_Init(&resultlist);
2508 #endif
2509
2510     memset(&work, 0, sizeof(work));
2511     work.linkHandle = &linkHandle;
2512     work.IH = &myIH;
2513     work.fp = fp;
2514     work.writeFun = writeFun;
2515     work.judgeFun = judgeFun;
2516     work.singleVolumeNumber = singleVolumeNumber;
2517     work.rock = rock;
2518     work.special = 1;
2519 #ifdef AFS_SALSRV_ENV
2520     work.error = &error;
2521 #endif
2522
2523     dirp1 = opendir(path1);
2524     if (dirp1) {
2525         while ((dp1 = readdir(dirp1))) {
2526             if (*dp1->d_name == '.')
2527                 continue;
2528
2529 #ifdef AFS_SALSRV_ENV
2530             if (error) {
2531                 closedir(dirp1);
2532                 ret = -1;
2533                 goto error;
2534             }
2535 #endif /* AFS_SALSRV_ENV */
2536
2537             code = _namei_examine_file_spawn(&work, path1, dp1->d_name, wq, &resultlist);
2538
2539             switch (code) {
2540             case -1:
2541                 /* fatal error */
2542                 closedir(dirp1);
2543                 ret = -1;
2544                 goto error;
2545
2546             case 1:
2547                 /* count this inode */
2548 #ifndef AFS_SALSRV_ENV
2549                 ninodes++;
2550 #endif
2551                 break;
2552             }
2553         }
2554         closedir(dirp1);
2555     }
2556
2557 #ifdef AFS_SALSRV_ENV
2558     /* effectively a barrier */
2559     code = _namei_listsubdirs_wait(wq, &resultlist);
2560     if (code < 0 || error) {
2561         ret = -1;
2562         goto error;
2563     }
2564     error = 0;
2565     ninodes += code;
2566 #endif
2567
2568     if (linkHandle.fd_fd == INVALID_FD) {
2569         Log("namei_ListAFSSubDirs: warning: VG %" AFS_VOLID_FMT " does not have a link table; "
2570             "salvager will recreate it.\n", afs_printable_VolumeId_lu(dirIH->ih_vid));
2571     }
2572
2573     /* Now run through all the other subdirs */
2574     namei_HandleToVolDir(&name, &myIH);
2575     strlcpy(path1, name.n_path, sizeof(path1));
2576
2577     work.special = 0;
2578
2579     dirp1 = opendir(path1);
2580     if (dirp1) {
2581         while ((dp1 = readdir(dirp1))) {
2582 #ifndef AFS_NT40_ENV
2583             if (*dp1->d_name == '.')
2584                 continue;
2585 #endif
2586             if (!strcmp(dp1->d_name, NAMEI_SPECDIR))
2587                 continue;
2588
2589 #ifndef AFS_NT40_ENV /* This level missing on Windows */
2590             /* Now we've got a next level subdir. */
2591             snprintf(path2, sizeof(path2), "%s" OS_DIRSEP "%s",
2592                      path1, dp1->d_name);
2593             dirp2 = opendir(path2);
2594             if (dirp2) {
2595                 while ((dp2 = readdir(dirp2))) {
2596                     if (*dp2->d_name == '.')
2597                         continue;
2598
2599                     /* Now we've got to the actual data */
2600                     snprintf(path3, sizeof(path3), "%s" OS_DIRSEP "%s",
2601                              path2, dp2->d_name);
2602 #else
2603                     /* Now we've got to the actual data */
2604                     snprintf(path3, sizeof(path3), "%s" OS_DIRSEP "%s",
2605                              path1, dp1->d_name);
2606 #endif
2607                     dirp3 = opendir(path3);
2608                     if (dirp3) {
2609                         while ((dp3 = readdir(dirp3))) {
2610 #ifndef AFS_NT40_ENV
2611                             if (*dp3->d_name == '.')
2612                                 continue;
2613 #endif
2614
2615 #ifdef AFS_SALSRV_ENV
2616                             if (error) {
2617                                 closedir(dirp3);
2618 #ifndef AFS_NT40_ENV
2619                                 closedir(dirp2);
2620 #endif
2621                                 closedir(dirp1);
2622                                 ret = -1;
2623                                 goto error;
2624                             }
2625 #endif /* AFS_SALSRV_ENV */
2626
2627                             code = _namei_examine_file_spawn(&work, path3,
2628                                                              dp3->d_name, wq,
2629                                                              &resultlist);
2630
2631                             switch (code) {
2632                             case -1:
2633                                 closedir(dirp3);
2634 #ifndef AFS_NT40_ENV
2635                                 closedir(dirp2);
2636 #endif
2637                                 closedir(dirp1);
2638                                 ret = -1;
2639                                 goto error;
2640
2641                             case 1:
2642 #ifndef AFS_SALSRV_ENV
2643                                 ninodes++;
2644 #endif
2645                                 break;
2646                             }
2647                         }
2648                         closedir(dirp3);
2649                     }
2650 #ifndef AFS_NT40_ENV /* This level missing on Windows */
2651                 }
2652                 closedir(dirp2);
2653             }
2654 #endif
2655         }
2656         closedir(dirp1);
2657     }
2658
2659 #ifdef AFS_SALSRV_ENV
2660     /* effectively a barrier */
2661     code = _namei_listsubdirs_wait(wq, &resultlist);
2662     if (code < 0 || error) {
2663         ret = -1;
2664         goto error;
2665     }
2666     error = 0;
2667     ninodes += code;
2668     wq_up = 0;
2669 #endif
2670
2671     if (!ninodes) {
2672         /* Then why does this directory exist? Blow it away. */
2673         namei_HandleToVolDir(&name, dirIH);
2674         namei_RemoveDataDirectories(&name);
2675     }
2676
2677  error:
2678 #ifdef AFS_SALSRV_ENV
2679     if (wq_up) {
2680         afs_wq_wait_all(wq);
2681     }
2682     _namei_listsubdirs_cleanup_results(&resultlist);
2683 #endif
2684     if (linkHandle.fd_fd != INVALID_FD)
2685         OS_CLOSE(linkHandle.fd_fd);
2686
2687     if (!ret) {
2688         ret = ninodes;
2689     }
2690     return ret;
2691 }
2692
2693 /*@}*/
2694
2695 #ifdef AFS_NT40_ENV
2696 static int
2697 DecodeVolumeName(char *name, VolumeId *vid)
2698 {
2699     /* Name begins with "Vol_" and ends with .data.  See nt_HandleToVolDir() */
2700     char stmp[32];
2701     size_t len;
2702
2703     len = strlen(name);
2704     if (len <= 9)
2705         return -1;
2706     if (strncmp(name, "Vol_", 4))
2707         return -1;
2708     if (strcmp(name + len - 5, ".data"))
2709         return -1;
2710     strcpy(stmp, name);
2711     stmp[len - 5] = '\0';
2712     *vid = base32_to_int(stmp + 4);
2713     return 0;
2714 }
2715 #else
2716 static int
2717 DecodeVolumeName(char *name, VolumeId *vid)
2718 {
2719     if (strlen(name) < 1)
2720         return -1;
2721     *vid = (unsigned int)flipbase64_to_int64(name);
2722     return 0;
2723 }
2724 #endif
2725
2726
2727 /* DecodeInode
2728  *
2729  * Get the inode number from the name.
2730  *
2731  */
2732 #ifdef AFS_NT40_ENV
2733 static int
2734 DecodeInode(char *dpath, char *name, struct ViceInodeInfo *info,
2735             IHandle_t *myIH)
2736 {
2737     char fpath[512];
2738     int tag, vno;
2739     WIN32_FIND_DATA data;
2740     HANDLE dirH;
2741     char *s, *t;
2742     char stmp[16];
2743     FdHandle_t linkHandle;
2744     char dirl;
2745     VolumeId volid = myIH->ih_vid;
2746
2747     snprintf(fpath, sizeof(fpath), "%s" OS_DIRSEP "%s", dpath, name);
2748
2749     dirH = FindFirstFileEx(fpath, FindExInfoStandard, &data,
2750                            FindExSearchNameMatch, NULL,
2751                            FIND_FIRST_EX_CASE_SENSITIVE);
2752     if (dirH == INVALID_HANDLE_VALUE)
2753         return -1;
2754
2755     (void)strcpy(stmp, name);
2756     s = strrchr(stmp, '_');
2757     if (!s)
2758         return -1;
2759     s++;
2760     t = strrchr(s, '.');
2761     if (!t)
2762         return -1;
2763
2764     *t = '\0';
2765     vno = base32_to_int(s);     /* type for special files */
2766     tag = base32_to_int(t+1);
2767     info->inodeNumber = ((Inode) tag) << NAMEI_TAGSHIFT;
2768     info->inodeNumber |= vno;
2769     info->byteCount = data.nFileSizeLow;
2770
2771     dirl = dpath[strlen(dpath)-1];
2772     if (dirl == NAMEI_SPECDIRC) { /* Special inode. */
2773         info->inodeNumber |= NAMEI_INODESPECIAL;
2774         info->u.param[0] = data.ftCreationTime.dwHighDateTime;
2775         info->u.param[1] = data.ftCreationTime.dwLowDateTime;
2776         info->u.param[2] = vno; /* type */
2777         info->u.param[3] = volid;
2778         if (vno != VI_LINKTABLE)
2779             info->linkCount = 1;
2780         else {
2781             /* Open this handle */
2782             char lpath[1024];
2783             (void)sprintf(lpath, "%s" OS_DIRSEP "%s", fpath, data.cFileName);
2784             linkHandle.fd_fd = OS_OPEN(lpath, O_RDONLY, 0666);
2785             info->linkCount =
2786                 namei_GetLinkCount(&linkHandle, (Inode) 0, 0, 0, 0);
2787         }
2788     } else {
2789         info->linkCount =
2790             namei_GetLinkCount(&linkHandle, info->inodeNumber, 0, 0, 0);
2791         if (info->linkCount == 0) {
2792 #ifdef DELETE_ZLC
2793             Log("Found 0 link count file %s" OS_DIRSEP "%s, deleting it.\n",
2794                 fpath, data.cFileName);
2795             AddToZLCDeleteList(dirl, data.cFileName);
2796 #else
2797             Log("Found 0 link count file %s" OS_DIRSEP "%s.\n", path,
2798                 data.cFileName);
2799 #endif
2800         } else {
2801             info->u.param[2] = data.ftCreationTime.dwHighDateTime;
2802             info->u.param[3] = data.ftCreationTime.dwLowDateTime;
2803             info->u.param[1] = vno;
2804             info->u.param[0] = volid;
2805         }
2806     }
2807     return 0;
2808 }
2809 #else
2810 static int
2811 DecodeInode(char *dpath, char *name, struct ViceInodeInfo *info,
2812             IHandle_t *myIH)
2813 {
2814     char fpath[512];
2815     struct afs_stat_st status;
2816     struct afs_stat_st checkstatus;
2817     int parm, tag;
2818     lb64_string_t check;
2819     VolumeId volid = myIH->ih_vid;
2820     IHandle_t tmpih;
2821     namei_t nameiname;
2822
2823     snprintf(fpath, sizeof(fpath), "%s" OS_DIRSEP "%s", dpath, name);
2824
2825     if (afs_stat(fpath, &status) < 0) {
2826         return -1;
2827     }
2828
2829     info->byteCount = status.st_size;
2830     info->inodeNumber = (Inode) flipbase64_to_int64(name);
2831
2832     int64_to_flipbase64(check, info->inodeNumber);
2833     if (strcmp(name, check))
2834         return -1;
2835
2836     /* Check if the _full_ path is correct, to ensure we can actually open this
2837      * file later. Otherwise, the salvager can choke. */
2838     memset(&tmpih, 0, sizeof(tmpih));
2839     tmpih.ih_dev = myIH->ih_dev;
2840     tmpih.ih_vid = myIH->ih_vid;
2841     tmpih.ih_ino = info->inodeNumber;
2842     namei_HandleToName(&nameiname, &tmpih);
2843     if ((afs_stat(nameiname.n_path, &checkstatus) < 0) ||
2844         checkstatus.st_ino != status.st_ino ||
2845         checkstatus.st_size != status.st_size) {
2846         static int logged;
2847         /* log something for this case, since this means the filename looks
2848          * like a valid inode, but it's just in the wrong place. That's pretty
2849          * strange. */
2850         if (!logged) {
2851             logged = 1;
2852             Log("Note:\n");
2853             Log("  Seemingly-misplaced files have been found, which I am\n");
2854             Log("  ignoring for now. If you cannot salvage the relevant volume,\n");
2855             Log("  you may try manually moving them to their correct location.\n");
2856             Log("  If the relevant volume seems fine, and these files do not\n");
2857             Log("  appear to contain important data, you can probably manually\n");
2858             Log("  delete them, or leave them alone. Contact your local OpenAFS\n");
2859             Log("  expert if you are unsure.\n");
2860         }
2861         Log("Ignoring misplaced file in volume group %u: %s (should be %s)\n",
2862             (unsigned)myIH->ih_vid, fpath, nameiname.n_path);
2863         return -1;
2864     }
2865
2866     if ((info->inodeNumber & NAMEI_INODESPECIAL) == NAMEI_INODESPECIAL) {
2867         parm = ((info->inodeNumber >> NAMEI_UNIQSHIFT) & NAMEI_UNIQMASK);
2868         tag = (int)((info->inodeNumber >> NAMEI_TAGSHIFT) & NAMEI_TAGMASK);
2869
2870         /* p1 - vid, p2 - -1, p3 - type, p4 - rwvid */
2871         info->u.param[0] = parm;
2872         info->u.param[1] = -1;
2873         info->u.param[2] = tag;
2874         info->u.param[3] = volid;
2875     } else {
2876         GetOGMFromStat(&status, &parm, &tag);
2877         /* p1 - vid, p2 - vno, p3 - uniq, p4 - dv */
2878         info->u.param[0] = volid;
2879         info->u.param[1] = (int)(info->inodeNumber & NAMEI_VNODEMASK);
2880         info->u.param[2] = (int)((info->inodeNumber >> NAMEI_UNIQSHIFT)
2881                                  & (Inode) NAMEI_UNIQMASK);
2882         info->u.param[3] = parm;
2883     }
2884     return 0;
2885 }
2886 #endif
2887
2888 /*
2889  * Convert the VolumeInfo file from RO to RW
2890  * this routine is called by namei_convertROtoRWvolume()
2891  */
2892
2893 #ifdef FSSYNC_BUILD_CLIENT
2894 static afs_int32
2895 convertVolumeInfo(FD_t fdr, FD_t fdw, VolumeId vid)
2896 {
2897     struct VolumeDiskData vd;
2898     char *p;
2899
2900     if (OS_READ(fdr, &vd, sizeof(struct VolumeDiskData)) !=
2901         sizeof(struct VolumeDiskData)) {
2902         Log("1 convertVolumeInfo: read failed for %" AFS_VOLID_FMT " with code %d\n",
2903             afs_printable_VolumeId_lu(vid),
2904             errno);
2905         return -1;
2906     }
2907     vd.restoredFromId = vd.id;  /* remember the RO volume here */
2908     vd.cloneId = vd.id;
2909     vd.id = vd.parentId;
2910     vd.type = RWVOL;
2911     vd.dontSalvage = 0;
2912     vd.inUse = 0;
2913     vd.uniquifier += 5000;      /* just in case there are still file copies from
2914                                  * the old RW volume around */
2915
2916     /* For ROs, the copyDate contains the time that the RO volume was actually
2917      * created, and the creationDate just contains the last time the RO was
2918      * copied from the RW data. So, make the new RW creationDate more accurate
2919      * by setting it to copyDate, if copyDate is older. Since, we know the
2920      * volume is at least as old as copyDate. */
2921     if (vd.copyDate < vd.creationDate) {
2922         vd.creationDate = vd.copyDate;
2923     } else {
2924         /* If copyDate is newer, just make copyDate and creationDate the same,
2925          * for consistency with other RWs */
2926         vd.copyDate = vd.creationDate;
2927     }
2928
2929     p = strrchr(vd.name, '.');
2930     if (p && !strcmp(p, ".readonly")) {
2931         memset(p, 0, 9);
2932     }
2933     if (OS_WRITE(fdw, &vd, sizeof(struct VolumeDiskData)) !=
2934         sizeof(struct VolumeDiskData)) {
2935         Log("1 convertVolumeInfo: write failed for %lu with code %d\n",
2936             afs_printable_uint32_lu(vid),
2937             errno);
2938         return -1;
2939     }
2940     return 0;
2941 }
2942 #endif
2943
2944 /*
2945  * Convert a RO-volume into a RW-volume
2946  *
2947  * This function allows to recover very fast from the loss of a partition
2948  * from RO-copies if all RO-Copies exist on another partition.
2949  * Then these RO-volumes can be made to the new RW-volumes.
2950  * Backup of RW-volumes then consists in "vos release".
2951  *
2952  * We must make sure in this partition exists only the RO-volume which
2953  * is typical for remote replicas.
2954  *
2955  * Then the linktable is already ok,
2956  *      the vnode files need to be renamed
2957  *      the volinfo file needs to be replaced by another one with
2958  *                      slightly different contents and new name.
2959  * The volume header file of the RO-volume in the /vicep<x> directory
2960  * is destroyed by this call. A new header file for the RW-volume must
2961  * be created after return from this routine.
2962  */
2963
2964 int
2965 namei_ConvertROtoRWvolume(char *pname, VolumeId volumeId)
2966 {
2967     int code = 0;
2968 #ifdef FSSYNC_BUILD_CLIENT
2969     namei_t n;
2970     char dir_name[512], oldpath[512], newpath[512];
2971     char smallName[64];
2972     char largeName[64];
2973     char infoName[64];
2974     IHandle_t t_ih;
2975     IHandle_t *ih;
2976     char infoSeen = 0;
2977     char smallSeen = 0;
2978     char largeSeen = 0;
2979     char linkSeen = 0;
2980     FD_t fd, fd2;
2981     char *p;
2982     DIR *dirp;
2983     Inode ino;
2984     struct dirent *dp;
2985     struct DiskPartition64 *partP;
2986     struct ViceInodeInfo info;
2987     struct VolumeDiskHeader h;
2988     char *rwpart, *rwname;
2989     Error ec;
2990 # ifdef AFS_DEMAND_ATTACH_FS
2991     int locktype = 0;
2992 # endif /* AFS_DEMAND_ATTACH_FS */
2993
2994     for (partP = DiskPartitionList; partP && strcmp(partP->name, pname);
2995          partP = partP->next);
2996     if (!partP) {
2997         Log("1 namei_ConvertROtoRWvolume: Couldn't find DiskPartition for %s\n", pname);
2998         code = EIO;
2999         goto done;
3000     }
3001
3002 # ifdef AFS_DEMAND_ATTACH_FS
3003     locktype = VVolLockType(V_VOLUPD, 1);
3004     code = VLockVolumeByIdNB(volumeId, partP, locktype);
3005     if (code) {
3006         locktype = 0;
3007         code = EIO;
3008         goto done;
3009     }
3010 # endif /* AFS_DEMAND_ATTACH_FS */
3011
3012     if (VReadVolumeDiskHeader(volumeId, partP, &h)) {
3013         Log("1 namei_ConvertROtoRWvolume: Couldn't read header for RO-volume %lu.\n",
3014             afs_printable_uint32_lu(volumeId));
3015         code = EIO;
3016         goto done;
3017     }
3018
3019     /* check for existing RW on any partition on this server; */
3020     /* if found, return EXDEV - invalid cross-device link */
3021     VOL_LOCK;
3022     VGetVolumePath(&ec, h.parent, &rwpart, &rwname);
3023     if (ec == 0) {
3024         Log("1 namei_ConvertROtoRWvolume: RW volume %lu already exists on server partition %s.\n",
3025             afs_printable_uint32_lu(h.parent), rwpart);
3026         code = EXDEV;
3027         VOL_UNLOCK;
3028         goto done;
3029     }
3030     VOL_UNLOCK;
3031
3032     FSYNC_VolOp(volumeId, pname, FSYNC_VOL_BREAKCBKS, 0, NULL);
3033
3034     ino = namei_MakeSpecIno(h.parent, VI_LINKTABLE);
3035     IH_INIT(ih, partP->device, h.parent, ino);
3036
3037     namei_HandleToName(&n, ih);
3038     strlcpy(dir_name, n.n_path, sizeof(dir_name));
3039     p = strrchr(dir_name, OS_DIRSEPC);
3040     *p = 0;
3041     dirp = opendir(dir_name);
3042     if (!dirp) {
3043         Log("1 namei_ConvertROtoRWvolume: Could not opendir(%s)\n", dir_name);
3044         code = EIO;
3045         goto done;
3046     }
3047
3048     while ((dp = readdir(dirp))) {
3049         /* struct ViceInodeInfo info; */
3050 #ifndef AFS_NT40_ENV
3051         if (*dp->d_name == '.')
3052             continue;
3053 #endif
3054         if (DecodeInode(dir_name, dp->d_name, &info, ih) < 0) {
3055             Log("1 namei_ConvertROtoRWvolume: DecodeInode failed for %s" OS_DIRSEP "%s\n",
3056                 dir_name, dp->d_name);
3057             closedir(dirp);
3058             code = -1;
3059             goto done;
3060         }
3061         if (info.u.param[1] != -1) {
3062             Log("1 namei_ConvertROtoRWvolume: found other than volume special file %s" OS_DIRSEP "%s\n", dir_name, dp->d_name);
3063             closedir(dirp);
3064             code = -1;
3065             goto done;
3066         }
3067         if (info.u.param[0] != volumeId) {
3068             if (info.u.param[0] == ih->ih_vid) {
3069                 if (info.u.param[2] == VI_LINKTABLE) {  /* link table */
3070                     linkSeen = 1;
3071                     continue;
3072                 }
3073             }
3074             Log("1 namei_ConvertROtoRWvolume: found special file %s" OS_DIRSEP "%s"
3075                 " for volume %lu\n", dir_name, dp->d_name,
3076                 afs_printable_uint32_lu(info.u.param[0]));
3077             closedir(dirp);
3078             code = VVOLEXISTS;
3079             goto done;
3080         }
3081         if (info.u.param[2] == VI_VOLINFO) {    /* volume info file */
3082             strlcpy(infoName, dp->d_name, sizeof(infoName));
3083             infoSeen = 1;
3084         } else if (info.u.param[2] == VI_SMALLINDEX) {  /* small vnodes file */
3085             strlcpy(smallName, dp->d_name, sizeof(smallName));
3086             smallSeen = 1;
3087         } else if (info.u.param[2] == VI_LARGEINDEX) {  /* large vnodes file */
3088             strlcpy(largeName, dp->d_name, sizeof(largeName));
3089             largeSeen = 1;
3090         } else {
3091             closedir(dirp);
3092             Log("1 namei_ConvertROtoRWvolume: unknown type %u of special file found : %s" OS_DIRSEP "%s\n", info.u.param[2], dir_name, dp->d_name);
3093             code = -1;
3094             goto done;
3095         }
3096     }
3097     closedir(dirp);
3098
3099     if (!infoSeen || !smallSeen || !largeSeen || !linkSeen) {
3100         Log("1 namei_ConvertROtoRWvolume: not all special files found in %s\n", dir_name);
3101         code = -1;
3102         goto done;
3103     }
3104
3105     /*
3106      * If we come here then there was only a RO-volume and we can safely
3107      * proceed.
3108      */
3109
3110     memset(&t_ih, 0, sizeof(t_ih));
3111     t_ih.ih_dev = ih->ih_dev;
3112     t_ih.ih_vid = ih->ih_vid;
3113
3114     snprintf(oldpath, sizeof oldpath, "%s" OS_DIRSEP "%s", dir_name,
3115              infoName);
3116     fd = OS_OPEN(oldpath, O_RDWR, 0);
3117     if (fd == INVALID_FD) {
3118         Log("1 namei_ConvertROtoRWvolume: could not open RO info file: %s\n",
3119             oldpath);
3120         code = -1;
3121         goto done;
3122     }
3123     t_ih.ih_ino = namei_MakeSpecIno(ih->ih_vid, VI_VOLINFO);
3124     namei_HandleToName(&n, &t_ih);
3125     fd2 = OS_OPEN(n.n_path, O_CREAT | O_EXCL | O_RDWR, 0);
3126     if (fd2 == INVALID_FD) {
3127         Log("1 namei_ConvertROtoRWvolume: could not create RW info file: %s\n", n.n_path);
3128         OS_CLOSE(fd);
3129         code = -1;
3130         goto done;
3131     }
3132     code = convertVolumeInfo(fd, fd2, ih->ih_vid);
3133     OS_CLOSE(fd);
3134     if (code) {
3135         OS_CLOSE(fd2);
3136         OS_UNLINK(n.n_path);
3137         code = -1;
3138         goto done;
3139     }
3140     SetOGM(fd2, ih->ih_vid, 1);
3141     OS_CLOSE(fd2);
3142
3143     t_ih.ih_ino = namei_MakeSpecIno(ih->ih_vid, VI_SMALLINDEX);
3144     namei_HandleToName(&n, &t_ih);
3145     snprintf(newpath, sizeof newpath, "%s" OS_DIRSEP "%s", dir_name,
3146              smallName);
3147     fd = OS_OPEN(newpath, O_RDWR, 0);
3148     if (fd == INVALID_FD) {
3149         Log("1 namei_ConvertROtoRWvolume: could not open SmallIndex file: %s\n", newpath);
3150         code = -1;
3151         goto done;
3152     }
3153     SetOGM(fd, ih->ih_vid, 2);
3154     OS_CLOSE(fd);
3155 #ifdef AFS_NT40_ENV
3156     MoveFileEx(n.n_path, newpath, MOVEFILE_WRITE_THROUGH);
3157 #else
3158     link(newpath, n.n_path);
3159     OS_UNLINK(newpath);
3160 #endif
3161
3162     t_ih.ih_ino = namei_MakeSpecIno(ih->ih_vid, VI_LARGEINDEX);
3163     namei_HandleToName(&n, &t_ih);
3164     snprintf(newpath, sizeof newpath, "%s" OS_DIRSEP "%s", dir_name,
3165              largeName);
3166     fd = OS_OPEN(newpath, O_RDWR, 0);
3167     if (fd == INVALID_FD) {
3168         Log("1 namei_ConvertROtoRWvolume: could not open LargeIndex file: %s\n", newpath);
3169         code = -1;
3170         goto done;
3171     }
3172     SetOGM(fd, ih->ih_vid, 3);
3173     OS_CLOSE(fd);
3174 #ifdef AFS_NT40_ENV
3175     MoveFileEx(n.n_path, newpath, MOVEFILE_WRITE_THROUGH);
3176 #else
3177     link(newpath, n.n_path);
3178     OS_UNLINK(newpath);
3179 #endif
3180
3181     OS_UNLINK(oldpath);
3182
3183     h.id = h.parent;
3184     h.volumeInfo_hi = h.id;
3185     h.smallVnodeIndex_hi = h.id;
3186     h.largeVnodeIndex_hi = h.id;
3187     h.linkTable_hi = h.id;
3188
3189     if (VCreateVolumeDiskHeader(&h, partP)) {
3190         Log("1 namei_ConvertROtoRWvolume: Couldn't write header for RW-volume %lu\n",
3191             afs_printable_uint32_lu(h.id));
3192         code = EIO;
3193         goto done;
3194     }
3195
3196     if (VDestroyVolumeDiskHeader(partP, volumeId, h.parent)) {
3197         Log("1 namei_ConvertROtoRWvolume: Couldn't unlink header for RO-volume %lu\n",
3198             afs_printable_uint32_lu(volumeId));
3199     }
3200
3201     FSYNC_VolOp(volumeId, pname, FSYNC_VOL_DONE, 0, NULL);
3202     FSYNC_VolOp(h.id, pname, FSYNC_VOL_ON, 0, NULL);
3203
3204  done:
3205 # ifdef AFS_DEMAND_ATTACH_FS
3206     if (locktype) {
3207         VUnlockVolumeById(volumeId, partP);
3208     }
3209 # endif /* AFS_DEMAND_ATTACH_FS */
3210 #endif
3211
3212     return code;
3213 }
3214
3215 /* PrintInode
3216  *
3217  * returns a static string used to print either 32 or 64 bit inode numbers.
3218  */
3219 char *
3220 PrintInode(char *s, Inode ino)
3221 {
3222     static afs_ino_str_t result;
3223     if (!s)
3224         s = result;
3225
3226     snprintf(s, sizeof(afs_ino_str_t), "%llu", (afs_uintmax_t) ino);
3227
3228     return s;
3229 }
3230
3231
3232 #ifdef DELETE_ZLC
3233 /* Routines to facilitate removing zero link count files. */
3234 #define MAX_ZLC_NAMES 32
3235 #define MAX_ZLC_NAMELEN 16
3236 typedef struct zlcList_s {
3237     struct zlcList_s *zlc_next;
3238     int zlc_n;
3239     char zlc_names[MAX_ZLC_NAMES][MAX_ZLC_NAMELEN];
3240 } zlcList_t;
3241
3242 static zlcList_t *zlcAnchor = NULL;
3243 static zlcList_t *zlcCur = NULL;
3244
3245 static void
3246 AddToZLCDeleteList(char dir, char *name)
3247 {
3248     opr_Assert(strlen(name) <= MAX_ZLC_NAMELEN - 3);
3249
3250     if (!zlcCur || zlcCur->zlc_n >= MAX_ZLC_NAMES) {
3251         if (zlcCur && zlcCur->zlc_next)
3252             zlcCur = zlcCur->zlc_next;
3253         else {
3254             zlcList_t *tmp = malloc(sizeof(zlcList_t));
3255             if (!tmp)
3256                 return;
3257             if (!zlcAnchor) {
3258                 zlcAnchor = tmp;
3259             } else {
3260                 zlcCur->zlc_next = tmp;
3261             }
3262             zlcCur = tmp;
3263             zlcCur->zlc_n = 0;
3264             zlcCur->zlc_next = NULL;
3265         }
3266     }
3267
3268     if (dir)
3269         (void)sprintf(zlcCur->zlc_names[zlcCur->zlc_n], "%c" OS_DIRSEP "%s", dir, name);
3270     else
3271         (void)sprintf(zlcCur->zlc_names[zlcCur->zlc_n], "%s", name);
3272
3273     zlcCur->zlc_n++;
3274 }
3275
3276 static void
3277 DeleteZLCFiles(char *path)
3278 {
3279     zlcList_t *z;
3280     int i;
3281     char fname[1024];
3282
3283     for (z = zlcAnchor; z; z = z->zlc_next) {
3284         for (i = 0; i < z->zlc_n; i++) {
3285             if (path)
3286                 (void)sprintf(fname, "%s" OS_DIRSEP "%s", path, z->zlc_names[i]);
3287             else
3288                 (void)sprintf(fname, "%s", z->zlc_names[i]);
3289             if (namei_unlink(fname) < 0) {
3290                 Log("ZLC: Can't unlink %s, dos error = %d\n", fname,
3291                     GetLastError());
3292             }
3293         }
3294         z->zlc_n = 0;           /* Can reuse space. */
3295     }
3296     zlcCur = zlcAnchor;
3297 }
3298
3299 static void
3300 FreeZLCList(void)
3301 {
3302     zlcList_t *tnext;
3303     zlcList_t *i;
3304
3305     i = zlcAnchor;
3306     while (i) {
3307         tnext = i->zlc_next;
3308         free(i);
3309         i = tnext;
3310     }
3311     zlcCur = zlcAnchor = NULL;
3312 }
3313 #endif
3314
3315 #endif /* AFS_NAMEI_ENV */