vldb_check: remove unreferenced mh entries with -fix
[openafs.git] / src / vlserver / vldb_check.c
index f027e77..dc6dedf 100644 (file)
@@ -77,6 +77,13 @@ struct er {
 } *record;
 afs_int32 maxentries;
 int serveraddrs[MAXSERVERID + 2];
+u_char serverxref[MAXSERVERID + 2];  /**< to resolve cross-linked mh entries */
+
+struct mhinfo {
+    afs_uint32 addr;                   /**< vldb file record */
+    char orphan[VL_MHSRV_PERBLK];      /**< unreferenced mh enties */
+} mhinfo[VL_MAX_ADDREXTBLKS];
+
 
 /*  Used to control what goes to stdout based on quiet flag */
 void
@@ -103,14 +110,6 @@ log_error(int eval, const char *fmt, ...)
 }
 
 
-#if 0
-int
-writeUbikHeader()
-{
-    /* Bump the version number?? We could cheat and push a new db... */
-}
-#endif
-
 #define HDRSIZE 64
 int
 readUbikHeader(void)
@@ -267,7 +266,7 @@ readheader(struct vlheader *headerp)
            ntohl(headerp->vital_header.totalEntries[1]);
 
     headerp->SIT = ntohl(headerp->SIT);
-    for (i = 0; i < MAXSERVERID; i++)
+    for (i = 0; i <= MAXSERVERID; i++)
        headerp->IpMappedAddr[i] = ntohl(headerp->IpMappedAddr[i]);
     for (i = 0; i < HASHSIZE; i++)
        headerp->VolnameHash[i] = ntohl(headerp->VolnameHash[i]);
@@ -331,7 +330,7 @@ writeheader(struct vlheader *headerp)
            htonl(headerp->vital_header.totalEntries[1]);
 
     headerp->SIT = htonl(headerp->SIT);
-    for (i = 0; i < MAXSERVERID; i++)
+    for (i = 0; i <= MAXSERVERID; i++)
        headerp->IpMappedAddr[i] = htonl(headerp->IpMappedAddr[i]);
     for (i = 0; i < HASHSIZE; i++)
        headerp->VolnameHash[i] = htonl(headerp->VolnameHash[i]);
@@ -343,18 +342,20 @@ writeheader(struct vlheader *headerp)
 }
 
 void
-readMH(afs_int32 addr, struct extentaddr *mhblockP)
+readMH(afs_uint32 addr, int block, struct extentaddr *mhblockP)
 {
     int i, j;
     struct extentaddr *e;
 
     vldbread(addr, (char *)mhblockP, VL_ADDREXTBLK_SIZE);
 
-    mhblockP->ex_count = ntohl(mhblockP->ex_count);
-    mhblockP->ex_hdrflags = ntohl(mhblockP->ex_hdrflags);
-    for (i = 0; i < VL_MAX_ADDREXTBLKS; i++)
-       mhblockP->ex_contaddrs[i] = ntohl(mhblockP->ex_contaddrs[i]);
-
+    if (block == 0) {
+        mhblockP->ex_count = ntohl(mhblockP->ex_count);
+        mhblockP->ex_hdrflags = ntohl(mhblockP->ex_hdrflags);
+        for (i = 0; i < VL_MAX_ADDREXTBLKS; i++) {
+           mhblockP->ex_contaddrs[i] = ntohl(mhblockP->ex_contaddrs[i]);
+        }
+    }
     for (i = 1; i < VL_MHSRV_PERBLK; i++) {
        e = &(mhblockP[i]);
 
@@ -459,6 +460,33 @@ readentry(afs_int32 addr, struct nvlentry *vlentryp, afs_int32 *type)
 }
 
 void
+writeMH(afs_int32 addr, int block, struct extentaddr *mhblockP)
+{
+    int i, j;
+    struct extentaddr *e;
+
+    if (verbose) {
+       quiet_println("Writing back MH block % at addr %u\n", block,  addr);
+    }
+    if (block == 0) {
+       mhblockP->ex_count = htonl(mhblockP->ex_count);
+       mhblockP->ex_hdrflags = htonl(mhblockP->ex_hdrflags);
+       for (i = 0; i < VL_MAX_ADDREXTBLKS; i++) {
+           mhblockP->ex_contaddrs[i] = htonl(mhblockP->ex_contaddrs[i]);
+       }
+    }
+    for (i = 1; i < VL_MHSRV_PERBLK; i++) {
+       e = &(mhblockP[i]);
+       /* hostuuid was not converted */
+       e->ex_uniquifier = htonl(e->ex_uniquifier);
+       for (j = 0; j < VL_MAXIPADDRS_PERMH; j++) {
+           e->ex_addrs[j] = htonl(e->ex_addrs[j]);
+       }
+    }
+    vldbwrite(addr, (char *)mhblockP, VL_ADDREXTBLK_SIZE);
+}
+
+void
 writeentry(afs_int32 addr, struct nvlentry *vlentryp)
 {
     int i;
@@ -482,61 +510,6 @@ writeentry(afs_int32 addr, struct nvlentry *vlentryp)
     vldbwrite(addr, (char *)vlentryp, sizeof(*vlentryp));
 }
 
-void
-readSIT(int base, int addr)
-{
-    int i, j, a;
-    char sitbuf[VL_ADDREXTBLK_SIZE];
-    struct extentaddr *extent;
-
-    if (!addr)
-       return;
-    vldbread(addr, sitbuf, VL_ADDREXTBLK_SIZE);
-    extent = (struct extentaddr *)sitbuf;
-
-    quiet_println("multihome info block: base %d\n", base);
-    if (base == 0) {
-       quiet_println("   count = %u\n", ntohl(extent->ex_count));
-       quiet_println("   flags = %u\n", ntohl(extent->ex_hdrflags));
-       for (i = 0; i < VL_MAX_ADDREXTBLKS; i++) {
-           quiet_println("   contaddrs[%d] = %u\n", i,
-                  ntohl(extent->ex_contaddrs[i]));
-       }
-    }
-    for (i = 1; i < VL_MHSRV_PERBLK; i++) {
-       /* should we skip this entry */
-       for (j = 0; j < VL_MAX_ADDREXTBLKS; j++) {
-           if (extent[i].ex_addrs[j])
-               break;
-       }
-       if (j >= VL_MAX_ADDREXTBLKS)
-           continue;
-
-       quiet_println("   base %d index %d:\n", base, i);
-
-       quiet_println("       afsuuid    = (%x %x %x /%d/%d/ /%x/%x/%x/%x/%x/%x/)\n",
-              ntohl(extent[i].ex_hostuuid.time_low),
-              ntohl(extent[i].ex_hostuuid.time_mid),
-              ntohl(extent[i].ex_hostuuid.time_hi_and_version),
-              ntohl(extent[i].ex_hostuuid.clock_seq_hi_and_reserved),
-              ntohl(extent[i].ex_hostuuid.clock_seq_low),
-              ntohl(extent[i].ex_hostuuid.node[0]),
-              ntohl(extent[i].ex_hostuuid.node[1]),
-              ntohl(extent[i].ex_hostuuid.node[2]),
-              ntohl(extent[i].ex_hostuuid.node[3]),
-              ntohl(extent[i].ex_hostuuid.node[4]),
-              ntohl(extent[i].ex_hostuuid.node[5]));
-       quiet_println("       uniquifier = %u\n", ntohl(extent[i].ex_uniquifier));
-       for (j = 0; j < VL_MAXIPADDRS_PERMH; j++) {
-           a = ntohl(extent[i].ex_addrs[j]);
-           if (a) {
-               quiet_println("       %d.%d.%d.%d\n", (a >> 24) & 0xff,
-                      (a >> 16) & 0xff, (a >> 8) & 0xff, (a) & 0xff);
-           }
-       }
-    }
-}
-
 /*
  * Read each entry in the database:
  * Record what type of entry it is and its address in the record array.
@@ -880,7 +853,6 @@ CheckIpAddrs(struct vlheader *header)
     int mhblocks = 0;
     afs_int32 i, j, m, rindex;
     afs_int32 mhentries, regentries;
-    afs_uint32 caddrs[VL_MAX_ADDREXTBLKS];
     char mhblock[VL_ADDREXTBLK_SIZE];
     struct extentaddr *MHblock = (struct extentaddr *)mhblock;
     struct extentaddr *e;
@@ -896,7 +868,7 @@ CheckIpAddrs(struct vlheader *header)
        /* Read the first MH block and from it, gather the
         * addresses of all the mh blocks.
         */
-       readMH(header->SIT, MHblock);
+       readMH(header->SIT, 0, MHblock);
        if (MHblock->ex_hdrflags != VLCONTBLOCK) {
           log_error
                (VLDB_CHECK_ERROR,"Multihomed Block 0: Bad entry at %u: Not a valid multihomed block\n",
@@ -904,32 +876,32 @@ CheckIpAddrs(struct vlheader *header)
        }
 
        for (i = 0; i < VL_MAX_ADDREXTBLKS; i++) {
-           caddrs[i] = MHblock->ex_contaddrs[i];
+           mhinfo[i].addr = MHblock->ex_contaddrs[i];
        }
 
-       if (header->SIT != caddrs[0]) {
+       if (header->SIT != mhinfo[0].addr) {
           log_error
                (VLDB_CHECK_ERROR,"MH block does not point to self %u in header, %u in block\n",
-                header->SIT, caddrs[0]);
+                header->SIT, mhinfo[0].addr);
        }
 
        /* Now read each MH block and record it in the record array */
        for (i = 0; i < VL_MAX_ADDREXTBLKS; i++) {
-           if (!caddrs[i])
+           if (!mhinfo[i].addr)
                continue;
 
-           readMH(caddrs[i], MHblock);
+           readMH(mhinfo[i].addr, i, MHblock);
            if (MHblock->ex_hdrflags != VLCONTBLOCK) {
                log_error
                    (VLDB_CHECK_ERROR,"Multihomed Block 0: Bad entry at %u: Not a valid multihomed block\n",
                     header->SIT);
            }
 
-           rindex = caddrs[i] / sizeof(vlentry);
-           if (record[rindex].addr != caddrs[i] && record[rindex].addr) {
+           rindex = mhinfo[i].addr / sizeof(vlentry);
+           if (record[rindex].addr != mhinfo[i].addr && record[rindex].addr) {
                log_error
                    (VLDB_CHECK_ERROR,"INTERNAL VLDB_CHECK_ERROR: addresses %u and %u use same record slot %d\n",
-                    record[rindex].addr, caddrs[i], rindex);
+                    record[rindex].addr, mhinfo[i].addr, rindex);
            }
            if (record[rindex].type & FRC) {
                log_error
@@ -947,23 +919,24 @@ CheckIpAddrs(struct vlheader *header)
             */
            mhentries = 0;
            for (j = 1; j < VL_MHSRV_PERBLK; j++) {
+               int first_ipindex = -1;
                e = (struct extentaddr *)&(MHblock[j]);
 
-               /* Search the IpMappedAddr array for the reference to this entry */
-               for (ipindex = 0; ipindex < MAXSERVERID; ipindex++) {
-                   if (((header->IpMappedAddr[ipindex] & 0xff000000) ==
-                        0xff000000)
-                       &&
-                       (((header->
-                          IpMappedAddr[ipindex] & 0x00ff0000) >> 16) == i)
-                       && ((header->IpMappedAddr[ipindex] & 0x0000ffff) ==
-                           j)) {
-                       break;
+               /* Search the IpMappedAddr array for all the references to this entry. */
+               /* Use the first reference for checking the ip addresses of this entry. */
+               for (ipindex = 0; ipindex <= MAXSERVERID; ipindex++) {
+                   if (((header->IpMappedAddr[ipindex] & 0xff000000) == 0xff000000)
+                       && (((header-> IpMappedAddr[ipindex] & 0x00ff0000) >> 16) == i)
+                       && ((header->IpMappedAddr[ipindex] & 0x0000ffff) == j)) {
+                       if (first_ipindex == -1) {
+                           first_ipindex = ipindex;
+                       } else {
+                           serverxref[ipindex] = first_ipindex;
+                       }
                    }
                }
-               if (ipindex >= MAXSERVERID)
-                   ipindex = -1;
-               else
+               ipindex = first_ipindex;
+               if (ipindex != -1)
                    serveraddrs[ipindex] = -1;
 
                if (memcmp(&e->ex_hostuuid, &nulluuid, sizeof(afsUUID)) == 0) {
@@ -987,6 +960,7 @@ CheckIpAddrs(struct vlheader *header)
                if (ipaddrs) {
                    mhentries++;
                    if (ipindex == -1) {
+                       mhinfo[i].orphan[j] = 1;
                        log_error
                            (VLDB_CHECK_ERROR,"MH block %d, index %d: Not referenced by server addrs\n",
                             i, j);
@@ -1033,6 +1007,9 @@ CheckIpAddrs(struct vlheader *header)
                   log_error
                        (VLDB_CHECK_ERROR,"IP Addr for entry %d: Multihome block is bad (%d)\n",
                         i, ((header->IpMappedAddr[i] & 0x00ff0000) >> 16));
+               if (mhinfo[(header->IpMappedAddr[i] & 0x00ff0000) >> 16].addr == 0)
+                   log_error(VLDB_CHECK_ERROR,"IP Addr for entry %d: No such multihome block (%d)\n",
+                        i, ((header->IpMappedAddr[i] & 0x00ff0000) >> 16));
                if (((header->IpMappedAddr[i] & 0x0000ffff) > VL_MHSRV_PERBLK)
                    || ((header->IpMappedAddr[i] & 0x0000ffff) < 1))
                    log_error
@@ -1044,6 +1021,17 @@ CheckIpAddrs(struct vlheader *header)
                         i);
                    serveraddrs[i] = 0;
                }
+               if (serverxref[i] != BADSERVERID) {
+                   log_error
+                       (VLDB_CHECK_WARNING,
+                       "warning: MH block %d, index %d is cross-linked by server numbers %d and %d.\n",
+                       (header->IpMappedAddr[i] & 0x00ff0000) >> 16,
+                       (header->IpMappedAddr[i] & 0x0000ffff),
+                       i, serverxref[i]);
+                   /* set addresses found/not found for this server number,
+                    * using the first index to the mh we found above. */
+                   serveraddrs[i] = serveraddrs[serverxref[i]];
+               }
                if (listservers) {
                    quiet_println("   Server ip addr %d = MH block %d, index %d\n",
                           i, (header->IpMappedAddr[i] & 0x00ff0000) >> 16,
@@ -1182,9 +1170,12 @@ WorkerBee(struct cmd_syndesc *as, void *arock)
     }
 
     maxentries = (header.vital_header.eofPtr / sizeof(vlentry)) + 1;
-    record = (struct er *)malloc(maxentries * sizeof(struct er));
-    memset(record, 0, (maxentries * sizeof(struct er)));
+    record = calloc(maxentries, sizeof(struct er));
     memset(serveraddrs, 0, sizeof(serveraddrs));
+    memset(mhinfo, 0, sizeof(mhinfo));
+    for (i = 0; i <= MAXSERVERID; i++) {
+       serverxref[i] = BADSERVERID;
+    }
 
     /* Will fill in the record array of entries it found */
     ReadAllEntries(&header);
@@ -1458,6 +1449,30 @@ WorkerBee(struct cmd_syndesc *as, void *arock)
                writeentry(record[i].addr, &vlentry);
            }
        }
+       else if (record[i].type & MH) {
+           int block, index;
+           char mhblock[VL_ADDREXTBLK_SIZE];
+           struct extentaddr *MHblock = (struct extentaddr *)mhblock;
+
+           if (fix) {
+               for (block = 0; block < VL_MAX_ADDREXTBLKS; block++) {
+                   if (mhinfo[block].addr == record[i].addr)
+                       break;
+               }
+               if (block == VL_MAX_ADDREXTBLKS) {
+                   continue;  /* skip orphaned extent block */
+               }
+               readMH(record[i].addr, block, MHblock);
+               for (index = 0; index < VL_MHSRV_PERBLK; index++) {
+                   if (mhinfo[block].orphan[index]) {
+                       quiet_println("FIX: Removing unreferenced mh entry; block %d, index %d\n",
+                               block, index);
+                       memset(&(MHblock[index]), 0, sizeof(struct extentaddr));
+                   }
+               }
+               writeMH(record[i].addr, block, MHblock);
+           }
+       }
     }
     if (fix) {
        reportHashChanges(&header, oldnamehash, oldidhash);