ubik: Remove version_cond
[openafs.git] / src / ubik / remote.c
index 339bf04..6874c6a 100644 (file)
 #include <assert.h>
 
 #include <afs/opr.h>
+#ifdef AFS_PTHREAD_ENV
+# include <opr/lock.h>
+#else
+# include <opr/lockstub.h>
+#endif
+
 #include <lock.h>
 #include <rx/xdr.h>
 #include <rx/rx.h>
@@ -49,6 +55,10 @@ SDISK_Begin(struct rx_call *rxcall, struct ubik_tid *atid)
        return code;
     }
     DBHOLD(ubik_dbase);
+    if (urecovery_AllBetter(ubik_dbase, 0) == 0) {
+       code = UNOQUORUM;
+       goto out;
+    }
     urecovery_CheckTid(atid, 1);
     code = udisk_begin(ubik_dbase, UBIK_WRITETRANS, &ubik_currentTrans);
     if (!code && ubik_currentTrans) {
@@ -56,6 +66,7 @@ SDISK_Begin(struct rx_call *rxcall, struct ubik_tid *atid)
        ubik_currentTrans->tid.epoch = atid->epoch;
        ubik_currentTrans->tid.counter = atid->counter;
     }
+  out:
     DBRELE(ubik_dbase);
     return code;
 }
@@ -385,45 +396,72 @@ SDISK_GetFile(struct rx_call *rxcall, afs_int32 file,
     char tbuffer[256];
     afs_int32 tlen;
     afs_int32 length;
+    struct rx_peer *tpeer;
+    struct rx_connection *tconn;
+    afs_uint32 otherHost = 0;
+    char hoststr[16];
 
     if ((code = ubik_CheckAuth(rxcall))) {
        return code;
     }
+
+    tconn = rx_ConnectionOf(rxcall);
+    tpeer = rx_PeerOf(tconn);
+    otherHost = ubikGetPrimaryInterfaceAddr(rx_HostOf(tpeer));
+    ViceLog(0, ("Ubik: Synchronize database: send (via GetFile) "
+               "to server %s begin\n",
+              afs_inet_ntoa_r(otherHost, hoststr)));
+
     dbase = ubik_dbase;
     DBHOLD(dbase);
     code = (*dbase->stat) (dbase, file, &ubikstat);
     if (code < 0) {
-       DBRELE(dbase);
-       return code;
+       ViceLog(0, ("database stat() error:%d\n", code));
+       goto failed;
     }
     length = ubikstat.size;
     tlen = htonl(length);
     code = rx_Write(rxcall, (char *)&tlen, sizeof(afs_int32));
     if (code != sizeof(afs_int32)) {
-       DBRELE(dbase);
-       ubik_dprint("Rx-write length error=%d\n", code);
-       return BULK_ERROR;
+       ViceLog(0, ("Rx-write length error=%d\n", code));
+       code = BULK_ERROR;
+       goto failed;
     }
     offset = 0;
     while (length > 0) {
        tlen = (length > sizeof(tbuffer) ? sizeof(tbuffer) : length);
        code = (*dbase->read) (dbase, file, tbuffer, offset, tlen);
        if (code != tlen) {
-           DBRELE(dbase);
-           ubik_dprint("read failed error=%d\n", code);
-           return UIOERROR;
+           ViceLog(0, ("read failed error=%d\n", code));
+           code = UIOERROR;
+           goto failed;
        }
        code = rx_Write(rxcall, tbuffer, tlen);
        if (code != tlen) {
-           DBRELE(dbase);
-           ubik_dprint("Rx-write length error=%d\n", code);
-           return BULK_ERROR;
+           ViceLog(0, ("Rx-write data error=%d\n", code));
+           code = BULK_ERROR;
+           goto failed;
        }
        length -= tlen;
        offset += tlen;
     }
     code = (*dbase->getlabel) (dbase, file, version);  /* return the dbase, too */
+    if (code)
+       ViceLog(0, ("getlabel error=%d\n", code));
+
+ failed:
     DBRELE(dbase);
+    if (code) {
+       ViceLog(0,
+           ("Ubik: Synchronize database: send (via GetFile) to "
+            "server %s failed (error = %d)\n",
+            afs_inet_ntoa_r(otherHost, hoststr), code));
+    } else {
+       ViceLog(0,
+           ("Ubik: Synchronize database: send (via GetFile) to "
+            "server %s complete, version: %d.%d\n",
+           afs_inet_ntoa_r(otherHost, hoststr), version->epoch, version->counter));
+    }
     return code;
 }
 
@@ -439,6 +477,7 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
     int tlen;
     struct rx_peer *tpeer;
     struct rx_connection *tconn;
+    afs_uint32 syncHost = 0;
     afs_uint32 otherHost = 0;
     char hoststr[16];
     char pbuffer[1028];
@@ -449,10 +488,10 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
     /* send the file back to the requester */
 
     dbase = ubik_dbase;
+    pbuffer[0] = '\0';
 
     if ((code = ubik_CheckAuth(rxcall))) {
-       DBHOLD(dbase);
-       goto failed;
+       return code;
     }
 
     /* next, we do a sanity check to see if the guy sending us the database is
@@ -465,15 +504,18 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
      * screwup.  Thus, we only object if we're sure we know who the sync site
      * is, and it ain't the guy talking to us.
      */
-    offset = uvote_GetSyncSite();
+    syncHost = uvote_GetSyncSite();
     tconn = rx_ConnectionOf(rxcall);
     tpeer = rx_PeerOf(tconn);
     otherHost = ubikGetPrimaryInterfaceAddr(rx_HostOf(tpeer));
-    if (offset && offset != otherHost) {
+    if (syncHost && syncHost != otherHost) {
        /* we *know* this is the wrong guy */
-       code = USYNC;
-       DBHOLD(dbase);
-       goto failed;
+        char sync_hoststr[16];
+       ViceLog(0,
+           ("Ubik: Refusing synchronization with server %s since it is not the sync-site (%s).\n",
+            afs_inet_ntoa_r(otherHost, hoststr),
+            afs_inet_ntoa_r(syncHost, sync_hoststr)));
+       return USYNC;
     }
 
     DBHOLD(dbase);
@@ -481,8 +523,8 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
     /* abort any active trans that may scribble over the database */
     urecovery_AbortAll(dbase);
 
-    ubik_print("Ubik: Synchronize database with server %s\n",
-              afs_inet_ntoa_r(otherHost, hoststr));
+    ViceLog(0, ("Ubik: Synchronize database: receive (via SendFile) from server %s begin\n",
+              afs_inet_ntoa_r(otherHost, hoststr)));
 
     offset = 0;
     UBIK_VERSION_LOCK;
@@ -494,10 +536,12 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
     fd = open(pbuffer, O_CREAT | O_RDWR | O_TRUNC, 0600);
     if (fd < 0) {
        code = errno;
+       ViceLog(0, ("Open error=%d\n", code));
        goto failed_locked;
     }
     code = lseek(fd, HDRSIZE, 0);
     if (code != HDRSIZE) {
+       ViceLog(0, ("lseek error=%d\n", code));
        close(fd);
        goto failed_locked;
     }
@@ -512,7 +556,7 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
 #endif
        code = rx_Read(rxcall, tbuffer, tlen);
        if (code != tlen) {
-           ubik_dprint("Rx-read length error=%d\n", code);
+           ViceLog(0, ("Rx-read length error=%d\n", code));
            code = BULK_ERROR;
            close(fd);
            goto failed;
@@ -520,7 +564,7 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
        code = write(fd, tbuffer, tlen);
        pass++;
        if (code != tlen) {
-           ubik_dprint("write failed error=%d\n", code);
+           ViceLog(0, ("write failed tlen=%d, error=%d\n", tlen, code));
            code = UIOERROR;
            close(fd);
            goto failed;
@@ -529,8 +573,10 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
        length -= tlen;
     }
     code = close(fd);
-    if (code)
+    if (code) {
+       ViceLog(0, ("close failed error=%d\n", code));
        goto failed;
+    }
 
     /* sync data first, then write label and resync (resync done by setlabel call).
      * This way, good label is only on good database. */
@@ -559,18 +605,15 @@ SDISK_SendFile(struct rx_call *rxcall, afs_int32 file,
 #endif
     memcpy(&ubik_dbase->version, avers, sizeof(struct ubik_version));
     udisk_Invalidate(dbase, file);     /* new dbase, flush disk buffers */
-#ifdef AFS_PTHREAD_ENV
-    assert(pthread_cond_broadcast(&dbase->version_cond) == 0);
-#else
-    LWP_NoYieldSignal(&dbase->version);
-#endif
 
 failed_locked:
     UBIK_VERSION_UNLOCK;
 
 failed:
     if (code) {
-       unlink(pbuffer);
+       if (pbuffer[0] != '\0')
+           unlink(pbuffer);
+
        /* Failed to sync. Allow reads again for now. */
        if (dbase != NULL) {
            UBIK_VERSION_LOCK;
@@ -578,11 +621,16 @@ failed:
            (*dbase->setlabel) (dbase, file, &tversion);
            UBIK_VERSION_UNLOCK;
        }
-       ubik_print
-           ("Ubik: Synchronize database with server %s failed (error = %d)\n",
-            afs_inet_ntoa_r(otherHost, hoststr), code);
+       ViceLog(0,
+           ("Ubik: Synchronize database: receive (via SendFile) from "
+            "server %s failed (error = %d)\n",
+           afs_inet_ntoa_r(otherHost, hoststr), code));
     } else {
-       ubik_print("Ubik: Synchronize database completed\n");
+       uvote_set_dbVersion(*avers);
+       ViceLog(0,
+           ("Ubik: Synchronize database: receive (via SendFile) from "
+            "server %s complete, version: %d.%d\n",
+           afs_inet_ntoa_r(otherHost, hoststr), avers->epoch, avers->counter));
     }
     DBRELE(dbase);
     return code;
@@ -646,10 +694,9 @@ SDISK_UpdateInterfaceAddr(struct rx_call *rxcall,
     /* if (probableMatch) */
     /* inconsistent addresses in CellServDB */
     if (!probableMatch || found) {
-       ubik_print("Inconsistent Cell Info from server: ");
+       ViceLog(0, ("Inconsistent Cell Info from server:\n"));
        for (i = 0; i < UBIK_MAX_INTERFACE_ADDR && inAddr->hostAddr[i]; i++)
-           ubik_print("%s ", afs_inet_ntoa_r(htonl(inAddr->hostAddr[i]), hoststr));
-       ubik_print("\n");
+           ViceLog(0, ("... %s\n", afs_inet_ntoa_r(htonl(inAddr->hostAddr[i]), hoststr)));
        fflush(stdout);
        fflush(stderr);
        printServerInfo();
@@ -661,12 +708,23 @@ SDISK_UpdateInterfaceAddr(struct rx_call *rxcall,
     for (i = 1; i < UBIK_MAX_INTERFACE_ADDR; i++)
        ts->addr[i] = htonl(inAddr->hostAddr[i]);
 
-    ubik_print("ubik: A Remote Server has addresses: ");
+    ViceLog(0, ("ubik: A Remote Server has addresses:\n"));
     for (i = 0; i < UBIK_MAX_INTERFACE_ADDR && ts->addr[i]; i++)
-       ubik_print("%s ", afs_inet_ntoa_r(ts->addr[i], hoststr));
-    ubik_print("\n");
+       ViceLog(0, ("... %s\n", afs_inet_ntoa_r(ts->addr[i], hoststr)));
 
     UBIK_ADDR_UNLOCK;
+
+    /*
+     * The most likely cause of a DISK_UpdateInterfaceAddr RPC
+     * is because the server was restarted.  Reset its state
+     * so that no DISK_Begin RPCs will be issued until the
+     * known database version is current.
+     */
+    UBIK_BEACON_LOCK;
+    ts->beaconSinceDown = 0;
+    ts->currentDB = 0;
+    urecovery_LostServer(ts);
+    UBIK_BEACON_UNLOCK;
     return 0;
 }
 
@@ -677,13 +735,12 @@ printServerInfo(void)
     int i, j = 1;
     char hoststr[16];
 
-    ubik_print("Local CellServDB:");
+    ViceLog(0, ("Local CellServDB:\n"));
     for (ts = ubik_servers; ts; ts = ts->next, j++) {
-       ubik_print("Server %d: ", j);
+       ViceLog(0, ("  Server %d:\n", j));
        for (i = 0; (i < UBIK_MAX_INTERFACE_ADDR) && ts->addr[i]; i++)
-           ubik_print("%s ", afs_inet_ntoa_r(ts->addr[i], hoststr));
+           ViceLog(0, ("  ... %s\n", afs_inet_ntoa_r(ts->addr[i], hoststr)));
     }
-    ubik_print("\n");
 }
 
 afs_int32
@@ -719,8 +776,14 @@ SDISK_SetVersion(struct rx_call *rxcall, struct ubik_tid *atid,
        goto done;
     }
 
-    /* Set the label if its version matches the sync-site's */
-    if (uvote_eq_dbVersion(*oldversionp)) {
+    /* Set the label if our version matches the sync-site's. Also set the label
+     * if our on-disk version matches the old version, and our view of the
+     * sync-site's version matches the new version. This suggests that
+     * ubik_dbVersion was updated while the sync-site was setting the new
+     * version, and it already told us via VOTE_Beacon. */
+    if (uvote_eq_dbVersion(*oldversionp)
+       || (uvote_eq_dbVersion(*newversionp)
+           && vcmp(ubik_dbase->version, *oldversionp) == 0)) {
        UBIK_VERSION_LOCK;
        code = (*ubik_dbase->setlabel) (ubik_dbase, 0, newversionp);
        if (!code) {