53e8190c56fe8080558a7fe3f71a91fba59a8d24
[openafs.git] / src / volser / vsprocs.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #include <afsconfig.h>
11 #include <afs/param.h>
12
13 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
14 #include <roken.h>
15
16 #ifdef  AFS_AIX_ENV
17 #include <sys/statfs.h>
18 #endif
19
20 #include <lock.h>
21 #include <afs/voldefs.h>
22 #include <rx/xdr.h>
23 #include <rx/rx.h>
24 #include <rx/rx_queue.h>
25 #include <afs/vlserver.h>
26 #include <afs/nfs.h>
27 #include <afs/cellconfig.h>
28 #include <afs/keys.h>
29 #include <ubik.h>
30 #include <afs/afsint.h>
31 #include "volser.h"
32 #include "volint.h"
33 #include "lockdata.h"
34 #include <afs/com_err.h>
35 #include <rx/rxkad.h>
36 #include <afs/kautils.h>
37 #include <afs/cmd.h>
38 #include <afs/ihandle.h>
39 #ifdef AFS_NT40_ENV
40 #include <afs/ntops.h>
41 #endif
42 #include <afs/vnode.h>
43 #include <afs/volume.h>
44 #define ERRCODE_RANGE 8         /* from error_table.h */
45 #define CLOCKSKEW   2           /* not really skew, but resolution */
46 #define CLOCKADJ(x) (((x) < CLOCKSKEW) ? 0 : (x) - CLOCKSKEW)
47
48 /* for UV_MoveVolume() recovery */
49
50 #include <setjmp.h>
51
52 #include "volser_internal.h"
53 #include "volser_prototypes.h"
54 #include "vsutils_prototypes.h"
55 #include "lockprocs_prototypes.h"
56
57 extern struct ubik_client *cstruct;
58 int verbose = 0, noresolve = 0;
59
60 struct release {
61     afs_uint32 crtime;
62     afs_uint32 uptime;
63     afs_int32 vldbEntryIndex;
64 };
65
66 /* Utility macros used by rest of this source file */
67 #define EPRINT(ec, es) \
68 do { \
69         fprintf(STDERR, "\n"); \
70         fprintf(STDERR, (es)); \
71         PrintError("   ",ec); \
72 } while (0)
73
74 #define EPRINT1(ec, es, ep1) \
75 do { \
76         fprintf(STDERR, "\n"); \
77         fprintf(STDERR, (es), (ep1)); \
78         PrintError("   ",ec); \
79 } while (0)
80
81 #define EPRINT2(ec, es, ep1, ep2) \
82 do { \
83         fprintf(STDERR, "\n"); \
84         fprintf(STDERR, (es), (ep1), (ep2)); \
85         PrintError("   ",ec); \
86 } while (0)
87
88 #define EPRINT3(ec, es, ep1, ep2, ep3) \
89 do { \
90         fprintf(STDERR, "\n"); \
91         fprintf(STDERR, (es), (ep1), (ep2), (ep3)); \
92         PrintError("   ",ec); \
93 } while (0)
94
95 #define EGOTO(where, ec, es) \
96 do { \
97         if (ec) { \
98                 EPRINT((ec),(es)); \
99                 error = (ec); \
100                 goto where; \
101         } \
102 } while (0)
103
104 #define EGOTO1(where, ec, es, ep1) \
105 do { \
106         if (ec) { \
107                 EPRINT1((ec),(es),(ep1)); \
108                 error = (ec); \
109                 goto where; \
110         } \
111 } while (0)
112
113 #define EGOTO2(where, ec, es, ep1, ep2) \
114 do { \
115         if (ec) { \
116                 EPRINT2((ec),(es),(ep1),(ep2)); \
117                 error = (ec); \
118                 goto where; \
119         } \
120 } while (0)
121
122 #define EGOTO3(where, ec, es, ep1, ep2, ep3) \
123 do { \
124         if (ec) { \
125                 EPRINT3((ec),(es),(ep1),(ep2),(ep3)); \
126                 error = (ec); \
127                 goto where; \
128         } \
129 } while (0)
130
131 #define VPRINT(es) \
132         { if (verbose) { fprintf(STDOUT, (es)); fflush(STDOUT); } }
133 #define VPRINT1(es, p) \
134         { if (verbose) { fprintf(STDOUT, (es), (p)); fflush(STDOUT); } }
135 #define VPRINT2(es, p1, p2) \
136         { if (verbose) { fprintf(STDOUT, (es), (p1), (p2)); fflush(STDOUT); } }
137 #define VPRINT3(es, p1, p2, p3) \
138         { if (verbose) { fprintf(STDOUT, (es), (p1), (p2), (p3)); fflush(STDOUT); } }
139 #define VDONE \
140         { if (verbose) { fprintf(STDOUT, " done\n"); fflush(STDOUT); } }
141 #define VEPRINT(es) \
142         { if (verbose) { fprintf(STDERR, (es)); fflush(STDERR); } }
143 #define VEPRINT1(es, p) \
144         { if (verbose) { fprintf(STDERR, (es), (p)); fflush(STDERR); } }
145 #define VEPRINT2(es, p1, p2) \
146         { if (verbose) { fprintf(STDERR, (es), (p1), (p2)); fflush(STDERR); } }
147 #define VEPRINT3(es, p1, p2, p3) \
148         { if (verbose) { fprintf(STDERR, (es), (p1), (p2), (p3)); fflush(STDERR); } }
149 #define VEDONE \
150         { if (verbose) { fprintf(STDERR, " done\n"); fflush(STDERR); } }
151
152
153
154 /* getting rid of this */
155 #define ERROR_EXIT(code) do { \
156     error = (code); \
157     goto error_exit; \
158 } while (0)
159
160
161 /* Protos for static routines */
162 static int GetTrans(struct nvldbentry *vldbEntryPtr, afs_int32 index,
163                     struct rx_connection **connPtr, afs_int32 * transPtr,
164                     afs_uint32 * crtimePtr, afs_uint32 * uptimePtr,
165                     afs_int32 *origflags, afs_uint32 tmpVolId);
166 static int SimulateForwardMultiple(struct rx_connection *fromconn,
167                                    afs_int32 fromtid, afs_int32 fromdate,
168                                    manyDests * tr, afs_int32 flags,
169                                    void *cookie, manyResults * results);
170 static int DoVolClone(struct rx_connection *aconn, afs_uint32 avolid,
171                       afs_int32 apart, int type, afs_uint32 cloneid,
172                       char *typestring, char *pname, char *vname, char *suffix,
173                       struct volser_status *volstatus, afs_int32 *transPtr);
174 static int DoVolDelete(struct rx_connection *aconn, afs_uint32 avolid,
175                        afs_int32 apart, char *typestring, afs_uint32 atoserver,
176                        struct volser_status *volstatus, char *pprefix);
177 static afs_int32 CheckVolume(volintInfo * volumeinfo, afs_uint32 aserver,
178                              afs_int32 apart, afs_int32 * modentry,
179                              afs_uint32 * maxvolid, struct nvldbentry *aentry);
180 static afs_int32 VolumeExists(afs_uint32 server, afs_int32 partition,
181                               afs_uint32 volumeid);
182 static afs_int32 CheckVldbRWBK(struct nvldbentry * entry,
183                                afs_int32 * modified);
184 static afs_int32 CheckVldbRO(struct nvldbentry *entry, afs_int32 * modified);
185 static afs_int32 CheckVldb(struct nvldbentry *entry, afs_int32 * modified,
186                            afs_int32 *deleted);
187 static void dump_sig_handler(int x);
188 static int sortVolumes(const void *a, const void *b);
189
190
191 /*map the partition <partId> into partition name <partName>*/
192 void
193 MapPartIdIntoName(afs_int32 partId, char *partName)
194 {
195     if (partId < 26) {          /* what if partId > = 26 ? */
196         strcpy(partName, "/vicep");
197         partName[6] = partId + 'a';
198         partName[7] = '\0';
199         return;
200     } else if (partId < VOLMAXPARTS) {
201         strcpy(partName, "/vicep");
202         partId -= 26;
203         partName[6] = 'a' + (partId / 26);
204         partName[7] = 'a' + (partId % 26);
205         partName[8] = '\0';
206         return;
207     }
208 }
209
210 int
211 PrintError(char *msg, afs_int32 errcode)
212 {
213     fprintf(STDERR, "%s", msg);
214     /*replace by a big switch statement */
215     switch (errcode) {
216     case 0:
217         break;
218     case -1:
219         fprintf(STDERR, "Possible communication failure\n");
220         break;
221     case VSALVAGE:
222         fprintf(STDERR, "Volume needs to be salvaged\n");
223         break;
224     case VNOVNODE:
225         fprintf(STDERR, "Bad vnode number quoted\n");
226         break;
227     case VNOVOL:
228         fprintf(STDERR,
229                 "Volume not attached, does not exist, or not on line\n");
230         break;
231     case VVOLEXISTS:
232         fprintf(STDERR, "Volume already exists\n");
233         break;
234     case VNOSERVICE:
235         fprintf(STDERR, "Volume is not in service\n");
236         break;
237     case VOFFLINE:
238         fprintf(STDERR, "Volume is off line\n");
239         break;
240     case VONLINE:
241         fprintf(STDERR, "Volume is already on line\n");
242         break;
243     case VDISKFULL:
244         fprintf(STDERR, "Partition is full\n");
245         break;
246     case VOVERQUOTA:
247         fprintf(STDERR, "Volume max quota exceeded\n");
248         break;
249     case VBUSY:
250         fprintf(STDERR, "Volume temporarily unavailable\n");
251         break;
252     case VMOVED:
253         fprintf(STDERR, "Volume has moved to another server\n");
254         break;
255     case VL_IDEXIST:
256         fprintf(STDERR, "VLDB: volume Id exists in the vldb\n");
257         break;
258     case VL_IO:
259         fprintf(STDERR, "VLDB: a read terminated too early\n");
260         break;
261     case VL_NAMEEXIST:
262         fprintf(STDERR, "VLDB: volume entry exists in the vldb\n");
263         break;
264     case VL_CREATEFAIL:
265         fprintf(STDERR, "VLDB: internal creation failure\n");
266         break;
267     case VL_NOENT:
268         fprintf(STDERR, "VLDB: no such entry\n");
269         break;
270     case VL_EMPTY:
271         fprintf(STDERR, "VLDB: vldb database is empty\n");
272         break;
273     case VL_ENTDELETED:
274         fprintf(STDERR, "VLDB: entry is deleted (soft delete)\n");
275         break;
276     case VL_BADNAME:
277         fprintf(STDERR, "VLDB: volume name is illegal\n");
278         break;
279     case VL_BADINDEX:
280         fprintf(STDERR, "VLDB: index was out of range\n");
281         break;
282     case VL_BADVOLTYPE:
283         fprintf(STDERR, "VLDB: bad volume type\n");
284         break;
285     case VL_BADSERVER:
286         fprintf(STDERR, "VLDB: illegal server number (not within limits)\n");
287         break;
288     case VL_BADPARTITION:
289         fprintf(STDERR, "VLDB: bad partition number\n");
290         break;
291     case VL_REPSFULL:
292         fprintf(STDERR, "VLDB: run out of space for replication sites\n");
293         break;
294     case VL_NOREPSERVER:
295         fprintf(STDERR, "VLDB: no such repsite server exists\n");
296         break;
297     case VL_DUPREPSERVER:
298         fprintf(STDERR, "VLDB: replication site server already exists\n");
299         break;
300     case VL_RWNOTFOUND:
301         fprintf(STDERR, "VLDB: parent r/w entry not found\n");
302         break;
303     case VL_BADREFCOUNT:
304         fprintf(STDERR, "VLDB: illegal reference count number\n");
305         break;
306     case VL_SIZEEXCEEDED:
307         fprintf(STDERR, "VLDB: vldb size for attributes exceeded\n");
308         break;
309     case VL_BADENTRY:
310         fprintf(STDERR, "VLDB: bad incoming vldb entry\n");
311         break;
312     case VL_BADVOLIDBUMP:
313         fprintf(STDERR, "VLDB: illegal max volid increment\n");
314         break;
315     case VL_IDALREADYHASHED:
316         fprintf(STDERR, "VLDB: (RO/BACK) Id already hashed\n");
317         break;
318     case VL_ENTRYLOCKED:
319         fprintf(STDERR, "VLDB: vldb entry is already locked\n");
320         break;
321     case VL_BADVOLOPER:
322         fprintf(STDERR, "VLDB: bad volume operation code\n");
323         break;
324     case VL_BADRELLOCKTYPE:
325         fprintf(STDERR, "VLDB: bad release lock type\n");
326         break;
327     case VL_RERELEASE:
328         fprintf(STDERR, "VLDB: status report: last release was aborted\n");
329         break;
330     case VL_BADSERVERFLAG:
331         fprintf(STDERR, "VLDB: invalid replication site server flag\n");
332         break;
333     case VL_PERM:
334         fprintf(STDERR, "VLDB: no permission access for call\n");
335         break;
336     case VOLSERREAD_DUMPERROR:
337         fprintf(STDERR,
338                 "VOLSER:  Problems encountered in reading the dump file !\n");
339         break;
340     case VOLSERDUMPERROR:
341         fprintf(STDERR, "VOLSER: Problems encountered in doing the dump !\n");
342         break;
343     case VOLSERATTACH_ERROR:
344         fprintf(STDERR, "VOLSER: Could not attach the volume\n");
345         break;
346     case VOLSERDETACH_ERROR:
347         fprintf(STDERR, "VOLSER: Could not detach the volume\n");
348         break;
349     case VOLSERILLEGAL_PARTITION:
350         fprintf(STDERR, "VOLSER: encountered illegal partition number\n");
351         break;
352     case VOLSERBAD_ACCESS:
353         fprintf(STDERR, "VOLSER: permission denied, not a super user\n");
354         break;
355     case VOLSERVLDB_ERROR:
356         fprintf(STDERR, "VOLSER: error detected in the VLDB\n");
357         break;
358     case VOLSERBADNAME:
359         fprintf(STDERR, "VOLSER: error in volume name\n");
360         break;
361     case VOLSERVOLMOVED:
362         fprintf(STDERR, "VOLSER: volume has moved\n");
363         break;
364     case VOLSERBADOP:
365         fprintf(STDERR, "VOLSER: illegal operation\n");
366         break;
367     case VOLSERBADRELEASE:
368         fprintf(STDERR, "VOLSER: release could not be completed\n");
369         break;
370     case VOLSERVOLBUSY:
371         fprintf(STDERR, "VOLSER: volume is busy\n");
372         break;
373     case VOLSERNO_MEMORY:
374         fprintf(STDERR, "VOLSER: volume server is out of memory\n");
375         break;
376     case VOLSERNOVOL:
377         fprintf(STDERR,
378                 "VOLSER: no such volume - location specified incorrectly or volume does not exist\n");
379         break;
380     case VOLSERMULTIRWVOL:
381         fprintf(STDERR,
382                 "VOLSER: multiple RW volumes with same ID, one of which should be deleted\n");
383         break;
384     case VOLSERFAILEDOP:
385         fprintf(STDERR,
386                 "VOLSER: not all entries were successfully processed\n");
387         break;
388     default:
389         {
390             initialize_RXK_error_table();
391             initialize_KTC_error_table();
392             initialize_ACFG_error_table();
393             initialize_VL_error_table();
394
395             fprintf(STDERR, "%s: %s\n", afs_error_table_name(errcode),
396                     afs_error_message(errcode));
397             break;
398         }
399     }
400     return 0;
401 }
402
403 void init_volintInfo(struct volintInfo *vinfo) {
404     memset(vinfo, 0, sizeof(struct volintInfo));
405
406     vinfo->maxquota = -1;
407     vinfo->dayUse = -1;
408     vinfo->creationDate = -1;
409     vinfo->updateDate = -1;
410     vinfo->flags = -1;
411     vinfo->spare0 = -1;
412     vinfo->spare1 = -1;
413     vinfo->spare2 = -1;
414     vinfo->spare3 = -1;
415 }
416
417 static struct rx_securityClass *uvclass = 0;
418 static int uvindex = -1;
419 /* called by VLDBClient_Init to set the security module to be used in the RPC */
420 int
421 UV_SetSecurity(struct rx_securityClass *as, afs_int32 aindex)
422 {
423     uvindex = aindex;
424     uvclass = as;
425     return 0;
426 }
427
428 /* bind to volser on <port> <aserver> */
429 /* takes server address in network order, port in host order.  dumb */
430 struct rx_connection *
431 UV_Bind(afs_uint32 aserver, afs_int32 port)
432 {
433     struct rx_connection *tc;
434
435     tc = rx_NewConnection(aserver, htons(port), VOLSERVICE_ID, uvclass,
436                           uvindex);
437     return tc;
438 }
439
440 static int
441 AFSVolCreateVolume_retry(struct rx_connection *z_conn,
442                        afs_int32 partition, char *name, afs_int32 type,
443                        afs_int32 parent, afs_uint32 *volid, afs_int32 *trans)
444 {
445     afs_int32 code;
446     int retries = 3;
447     while (retries) {
448         code = AFSVolCreateVolume(z_conn, partition, name, type, parent,
449                                   volid, trans);
450         if (code != VOLSERVOLBUSY)
451             break;
452         retries--;
453 #ifdef AFS_PTHREAD_ENV
454         sleep(3-retries);
455 #else
456         IOMGR_Sleep(3-retries);
457 #endif
458     }
459     return code;
460 }
461
462 static int
463 AFSVolTransCreate_retry(struct rx_connection *z_conn,
464                         afs_int32 volume, afs_int32 partition,
465                         afs_int32 flags, afs_int32 * trans)
466 {
467     afs_int32 code;
468     int retries = 3;
469     while (retries) {
470         code = AFSVolTransCreate(z_conn, volume, partition, flags, trans);
471         if (code != VOLSERVOLBUSY)
472             break;
473         retries--;
474 #ifdef AFS_PTHREAD_ENV
475         sleep(3-retries);
476 #else
477         IOMGR_Sleep(3-retries);
478 #endif
479     }
480     return code;
481 }
482
483 /* called by EmuerateEntry, show vldb entry in a reasonable format */
484 void
485 SubEnumerateEntry(struct nvldbentry *entry)
486 {
487     int i;
488     char pname[10];
489     int isMixed = 0;
490     char hoststr[16];
491
492     if (entry->flags & VLF_RWEXISTS)
493         fprintf(STDOUT, "    RWrite: %-10u", entry->volumeId[RWVOL]);
494     if (entry->flags & VLF_ROEXISTS)
495         fprintf(STDOUT, "    ROnly: %-10u", entry->volumeId[ROVOL]);
496     if (entry->flags & VLF_BACKEXISTS)
497         fprintf(STDOUT, "    Backup: %-10u", entry->volumeId[BACKVOL]);
498     if ((entry->cloneId != 0) && (entry->flags & VLF_ROEXISTS))
499         fprintf(STDOUT, "    RClone: %-10lu", (unsigned long)entry->cloneId);
500     fprintf(STDOUT, "\n");
501     fprintf(STDOUT, "    number of sites -> %lu\n",
502             (unsigned long)entry->nServers);
503     for (i = 0; i < entry->nServers; i++) {
504         if (entry->serverFlags[i] & VLSF_NEWREPSITE)
505             isMixed = 1;
506     }
507     for (i = 0; i < entry->nServers; i++) {
508         MapPartIdIntoName(entry->serverPartition[i], pname);
509         fprintf(STDOUT, "       server %s partition %s ",
510                 noresolve ? afs_inet_ntoa_r(entry->serverNumber[i], hoststr) :
511                 hostutil_GetNameByINet(entry->serverNumber[i]), pname);
512         if (entry->serverFlags[i] & VLSF_RWVOL)
513             fprintf(STDOUT, "RW Site ");
514         else
515             fprintf(STDOUT, "RO Site ");
516         if (isMixed) {
517             if (entry->serverFlags[i] & VLSF_NEWREPSITE)
518                 fprintf(STDOUT," -- New release");
519             else
520                 if (!(entry->serverFlags[i] & VLSF_RWVOL))
521                     fprintf(STDOUT," -- Old release");
522         } else {
523             if (entry->serverFlags[i] & VLSF_DONTUSE)
524                 fprintf(STDOUT, " -- Not released");
525         }
526         fprintf(STDOUT, "\n");
527     }
528
529     return;
530
531 }
532
533 /*enumerate the vldb entry corresponding to <entry> */
534 void
535 EnumerateEntry(struct nvldbentry *entry)
536 {
537
538     fprintf(STDOUT, "\n");
539     fprintf(STDOUT, "%s \n", entry->name);
540     SubEnumerateEntry(entry);
541     return;
542 }
543
544 /* forcibly remove a volume.  Very dangerous call */
545 int
546 UV_NukeVolume(afs_uint32 server, afs_int32 partid, afs_uint32 volid)
547 {
548     struct rx_connection *tconn;
549     afs_int32 code;
550
551     tconn = UV_Bind(server, AFSCONF_VOLUMEPORT);
552     if (tconn) {
553         code = AFSVolNukeVolume(tconn, partid, volid);
554         rx_DestroyConnection(tconn);
555     } else
556         code = 0;
557     return code;
558 }
559
560 /* like df. Return usage of <pname> on <server> in <partition> */
561 int
562 UV_PartitionInfo64(afs_uint32 server, char *pname,
563                    struct diskPartition64 *partition)
564 {
565     struct rx_connection *aconn;
566     afs_int32 code = 0;
567
568     aconn = UV_Bind(server, AFSCONF_VOLUMEPORT);
569     code = AFSVolPartitionInfo64(aconn, pname, partition);
570     if (code == RXGEN_OPCODE) {
571         struct diskPartition *dpp = malloc(sizeof(struct diskPartition));
572         code = AFSVolPartitionInfo(aconn, pname, dpp);
573         if (!code) {
574             strncpy(partition->name, dpp->name, 32);
575             strncpy(partition->devName, dpp->devName, 32);
576             partition->lock_fd = dpp->lock_fd;
577             partition->free = dpp->free;
578             partition->minFree = dpp->minFree;
579         }
580         free(dpp);
581     }
582     if (code) {
583         fprintf(STDERR, "Could not get information on partition %s\n", pname);
584         PrintError("", code);
585     }
586     if (aconn)
587         rx_DestroyConnection(aconn);
588     return code;
589 }
590
591 /* old interface to create volumes */
592 int
593 UV_CreateVolume(afs_uint32 aserver, afs_int32 apart, char *aname,
594                 afs_uint32 * anewid)
595 {
596     afs_int32 code;
597     *anewid = 0;
598     code = UV_CreateVolume2(aserver, apart, aname, 5000, 0, 0, 0, 0, anewid);
599     return code;
600 }
601
602 /* less old interface to create volumes */
603 int
604 UV_CreateVolume2(afs_uint32 aserver, afs_int32 apart, char *aname,
605                  afs_int32 aquota, afs_int32 aspare1, afs_int32 aspare2,
606                  afs_int32 aspare3, afs_int32 aspare4, afs_uint32 * anewid)
607 {
608     afs_uint32 roid = 0, bkid = 0;
609     return UV_CreateVolume3(aserver, apart, aname, aquota, aspare1, aspare2,
610         aspare3, aspare4, anewid, &roid, &bkid);
611 }
612
613 /**
614  * Create a volume on the given server and partition
615  *
616  * @param aserver  server to create volume on
617  * @param spart  partition to create volume on
618  * @param aname  name of new volume
619  * @param aquota  quota for new volume
620  * @param anewid  contains the desired volume id for the new volume. If
621  *                *anewid == 0, a new id will be chosen, and will be placed
622  *                in *anewid when UV_CreateVolume3 returns.
623  * @param aroid  contains the desired RO volume id. If NULL, the RO id entry
624  *               will be unset. If *aroid == 0, an id will be chosen, and
625  *               will be placed in *anewid when UV_CreateVolume3 returns.
626  * @param abkid  same as aroid, except for the BK volume id instead of the
627  *               RO volume id.
628  * @return 0 on success, error code otherwise.
629  */
630 int
631 UV_CreateVolume3(afs_uint32 aserver, afs_int32 apart, char *aname,
632                  afs_int32 aquota, afs_int32 aspare1, afs_int32 aspare2,
633                  afs_int32 aspare3, afs_int32 aspare4, afs_uint32 * anewid,
634                  afs_uint32 * aroid, afs_uint32 * abkid)
635 {
636     struct rx_connection *aconn;
637     afs_int32 tid;
638     afs_int32 code;
639     afs_int32 error;
640     afs_int32 rcode, vcode;
641     afs_int32 lastid;
642     struct nvldbentry entry, storeEntry;        /*the new vldb entry */
643     struct volintInfo tstatus;
644
645     tid = 0;
646     error = 0;
647
648     memset(&storeEntry, 0, sizeof(struct nvldbentry));
649
650     init_volintInfo(&tstatus);
651     tstatus.maxquota = aquota;
652
653     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
654
655     if (aroid && *aroid) {
656         VPRINT1("Using RO volume ID %d.\n", *aroid);
657     }
658     if (abkid && *abkid) {
659         VPRINT1("Using BK volume ID %d.\n", *abkid);
660     }
661
662     if (*anewid) {
663         vcode = VLDB_GetEntryByID(*anewid, -1, &entry);
664         if (!vcode) {
665             fprintf(STDERR, "Volume ID %d already exists\n", *anewid);
666             return VVOLEXISTS;
667         }
668         VPRINT1("Using volume ID %d.\n", *anewid);
669     } else {
670         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, anewid);
671         EGOTO1(cfail, vcode, "Could not get an Id for volume %s\n", aname);
672
673         if (aroid && *aroid == 0) {
674             vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, aroid);
675             EGOTO1(cfail, vcode, "Could not get an RO Id for volume %s\n", aname);
676         }
677
678         if (abkid && *abkid == 0) {
679             vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, abkid);
680             EGOTO1(cfail, vcode, "Could not get a BK Id for volume %s\n", aname);
681         }
682     }
683
684     /* rw,ro, bk id are related in the default case */
685     /* If caller specified RW id, but not RO/BK ids, have them be RW+1 and RW+2 */
686     lastid = *anewid;
687     if (aroid && *aroid != 0) {
688         lastid = max(lastid, *aroid);
689     }
690     if (abkid && *abkid != 0) {
691         lastid = max(lastid, *abkid);
692     }
693     if (aroid && *aroid == 0) {
694         *aroid = ++lastid;
695     }
696     if (abkid && *abkid == 0) {
697         *abkid = ++lastid;
698     }
699
700     code =
701         AFSVolCreateVolume_retry(aconn, apart, aname, volser_RW, 0, anewid, &tid);
702     EGOTO2(cfail, code, "Failed to create the volume %s %u \n", aname,
703            *anewid);
704
705     code = AFSVolSetInfo(aconn, tid, &tstatus);
706     if (code)
707         EPRINT(code, "Could not change quota, continuing...\n");
708
709     code = AFSVolSetFlags(aconn, tid, 0);       /* bring it online (mark it InService */
710     EGOTO2(cfail, code, "Could not bring the volume %s %u online \n", aname,
711            *anewid);
712
713     VPRINT2("Volume %s %u created and brought online\n", aname, *anewid);
714
715     /* set up the vldb entry for this volume */
716     strncpy(entry.name, aname, VOLSER_OLDMAXVOLNAME);
717     entry.nServers = 1;
718     entry.serverNumber[0] = aserver;    /* this should have another
719                                          * level of indirection later */
720     entry.serverPartition[0] = apart;   /* this should also have
721                                          * another indirection level */
722     entry.flags = VLF_RWEXISTS; /* this records that rw volume exists */
723     entry.serverFlags[0] = VLSF_RWVOL;  /*this rep site has rw  vol */
724     entry.volumeId[RWVOL] = *anewid;
725     entry.volumeId[ROVOL] = aroid ? *aroid : 0;
726     entry.volumeId[BACKVOL] = abkid ? *abkid : 0;
727     entry.cloneId = 0;
728     /*map into right byte order, before passing to xdr, the stuff has to be in host
729      * byte order. Xdr converts it into network order */
730     MapNetworkToHost(&entry, &storeEntry);
731     /* create the vldb entry */
732     vcode = VLDB_CreateEntry(&storeEntry);
733     if (vcode) {
734         fprintf(STDERR,
735                 "Could not create a VLDB entry for the volume %s %lu\n",
736                 aname, (unsigned long)*anewid);
737         /*destroy the created volume */
738         VPRINT1("Deleting the newly created volume %u\n", *anewid);
739         AFSVolDeleteVolume(aconn, tid);
740         error = vcode;
741         goto cfail;
742     }
743     VPRINT2("Created the VLDB entry for the volume %s %u\n", aname, *anewid);
744     /* volume created, now terminate the transaction and release the connection */
745     code = AFSVolEndTrans(aconn, tid, &rcode);  /*if it crashes before this
746                                                  * the volume will come online anyway when transaction timesout , so if
747                                                  * vldb entry exists then the volume is guaranteed to exist too wrt create */
748     tid = 0;
749     if (code) {
750         fprintf(STDERR,
751                 "Failed to end the transaction on the volume %s %lu\n", aname,
752                 (unsigned long)*anewid);
753         error = code;
754         goto cfail;
755     }
756
757   cfail:
758     if (tid) {
759         code = AFSVolEndTrans(aconn, tid, &rcode);
760         if (code)
761             fprintf(STDERR, "WARNING: could not end transaction\n");
762     }
763     if (aconn)
764         rx_DestroyConnection(aconn);
765     PrintError("", error);
766     return error;
767 }
768
769 /* create a volume, given a server, partition number, volume name --> sends
770 * back new vol id in <anewid>*/
771 int
772 UV_AddVLDBEntry(afs_uint32 aserver, afs_int32 apart, char *aname,
773                 afs_uint32 aid)
774 {
775     struct rx_connection *aconn;
776     afs_int32 error;
777     afs_int32 vcode;
778     struct nvldbentry entry, storeEntry;        /*the new vldb entry */
779
780     memset(&storeEntry, 0, sizeof(struct nvldbentry));
781
782     aconn = (struct rx_connection *)0;
783     error = 0;
784
785     /* set up the vldb entry for this volume */
786     strncpy(entry.name, aname, VOLSER_OLDMAXVOLNAME);
787     entry.nServers = 1;
788     entry.serverNumber[0] = aserver;    /* this should have another
789                                          * level of indirection later */
790     entry.serverPartition[0] = apart;   /* this should also have
791                                          * another indirection level */
792     entry.flags = VLF_RWEXISTS; /* this records that rw volume exists */
793     entry.serverFlags[0] = VLSF_RWVOL;  /*this rep site has rw  vol */
794     entry.volumeId[RWVOL] = aid;
795     entry.volumeId[ROVOL] = 0;
796     entry.volumeId[BACKVOL] = 0;
797     entry.cloneId = 0;
798     /*map into right byte order, before passing to xdr, the stuff has to be in host
799      * byte order. Xdr converts it into network order */
800     MapNetworkToHost(&entry, &storeEntry);
801     /* create the vldb entry */
802     vcode = VLDB_CreateEntry(&storeEntry);
803     if (vcode) {
804         fprintf(STDERR,
805                 "Could not create a VLDB entry for the  volume %s %lu\n",
806                 aname, (unsigned long)aid);
807         error = vcode;
808         goto cfail;
809     }
810     VPRINT2("Created the VLDB entry for the volume %s %u\n", aname, aid);
811
812   cfail:
813     if (aconn)
814         rx_DestroyConnection(aconn);
815     PrintError("", error);
816     return error;
817 }
818
819 /* Delete the volume <volid>on <aserver> <apart>
820  * the physical entry gets removed from the vldb only if the ref count
821  * becomes zero
822  */
823 int
824 UV_DeleteVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid)
825 {
826     struct rx_connection *aconn = (struct rx_connection *)0;
827     afs_int32 ttid = 0;
828     afs_int32 code, rcode;
829     afs_int32 error = 0;
830     struct nvldbentry entry, storeEntry;
831     int islocked = 0;
832     afs_int32 avoltype = -1, vtype;
833     int notondisk = 0, notinvldb = 0;
834
835     memset(&storeEntry, 0, sizeof(struct nvldbentry));
836
837     /* Find and read bhe VLDB entry for this volume */
838     code = ubik_VL_SetLock(cstruct, 0, avolid, avoltype, VLOP_DELETE);
839     if (code) {
840         if (code != VL_NOENT) {
841             EGOTO1(error_exit, code,
842                    "Could not lock VLDB entry for the volume %u\n", avolid);
843         }
844         notinvldb = 1;
845     } else {
846         islocked = 1;
847
848         code = VLDB_GetEntryByID(avolid, avoltype, &entry);
849         EGOTO1(error_exit, code, "Could not fetch VLDB entry for volume %u\n",
850                avolid);
851         MapHostToNetwork(&entry);
852
853         if (verbose)
854             EnumerateEntry(&entry);
855     }
856
857     /* Whether volume is in the VLDB or not. Delete the volume on disk */
858     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
859
860     code = DoVolDelete(aconn, avolid, apart, "the", 0, NULL, NULL);
861     if (code) {
862         if (code == VNOVOL)
863             notondisk = 1;
864         else {
865             error = code;
866             goto error_exit;
867         }
868     }
869
870     /* Now update the VLDB entry.
871      * But first, verify we have a VLDB entry.
872      * Whether volume is on disk or not. Delete the volume in VLDB.
873      */
874     if (notinvldb)
875         ERROR_EXIT(0);
876
877     if (avolid == entry.volumeId[BACKVOL]) {
878         /* Its a backup volume, modify the VLDB entry. Check that the
879          * backup volume is on the server/partition we asked to delete.
880          */
881         if (!(entry.flags & VLF_BACKEXISTS) || !Lp_Match(aserver, apart, &entry)) {
882             notinvldb = 2;      /* Not on this server and partition */
883             ERROR_EXIT(0);
884         }
885
886         VPRINT1("Marking the backup volume %u deleted in the VLDB\n", avolid);
887
888         entry.flags &= ~VLF_BACKEXISTS;
889         vtype = BACKVOL;
890     }
891
892     else if (avolid == entry.volumeId[ROVOL]) {
893         /* Its a read-only volume, modify the VLDB entry. Check that the
894          * readonly volume is on the server/partition we asked to delete.
895          * If flags does not have RO_EIXSTS set, then this may mean the RO
896          * hasn't been released (and could exist in VLDB).
897          */
898         if (!Lp_ROMatch(aserver, apart, &entry)) {
899             notinvldb = 2;      /* Not found on this server and partition */
900             ERROR_EXIT(0);
901         }
902
903         if (verbose)
904             fprintf(STDOUT,
905                     "Marking the readonly volume %lu deleted in the VLDB\n",
906                     (unsigned long)avolid);
907
908         Lp_SetROValue(&entry, aserver, apart, 0, 0);    /* delete the site */
909         entry.nServers--;
910         if (!Lp_ROMatch(0, 0, &entry))
911             entry.flags &= ~VLF_ROEXISTS;       /* This was the last ro volume */
912         vtype = ROVOL;
913     }
914
915     else if (avolid == entry.volumeId[RWVOL]) {
916         /* It's a rw volume, delete the backup volume, modify the VLDB entry.
917          * Check that the readwrite volumes is on the server/partition we
918          * asked to delete.
919          */
920         if (!(entry.flags & VLF_RWEXISTS) || !Lp_Match(aserver, apart, &entry)) {
921             notinvldb = 2;      /* Not found on this server and partition */
922             ERROR_EXIT(0);
923         }
924
925         if (entry.volumeId[BACKVOL]) {
926             /* Delete backup if it exists */
927             code = DoVolDelete(aconn, entry.volumeId[BACKVOL], apart,
928                                "the backup", 0, NULL, NULL);
929             if (code && code != VNOVOL) {
930                 error = code;
931                 goto error_exit;
932             }
933         }
934
935         if (verbose)
936             fprintf(STDOUT,
937                     "Marking the readwrite volume %lu%s deleted in the VLDB\n",
938                     (unsigned long)avolid,
939                     ((entry.
940                       flags & VLF_BACKEXISTS) ? ", and its backup volume," :
941                      ""));
942
943         Lp_SetRWValue(&entry, aserver, apart, 0L, 0L);
944         entry.nServers--;
945         entry.flags &= ~(VLF_BACKEXISTS | VLF_RWEXISTS);
946         vtype = RWVOL;
947
948         if (entry.flags & VLF_ROEXISTS)
949             fprintf(STDERR, "WARNING: ReadOnly copy(s) may still exist\n");
950     }
951
952     else {
953         notinvldb = 2;          /* Not found on this server and partition */
954         ERROR_EXIT(0);
955     }
956
957     /* Either delete or replace the VLDB entry */
958     if ((entry.nServers <= 0) || !(entry.flags & (VLF_ROEXISTS | VLF_RWEXISTS))) {
959         if (verbose)
960             fprintf(STDOUT,
961                     "Last reference to the VLDB entry for %lu - deleting entry\n",
962                     (unsigned long)avolid);
963         code = ubik_VL_DeleteEntry(cstruct, 0, avolid, vtype);
964         EGOTO1(error_exit, code,
965                "Could not delete the VLDB entry for the volume %u \n",
966                avolid);
967     } else {
968         MapNetworkToHost(&entry, &storeEntry);
969         code =
970             VLDB_ReplaceEntry(avolid, vtype, &storeEntry,
971                               (LOCKREL_OPCODE | LOCKREL_AFSID |
972                                LOCKREL_TIMESTAMP));
973         EGOTO1(error_exit, code,
974                "Could not update the VLDB entry for the volume %u \n",
975                avolid);
976     }
977     islocked = 0;
978
979   error_exit:
980     if (error)
981         EPRINT(error, "\n");
982
983     if (notondisk && notinvldb) {
984         EPRINT2(VOLSERNOVOL, "Volume %u does not exist %s\n", avolid,
985                 ((notinvldb == 2) ? "on server and partition" : ""));
986         if (!error)
987             error = VOLSERNOVOL;
988     } else if (notondisk) {
989         fprintf(STDERR,
990                 "WARNING: Volume %lu did not exist on the partition\n",
991                 (unsigned long)avolid);
992     } else if (notinvldb) {
993         fprintf(STDERR, "WARNING: Volume %lu does not exist in VLDB %s\n",
994                 (unsigned long)avolid,
995                 ((notinvldb == 2) ? "on server and partition" : ""));
996     }
997
998     if (ttid) {
999         code = AFSVolEndTrans(aconn, ttid, &rcode);
1000         code = (code ? code : rcode);
1001         if (code) {
1002             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
1003                     (unsigned long)avolid);
1004             PrintError("", code);
1005             if (!error)
1006                 error = code;
1007         }
1008     }
1009
1010     if (islocked) {
1011         code =
1012             ubik_VL_ReleaseLock(cstruct, 0, avolid, -1,
1013                                 (LOCKREL_OPCODE | LOCKREL_AFSID |
1014                                  LOCKREL_TIMESTAMP));
1015         if (code) {
1016             EPRINT1(code,
1017                     "Could not release the lock on the VLDB entry for the volume %u \n",
1018                     avolid);
1019             if (!error)
1020                 error = code;
1021         }
1022     }
1023
1024     if (aconn)
1025         rx_DestroyConnection(aconn);
1026     return error;
1027 }
1028
1029 /* add recovery to UV_MoveVolume */
1030
1031 #define TESTC   0               /* set to test recovery code, clear for production */
1032
1033 jmp_buf env;
1034 int interrupt = 0;
1035
1036 static void *
1037 do_interrupt(void * unused)
1038 {
1039     if (interrupt) {
1040 #if !defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
1041         /* Avoid UNIX LWP from getting confused that our stack has suddenly
1042          * changed. This will avoid some sanity checks, but until a better way
1043          * is found, the only alternative is always crashing and burning on at
1044          * least the stack-overflow check. */
1045         lwp_cpptr->stack = NULL;
1046 #endif
1047         longjmp(env, 0);
1048     }
1049
1050     fprintf(STDOUT, "\nSIGINT handler: vos move operation in progress\n");
1051     fprintf(STDOUT,
1052             "WARNING: may leave AFS storage and metadata in indeterminate state\n");
1053     fprintf(STDOUT, "enter second control-c to exit\n");
1054     fflush(STDOUT);
1055
1056     interrupt = 1;
1057     return NULL;
1058 }
1059
1060 static void
1061 sigint_handler(int x)
1062 {
1063 #ifdef AFS_PTHREAD_ENV
1064     do_interrupt(NULL);
1065 #else
1066     IOMGR_SoftSig(do_interrupt, 0);
1067 #endif
1068     (void)signal(SIGINT, sigint_handler);
1069 }
1070
1071 static int
1072 DoVolDelete(struct rx_connection *aconn, afs_uint32 avolid,
1073             afs_int32 apart, char *ptypestring, afs_uint32 atoserver,
1074             struct volser_status *volstatus, char *pprefix)
1075 {
1076     afs_int32 ttid = 0, code, rcode, error = 0;
1077     char *prefix, *typestring;
1078     int beverbose = 0;
1079
1080     if (pprefix)
1081         prefix = pprefix;
1082     else
1083         prefix = "";
1084
1085     if (ptypestring) {
1086         typestring = ptypestring;
1087         beverbose = 1;
1088     } else
1089         typestring = "the";
1090
1091     if (beverbose)
1092         VPRINT3("%sDeleting %s volume %u ...", prefix, typestring, avolid);
1093
1094     code =
1095         AFSVolTransCreate_retry(aconn, avolid, apart, ITOffline, &ttid);
1096
1097     /* return early and quietly for VNOVOL; don't continue the attempt to delete. */
1098     if (code == VNOVOL) {
1099         error = code;
1100         goto dfail;
1101     }
1102
1103     EGOTO2(dfail, code, "%sFailed to start transaction on %u\n",
1104            prefix, avolid);
1105
1106     if (volstatus) {
1107         code = AFSVolGetStatus(aconn, ttid, volstatus);
1108         EGOTO2(dfail, code, "%sCould not get timestamp from volume %u\n",
1109                prefix, avolid);
1110     }
1111
1112     code =
1113         AFSVolSetFlags(aconn, ttid,
1114                        VTDeleteOnSalvage | VTOutOfService);
1115
1116     EGOTO2(dfail, code, "%sCould not set flags on volume %u \n",
1117            prefix, avolid);
1118
1119     if (atoserver) {
1120         VPRINT1("%sSetting volume forwarding pointer ...", prefix);
1121         AFSVolSetForwarding(aconn, ttid, atoserver);
1122         VDONE;
1123     }
1124
1125     code = AFSVolDeleteVolume(aconn, ttid);
1126     EGOTO2(dfail, code, "%sCould not delete volume %u\n", prefix, avolid);
1127
1128 dfail:
1129     if (ttid) {
1130         code = AFSVolEndTrans(aconn, ttid, &rcode);
1131         ttid = 0;
1132         if (!code)
1133             code = rcode;
1134         if (code) {
1135             fprintf(STDERR, "%sCould not end transaction on %s volume %lu \n",
1136                     prefix, typestring, (unsigned long)avolid);
1137             if (!error)
1138                 error = code;
1139         }
1140     }
1141
1142     if (beverbose && !error)
1143         VDONE;
1144     return error;
1145 }
1146
1147 static int
1148 DoVolClone(struct rx_connection *aconn, afs_uint32 avolid,
1149            afs_int32 apart, int type, afs_uint32 cloneid,
1150            char *typestring, char *pname, char *vname, char *suffix,
1151            struct volser_status *volstatus, afs_int32 *transPtr)
1152 {
1153     char cname[64];
1154     afs_int32 ttid = 0, btid = 0;
1155     afs_int32 code = 0, rcode = 0;
1156     afs_int32 error = 0;
1157     int cloneexists = 1;
1158
1159     /* Test to see if the clone volume exists by trying to create
1160      * a transaction on the clone volume. We've assumed the clone exists.
1161      */
1162     code = AFSVolTransCreate_retry(aconn, cloneid, apart, ITOffline, &btid);
1163     if (code) {
1164         if (code != VNOVOL) {
1165             EPRINT2(code, "Could not reach the %s volume %lu\n",
1166                     typestring, (unsigned long)cloneid);
1167             error = code;
1168             goto cfail;
1169         }
1170         cloneexists = 0;         /* clone volume does not exist */
1171     }
1172     if (btid) {
1173         code = AFSVolEndTrans(aconn, btid, &rcode);
1174         btid = 0;
1175         if (code || rcode) {
1176             fprintf(STDERR,
1177                     "Could not end transaction on the previous %s volume %lu\n",
1178                     typestring, (unsigned long)cloneid);
1179             error = (code ? code : rcode);
1180             goto cfail;
1181         }
1182     }
1183
1184     /* Now go ahead and try to clone the RW volume.
1185      * First start a transaction on the RW volume
1186      */
1187     code = AFSVolTransCreate_retry(aconn, avolid, apart, ITBusy, &ttid);
1188     if (code) {
1189         fprintf(STDERR, "Could not start a transaction on the volume %lu\n",
1190                 (unsigned long)avolid);
1191         error = code;
1192         goto cfail;
1193     }
1194
1195     /* Clone or reclone the volume, depending on whether the clone
1196      * volume exists or not
1197      */
1198     if (cloneexists) {
1199         VPRINT2("Re-cloning %s volume %u ...", typestring, cloneid);
1200
1201         code = AFSVolReClone(aconn, ttid, cloneid);
1202         if (code) {
1203             EPRINT2(code, "Could not re-clone %s volume %lu\n",
1204                     typestring, (unsigned long)cloneid);
1205             error = code;
1206             goto cfail;
1207         }
1208     } else {
1209         VPRINT2("Creating a new %s clone %u ...", typestring, cloneid);
1210
1211         if (!vname) {
1212             strcpy(cname, pname);
1213             strcat(cname, suffix);
1214         }
1215
1216         code = AFSVolClone(aconn, ttid, 0, type, vname?vname:cname,
1217                            &cloneid);
1218         if (code) {
1219             fprintf(STDERR, "Failed to clone the volume %lu\n",
1220                     (unsigned long)avolid);
1221             error = code;
1222             goto cfail;
1223         }
1224     }
1225
1226     VDONE;
1227
1228     if (volstatus) {
1229         VPRINT1("Getting status of parent volume %u...", avolid);
1230         code = AFSVolGetStatus(aconn, ttid, volstatus);
1231         if (code) {
1232             fprintf(STDERR, "Failed to get the status of the parent volume %lu\n",
1233                     (unsigned long)avolid);
1234             error = code;
1235             goto cfail;
1236         }
1237         VDONE;
1238     }
1239
1240 cfail:
1241     if (ttid) {
1242         code = AFSVolEndTrans(aconn, ttid, &rcode);
1243         if (code || rcode) {
1244             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
1245                     (unsigned long)avolid);
1246             if (!error)
1247                 error = (code ? code : rcode);
1248         }
1249     }
1250
1251     if (btid) {
1252         code = AFSVolEndTrans(aconn, btid, &rcode);
1253         if (code || rcode) {
1254             fprintf(STDERR,
1255                     "Could not end transaction on the %s volume %lu\n",
1256                     typestring, (unsigned long)cloneid);
1257             if (!error)
1258                 error = (code ? code : rcode);
1259         }
1260     }
1261     return error;
1262 }
1263
1264 /* Convert volume from RO to RW; adjust the VLDB entry to match.
1265  * The nvldbentry passed to us has already been MapHostToNetwork'd
1266  * by the caller.
1267  */
1268
1269 int
1270 UV_ConvertRO(afs_uint32 server, afs_uint32 partition, afs_uint32 volid,
1271                 struct nvldbentry *entry)
1272 {
1273     afs_int32 code, i, same;
1274     struct nvldbentry checkEntry, storeEntry;
1275     afs_int32 vcode;
1276     afs_int32 rwindex = 0;
1277     afs_uint32 rwserver = 0;
1278     afs_int32 roindex = 0;
1279     afs_uint32 roserver = 0;
1280     struct rx_connection *aconn;
1281
1282     memset(&storeEntry, 0, sizeof(struct nvldbentry));
1283
1284     vcode =
1285         ubik_VL_SetLock(cstruct, 0, entry->volumeId[RWVOL], RWVOL,
1286                   VLOP_MOVE);
1287     if (vcode) {
1288         fprintf(STDERR,
1289                 "Unable to lock volume %lu, code %d\n",
1290                 (unsigned long)entry->volumeId[RWVOL],vcode);
1291         PrintError("", vcode);
1292         return -1;
1293     }
1294
1295     /* make sure the VLDB entry hasn't changed since we started */
1296     memset(&checkEntry, 0, sizeof(checkEntry));
1297     vcode = VLDB_GetEntryByID(volid, -1, &checkEntry);
1298     if (vcode) {
1299         fprintf(STDERR,
1300                 "Could not fetch the entry for volume %lu from VLDB\n",
1301                 (unsigned long)volid);
1302         PrintError("convertROtoRW ", vcode);
1303         code = vcode;
1304         goto error_exit;
1305     }
1306
1307     MapHostToNetwork(&checkEntry);
1308     entry->flags &= ~VLOP_ALLOPERS;  /* clear any stale lock operation flags */
1309     entry->flags |= VLOP_MOVE;        /* set to match SetLock operation above */
1310     if (memcmp(entry, &checkEntry, sizeof(*entry)) != 0) {
1311         fprintf(STDERR,
1312                 "VLDB entry for volume %lu has changed; please reissue the command.\n",
1313                 (unsigned long)volid);
1314         code = -1;
1315         goto error_exit;
1316     }
1317
1318     /* extract information from the original entry */
1319     for (i = 0; i < entry->nServers; i++) {
1320         if (entry->serverFlags[i] & VLSF_RWVOL) {
1321             rwindex = i;
1322             rwserver = entry->serverNumber[i];
1323         /*  rwpartition = entry->serverPartition[i]; */
1324             if (roserver)
1325                 break;
1326         } else if ((entry->serverFlags[i] & VLSF_ROVOL) && !roserver) {
1327             same = VLDB_IsSameAddrs(server, entry->serverNumber[i], &code);
1328             if (code) {
1329                 fprintf(STDERR,
1330                         "Failed to get info about server's %d address(es) from vlserver (err=%d); aborting call!\n",
1331                         server, code);
1332                 code = ENOENT;
1333                 goto error_exit;
1334             }
1335             if (same) {
1336                 roindex = i;
1337                 roserver = entry->serverNumber[i];
1338         /*      ropartition = entry->serverPartition[i]; */
1339                 if (rwserver)
1340                      break;
1341             }
1342         }
1343     }
1344
1345     aconn = UV_Bind(server, AFSCONF_VOLUMEPORT);
1346     code = AFSVolConvertROtoRWvolume(aconn, partition, volid);
1347     if (code) {
1348         fprintf(STDERR,
1349                 "Converting RO volume %lu to RW volume failed with code %d\n",
1350                 (unsigned long)volid, code);
1351         PrintError("convertROtoRW ", code);
1352         goto error_exit;
1353     }
1354     /* Update the VLDB to match what we did on disk as much as possible.  */
1355     /* If the converted RO was in the VLDB, make it look like the new RW. */
1356     if (roserver) {
1357         entry->serverFlags[roindex] = VLSF_RWVOL;
1358     } else {
1359         /* Add a new site entry for the newly created RW.  It's possible
1360          * (but unlikely) that we are already at MAXNSERVERS and that this
1361          * new site will invalidate the whole VLDB entry;  however,
1362          * VLDB_ReplaceEntry will detect this and return VL_BADSERVER,
1363          * so we need no extra guard logic here.
1364          */
1365         afs_int32 newrwindex = entry->nServers;
1366         (entry->nServers)++;
1367         entry->serverNumber[newrwindex] = server;
1368         entry->serverPartition[newrwindex] = partition;
1369         entry->serverFlags[newrwindex] = VLSF_RWVOL;
1370     }
1371     entry->flags |= VLF_RWEXISTS;
1372     entry->flags &= ~VLF_BACKEXISTS;
1373
1374     /* if the old RW was in the VLDB, remove it by decrementing the number */
1375     /* of servers, replacing the RW entry with the last entry, and zeroing */
1376     /* out the last entry. */
1377     if (rwserver) {
1378         (entry->nServers)--;
1379         if (rwindex != entry->nServers) {
1380             entry->serverNumber[rwindex] = entry->serverNumber[entry->nServers];
1381             entry->serverPartition[rwindex] =
1382                 entry->serverPartition[entry->nServers];
1383             entry->serverFlags[rwindex] = entry->serverFlags[entry->nServers];
1384             entry->serverNumber[entry->nServers] = 0;
1385             entry->serverPartition[entry->nServers] = 0;
1386             entry->serverFlags[entry->nServers] = 0;
1387         }
1388     }
1389     entry->flags &= ~VLF_ROEXISTS;
1390     for (i = 0; i < entry->nServers; i++) {
1391         if (entry->serverFlags[i] & VLSF_ROVOL) {
1392             if (!(entry->serverFlags[i] & (VLSF_DONTUSE | VLSF_NEWREPSITE)))
1393                 entry->flags |= VLF_ROEXISTS;
1394         }
1395     }
1396     MapNetworkToHost(entry, &storeEntry);
1397     code =
1398         VLDB_ReplaceEntry(entry->volumeId[RWVOL], RWVOL, &storeEntry,
1399                           (LOCKREL_OPCODE | LOCKREL_AFSID |
1400                            LOCKREL_TIMESTAMP));
1401     if (code) {
1402         fprintf(STDERR,
1403                 "Warning: volume converted, but vldb update failed with code %d!\n",
1404                 code);
1405     }
1406
1407   error_exit:
1408     vcode = UV_LockRelease(entry->volumeId[RWVOL]);
1409     if (vcode) {
1410         fprintf(STDERR,
1411                 "Unable to unlock volume %lu, code %d\n",
1412                 (unsigned long)entry->volumeId[RWVOL],vcode);
1413         PrintError("", vcode);
1414     }
1415     return code;
1416 }
1417
1418
1419 /* Move volume <afromvol> on <afromserver> <afrompart> to <atoserver>
1420  * <atopart>.  The operation is almost idempotent.  The following
1421  * flags are recognized:
1422  *
1423  *     RV_NOCLONE - don't use a copy clone
1424  */
1425
1426 int
1427 UV_MoveVolume2(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
1428                afs_uint32 atoserver, afs_int32 atopart, int flags)
1429 {
1430     /* declare stuff 'volatile' that may be used from setjmp/longjmp and may
1431      * be changing during the move */
1432     struct rx_connection * volatile toconn;
1433     struct rx_connection * volatile fromconn;
1434     afs_int32 volatile fromtid;
1435     afs_int32 volatile totid;
1436     afs_int32 volatile clonetid;
1437     afs_uint32 volatile newVol;
1438     afs_uint32 volatile volid;
1439     afs_uint32 volatile backupId;
1440     int volatile islocked;
1441     int volatile pntg;
1442
1443     char vname[64];
1444     char *volName = 0;
1445     char tmpName[VOLSER_MAXVOLNAME + 1];
1446     afs_int32 rcode;
1447     afs_int32 fromDate;
1448     afs_int32 tmp;
1449     afs_uint32 tmpVol;
1450     struct restoreCookie cookie;
1451     afs_int32 vcode, code;
1452     struct volser_status tstatus;
1453     struct destServer destination;
1454
1455     struct nvldbentry entry, storeEntry;
1456     int i;
1457     afs_int32 error;
1458     char in, lf;                /* for test code */
1459     int same;
1460     char hoststr[16];
1461
1462 #ifdef  ENABLE_BUGFIX_1165
1463     volEntries volumeInfo;
1464     struct volintInfo *infop = 0;
1465 #endif
1466
1467     islocked = 0;
1468     fromconn = (struct rx_connection *)0;
1469     toconn = (struct rx_connection *)0;
1470     fromtid = 0;
1471     totid = 0;
1472     clonetid = 0;
1473     error = 0;
1474     volid = 0;
1475     pntg = 0;
1476     backupId = 0;
1477     newVol = 0;
1478
1479     /* support control-c processing */
1480     if (setjmp(env))
1481         goto mfail;
1482     (void)signal(SIGINT, sigint_handler);
1483
1484     if (TESTC) {
1485         fprintf(STDOUT,
1486                 "\nThere are three tests points - verifies all code paths through recovery.\n");
1487         fprintf(STDOUT, "First test point - operation not started.\n");
1488         fprintf(STDOUT, "...test here (y, n)? ");
1489         fflush(STDOUT);
1490         if (fscanf(stdin, "%c", &in) < 1)
1491             in = 0;
1492         if (fscanf(stdin, "%c", &lf) < 0) {
1493             /* toss away; don't care */
1494         }
1495         if (in == 'y') {
1496             fprintf(STDOUT, "type control-c\n");
1497             while (1) {
1498                 fprintf(stdout, ".");
1499                 fflush(stdout);
1500                 sleep(1);
1501             }
1502         }
1503         /* or drop through */
1504     }
1505
1506     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
1507     EGOTO1(mfail, vcode,
1508            "Could not fetch the entry for the volume  %u from the VLDB \n",
1509            afromvol);
1510
1511     if (entry.volumeId[RWVOL] != afromvol) {
1512         fprintf(STDERR, "Only RW volume can be moved\n");
1513         exit(1);
1514     }
1515
1516     vcode = ubik_VL_SetLock(cstruct, 0, afromvol, RWVOL, VLOP_MOVE);
1517     EGOTO1(mfail, vcode, "Could not lock entry for volume %u \n", afromvol);
1518     islocked = 1;
1519
1520     vcode = VLDB_GetEntryByID(afromvol, RWVOL, &entry);
1521     EGOTO1(mfail, vcode,
1522            "Could not fetch the entry for the volume  %u from the VLDB \n",
1523            afromvol);
1524
1525     backupId = entry.volumeId[BACKVOL];
1526     MapHostToNetwork(&entry);
1527
1528     if (!Lp_Match(afromserver, afrompart, &entry)) {
1529         /* the from server and partition do not exist in the vldb entry corresponding to volid */
1530         if (!Lp_Match(atoserver, atopart, &entry)) {
1531             /* the to server and partition do not exist in the vldb entry corresponding to volid */
1532             fprintf(STDERR, "The volume %lu is not on the specified site. \n",
1533                     (unsigned long)afromvol);
1534             fprintf(STDERR, "The current site is :");
1535             for (i = 0; i < entry.nServers; i++) {
1536                 if (entry.serverFlags[i] == VLSF_RWVOL) {
1537                     char pname[10];
1538                     MapPartIdIntoName(entry.serverPartition[i], pname);
1539                     fprintf(STDERR, " server %s partition %s \n",
1540                             noresolve ? afs_inet_ntoa_r(entry.serverNumber[i], hoststr) :
1541                             hostutil_GetNameByINet(entry.serverNumber[i]),
1542                             pname);
1543                 }
1544             }
1545             vcode =
1546                 ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
1547                           (LOCKREL_OPCODE | LOCKREL_AFSID |
1548                            LOCKREL_TIMESTAMP));
1549             EGOTO1(mfail, vcode,
1550                    " Could not release lock on the VLDB entry for the volume %u \n",
1551                    afromvol);
1552
1553             return VOLSERVOLMOVED;
1554         }
1555
1556         /* delete the volume afromvol on src_server */
1557         /* from-info does not exist but to-info does =>
1558          * we have already done the move, but the volume
1559          * may still be existing physically on from fileserver
1560          */
1561         fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
1562         pntg = 1;
1563
1564         code = DoVolDelete(fromconn, afromvol, afrompart,
1565                            "leftover", 0, NULL, NULL);
1566         if (code && code != VNOVOL) {
1567             error = code;
1568             goto mfail;
1569         }
1570
1571         code = DoVolDelete(fromconn, backupId, afrompart,
1572                            "leftover backup", 0, NULL, NULL);
1573         if (code && code != VNOVOL) {
1574             error = code;
1575             goto mfail;
1576         }
1577
1578         fromtid = 0;
1579         error = 0;
1580         goto mfail;
1581     }
1582
1583     /* From-info matches the vldb info about volid,
1584      * its ok start the move operation, the backup volume
1585      * on the old site is deleted in the process
1586      */
1587     if (afrompart == atopart) {
1588         same = VLDB_IsSameAddrs(afromserver, atoserver, &error);
1589         EGOTO2(mfail, error,
1590                "Failed to get info about server's %d address(es) from vlserver (err=%d); aborting call!\n",
1591                afromserver, error);
1592
1593         if (same) {
1594             EGOTO1(mfail, VOLSERVOLMOVED,
1595                    "Warning: Moving volume %u to its home partition ignored!\n",
1596                    afromvol);
1597         }
1598     }
1599
1600     pntg = 1;
1601     toconn = UV_Bind(atoserver, AFSCONF_VOLUMEPORT);    /* get connections to the servers */
1602     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
1603     totid = 0;  /* initialize to uncreated */
1604
1605     /* ***
1606      * clone the read/write volume locally.
1607      * ***/
1608
1609     VPRINT1("Starting transaction on source volume %u ...", afromvol);
1610     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
1611     fromtid = tmp;
1612     EGOTO1(mfail, code, "Failed to create transaction on the volume %u\n",
1613            afromvol);
1614     VDONE;
1615
1616     if (!(flags & RV_NOCLONE)) {
1617         /* Get a clone id */
1618         VPRINT1("Allocating new volume id for clone of volume %u ...",
1619                 afromvol);
1620         tmpVol = 0;
1621         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &tmpVol);
1622         newVol = tmpVol;
1623         EGOTO1(mfail, vcode,
1624                "Could not get an ID for the clone of volume %u from the VLDB\n",
1625                afromvol);
1626         VDONE;
1627
1628         /* Do the clone. Default flags on clone are set to delete on salvage and out of service */
1629         VPRINT1("Cloning source volume %u ...", afromvol);
1630         strcpy(vname, "move-clone-temp");
1631         code =
1632             AFSVolClone(fromconn, fromtid, 0, readonlyVolume, vname, &tmpVol);
1633         newVol = tmpVol;
1634         EGOTO1(mfail, code, "Failed to clone the source volume %u\n",
1635                afromvol);
1636         VDONE;
1637     }
1638
1639     /* lookup the name of the volume we just cloned */
1640     volid = afromvol;
1641     code = AFSVolGetName(fromconn, fromtid, &volName);
1642     EGOTO1(mfail, code, "Failed to get the name of the volume %u\n",
1643            afromvol);
1644
1645     VPRINT1("Ending the transaction on the source volume %u ...", afromvol);
1646     rcode = 0;
1647     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1648     fromtid = 0;
1649     if (!code)
1650         code = rcode;
1651     EGOTO1(mfail, code,
1652            "Failed to end the transaction on the source volume %u\n",
1653            afromvol);
1654     VDONE;
1655
1656     /* ***
1657      * Create the destination volume
1658      * ***/
1659
1660     if (!(flags & RV_NOCLONE)) {
1661         /* All of this is to get the fromDate */
1662         VPRINT1("Starting transaction on the cloned volume %u ...", newVol);
1663         tmp = clonetid;
1664         code =
1665             AFSVolTransCreate_retry(fromconn, newVol, afrompart, ITOffline,
1666                               &tmp);
1667         clonetid = tmp;
1668         EGOTO1(mfail, code,
1669                "Failed to start a transaction on the cloned volume%u\n",
1670                newVol);
1671         VDONE;
1672
1673         VPRINT1("Setting flags on cloned volume %u ...", newVol);
1674         code =
1675             AFSVolSetFlags(fromconn, clonetid,
1676                            VTDeleteOnSalvage | VTOutOfService); /*redundant */
1677         EGOTO1(mfail, code, "Could not set flags on the cloned volume %u\n",
1678                newVol);
1679         VDONE;
1680
1681         /* remember time from which we've dumped the volume */
1682         VPRINT1("Getting status of cloned volume %u ...", newVol);
1683         code = AFSVolGetStatus(fromconn, clonetid, &tstatus);
1684         EGOTO1(mfail, code,
1685                "Failed to get the status of the cloned volume %u\n",
1686                newVol);
1687         VDONE;
1688
1689         fromDate = CLOCKADJ(tstatus.creationDate);
1690     } else {
1691         /* With RV_NOCLONE, just do a full copy from the source */
1692         fromDate = 0;
1693     }
1694
1695
1696 #ifdef  ENABLE_BUGFIX_1165
1697     /*
1698      * Get the internal volume state from the source volume. We'll use such info (i.e. dayUse)
1699      * to copy it to the new volume (via AFSSetInfo later on) so that when we move volumes we
1700      * don't use this information...
1701      */
1702     volumeInfo.volEntries_val = (volintInfo *) 0;       /*this hints the stub to allocate space */
1703     volumeInfo.volEntries_len = 0;
1704     code = AFSVolListOneVolume(fromconn, afrompart, afromvol, &volumeInfo);
1705     EGOTO1(mfail, code,
1706            "Failed to get the volint Info of the cloned volume %u\n",
1707            afromvol);
1708
1709     infop = (volintInfo *) volumeInfo.volEntries_val;
1710     infop->maxquota = -1;       /* Else it will replace the default quota */
1711     infop->creationDate = -1;   /* Else it will use the source creation date */
1712     infop->updateDate = -1;     /* Else it will use the source update date */
1713 #endif
1714
1715     /* create a volume on the target machine */
1716     volid = afromvol;
1717     code = DoVolDelete(toconn, volid, atopart,
1718                        "pre-existing destination", 0, NULL, NULL);
1719     if (code && code != VNOVOL) {
1720         error = code;
1721         goto mfail;
1722     }
1723
1724     VPRINT1("Creating the destination volume %u ...", volid);
1725     tmp = totid;
1726     tmpVol = volid;
1727     code =
1728         AFSVolCreateVolume(toconn, atopart, volName, volser_RW, volid, &tmpVol,
1729                            &tmp);
1730     totid = tmp;
1731     volid = tmpVol;
1732     EGOTO1(mfail, code, "Failed to create the destination volume %u\n",
1733            volid);
1734     VDONE;
1735
1736     strncpy(tmpName, volName, VOLSER_OLDMAXVOLNAME);
1737     free(volName);
1738     volName = NULL;
1739
1740     VPRINT1("Setting volume flags on destination volume %u ...", volid);
1741     code =
1742         AFSVolSetFlags(toconn, totid, (VTDeleteOnSalvage | VTOutOfService));
1743     EGOTO1(mfail, code,
1744            "Failed to set the flags on the destination volume %u\n", volid);
1745     VDONE;
1746
1747     /***
1748      * Now dump the clone to the new volume
1749      ***/
1750
1751     destination.destHost = ntohl(atoserver);
1752     destination.destPort = AFSCONF_VOLUMEPORT;
1753     destination.destSSID = 1;
1754
1755     strncpy(cookie.name, tmpName, VOLSER_OLDMAXVOLNAME);
1756     cookie.type = RWVOL;
1757     cookie.parent = entry.volumeId[RWVOL];
1758     cookie.clone = 0;
1759
1760     if (!(flags & RV_NOCLONE)) {
1761         /* Copy the clone to the new volume */
1762         VPRINT2("Dumping from clone %u on source to volume %u on destination ...",
1763                 newVol, afromvol);
1764         code =
1765             AFSVolForward(fromconn, clonetid, 0, &destination, totid,
1766                           &cookie);
1767         EGOTO1(mfail, code, "Failed to move data for the volume %u\n", volid);
1768         VDONE;
1769
1770         VPRINT1("Ending transaction on cloned volume %u ...", newVol);
1771         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
1772         if (!code)
1773             code = rcode;
1774         clonetid = 0;
1775         EGOTO1(mfail, code,
1776                "Failed to end the transaction on the cloned volume %u\n",
1777                newVol);
1778         VDONE;
1779     }
1780
1781     /* ***
1782      * reattach to the main-line volume, and incrementally dump it.
1783      * ***/
1784
1785     VPRINT1("Starting transaction on source volume %u ...", afromvol);
1786     tmp = fromtid;
1787     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
1788     fromtid = tmp;
1789     EGOTO1(mfail, code,
1790            "Failed to create a transaction on the source volume %u\n",
1791            afromvol);
1792     VDONE;
1793
1794     /* now do the incremental */
1795     VPRINT2
1796         ("Doing the%s dump from source to destination for volume %u ... ",
1797          (flags & RV_NOCLONE) ? "" : " incremental",
1798          afromvol);
1799     code =
1800         AFSVolForward(fromconn, fromtid, fromDate, &destination, totid,
1801                       &cookie);
1802     EGOTO1(mfail, code,
1803            "Failed to do the%s dump from rw volume on old site to rw volume on newsite\n",
1804           (flags & RV_NOCLONE) ? "" : " incremental");
1805     VDONE;
1806
1807     /* now adjust the flags so that the new volume becomes official */
1808     VPRINT1("Setting volume flags on old source volume %u ...", afromvol);
1809     code = AFSVolSetFlags(fromconn, fromtid, VTOutOfService);
1810     EGOTO(mfail, code,
1811           "Failed to set the flags to make old source volume offline\n");
1812     VDONE;
1813
1814     VPRINT1("Setting volume flags on new source volume %u ...", afromvol);
1815     code = AFSVolSetFlags(toconn, totid, 0);
1816     EGOTO(mfail, code,
1817           "Failed to set the flags to make new source volume online\n");
1818     VDONE;
1819
1820 #ifdef  ENABLE_BUGFIX_1165
1821     VPRINT1("Setting volume status on destination volume %u ...", volid);
1822     code = AFSVolSetInfo(toconn, totid, infop);
1823     EGOTO1(mfail, code,
1824            "Failed to set volume status on the destination volume %u\n",
1825            volid);
1826     VDONE;
1827 #endif
1828
1829     /* put new volume online */
1830     VPRINT1("Ending transaction on destination volume %u ...", afromvol);
1831     code = AFSVolEndTrans(toconn, totid, &rcode);
1832     totid = 0;
1833     if (!code)
1834         code = rcode;
1835     EGOTO1(mfail, code,
1836            "Failed to end the transaction on the volume %u on the new site\n",
1837            afromvol);
1838     VDONE;
1839
1840     Lp_SetRWValue(&entry, afromserver, afrompart, atoserver, atopart);
1841     MapNetworkToHost(&entry, &storeEntry);
1842     storeEntry.flags &= ~VLF_BACKEXISTS;
1843
1844     if (TESTC) {
1845         fprintf(STDOUT,
1846                 "Second test point - operation in progress but not complete.\n");
1847         fprintf(STDOUT, "...test here (y, n)? ");
1848         fflush(STDOUT);
1849         if (fscanf(stdin, "%c", &in) < 1)
1850             in = 0;
1851         if (fscanf(stdin, "%c", &lf) < 0) {
1852             /* toss away, don't care */
1853         }
1854         if (in == 'y') {
1855             fprintf(STDOUT, "type control-c\n");
1856             while (1) {
1857                 fprintf(stdout, ".");
1858                 fflush(stdout);
1859                 sleep(1);
1860             }
1861         }
1862         /* or drop through */
1863     }
1864
1865     VPRINT1("Releasing lock on VLDB entry for volume %u ...", afromvol);
1866     vcode =
1867         VLDB_ReplaceEntry(afromvol, -1, &storeEntry,
1868                           (LOCKREL_OPCODE | LOCKREL_AFSID |
1869                            LOCKREL_TIMESTAMP));
1870     if (vcode) {
1871         fprintf(STDERR,
1872                 " Could not release the lock on the VLDB entry for the volume %s %lu \n",
1873                 storeEntry.name, (unsigned long)afromvol);
1874         error = vcode;
1875         goto mfail;
1876     }
1877     islocked = 0;
1878     VDONE;
1879
1880     if (TESTC) {
1881         fprintf(STDOUT,
1882                 "Third test point - operation complete but no cleanup.\n");
1883         fprintf(STDOUT, "...test here (y, n)? ");
1884         fflush(STDOUT);
1885         if (fscanf(stdin, "%c", &in) < 1)
1886             in = 0;
1887         if (fscanf(stdin, "%c", &lf) < 0) {
1888             /* toss away; don't care */
1889         }
1890         if (in == 'y') {
1891             fprintf(STDOUT, "type control-c\n");
1892             while (1) {
1893                 fprintf(stdout, ".");
1894                 fflush(stdout);
1895                 sleep(1);
1896             }
1897         }
1898         /* or drop through */
1899     }
1900     if (atoserver != afromserver) {
1901         /* set forwarding pointer for moved volumes */
1902         VPRINT1("Setting forwarding pointer for volume %u ...", afromvol);
1903         code = AFSVolSetForwarding(fromconn, fromtid, atoserver);
1904         EGOTO1(mfail, code,
1905                "Failed to set the forwarding pointer for the volume %u\n",
1906                afromvol);
1907         VDONE;
1908     }
1909
1910     VPRINT1("Deleting old volume %u on source ...", afromvol);
1911     code = AFSVolDeleteVolume(fromconn, fromtid);       /* zap original volume */
1912     EGOTO1(mfail, code, "Failed to delete the old volume %u on source\n",
1913            afromvol);
1914     VDONE;
1915
1916     VPRINT1("Ending transaction on old volume %u on the source ...",
1917             afromvol);
1918     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1919     fromtid = 0;
1920     if (!code)
1921         code = rcode;
1922     EGOTO1(mfail, code,
1923            "Failed to end the transaction on the old volume %u on the source\n",
1924            afromvol);
1925     VDONE;
1926
1927     code = DoVolDelete(fromconn, backupId, afrompart,
1928                        "source backup", 0, NULL, NULL);
1929     if (code && code != VNOVOL) {
1930         error = code;
1931         goto mfail;
1932     }
1933
1934     code = 0;           /* no backup volume? that's okay */
1935
1936     fromtid = 0;
1937     if (!(flags & RV_NOCLONE)) {
1938         code = DoVolDelete(fromconn, newVol, afrompart,
1939                            "cloned", 0, NULL, NULL);
1940         if (code && code != VNOVOL) {
1941             error = code;
1942             goto mfail;
1943         }
1944
1945         code = 0;       /* clone missing? that's okay */
1946     }
1947
1948     /* fall through */
1949     /* END OF MOVE */
1950
1951     if (TESTC) {
1952         fprintf(STDOUT, "Fourth test point - operation complete.\n");
1953         fprintf(STDOUT, "...test here (y, n)? ");
1954         fflush(STDOUT);
1955         if (fscanf(stdin, "%c", &in) < 1)
1956             in = 0;
1957         if (fscanf(stdin, "%c", &lf) < 0) {     /* toss away */
1958             /* don't care */
1959         }
1960         if (in == 'y') {
1961             fprintf(STDOUT, "type control-c\n");
1962             while (1) {
1963                 fprintf(stdout, ".");
1964                 fflush(stdout);
1965                 sleep(1);
1966             }
1967         }
1968         /* or drop through */
1969     }
1970
1971     /* normal cleanup code */
1972
1973     if (entry.flags & VLF_ROEXISTS)
1974         fprintf(STDERR, "WARNING : readOnly copies still exist \n");
1975
1976     if (islocked) {
1977         VPRINT1("Cleanup: Releasing VLDB lock on volume %u ...", afromvol);
1978         vcode =
1979             ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
1980                       (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
1981         if (vcode) {
1982             VPRINT("\n");
1983             fprintf(STDERR,
1984                     " Could not release the lock on the VLDB entry for the volume %lu \n",
1985                     (unsigned long)afromvol);
1986             if (!error)
1987                 error = vcode;
1988         }
1989         VDONE;
1990     }
1991
1992     if (fromtid) {
1993         VPRINT1("Cleanup: Ending transaction on source volume %u ...",
1994                 afromvol);
1995         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1996         if (code || rcode) {
1997             VPRINT("\n");
1998             fprintf(STDERR,
1999                     "Could not end transaction on the source volume %lu\n",
2000                     (unsigned long)afromvol);
2001             if (!error)
2002                 error = (code ? code : rcode);
2003         }
2004         VDONE;
2005     }
2006
2007     if (clonetid) {
2008         VPRINT1("Cleanup: Ending transaction on clone volume %u ...", newVol);
2009         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
2010         if (code || rcode) {
2011             VPRINT("\n");
2012             fprintf(STDERR,
2013                     "Could not end transaction on the source's clone volume %lu\n",
2014                     (unsigned long)newVol);
2015             if (!error)
2016                 error = (code ? code : rcode);
2017         }
2018         VDONE;
2019     }
2020
2021     if (totid) {
2022         VPRINT1("Cleanup: Ending transaction on destination volume %u ...",
2023                 afromvol);
2024         code = AFSVolEndTrans(toconn, totid, &rcode);
2025         if (code) {
2026             VPRINT("\n");
2027             fprintf(STDERR,
2028                     "Could not end transaction on destination volume %lu\n",
2029                     (unsigned long)afromvol);
2030             if (!error)
2031                 error = (code ? code : rcode);
2032         }
2033         VDONE;
2034     }
2035     if (volName)
2036         free(volName);
2037 #ifdef  ENABLE_BUGFIX_1165
2038     if (infop)
2039         free(infop);
2040 #endif
2041     if (fromconn)
2042         rx_DestroyConnection(fromconn);
2043     if (toconn)
2044         rx_DestroyConnection(toconn);
2045     PrintError("", error);
2046     return error;
2047
2048     /* come here only when the sky falls */
2049   mfail:
2050
2051     if (pntg) {
2052         fprintf(STDOUT,
2053                 "vos move: operation interrupted, cleanup in progress...\n");
2054         fprintf(STDOUT, "clear transaction contexts\n");
2055         fflush(STDOUT);
2056     }
2057
2058     /* unlock VLDB entry */
2059     if (islocked) {
2060         VPRINT1("Recovery: Releasing VLDB lock on volume %u ...", afromvol);
2061         ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
2062                   (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
2063         VDONE;
2064         islocked = 0;
2065     }
2066
2067     if (clonetid) {
2068         VPRINT("Recovery: Ending transaction on clone volume ...");
2069         AFSVolEndTrans(fromconn, clonetid, &rcode);
2070         VDONE;
2071     }
2072     if (totid) {
2073         VPRINT("Recovery: Ending transaction on destination volume ...");
2074         AFSVolEndTrans(toconn, totid, &rcode);
2075         VDONE;
2076     }
2077     if (fromtid) {              /* put it on-line */
2078         VPRINT("Recovery: Setting volume flags on source volume ...");
2079         AFSVolSetFlags(fromconn, fromtid, 0);
2080         VDONE;
2081
2082         VPRINT("Recovery: Ending transaction on source volume ...");
2083         AFSVolEndTrans(fromconn, fromtid, &rcode);
2084         VDONE;
2085     }
2086
2087     VPRINT("Recovery: Accessing VLDB.\n");
2088     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2089     if (vcode) {
2090         fprintf(STDOUT, "FATAL: VLDB access error: abort cleanup\n");
2091         fflush(STDOUT);
2092         goto done;
2093     }
2094     MapHostToNetwork(&entry);
2095
2096     /* Delete either the volume on the source location or the target location.
2097      * If the vldb entry still points to the source location, then we know the
2098      * volume move didn't finish so we remove the volume from the target
2099      * location. Otherwise, we remove the volume from the source location.
2100      */
2101     if (Lp_Match(afromserver, afrompart, &entry)) {     /* didn't move - delete target volume */
2102         if (pntg) {
2103             fprintf(STDOUT,
2104                     "move incomplete - attempt cleanup of target partition - no guarantee\n");
2105             fflush(STDOUT);
2106         }
2107
2108         if (volid && toconn) {
2109             code = DoVolDelete(toconn, volid, atopart,
2110                                "destination", 0, NULL, "Recovery:");
2111             if (code == VNOVOL) {
2112                 EPRINT1(code, "Recovery: Failed to start transaction on %u\n", volid);
2113             }
2114         }
2115
2116         /* put source volume on-line */
2117         if (fromconn) {
2118             VPRINT1("Recovery: Creating transaction on source volume %u ...",
2119                     afromvol);
2120             tmp = fromtid;
2121             code =
2122                 AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy,
2123                                   &tmp);
2124             fromtid = tmp;
2125             if (!code) {
2126                 VDONE;
2127
2128                 VPRINT1("Recovery: Setting flags on source volume %u ...",
2129                         afromvol);
2130                 AFSVolSetFlags(fromconn, fromtid, 0);
2131                 VDONE;
2132
2133                 VPRINT1
2134                     ("Recovery: Ending transaction on source volume %u ...",
2135                      afromvol);
2136                 AFSVolEndTrans(fromconn, fromtid, &rcode);
2137                 VDONE;
2138             } else {
2139                 VPRINT1
2140                     ("\nRecovery: Unable to start transaction on source volume %u.\n",
2141                      afromvol);
2142             }
2143         }
2144     } else {                    /* yep, move complete */
2145         if (pntg) {
2146             fprintf(STDOUT,
2147                     "move complete - attempt cleanup of source partition - no guarantee\n");
2148             fflush(STDOUT);
2149         }
2150
2151         /* delete backup volume */
2152         if (fromconn) {
2153             code = DoVolDelete(fromconn, backupId, afrompart,
2154                                "backup", 0, NULL, "Recovery:");
2155             if (code == VNOVOL) {
2156                 EPRINT1(code, "Recovery: Failed to start transaction on %u\n", backupId);
2157             }
2158
2159             code = DoVolDelete(fromconn, afromvol, afrompart, "source",
2160                                (atoserver != afromserver)?atoserver:0,
2161                         NULL, NULL);
2162             if (code == VNOVOL) {
2163                 EPRINT1(code, "Failed to start transaction on %u\n", afromvol);
2164             }
2165         }
2166     }
2167
2168     /* common cleanup - delete local clone */
2169     if (newVol) {
2170         code = DoVolDelete(fromconn, newVol, afrompart,
2171                            "clone", 0, NULL, "Recovery:");
2172         if (code == VNOVOL) {
2173             EPRINT1(code, "Recovery: Failed to start transaction on %u\n", newVol);
2174         }
2175     }
2176
2177     /* unlock VLDB entry */
2178     if (islocked) {
2179         VPRINT1("Recovery: Releasing lock on VLDB entry for volume %u ...",
2180                 afromvol);
2181         ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
2182                             (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
2183         VDONE;
2184     }
2185   done:                 /* routine cleanup */
2186     if (volName)
2187         free(volName);
2188 #ifdef  ENABLE_BUGFIX_1165
2189     if (infop)
2190         free(infop);
2191 #endif
2192     if (fromconn)
2193         rx_DestroyConnection(fromconn);
2194     if (toconn)
2195         rx_DestroyConnection(toconn);
2196
2197     if (pntg) {
2198         fprintf(STDOUT, "cleanup complete - user verify desired result\n");
2199         fflush(STDOUT);
2200     }
2201     exit(1);
2202 }
2203
2204
2205 int
2206 UV_MoveVolume(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2207               afs_uint32 atoserver, afs_int32 atopart)
2208 {
2209     return UV_MoveVolume2(afromvol, afromserver, afrompart,
2210                           atoserver, atopart, 0);
2211 }
2212
2213
2214 /* Copy volume <afromvol> from <afromserver> <afrompart> to <atoserver>
2215  * <atopart>.  The new volume is named by <atovolname>.  The new volume
2216  * has ID <atovolid> if that is nonzero; otherwise a new ID is allocated
2217  * from the VLDB.  the following flags are supported:
2218  *
2219  *     RV_RDONLY  - target volume is RO
2220  *     RV_OFFLINE - leave target volume offline
2221  *     RV_CPINCR  - do incremental dump if target exists
2222  *     RV_NOVLDB  - don't create/update VLDB entry
2223  *     RV_NOCLONE - don't use a copy clone
2224  */
2225 int
2226 UV_CopyVolume2(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2227                char *atovolname, afs_uint32 atoserver, afs_int32 atopart,
2228                afs_uint32 atovolid, int flags)
2229 {
2230     /* declare stuff 'volatile' that may be used from setjmp/longjmp and may
2231      * be changing during the copy */
2232     int volatile pntg;
2233     afs_int32 volatile clonetid;
2234     afs_int32 volatile totid;
2235     afs_int32 volatile fromtid;
2236     struct rx_connection * volatile fromconn;
2237     struct rx_connection * volatile toconn;
2238     afs_uint32 volatile cloneVol;
2239
2240     char vname[64];
2241     afs_int32 rcode;
2242     afs_int32 fromDate, cloneFromDate;
2243     struct restoreCookie cookie;
2244     afs_int32 vcode, code;
2245     afs_uint32 newVol;
2246     afs_int32 volflag;
2247     struct volser_status tstatus;
2248     struct destServer destination;
2249     struct nvldbentry entry, newentry, storeEntry;
2250     afs_int32 error;
2251     afs_int32 tmp;
2252     afs_uint32 tmpVol;
2253
2254     fromconn = (struct rx_connection *)0;
2255     toconn = (struct rx_connection *)0;
2256     fromtid = 0;
2257     totid = 0;
2258     clonetid = 0;
2259     error = 0;
2260     pntg = 0;
2261     newVol = 0;
2262
2263     /* support control-c processing */
2264     if (setjmp(env))
2265         goto mfail;
2266     (void)signal(SIGINT, sigint_handler);
2267
2268     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2269     EGOTO1(mfail, vcode,
2270            "Could not fetch the entry for the volume  %u from the VLDB \n",
2271            afromvol);
2272     MapHostToNetwork(&entry);
2273
2274     pntg = 1;
2275     toconn = UV_Bind(atoserver, AFSCONF_VOLUMEPORT);    /* get connections to the servers */
2276     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
2277     fromtid = totid = 0;        /* initialize to uncreated */
2278
2279     /* ***
2280      * clone the read/write volume locally.
2281      * ***/
2282
2283     cloneVol = 0;
2284     if (!(flags & RV_NOCLONE)) {
2285         VPRINT1("Starting transaction on source volume %u ...", afromvol);
2286         tmp = fromtid;
2287         code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy,
2288                                  &tmp);
2289         fromtid = tmp;
2290         EGOTO1(mfail, code, "Failed to create transaction on the volume %u\n",
2291                afromvol);
2292         VDONE;
2293
2294         /* Get a clone id */
2295         VPRINT1("Allocating new volume id for clone of volume %u ...",
2296                 afromvol);
2297         cloneVol = 0;
2298         tmpVol = cloneVol;
2299         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &tmpVol);
2300         cloneVol = tmpVol;
2301         EGOTO1(mfail, vcode,
2302            "Could not get an ID for the clone of volume %u from the VLDB\n",
2303            afromvol);
2304         VDONE;
2305     }
2306
2307     if (atovolid) {
2308         newVol = atovolid;
2309     } else {
2310         /* Get a new volume id */
2311         VPRINT1("Allocating new volume id for copy of volume %u ...", afromvol);
2312         newVol = 0;
2313         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &newVol);
2314         EGOTO1(mfail, vcode,
2315                "Could not get an ID for the copy of volume %u from the VLDB\n",
2316                afromvol);
2317         VDONE;
2318     }
2319
2320     if (!(flags & RV_NOCLONE)) {
2321         /* Do the clone. Default flags on clone are set to delete on salvage and out of service */
2322         VPRINT1("Cloning source volume %u ...", afromvol);
2323         strcpy(vname, "copy-clone-temp");
2324         tmpVol = cloneVol;
2325         code =
2326             AFSVolClone(fromconn, fromtid, 0, readonlyVolume, vname,
2327                         &tmpVol);
2328         cloneVol = tmpVol;
2329         EGOTO1(mfail, code, "Failed to clone the source volume %u\n",
2330                afromvol);
2331         VDONE;
2332
2333         VPRINT1("Ending the transaction on the source volume %u ...", afromvol);
2334         rcode = 0;
2335         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2336         fromtid = 0;
2337         if (!code)
2338             code = rcode;
2339         EGOTO1(mfail, code,
2340                "Failed to end the transaction on the source volume %u\n",
2341                afromvol);
2342         VDONE;
2343     }
2344
2345     /* ***
2346      * Create the destination volume
2347      * ***/
2348
2349     if (!(flags & RV_NOCLONE)) {
2350         VPRINT1("Starting transaction on the cloned volume %u ...", cloneVol);
2351         tmp = clonetid;
2352         code =
2353             AFSVolTransCreate_retry(fromconn, cloneVol, afrompart, ITOffline,
2354                           &tmp);
2355         clonetid = tmp;
2356         EGOTO1(mfail, code,
2357                "Failed to start a transaction on the cloned volume%u\n",
2358                cloneVol);
2359         VDONE;
2360
2361         VPRINT1("Setting flags on cloned volume %u ...", cloneVol);
2362         code =
2363             AFSVolSetFlags(fromconn, clonetid,
2364                            VTDeleteOnSalvage | VTOutOfService); /*redundant */
2365         EGOTO1(mfail, code, "Could not set flags on the cloned volume %u\n",
2366                cloneVol);
2367         VDONE;
2368
2369         /* remember time from which we've dumped the volume */
2370         VPRINT1("Getting status of cloned volume %u ...", cloneVol);
2371         code = AFSVolGetStatus(fromconn, clonetid, &tstatus);
2372         EGOTO1(mfail, code,
2373                "Failed to get the status of the cloned volume %u\n",
2374                cloneVol);
2375         VDONE;
2376
2377         fromDate = CLOCKADJ(tstatus.creationDate);
2378     } else {
2379         fromDate = 0;
2380     }
2381
2382     /* create a volume on the target machine */
2383     cloneFromDate = 0;
2384     tmp = totid;
2385     code = AFSVolTransCreate_retry(toconn, newVol, atopart, ITOffline, &tmp);
2386     totid = tmp;
2387     if (!code) {
2388         if ((flags & RV_CPINCR)) {
2389             VPRINT1("Getting status of pre-existing volume %u ...", newVol);
2390             code = AFSVolGetStatus(toconn, totid, &tstatus);
2391             EGOTO1(mfail, code,
2392                    "Failed to get the status of the pre-existing volume %u\n",
2393                    newVol);
2394             VDONE;
2395
2396             /* Using the update date should be OK here, but add some fudge */
2397             cloneFromDate = CLOCKADJ(tstatus.updateDate);
2398             if ((flags & RV_NOCLONE))
2399                 fromDate = cloneFromDate;
2400
2401             /* XXX We should check that the source volume's creationDate is
2402              * XXX not newer than the existing target volume, and if not,
2403              * XXX throw away the existing target and do a full dump. */
2404
2405             goto cpincr;
2406         }
2407
2408         /* Delete the existing volume.
2409          * While we are deleting the volume in these steps, the transaction
2410          * we started against the cloned volume (clonetid above) will be
2411          * sitting idle. It will get cleaned up after 600 seconds
2412          */
2413         VPRINT1("Deleting pre-existing volume %u on destination ...", newVol);
2414         code = AFSVolDeleteVolume(toconn, totid);
2415         EGOTO1(mfail, code,
2416                "Could not delete the pre-existing volume %u on destination\n",
2417                newVol);
2418         VDONE;
2419
2420         VPRINT1
2421             ("Ending transaction on pre-existing volume %u on destination ...",
2422              newVol);
2423         code = AFSVolEndTrans(toconn, totid, &rcode);
2424         totid = 0;
2425         if (!code)
2426             code = rcode;
2427         EGOTO1(mfail, code,
2428                "Could not end the transaction on pre-existing volume %u on destination\n",
2429                newVol);
2430         VDONE;
2431     }
2432
2433     VPRINT1("Creating the destination volume %u ...", newVol);
2434     tmp = totid;
2435     code =
2436         AFSVolCreateVolume(toconn, atopart, atovolname,
2437                            (flags & RV_RDONLY) ? volser_RO : volser_RW,
2438                            newVol, &newVol, &tmp);
2439     totid = tmp;
2440     EGOTO1(mfail, code, "Failed to create the destination volume %u\n",
2441            newVol);
2442     VDONE;
2443
2444     VPRINT1("Setting volume flags on destination volume %u ...", newVol);
2445     code =
2446         AFSVolSetFlags(toconn, totid, (VTDeleteOnSalvage | VTOutOfService));
2447     EGOTO1(mfail, code,
2448            "Failed to set the flags on the destination volume %u\n", newVol);
2449     VDONE;
2450
2451 cpincr:
2452
2453     destination.destHost = ntohl(atoserver);
2454     destination.destPort = AFSCONF_VOLUMEPORT;
2455     destination.destSSID = 1;
2456
2457     strncpy(cookie.name, atovolname, VOLSER_OLDMAXVOLNAME);
2458     cookie.type = (flags & RV_RDONLY) ? ROVOL : RWVOL;
2459     cookie.parent = 0;
2460     cookie.clone = 0;
2461
2462     /***
2463      * Now dump the clone to the new volume
2464      ***/
2465
2466     if (!(flags & RV_NOCLONE)) {
2467         /* XXX probably should have some code here that checks to see if
2468          * XXX we are copying to same server and partition - if so, just
2469          * XXX use a clone to save disk space */
2470
2471         /* Copy the clone to the new volume */
2472         VPRINT2("Dumping from clone %u on source to volume %u on destination ...",
2473             cloneVol, newVol);
2474         code =
2475             AFSVolForward(fromconn, clonetid, cloneFromDate, &destination,
2476                           totid, &cookie);
2477         EGOTO1(mfail, code, "Failed to move data for the volume %u\n",
2478                newVol);
2479         VDONE;
2480
2481         VPRINT1("Ending transaction on cloned volume %u ...", cloneVol);
2482         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
2483         if (!code)
2484             code = rcode;
2485         clonetid = 0;
2486         EGOTO1(mfail, code,
2487                "Failed to end the transaction on the cloned volume %u\n",
2488                cloneVol);
2489         VDONE;
2490     }
2491
2492     /* ***
2493      * reattach to the main-line volume, and incrementally dump it.
2494      * ***/
2495
2496     VPRINT1("Starting transaction on source volume %u ...", afromvol);
2497     tmp = fromtid;
2498     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
2499     fromtid = tmp;
2500     EGOTO1(mfail, code,
2501            "Failed to create a transaction on the source volume %u\n",
2502            afromvol);
2503     VDONE;
2504
2505     /* now do the incremental */
2506     VPRINT2
2507         ("Doing the%s dump from source to destination for volume %u ... ",
2508          (flags & RV_NOCLONE) ? "" : " incremental",
2509          afromvol);
2510     code =
2511         AFSVolForward(fromconn, fromtid, fromDate, &destination, totid,
2512                       &cookie);
2513     EGOTO1(mfail, code,
2514            "Failed to do the%s dump from old site to new site\n",
2515            (flags & RV_NOCLONE) ? "" : " incremental");
2516     VDONE;
2517
2518     VPRINT1("Setting volume flags on destination volume %u ...", newVol);
2519     volflag = ((flags & RV_OFFLINE) ? VTOutOfService : 0);      /* off or on-line */
2520     code = AFSVolSetFlags(toconn, totid, volflag);
2521     EGOTO(mfail, code,
2522           "Failed to set the flags to make destination volume online\n");
2523     VDONE;
2524
2525     /* put new volume online */
2526     VPRINT1("Ending transaction on destination volume %u ...", newVol);
2527     code = AFSVolEndTrans(toconn, totid, &rcode);
2528     totid = 0;
2529     if (!code)
2530         code = rcode;
2531     EGOTO1(mfail, code,
2532            "Failed to end the transaction on the destination volume %u\n",
2533            newVol);
2534     VDONE;
2535
2536     VPRINT1("Ending transaction on source volume %u ...", afromvol);
2537     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2538     fromtid = 0;
2539     if (!code)
2540         code = rcode;
2541     EGOTO1(mfail, code,
2542            "Failed to end the transaction on the source volume %u\n",
2543            afromvol);
2544     VDONE;
2545
2546     fromtid = 0;
2547
2548     if (!(flags & RV_NOCLONE)) {
2549         code = DoVolDelete(fromconn, cloneVol, afrompart,
2550                            "cloned", 0, NULL, NULL);
2551         if (code && code != VNOVOL) {
2552             error = code;
2553             goto mfail;
2554         }
2555
2556         code = 0;               /* clone missing? that's ok */
2557     }
2558
2559     if (!(flags & RV_NOVLDB)) {
2560         /* create the vldb entry for the copied volume */
2561         strncpy(newentry.name, atovolname, VOLSER_OLDMAXVOLNAME);
2562         newentry.nServers = 1;
2563         newentry.serverNumber[0] = atoserver;
2564         newentry.serverPartition[0] = atopart;
2565         newentry.flags = (flags & RV_RDONLY) ? VLF_ROEXISTS : VLF_RWEXISTS;
2566         newentry.serverFlags[0] = (flags & RV_RDONLY) ? VLSF_ROVOL : VLSF_RWVOL;
2567         newentry.volumeId[RWVOL] = newVol;
2568         newentry.volumeId[ROVOL] = (flags & RV_RDONLY) ? newVol : 0;
2569         newentry.volumeId[BACKVOL] = 0;
2570         newentry.cloneId = 0;
2571         /*map into right byte order, before passing to xdr, the stuff has to be in host
2572          * byte order. Xdr converts it into network order */
2573         MapNetworkToHost(&newentry, &storeEntry);
2574         /* create the vldb entry */
2575         vcode = VLDB_CreateEntry(&storeEntry);
2576         if (vcode) {
2577             fprintf(STDERR,
2578                     "Could not create a VLDB entry for the volume %s %lu\n",
2579                     atovolname, (unsigned long)newVol);
2580             /*destroy the created volume */
2581             VPRINT1("Deleting the newly created volume %u\n", newVol);
2582             AFSVolDeleteVolume(toconn, totid);
2583             error = vcode;
2584             goto mfail;
2585         }
2586         VPRINT2("Created the VLDB entry for the volume %s %u\n", atovolname,
2587                 newVol);
2588     }
2589
2590     /* normal cleanup code */
2591
2592     if (fromtid) {
2593         VPRINT1("Cleanup: Ending transaction on source volume %u ...",
2594                 afromvol);
2595         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2596         if (code || rcode) {
2597             VPRINT("\n");
2598             fprintf(STDERR,
2599                     "Could not end transaction on the source volume %lu\n",
2600                     (unsigned long)afromvol);
2601             if (!error)
2602                 error = (code ? code : rcode);
2603         }
2604         VDONE;
2605     }
2606
2607     if (clonetid) {
2608         VPRINT1("Cleanup: Ending transaction on clone volume %u ...",
2609                 cloneVol);
2610         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
2611         if (code || rcode) {
2612             VPRINT("\n");
2613             fprintf(STDERR,
2614                     "Could not end transaction on the source's clone volume %lu\n",
2615                     (unsigned long)cloneVol);
2616             if (!error)
2617                 error = (code ? code : rcode);
2618         }
2619         VDONE;
2620     }
2621
2622     if (totid) {
2623         VPRINT1("Cleanup: Ending transaction on destination volume %u ...",
2624                 newVol);
2625         code = AFSVolEndTrans(toconn, totid, &rcode);
2626         if (code) {
2627             VPRINT("\n");
2628             fprintf(STDERR,
2629                     "Could not end transaction on destination volume %lu\n",
2630                     (unsigned long)newVol);
2631             if (!error)
2632                 error = (code ? code : rcode);
2633         }
2634         VDONE;
2635     }
2636     if (fromconn)
2637         rx_DestroyConnection(fromconn);
2638     if (toconn)
2639         rx_DestroyConnection(toconn);
2640     PrintError("", error);
2641     return error;
2642
2643     /* come here only when the sky falls */
2644   mfail:
2645
2646     if (pntg) {
2647         fprintf(STDOUT,
2648                 "vos copy: operation interrupted, cleanup in progress...\n");
2649         fprintf(STDOUT, "clear transaction contexts\n");
2650         fflush(STDOUT);
2651     }
2652
2653     if (clonetid) {
2654         VPRINT("Recovery: Ending transaction on clone volume ...");
2655         AFSVolEndTrans(fromconn, clonetid, &rcode);
2656         VDONE;
2657     }
2658     if (totid) {
2659         VPRINT("Recovery: Ending transaction on destination volume ...");
2660         AFSVolEndTrans(toconn, totid, &rcode);
2661         VDONE;
2662     }
2663     if (fromtid) {              /* put it on-line */
2664         VPRINT("Recovery: Ending transaction on source volume ...");
2665         AFSVolEndTrans(fromconn, fromtid, &rcode);
2666         VDONE;
2667     }
2668
2669     VPRINT("Recovery: Accessing VLDB.\n");
2670     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2671     if (vcode) {
2672         fprintf(STDOUT, "FATAL: VLDB access error: abort cleanup\n");
2673         fflush(STDOUT);
2674         goto done;
2675     }
2676     MapHostToNetwork(&entry);
2677
2678     /* common cleanup - delete local clone */
2679     if (cloneVol) {
2680         DoVolDelete(fromconn, cloneVol, afrompart, "clone", 0, NULL,
2681                     "Recovery:");
2682     }
2683
2684   done:                 /* routine cleanup */
2685     if (fromconn)
2686         rx_DestroyConnection(fromconn);
2687     if (toconn)
2688         rx_DestroyConnection(toconn);
2689
2690     if (pntg) {
2691         fprintf(STDOUT, "cleanup complete - user verify desired result\n");
2692         fflush(STDOUT);
2693     }
2694     exit(1);
2695 }
2696
2697
2698 int
2699 UV_CopyVolume(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2700               char *atovolname, afs_uint32 atoserver, afs_int32 atopart)
2701 {
2702     return UV_CopyVolume2(afromvol, afromserver, afrompart,
2703                           atovolname, atoserver, atopart, 0, 0);
2704 }
2705
2706
2707
2708 /* Make a new backup of volume <avolid> on <aserver> and <apart>
2709  * if one already exists, update it
2710  */
2711
2712 int
2713 UV_BackupVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid)
2714 {
2715     struct rx_connection *aconn = (struct rx_connection *)0;
2716     afs_int32 ttid = 0, btid = 0;
2717     afs_uint32 backupID;
2718     afs_int32 code = 0, rcode = 0;
2719     struct nvldbentry entry, storeEntry;
2720     afs_int32 error = 0;
2721     int vldblocked = 0, vldbmod = 0;
2722
2723     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
2724
2725     /* the calls to VLDB will succeed only if avolid is a RW volume,
2726      * since we are following the RW hash chain for searching */
2727     code = VLDB_GetEntryByID(avolid, RWVOL, &entry);
2728     if (code) {
2729         fprintf(STDERR,
2730                 "Could not fetch the entry for the volume %lu from the VLDB \n",
2731                 (unsigned long)avolid);
2732         error = code;
2733         goto bfail;
2734     }
2735     MapHostToNetwork(&entry);
2736
2737     /* These operations require the VLDB be locked since it means the VLDB
2738      * will change or the vldb is already locked.
2739      */
2740     if (!(entry.flags & VLF_BACKEXISTS) ||      /* backup volume doesnt exist */
2741         (entry.flags & VLOP_ALLOPERS) ||        /* vldb lock already held */
2742         (entry.volumeId[BACKVOL] == INVALID_BID)) {     /* no assigned backup volume id */
2743
2744         code = ubik_VL_SetLock(cstruct, 0, avolid, RWVOL, VLOP_BACKUP);
2745         if (code) {
2746             fprintf(STDERR,
2747                     "Could not lock the VLDB entry for the volume %lu\n",
2748                     (unsigned long)avolid);
2749             error = code;
2750             goto bfail;
2751         }
2752         vldblocked = 1;
2753
2754         /* Reread the vldb entry */
2755         code = VLDB_GetEntryByID(avolid, RWVOL, &entry);
2756         if (code) {
2757             fprintf(STDERR,
2758                     "Could not fetch the entry for the volume %lu from the VLDB \n",
2759                     (unsigned long)avolid);
2760             error = code;
2761             goto bfail;
2762         }
2763         MapHostToNetwork(&entry);
2764     }
2765
2766     if (!ISNAMEVALID(entry.name)) {
2767         fprintf(STDERR, "Name of the volume %s exceeds the size limit\n",
2768                 entry.name);
2769         error = VOLSERBADNAME;
2770         goto bfail;
2771     }
2772
2773     backupID = entry.volumeId[BACKVOL];
2774     if (backupID == INVALID_BID) {
2775         /* Get a backup volume id from the VLDB and update the vldb
2776          * entry with it.
2777          */
2778         code = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &backupID);
2779         if (code) {
2780             fprintf(STDERR,
2781                     "Could not allocate ID for the backup volume of  %lu from the VLDB\n",
2782                     (unsigned long)avolid);
2783             error = code;
2784             goto bfail;
2785         }
2786         entry.volumeId[BACKVOL] = backupID;
2787         vldbmod = 1;
2788     }
2789
2790     code = DoVolClone(aconn, avolid, apart, backupVolume, backupID, "backup",
2791                       entry.name, NULL, ".backup", NULL, NULL);
2792     if (code) {
2793         error = code;
2794         goto bfail;
2795     }
2796
2797     /* Mark vldb as backup exists */
2798     if (!(entry.flags & VLF_BACKEXISTS)) {
2799         entry.flags |= VLF_BACKEXISTS;
2800         vldbmod = 1;
2801     }
2802
2803     /* Now go back to the backup volume and bring it on line */
2804     code = AFSVolTransCreate_retry(aconn, backupID, apart, ITOffline, &btid);
2805     if (code) {
2806         fprintf(STDERR,
2807                 "Failed to start a transaction on the backup volume %lu\n",
2808                 (unsigned long)backupID);
2809         error = code;
2810         goto bfail;
2811     }
2812
2813     code = AFSVolSetFlags(aconn, btid, 0);
2814     if (code) {
2815         fprintf(STDERR, "Could not mark the backup volume %lu on line \n",
2816                 (unsigned long)backupID);
2817         error = code;
2818         goto bfail;
2819     }
2820
2821     code = AFSVolEndTrans(aconn, btid, &rcode);
2822     btid = 0;
2823     if (code || rcode) {
2824         fprintf(STDERR,
2825                 "Failed to end the transaction on the backup volume %lu\n",
2826                 (unsigned long)backupID);
2827         error = (code ? code : rcode);
2828         goto bfail;
2829     }
2830
2831     /* Will update the vldb below */
2832
2833   bfail:
2834     if (ttid) {
2835         code = AFSVolEndTrans(aconn, ttid, &rcode);
2836         if (code || rcode) {
2837             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
2838                     (unsigned long)avolid);
2839             if (!error)
2840                 error = (code ? code : rcode);
2841         }
2842     }
2843
2844     if (btid) {
2845         code = AFSVolEndTrans(aconn, btid, &rcode);
2846         if (code || rcode) {
2847             fprintf(STDERR,
2848                     "Could not end transaction the backup volume %lu\n",
2849                     (unsigned long)backupID);
2850             if (!error)
2851                 error = (code ? code : rcode);
2852         }
2853     }
2854
2855     /* Now update the vldb - if modified */
2856     if (vldblocked) {
2857         if (vldbmod) {
2858             MapNetworkToHost(&entry, &storeEntry);
2859             code =
2860                 VLDB_ReplaceEntry(avolid, RWVOL, &storeEntry,
2861                                   (LOCKREL_OPCODE | LOCKREL_AFSID |
2862                                    LOCKREL_TIMESTAMP));
2863             if (code) {
2864                 fprintf(STDERR,
2865                         "Could not update the VLDB entry for the volume %lu \n",
2866                         (unsigned long)avolid);
2867                 if (!error)
2868                     error = code;
2869             }
2870         } else {
2871             code =
2872                 ubik_VL_ReleaseLock(cstruct, 0, avolid, RWVOL,
2873                           (LOCKREL_OPCODE | LOCKREL_AFSID |
2874                            LOCKREL_TIMESTAMP));
2875             if (code) {
2876                 fprintf(STDERR,
2877                         "Could not unlock the VLDB entry for the volume %lu \n",
2878                         (unsigned long)avolid);
2879                 if (!error)
2880                     error = code;
2881             }
2882         }
2883     }
2884
2885     if (aconn)
2886         rx_DestroyConnection(aconn);
2887
2888     PrintError("", error);
2889     return error;
2890 }
2891
2892 /* Make a new clone of volume <avolid> on <aserver> and <apart>
2893  * using volume ID <acloneid>, or a new ID allocated from the VLDB.
2894  * The new volume is named by <aname>, or by appending ".clone" to
2895  * the existing name if <aname> is NULL.  The following flags are
2896  * supported:
2897  *
2898  *     RV_RDONLY  - target volume is RO
2899  *     RV_OFFLINE - leave target volume offline
2900  */
2901
2902 int
2903 UV_CloneVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid,
2904                afs_uint32 acloneid, char *aname, int flags)
2905 {
2906     struct rx_connection *aconn = (struct rx_connection *)0;
2907     afs_int32 ttid = 0, btid = 0;
2908     afs_int32 code = 0, rcode = 0;
2909     char vname[VOLSER_MAXVOLNAME + 1];
2910     afs_int32 error = 0;
2911     volEntries volumeInfo;
2912     int type = 0;
2913
2914     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
2915
2916     if (!aname) {
2917         volumeInfo.volEntries_val = (volintInfo *) 0;
2918         volumeInfo.volEntries_len = 0;
2919         code = AFSVolListOneVolume(aconn, apart, avolid, &volumeInfo);
2920         if (code) {
2921             fprintf(stderr, "Could not get info for volume %lu\n",
2922                     (unsigned long)avolid);
2923             error = code;
2924             goto bfail;
2925         }
2926         strncpy(vname, volumeInfo.volEntries_val[0].name,
2927                 VOLSER_OLDMAXVOLNAME - 7);
2928         vname[VOLSER_OLDMAXVOLNAME - 7] = 0;
2929         strcat(vname, ".clone");
2930         aname = vname;
2931         if (volumeInfo.volEntries_val)
2932             free(volumeInfo.volEntries_val);
2933     }
2934
2935     if (!acloneid) {
2936         /* Get a clone id */
2937         VPRINT1("Allocating new volume id for clone of volume %u ...",
2938                 avolid);
2939         code = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &acloneid);
2940         EGOTO1(bfail, code,
2941            "Could not get an ID for the clone of volume %u from the VLDB\n",
2942            avolid);
2943         VDONE;
2944     }
2945
2946     if (flags & RV_RWONLY)
2947         type = readwriteVolume;
2948     else if (flags & RV_RDONLY)
2949         type = readonlyVolume;
2950     else
2951         type = backupVolume;
2952
2953     code = DoVolClone(aconn, avolid, apart, type, acloneid, "clone",
2954                       NULL, aname, NULL, NULL, NULL);
2955     if (code) {
2956         error = code;
2957         goto bfail;
2958     }
2959
2960     /* Now go back to the backup volume and bring it on line */
2961     if (!(flags & RV_OFFLINE)) {
2962         code = AFSVolTransCreate_retry(aconn, acloneid, apart, ITOffline, &btid);
2963         if (code) {
2964             fprintf(STDERR,
2965                     "Failed to start a transaction on the clone volume %lu\n",
2966                     (unsigned long)acloneid);
2967             error = code;
2968             goto bfail;
2969         }
2970
2971         code = AFSVolSetFlags(aconn, btid, 0);
2972         if (code) {
2973             fprintf(STDERR, "Could not mark the clone volume %lu on line \n",
2974                     (unsigned long)acloneid);
2975             error = code;
2976             goto bfail;
2977         }
2978
2979         code = AFSVolEndTrans(aconn, btid, &rcode);
2980         btid = 0;
2981         if (code || rcode) {
2982             fprintf(STDERR,
2983                     "Failed to end the transaction on the clone volume %lu\n",
2984                     (unsigned long)acloneid);
2985             error = (code ? code : rcode);
2986             goto bfail;
2987         }
2988     }
2989
2990   bfail:
2991     if (ttid) {
2992         code = AFSVolEndTrans(aconn, ttid, &rcode);
2993         if (code || rcode) {
2994             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
2995                     (unsigned long)avolid);
2996             if (!error)
2997                 error = (code ? code : rcode);
2998         }
2999     }
3000
3001     if (btid) {
3002         code = AFSVolEndTrans(aconn, btid, &rcode);
3003         if (code || rcode) {
3004             fprintf(STDERR,
3005                     "Could not end transaction on the clone volume %lu\n",
3006                     (unsigned long)acloneid);
3007             if (!error)
3008                 error = (code ? code : rcode);
3009         }
3010     }
3011
3012     if (aconn)
3013         rx_DestroyConnection(aconn);
3014
3015     PrintError("", error);
3016     return error;
3017 }
3018
3019 #define ONERROR(ec, ep, es) do { \
3020     if (ec) { \
3021         fprintf(STDERR, (es), (ep)); \
3022         error = (ec); \
3023         goto rfail; \
3024     } \
3025 } while (0)
3026 #define ONERROR0(ec, es) do { \
3027     if (ec) { \
3028         fprintf(STDERR, (es)); \
3029         error = (ec); \
3030         goto rfail; \
3031     } \
3032 } while (0)
3033 #define ERROREXIT(ec) do { \
3034     error = (ec); \
3035     goto rfail; \
3036 } while (0)
3037
3038 /* Get a "transaction" on this replica.  Create the volume
3039  * if necessary.  Return the time from which a dump should
3040  * be made (0 if it's a new volume)
3041  */
3042 static int
3043 GetTrans(struct nvldbentry *vldbEntryPtr, afs_int32 index,
3044          struct rx_connection **connPtr, afs_int32 * transPtr,
3045          afs_uint32 * crtimePtr, afs_uint32 * uptimePtr,
3046          afs_int32 *origflags, afs_uint32 tmpVolId)
3047 {
3048     afs_uint32 volid;
3049     struct volser_status tstatus;
3050     int code = 0;
3051     int rcode, tcode;
3052     char hoststr[16];
3053
3054     *connPtr = (struct rx_connection *)0;
3055     *transPtr = 0;
3056     *crtimePtr = 0;
3057     *uptimePtr = 0;
3058
3059     /* get connection to the replication site */
3060     *connPtr = UV_Bind(vldbEntryPtr->serverNumber[index], AFSCONF_VOLUMEPORT);
3061     if (!*connPtr)
3062         goto fail;              /* server is down */
3063
3064     volid = vldbEntryPtr->volumeId[ROVOL];
3065
3066     if (volid) {
3067         code =
3068             AFSVolTransCreate_retry(*connPtr, volid,
3069                               vldbEntryPtr->serverPartition[index], ITOffline,
3070                               transPtr);
3071
3072         if (!code && (origflags[index] & VLSF_DONTUSE)) {
3073             /* If RO_DONTUSE is set, this is supposed to be an entirely new
3074              * site. Don't trust any data on it, since it is possible we
3075              * have encountered some temporary volume from some other
3076              * incomplete volume operation. It is difficult to detect if
3077              * that has happened vs if this is a legit volume, so just
3078              * delete it to be safe. */
3079
3080             VPRINT1("Deleting extant RO_DONTUSE site on %s...",
3081                     noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
3082                                                 serverNumber[index], hoststr) :
3083                     hostutil_GetNameByINet(vldbEntryPtr->
3084                                            serverNumber[index]));
3085
3086             code = AFSVolDeleteVolume(*connPtr, *transPtr);
3087             if (code) {
3088                 PrintError("Failed to delete RO_DONTUSE site: ", code);
3089                 goto fail;
3090             }
3091
3092             tcode = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3093             *transPtr = 0;
3094             if (!tcode) {
3095                 tcode = rcode;
3096             }
3097             if (tcode) {
3098                 PrintError("Failed to end transaction on RO_DONTUSE site: ",
3099                            tcode);
3100                 goto fail;
3101             }
3102
3103             VDONE;
3104
3105             /* emulate what TransCreate would have returned, so we try to
3106              * create the volume below */
3107             code = VNOVOL;
3108         }
3109     }
3110
3111     /* If the volume does not exist, create it */
3112     if (!volid || code) {
3113         char volname[VL_MAXNAMELEN];
3114         char hoststr[16];
3115
3116         if (volid && (code != VNOVOL)) {
3117             PrintError("Failed to start a transaction on the RO volume.\n",
3118                        code);
3119             goto fail;
3120         }
3121
3122         strlcpy(volname, vldbEntryPtr->name, sizeof(volname));
3123
3124         if (strlcat(volname,
3125                     tmpVolId?".roclone":".readonly",
3126                     sizeof(volname)) >= sizeof(volname)) {
3127             code = ENOMEM;
3128             PrintError("Volume name is too long\n", code);
3129             goto fail;
3130         }
3131
3132         if (verbose) {
3133             fprintf(STDOUT,
3134                     "Creating new volume %lu on replication site %s: ",
3135                     tmpVolId?(unsigned long)tmpVolId:(unsigned long)volid,
3136                     noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
3137                                                 serverNumber[index], hoststr) :
3138                     hostutil_GetNameByINet(vldbEntryPtr->
3139                                            serverNumber[index]));
3140             fflush(STDOUT);
3141         }
3142
3143         code =
3144           AFSVolCreateVolume(*connPtr, vldbEntryPtr->serverPartition[index],
3145                              volname, volser_RO,
3146                              vldbEntryPtr->volumeId[RWVOL],
3147                              tmpVolId?&tmpVolId:&volid,
3148                              transPtr);
3149         if (code) {
3150             PrintError("Failed to create the ro volume: ", code);
3151             goto fail;
3152         }
3153         vldbEntryPtr->volumeId[ROVOL] = volid;
3154
3155         VDONE;
3156
3157         /* The following is a bit redundant, since create sets these flags by default */
3158         code =
3159             AFSVolSetFlags(*connPtr, *transPtr,
3160                            VTDeleteOnSalvage | VTOutOfService);
3161         if (code) {
3162             PrintError("Failed to set flags on the ro volume: ", code);
3163             goto fail;
3164         }
3165     }
3166
3167     /* Otherwise, the transaction did succeed, so get the creation date of the
3168      * latest RO volume on the replication site
3169      */
3170     else {
3171         VPRINT2("Updating existing ro volume %u on %s ...\n", volid,
3172                 noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
3173                                             serverNumber[index], hoststr) :
3174                 hostutil_GetNameByINet(vldbEntryPtr->serverNumber[index]));
3175
3176         code = AFSVolGetStatus(*connPtr, *transPtr, &tstatus);
3177         if (code) {
3178             PrintError("Failed to get status of volume on destination: ",
3179                        code);
3180             goto fail;
3181         }
3182         if (tmpVolId) {
3183             code = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3184             *transPtr = 0;
3185             if (!code)
3186                 code = rcode;
3187             if (!code)
3188                 code = DoVolClone(*connPtr, volid,
3189                                   vldbEntryPtr->serverPartition[index],
3190                                   readonlyVolume, tmpVolId, "temporary",
3191                                   vldbEntryPtr->name, NULL, ".roclone", NULL,
3192                                   transPtr);
3193             if (code)
3194                 goto fail;
3195         }
3196         *crtimePtr = CLOCKADJ(tstatus.creationDate);
3197         *uptimePtr = CLOCKADJ(tstatus.updateDate);
3198     }
3199
3200     return 0;
3201
3202   fail:
3203     if (*transPtr) {
3204         tcode = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3205         *transPtr = 0;
3206         if (!tcode)
3207             tcode = rcode;
3208         if (tcode && tcode != ENOENT)
3209             PrintError("Could not end transaction on a ro volume: ", tcode);
3210     }
3211
3212     return code;
3213 }
3214
3215 static int
3216 SimulateForwardMultiple(struct rx_connection *fromconn, afs_int32 fromtid,
3217                         afs_int32 fromdate, manyDests * tr, afs_int32 flags,
3218                         void *cookie, manyResults * results)
3219 {
3220     unsigned int i;
3221
3222     for (i = 0; i < tr->manyDests_len; i++) {
3223         results->manyResults_val[i] =
3224             AFSVolForward(fromconn, fromtid, fromdate,
3225                           &(tr->manyDests_val[i].server),
3226                           tr->manyDests_val[i].trans, cookie);
3227     }
3228     return 0;
3229 }
3230
3231 /**
3232  * Check if a trans has timed out, and recreate it if necessary.
3233  *
3234  * @param[in] aconn  RX connection to the relevant server
3235  * @param[inout] atid  Transaction ID to check; if we recreated the trans,
3236  *                     contains the new trans ID on success
3237  * @param[in] apart  Partition for the transaction
3238  * @param[in] astat  The status of the original transaction
3239  *
3240  * @return operation status
3241  *  @retval 0 existing transaction is still valid, or we managed to recreate
3242  *            the trans successfully
3243  *  @retval nonzero Fatal error; bail out
3244  */
3245 static int
3246 CheckTrans(struct rx_connection *aconn, afs_int32 *atid, afs_int32 apart,
3247            struct volser_status *astat)
3248 {
3249     struct volser_status new_status;
3250     afs_int32 code;
3251
3252     memset(&new_status, 0, sizeof(new_status));
3253     code = AFSVolGetStatus(aconn, *atid, &new_status);
3254     if (code) {
3255         if (code == ENOENT) {
3256             *atid = 0;
3257             VPRINT1("Old transaction on cloned volume %lu timed out, "
3258                     "restarting transaction\n", (long unsigned) astat->volID);
3259             code = AFSVolTransCreate_retry(aconn, astat->volID, apart,
3260                                            ITBusy, atid);
3261             if (code) {
3262                 PrintError("Failed to recreate cloned RO volume transaction\n",
3263                            code);
3264                 return 1;
3265             }
3266
3267             memset(&new_status, 0, sizeof(new_status));
3268             code = AFSVolGetStatus(aconn, *atid, &new_status);
3269             if (code) {
3270                 PrintError("Failed to get status on recreated transaction\n",
3271                            code);
3272                 return 1;
3273             }
3274
3275             if (memcmp(&new_status, astat, sizeof(new_status)) != 0) {
3276                 PrintError("Recreated transaction on cloned RO volume, but "
3277                            "the volume has changed!\n", 0);
3278                 return 1;
3279             }
3280         } else {
3281             PrintError("Unable to get status of current cloned RO transaction\n",
3282                        code);
3283             return 1;
3284         }
3285     } else {
3286         if (memcmp(&new_status, astat, sizeof(new_status)) != 0) {
3287             /* sanity check */
3288             PrintError("Internal error: current GetStatus does not match "
3289                        "original GetStatus?\n", 0);
3290             return 1;
3291         }
3292     }
3293
3294     return 0;
3295 }
3296
3297 static void
3298 PutTrans(afs_int32 *vldbindex, struct replica *replicas,
3299          struct rx_connection **toconns, struct release *times,
3300          afs_int32 volcount)
3301 {
3302     afs_int32 s, code = 0, rcode = 0;
3303     /* End the transactions and destroy the connections */
3304     for (s = 0; s < volcount; s++) {
3305         if (replicas[s].trans) {
3306             code = AFSVolEndTrans(toconns[s], replicas[s].trans, &rcode);
3307
3308             replicas[s].trans = 0;
3309             if (!code)
3310                 code = rcode;
3311             if (code) {
3312                 if ((s == 0) || (code != ENOENT)) {
3313                     PrintError("Could not end transaction on a ro volume: ",
3314                                code);
3315                 } else {
3316                     PrintError
3317                         ("Transaction timed out on a ro volume. Will retry.\n",
3318                          0);
3319                     if (times[s].vldbEntryIndex < *vldbindex)
3320                         *vldbindex = times[s].vldbEntryIndex;
3321                 }
3322             }
3323         }
3324         if (toconns[s])
3325             rx_DestroyConnection(toconns[s]);
3326         toconns[s] = 0;
3327     }
3328 }
3329
3330 /**
3331  * Release a volume to read-only sites
3332  *
3333  * Release volume <afromvol> on <afromserver> <afrompart> to all its RO
3334  * sites (complete release), unless the previous release was incomplete
3335  * or new sites were added without changes to the read-write volume, in
3336  * which case we bring the remaining volumes up to date with the volumes
3337  * that were previously released successfully.
3338  *
3339  * Will create a clone from the RW, then dump the clone out to
3340  * the remaining replicas. If there is more than 1 RO sites,
3341  * ensure that the VLDB says at least one RO is available all
3342  * the time: Influences when we write back the VLDB entry.
3343  *
3344  * @param[in] afromvol      volume to be released
3345  * @param[in] afromserver   server containing afromvol
3346  * @param[in] afrompart     partition containing afromvol
3347  * @param[in] flags         bitmap of options
3348  *                            REL_COMPLETE  - force a complete release
3349  *                            REL_FULLDUMPS - force full dumps
3350  */
3351 int
3352 UV_ReleaseVolume(afs_uint32 afromvol, afs_uint32 afromserver,
3353                  afs_int32 afrompart, int flags)
3354 {
3355     char vname[64];
3356     afs_int32 code = 0;
3357     afs_int32 vcode, rcode, tcode;
3358     afs_uint32 cloneVolId = 0, roVolId;
3359     struct replica *replicas = 0;
3360     struct nvldbentry entry, storeEntry;
3361     int i, volcount = 0, m, vldbindex;
3362     int failure;
3363     struct restoreCookie cookie;
3364     struct rx_connection **toconns = 0;
3365     struct release *times = 0;
3366     int nservers = 0;
3367     struct rx_connection *fromconn = (struct rx_connection *)0;
3368     afs_int32 error = 0;
3369     int islocked = 0;
3370     afs_int32 clonetid = 0, onlinetid;
3371     afs_int32 fromtid = 0;
3372     afs_uint32 fromdate = 0;
3373     afs_uint32 thisdate;
3374     time_t tmv;
3375     int s;
3376     manyDests tr;
3377     manyResults results;
3378     int rwindex, roindex, roclone, roexists;
3379     afs_uint32 rwcrdate = 0, rwupdate = 0;
3380     afs_uint32 clcrdate;
3381     struct rtime {
3382         int validtime;
3383         afs_uint32 uptime;
3384     } remembertime[NMAXNSERVERS];
3385     int releasecount = 0;
3386     struct volser_status volstatus;
3387     char hoststr[16];
3388     afs_int32 origflags[NMAXNSERVERS];
3389     struct volser_status orig_status;
3390     int notreleased = 0;
3391     int tried_justnewsites = 0;
3392     int justnewsites = 0; /* are we just trying to release to new RO sites? */
3393     int sites = 0; /* number of ro sites */
3394     int new_sites = 0; /* number of ro sites markes as new */
3395
3396     typedef enum {
3397         CR_PARTIAL    = 0x0000, /**< just new sites added or recover from a previous failed release */
3398         CR_FORCED     = 0x0001, /**< complete: forced by caller */
3399         CR_LAST_OK    = 0x0002, /**< complete: no sites have been marked as new release */
3400         CR_ALL_NEW    = 0x0004, /**< complete: all sites have been marked as new release */
3401         CR_NEW_RW     = 0x0008, /**< complete: read-write has changed */
3402         CR_RO_MISSING = 0x0010, /**< complete: ro clone is missing */
3403     } complete_release_t;
3404
3405     complete_release_t complete_release = CR_PARTIAL;
3406
3407     memset(remembertime, 0, sizeof(remembertime));
3408     memset(&results, 0, sizeof(results));
3409     memset(origflags, 0, sizeof(origflags));
3410
3411     vcode = ubik_VL_SetLock(cstruct, 0, afromvol, RWVOL, VLOP_RELEASE);
3412     if (vcode != VL_RERELEASE)
3413         ONERROR(vcode, afromvol,
3414                 "Could not lock the VLDB entry for the volume %u.\n");
3415     islocked = 1;
3416
3417     /* Get the vldb entry in readable format */
3418     vcode = VLDB_GetEntryByID(afromvol, RWVOL, &entry);
3419     ONERROR(vcode, afromvol,
3420             "Could not fetch the entry for the volume %u from the VLDB.\n");
3421     MapHostToNetwork(&entry);
3422
3423     if (verbose)
3424         EnumerateEntry(&entry);
3425
3426     if (!ISNAMEVALID(entry.name))
3427         ONERROR(VOLSERBADOP, entry.name,
3428                 "Volume name %s is too long, rename before releasing.\n");
3429     if (entry.volumeId[RWVOL] != afromvol)
3430         ONERROR(VOLSERBADOP, afromvol,
3431                 "The volume %u being released is not a read-write volume.\n");
3432     if (entry.nServers <= 1)
3433         ONERROR(VOLSERBADOP, afromvol,
3434                 "Volume %u has no replicas - release operation is meaningless!\n");
3435     if (strlen(entry.name) > (VOLSER_OLDMAXVOLNAME - 10))
3436         ONERROR(VOLSERBADOP, entry.name,
3437                 "RO volume name %s exceeds (VOLSER_OLDMAXVOLNAME - 10) character limit\n");
3438
3439     /* roclone is true if one of the RO volumes is on the same
3440      * partition as the RW volume. In this case, we make the RO volume
3441      * on the same partition a clone instead of a complete copy.
3442      */
3443
3444     roindex = Lp_ROMatch(afromserver, afrompart, &entry) - 1;
3445     roclone = ((roindex == -1) ? 0 : 1);
3446     rwindex = Lp_GetRwIndex(&entry);
3447     if (rwindex < 0)
3448         ONERROR0(VOLSERNOVOL, "There is no RW volume \n");
3449
3450     /* Make sure we have a RO volume id to work with */
3451     if (entry.volumeId[ROVOL] == INVALID_BID) {
3452         /* need to get a new RO volume id */
3453         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &roVolId);
3454         ONERROR(vcode, entry.name, "Cant allocate ID for RO volume of %s\n");
3455
3456         entry.volumeId[ROVOL] = roVolId;
3457         MapNetworkToHost(&entry, &storeEntry);
3458         vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
3459         ONERROR(vcode, entry.name, "Could not update vldb entry for %s.\n");
3460     }
3461
3462     /*
3463      * Determine if this is to be a complete release or a recovery of a
3464      * previous unfinished release. The previous release is considered to be
3465      * unfinished when the clone was successfully distributed to at least one
3466      * (but not all) of the read-only sites, as indicated by the NEW_REPSITE
3467      * vldb flags.
3468      *
3469      * The caller can override the vldb flags check using the -force
3470      * or -force-reclone flag, to force this to be a complete release.
3471      */
3472     for (i = 0; i < entry.nServers; i++) {
3473         if (entry.serverFlags[i] & VLSF_ROVOL) {
3474             sites++;
3475             if (entry.serverFlags[i] & VLSF_NEWREPSITE)
3476                 new_sites++;
3477             if (entry.serverFlags[i] & VLSF_DONTUSE)
3478                 notreleased++;
3479         }
3480         origflags[i] = entry.serverFlags[i];
3481     }
3482
3483     if (flags & REL_COMPLETE) {
3484         complete_release |= CR_FORCED;
3485     }
3486
3487     if (new_sites == 0) {
3488         complete_release |= CR_LAST_OK;
3489     } else if (new_sites == sites) {
3490         complete_release |= CR_ALL_NEW;
3491     }
3492
3493     if ((complete_release & (CR_LAST_OK | CR_ALL_NEW))
3494         && !(complete_release & CR_FORCED)) {
3495         if (notreleased && notreleased != sites) {
3496             /* we have some new unreleased sites. try to just release to those,
3497              * if the RW has not changed. The caller can override with -force
3498              * or with -force-reclone. */
3499             justnewsites = 1;
3500         }
3501     }
3502
3503     /* Determine which volume id to use and see if it exists */
3504     cloneVolId = (complete_release || entry.cloneId == 0)
3505                   ? entry.volumeId[ROVOL] : entry.cloneId;
3506
3507     code = VolumeExists(afromserver, afrompart, cloneVolId);
3508     roexists = ((code == ENODEV) ? 0 : 1);
3509
3510     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
3511     if (!fromconn)
3512         ONERROR(-1, afromserver,
3513                 "Cannot establish connection with server 0x%x\n");
3514
3515     if (!complete_release) {
3516         if (!roexists) {
3517             complete_release |= CR_RO_MISSING;  /* Do a complete release if RO clone does not exist */
3518         } else {
3519             /* Begin transaction on RW and mark it busy while we query it */
3520             code = AFSVolTransCreate_retry(
3521                         fromconn, afromvol, afrompart, ITBusy, &fromtid
3522                    );
3523             ONERROR(code, afromvol,
3524                     "Failed to start transaction on RW volume %u\n");
3525
3526             /* Query the creation date for the RW */
3527             code = AFSVolGetStatus(fromconn, fromtid, &volstatus);
3528             ONERROR(code, afromvol,
3529                     "Failed to get the status of RW volume %u\n");
3530             rwcrdate = volstatus.creationDate;
3531
3532             /* End transaction on RW */
3533             code = AFSVolEndTrans(fromconn, fromtid, &rcode);
3534             fromtid = 0;
3535             ONERROR((code ? code : rcode), afromvol,
3536                     "Failed to end transaction on RW volume %u\n");
3537
3538             /* Begin transaction on clone and mark it busy while we query it */
3539             code = AFSVolTransCreate_retry(
3540                         fromconn, cloneVolId, afrompart, ITBusy, &clonetid
3541                    );
3542             ONERROR(code, cloneVolId,
3543                     "Failed to start transaction on RW clone %u\n");
3544
3545             /* Query the creation date for the clone */
3546             code = AFSVolGetStatus(fromconn, clonetid, &volstatus);
3547             ONERROR(code, cloneVolId,
3548                     "Failed to get the status of RW clone %u\n");
3549             clcrdate = volstatus.creationDate;
3550
3551             /* End transaction on clone */
3552             code = AFSVolEndTrans(fromconn, clonetid, &rcode);
3553             clonetid = 0;
3554             ONERROR((code ? code : rcode), cloneVolId,
3555                     "Failed to end transaction on RW clone %u\n");
3556
3557             if (rwcrdate > clcrdate)
3558                 complete_release |= CR_NEW_RW; /* Do a complete release if RO clone older than RW */
3559         }
3560     }
3561
3562     if (!complete_release || (complete_release & CR_NEW_RW)) {
3563         /* in case the RW has changed, and just to be safe */
3564         justnewsites = 0;
3565     }
3566
3567     if (verbose) {
3568         if (!complete_release) {
3569             fprintf(STDOUT,
3570                     "This is a recovery of previously failed release\n");
3571         } else {
3572             fprintf(STDOUT, "This is a complete release of volume %u", afromvol);
3573             if (complete_release == CR_LAST_OK) {
3574                 if (justnewsites) {
3575                     tried_justnewsites = 1;
3576                     fprintf(STDOUT, "\nThere are new RO sites; we will try to "
3577                             "only release to new sites");
3578                 }
3579             } else {
3580                 char *sep = " (";
3581                 if (complete_release & CR_FORCED) {
3582                     fprintf(STDOUT, "%sforced", sep);
3583                     sep = ", ";
3584                 }
3585                 if (complete_release & CR_LAST_OK) {
3586                     fprintf(STDOUT, "%slast ok", sep);
3587                     sep = ", ";
3588                 }
3589                 if (complete_release & CR_ALL_NEW) {
3590                     fprintf(STDOUT, "%sall sites are new", sep);
3591                     sep = ", ";
3592                 }
3593                 if (complete_release & CR_NEW_RW) {
3594                     fprintf(STDOUT, "%srw %u changed", sep, afromvol);
3595                     sep = ", ";
3596                 }
3597                 if (complete_release & CR_RO_MISSING) {
3598                     fprintf(STDOUT, "%sro clone missing", sep);
3599                 }
3600                 fprintf(STDOUT, ")");
3601             }
3602             fprintf(STDOUT, "\n");
3603         }
3604     }
3605
3606     if (complete_release) {
3607         afs_int32 oldest = 0;
3608         /* If the RO clone exists, then if the clone is a temporary
3609          * clone, delete it. Or if the RO clone is marked RO_DONTUSE
3610          * (it was recently added), then also delete it. We do not
3611          * want to "reclone" a temporary RO clone.
3612          */
3613
3614         /* clean up any previous tmp clone before starting if staying up */
3615         if (roexists
3616             && (!roclone || (entry.serverFlags[roindex] & VLSF_DONTUSE))) {
3617             code = DoVolDelete(fromconn,
3618                                cloneVolId,
3619                                afrompart, "the", 0, NULL, NULL);
3620             if (code && (code != VNOVOL))
3621                 ERROREXIT(code);
3622             roexists = 0;
3623         }
3624
3625         if (justnewsites) {
3626             VPRINT("Querying old RO sites for update times...");
3627             for (vldbindex = 0; vldbindex < entry.nServers; vldbindex++) {
3628                 volEntries volumeInfo;
3629                 struct rx_connection *conn;
3630                 afs_int32 crdate;
3631
3632                 if (!(entry.serverFlags[vldbindex] & VLSF_ROVOL)) {
3633                     continue;
3634                 }
3635                 if ((entry.serverFlags[vldbindex] & VLSF_DONTUSE)) {
3636                     continue;
3637                 }
3638                 conn = UV_Bind(entry.serverNumber[vldbindex], AFSCONF_VOLUMEPORT);
3639                 if (!conn) {
3640                     fprintf(STDERR, "Cannot establish connection to server %s\n",
3641                                     hostutil_GetNameByINet(entry.serverNumber[vldbindex]));
3642                     justnewsites = 0;
3643                     break;
3644                 }
3645                 volumeInfo.volEntries_val = NULL;
3646                 volumeInfo.volEntries_len = 0;
3647                 code = AFSVolListOneVolume(conn, entry.serverPartition[vldbindex],
3648                                            entry.volumeId[ROVOL],
3649                                            &volumeInfo);
3650                 if (code) {
3651                     fprintf(STDERR, "Could not fetch information about RO vol %lu from server %s\n",
3652                                     (unsigned long)entry.volumeId[ROVOL],
3653                                     hostutil_GetNameByINet(entry.serverNumber[vldbindex]));
3654                     PrintError("", code);
3655                     justnewsites = 0;
3656                     rx_DestroyConnection(conn);
3657                     break;
3658                 }
3659
3660                 crdate = CLOCKADJ(volumeInfo.volEntries_val[0].creationDate);
3661
3662                 if (oldest == 0 || crdate < oldest) {
3663                     oldest = crdate;
3664                 }
3665
3666                 rx_DestroyConnection(conn);
3667                 free(volumeInfo.volEntries_val);
3668                 volumeInfo.volEntries_val = NULL;
3669                 volumeInfo.volEntries_len = 0;
3670             }
3671             VDONE;
3672         }
3673         if (justnewsites) {
3674             volEntries volumeInfo;
3675             volumeInfo.volEntries_val = NULL;
3676             volumeInfo.volEntries_len = 0;
3677             code = AFSVolListOneVolume(fromconn, afrompart, afromvol,
3678                                        &volumeInfo);
3679             if (code) {
3680                 fprintf(STDERR, "Could not fetch information about RW vol %lu from server %s\n",
3681                                 (unsigned long)afromvol,
3682                                 hostutil_GetNameByINet(afromserver));
3683                 PrintError("", code);
3684                 justnewsites = 0;
3685             } else {
3686                 rwupdate = volumeInfo.volEntries_val[0].updateDate;
3687
3688                 free(volumeInfo.volEntries_val);
3689                 volumeInfo.volEntries_val = NULL;
3690                 volumeInfo.volEntries_len = 0;
3691             }
3692         }
3693         if (justnewsites && oldest <= rwupdate) {
3694             /* RW has changed */
3695             justnewsites = 0;
3696         }
3697
3698         /* Mark all the ROs in the VLDB entry as RO_DONTUSE. We don't
3699          * write this entry out to the vlserver until after the first
3700          * RO volume is released (temp RO clones don't count).
3701          *
3702          * If 'justnewsites' is set, we're only updating sites that have
3703          * RO_DONTUSE set, so set NEW_REPSITE for all of the others.
3704          */
3705         for (i = 0; i < entry.nServers; i++) {
3706             if (justnewsites) {
3707                 if ((entry.serverFlags[i] & VLSF_DONTUSE)) {
3708                     entry.serverFlags[i] &= ~VLSF_NEWREPSITE;
3709                 } else {
3710                     entry.serverFlags[i] |= VLSF_NEWREPSITE;
3711                 }
3712             } else {
3713                 entry.serverFlags[i] &= ~VLSF_NEWREPSITE;
3714                 entry.serverFlags[i] |= VLSF_DONTUSE;
3715             }
3716         }
3717         entry.serverFlags[rwindex] |= VLSF_NEWREPSITE;
3718         entry.serverFlags[rwindex] &= ~VLSF_DONTUSE;
3719     }
3720
3721     if (justnewsites && roexists) {
3722         /* if 'justnewsites' and 'roexists' are set, we don't need to do
3723          * anything with the RO clone, so skip the reclone */
3724         /* noop */
3725
3726     } else if (complete_release) {
3727
3728         if (roclone) {
3729             strcpy(vname, entry.name);
3730             strcat(vname, ".readonly");
3731         } else {
3732             strcpy(vname, "readonly-clone-temp");
3733         }
3734
3735         code = DoVolClone(fromconn, afromvol, afrompart, readonlyVolume,
3736                           cloneVolId, roclone?"permanent RO":
3737                           "temporary RO", NULL, vname, NULL, &volstatus, NULL);
3738         if (code) {
3739             error = code;
3740             goto rfail;
3741         }
3742
3743         if (justnewsites && rwupdate != volstatus.updateDate) {
3744             justnewsites = 0;
3745             /* reset the serverFlags as if 'justnewsites' had never been set */
3746             for (i = 0; i < entry.nServers; i++) {
3747                 entry.serverFlags[i] &= ~VLSF_NEWREPSITE;
3748                 entry.serverFlags[i] |= VLSF_DONTUSE;
3749             }
3750             entry.serverFlags[rwindex] |= VLSF_NEWREPSITE;
3751             entry.serverFlags[rwindex] &= ~VLSF_DONTUSE;
3752         }
3753
3754         rwcrdate = volstatus.creationDate;
3755
3756         /* Remember clone volume ID in case we fail or are interrupted */
3757         entry.cloneId = cloneVolId;
3758
3759         if (roclone) {
3760             /* Bring the RO clone online - though not if it's a temporary clone */
3761             VPRINT1("Starting transaction on RO clone volume %u...",
3762                     cloneVolId);
3763             code =
3764                 AFSVolTransCreate_retry(fromconn, cloneVolId, afrompart, ITOffline,
3765                                   &onlinetid);
3766             ONERROR(code, cloneVolId,
3767                     "Failed to start transaction on volume %u\n");
3768             VDONE;
3769
3770             VPRINT1("Setting volume flags for volume %u...", cloneVolId);
3771             tcode = AFSVolSetFlags(fromconn, onlinetid, 0);
3772             VDONE;
3773
3774             VPRINT1("Ending transaction on volume %u...", cloneVolId);
3775             code = AFSVolEndTrans(fromconn, onlinetid, &rcode);
3776             ONERROR((code ? code : rcode), cloneVolId,
3777                     "Failed to end transaction on RO clone %u\n");
3778             VDONE;
3779
3780             ONERROR(tcode, cloneVolId, "Could not bring volume %u on line\n");
3781
3782             /* Sleep so that a client searching for an online volume won't
3783              * find the clone offline and then the next RO offline while the
3784              * release brings the clone online and the next RO offline (race).
3785              * There is a fix in the 3.4 client that does not need this sleep
3786              * anymore, but we don't know what clients we have.
3787              */
3788             if (entry.nServers > 2 && !justnewsites)
3789                 sleep(5);
3790
3791             /* Mark the RO clone in the VLDB as a good site (already released) */
3792             entry.serverFlags[roindex] |= VLSF_NEWREPSITE;
3793             entry.serverFlags[roindex] &= ~VLSF_DONTUSE;
3794             entry.flags |= VLF_ROEXISTS;
3795
3796             releasecount++;
3797
3798             /* Write out the VLDB entry only if the clone is not a temporary
3799              * clone. If we did this to a temporary clone then we would end
3800              * up marking all the ROs as "old release" making the ROs
3801              * temporarily unavailable.
3802              */
3803             MapNetworkToHost(&entry, &storeEntry);
3804             VPRINT1("Replacing VLDB entry for %s...", entry.name);
3805             vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
3806             ONERROR(vcode, entry.name,
3807                     "Could not update vldb entry for %s.\n");
3808             VDONE;
3809         }
3810     }
3811
3812     if (justnewsites) {
3813         VPRINT("RW vol has not changed; only releasing to new RO sites\n");
3814         /* act like this is a completion of a previous release */
3815         complete_release = CR_PARTIAL;
3816     } else if (tried_justnewsites) {
3817         VPRINT("RW vol has changed; releasing to all sites\n");
3818     }
3819
3820     /* Now we will release from the clone to the remaining RO replicas.
3821      * The first 2 ROs (counting the non-temporary RO clone) are released
3822      * individually: releasecount. This is to reduce the race condition
3823      * of clients trying to find an on-line RO volume. The remaining ROs
3824      * are released in parallel but no more than half the number of ROs
3825      * (rounded up) at a time: nservers.
3826      */
3827
3828     strcpy(vname, entry.name);
3829     strcat(vname, ".readonly");
3830     memset(&cookie, 0, sizeof(cookie));
3831     strncpy(cookie.name, vname, VOLSER_OLDMAXVOLNAME);
3832     cookie.type = ROVOL;
3833     cookie.parent = entry.volumeId[RWVOL];
3834     cookie.clone = 0;
3835
3836     /* how many to do at once, excluding clone */
3837     if (justnewsites)
3838         nservers = entry.nServers; /* can do all, none offline */
3839     else
3840         nservers = entry.nServers / 2;
3841     replicas = calloc(nservers + 1, sizeof(struct replica));
3842     times = calloc(nservers + 1, sizeof(struct release));
3843     toconns = calloc(nservers + 1, sizeof(struct rx_connection *));
3844     results.manyResults_val = calloc(nservers + 1, sizeof(afs_int32));
3845     if (!replicas || !times || !results.manyResults_val || !toconns)
3846         ONERROR0(ENOMEM,
3847                 "Failed to create transaction on the release clone\n");
3848
3849     /* Create a transaction on the cloned volume */
3850     VPRINT1("Starting transaction on cloned volume %u...", cloneVolId);
3851     code =
3852         AFSVolTransCreate_retry(fromconn, cloneVolId, afrompart, ITBusy, &fromtid);
3853     if (!code) {
3854         memset(&orig_status, 0, sizeof(orig_status));
3855         code = AFSVolGetStatus(fromconn, fromtid, &orig_status);
3856     }
3857     if (!complete_release && code)
3858         ONERROR(VOLSERNOVOL, afromvol,
3859                 "Old clone is inaccessible. Try vos release -f %u.\n");
3860     ONERROR0(code, "Failed to create transaction on the release clone\n");
3861     VDONE;
3862
3863     /* For each index in the VLDB */
3864     for (vldbindex = 0; vldbindex < entry.nServers;) {
3865         /* Get a transaction on the replicas. Pick replicas which have an old release. */
3866         for (volcount = 0;
3867              ((volcount < nservers) && (vldbindex < entry.nServers));
3868              vldbindex++) {
3869             if (!justnewsites) {
3870                 /* The first two RO volumes will be released individually.
3871                  * The rest are then released in parallel. This is a hack
3872                  * for clients not recognizing right away when a RO volume
3873                  * comes back on-line.
3874                  */
3875                 if ((volcount == 1) && (releasecount < 2))
3876                     break;
3877             }
3878
3879             if (vldbindex == roindex)
3880                 continue;       /* the clone    */
3881             if ((entry.serverFlags[vldbindex] & VLSF_NEWREPSITE)
3882                 && !(entry.serverFlags[vldbindex] & VLSF_DONTUSE))
3883                 continue;
3884             if (!(entry.serverFlags[vldbindex] & VLSF_ROVOL))
3885                 continue;       /* not a RO vol */
3886
3887
3888             /* Get a Transaction on this replica. Get a new connection if
3889              * necessary.  Create the volume if necessary.  Return the
3890              * time from which the dump should be made (0 if it's a new
3891              * volume).  Each volume might have a different time.
3892              */
3893             replicas[volcount].server.destHost =
3894                 ntohl(entry.serverNumber[vldbindex]);
3895             replicas[volcount].server.destPort = AFSCONF_VOLUMEPORT;
3896             replicas[volcount].server.destSSID = 1;
3897             times[volcount].vldbEntryIndex = vldbindex;
3898
3899             code =
3900                 GetTrans(&entry, vldbindex, &(toconns[volcount]),
3901                          &(replicas[volcount].trans),
3902                          &(times[volcount].crtime),
3903                          &(times[volcount].uptime),
3904                          origflags, 0);
3905             if (code)
3906                 continue;
3907
3908             /* Thisdate is the date from which we want to pick up all changes */
3909             if (flags & REL_FULLDUMPS) {
3910                 /* Do a full dump when forced by the caller. */
3911                 VPRINT("This will be a full dump: forced\n");
3912                 thisdate = 0;
3913             } else if (complete_release == CR_PARTIAL) {
3914                 if (justnewsites) {
3915                     VPRINT("This will be a full dump: read-only volume needs be created for new site\n");
3916                 } else {
3917                     /*
3918                      * We cannot be sure the creation date is good since the previous
3919                      * release failed, so do a full dump.
3920                      */
3921                     VPRINT("This will be a full dump: previous release failed\n");
3922                 }
3923                 thisdate = 0;
3924             } else if (times[volcount].crtime == 0) {
3925                 /* A full dump is needed for a new read-only volume. */
3926                 VPRINT
3927                     ("This will be a full dump: read-only volume needs to be created\n");
3928                 thisdate = 0;
3929             } else if ((rwcrdate > times[volcount].crtime)) {
3930                 /* If the RW volume was replaced (its creation date is newer than
3931                  * the last release), then we can't be sure what has changed (so
3932                  * we do a full dump).
3933                  */
3934                 VPRINT
3935                     ("This will be a full dump: read-write volume was replaced\n");
3936                 thisdate = 0;
3937             } else if (remembertime[vldbindex].validtime) {
3938                 /* Trans was prev ended. Use the time from the prev trans
3939                  * because, prev trans may have created the volume. In which
3940                  * case time[volcount].time would be now instead of 0.
3941                  */
3942                 thisdate =
3943                     (remembertime[vldbindex].uptime < times[volcount].uptime)
3944                         ? remembertime[vldbindex].uptime
3945                         : times[volcount].uptime;
3946             } else {
3947                 thisdate = times[volcount].uptime;
3948             }
3949             remembertime[vldbindex].validtime = 1;
3950             remembertime[vldbindex].uptime = thisdate;
3951
3952             if (volcount == 0) {
3953                 fromdate = thisdate;
3954             } else {
3955                 /* Include this volume if it is within 15 minutes of the earliest */
3956                 if (((fromdate >
3957                       thisdate) ? (fromdate - thisdate) : (thisdate -
3958                                                            fromdate)) > 900) {
3959                     AFSVolEndTrans(toconns[volcount],
3960                                    replicas[volcount].trans, &rcode);
3961                     replicas[volcount].trans = 0;
3962                     break;
3963                 }
3964                 if (thisdate < fromdate)
3965                     fromdate = thisdate;
3966             }
3967             volcount++;
3968         }
3969         if (!volcount)
3970             continue;
3971
3972         code = CheckTrans(fromconn, &fromtid, afrompart, &orig_status);
3973         if (code) {
3974             error = ENOENT;
3975             goto rfail;
3976         }
3977
3978         if (verbose) {
3979             fprintf(STDOUT, "Starting ForwardMulti from %lu to %u on %s",
3980                     (unsigned long)cloneVolId,
3981                     entry.volumeId[ROVOL],
3982                     noresolve ? afs_inet_ntoa_r(entry.serverNumber[times[0].
3983                                                 vldbEntryIndex], hoststr) :
3984                     hostutil_GetNameByINet(entry.
3985                                            serverNumber[times[0].
3986                                                         vldbEntryIndex]));
3987
3988             for (s = 1; s < volcount; s++) {
3989                 fprintf(STDOUT, " and %s",
3990                         noresolve ? afs_inet_ntoa_r(entry.serverNumber[times[s].
3991                                                     vldbEntryIndex], hoststr) :
3992                         hostutil_GetNameByINet(entry.
3993                                                serverNumber[times[s].
3994                                                             vldbEntryIndex]));
3995             }
3996
3997             if (fromdate == 0)
3998                 fprintf(STDOUT, " (entire volume)");
3999             else {
4000                 tmv = fromdate;
4001                 fprintf(STDOUT, " (as of %.24s)", ctime(&tmv));
4002             }
4003             fprintf(STDOUT, ".\n");
4004             fflush(STDOUT);
4005         }
4006
4007         /* Release the ones we have collected */
4008         tr.manyDests_val = &(replicas[0]);
4009         tr.manyDests_len = results.manyResults_len = volcount;
4010         code =
4011             AFSVolForwardMultiple(fromconn, fromtid, fromdate, &tr,
4012                                   0 /*spare */ , &cookie, &results);
4013         if (code == RXGEN_OPCODE) {     /* RPC Interface Mismatch */
4014             code =
4015                 SimulateForwardMultiple(fromconn, fromtid, fromdate, &tr,
4016                                         0 /*spare */ , &cookie, &results);
4017             nservers = 1;
4018         }
4019
4020         if (code) {
4021             PrintError("Release failed: ", code);
4022         } else {
4023             for (m = 0; m < volcount; m++) {
4024                 if (results.manyResults_val[m]) {
4025                     if ((m == 0) || (results.manyResults_val[m] != ENOENT)) {
4026                         /* we retry timed out transaction. When it is
4027                          * not the first volume and the transaction wasn't found
4028                          * (assume it timed out and was garbage collected by volser).
4029                          */
4030                         PrintError
4031                             ("Failed to dump volume from clone to a ro site: ",
4032                              results.manyResults_val[m]);
4033                     }
4034                     continue;
4035                 }
4036
4037                 code =
4038                     AFSVolSetIdsTypes(toconns[m], replicas[m].trans, vname,
4039                                       ROVOL, entry.volumeId[RWVOL], 0, 0);
4040                 if (code) {
4041                     if ((m == 0) || (code != ENOENT)) {
4042                         PrintError("Failed to set correct names and ids: ",
4043                                    code);
4044                     }
4045                     continue;
4046                 }
4047
4048                 /* have to clear dest. flags to ensure new vol goes online:
4049                  * because the restore (forwarded) operation copied
4050                  * the V_inService(=0) flag over to the destination.
4051                  */
4052                 code = AFSVolSetFlags(toconns[m], replicas[m].trans, 0);
4053                 if (code) {
4054                     if ((m == 0) || (code != ENOENT)) {
4055                         PrintError("Failed to set flags on ro volume: ",
4056                                    code);
4057                     }
4058                     continue;
4059                 }
4060
4061                 entry.serverFlags[times[m].vldbEntryIndex] |= VLSF_NEWREPSITE;
4062                 entry.serverFlags[times[m].vldbEntryIndex] &= ~VLSF_DONTUSE;
4063                 entry.flags |= VLF_ROEXISTS;
4064                 releasecount++;
4065             }
4066         }
4067
4068         PutTrans(&vldbindex, replicas, toconns, times, volcount);
4069         MapNetworkToHost(&entry, &storeEntry);
4070         vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
4071         ONERROR(vcode, afromvol,
4072                 " Could not update VLDB entry for volume %u\n");
4073     }                           /* for each index in the vldb */
4074
4075     /* End the transaction on the cloned volume */
4076     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
4077     fromtid = 0;
4078     if (!code)
4079         code = rcode;
4080     if (code)
4081         PrintError("Failed to end transaction on rw volume: ", code);
4082
4083     /* Figure out if any volume were not released and say so */
4084     for (failure = 0, i = 0; i < entry.nServers; i++) {
4085         if (!(entry.serverFlags[i] & VLSF_NEWREPSITE))
4086             failure++;
4087     }
4088     if (failure) {
4089         char pname[10];
4090         fprintf(STDERR,
4091                 "The volume %lu could not be released to the following %d sites:\n",
4092                 (unsigned long)afromvol, failure);
4093         for (i = 0; i < entry.nServers; i++) {
4094             if (!(entry.serverFlags[i] & VLSF_NEWREPSITE)) {
4095                 MapPartIdIntoName(entry.serverPartition[i], pname);
4096                 fprintf(STDERR, "\t%35s %s\n",
4097                         noresolve ? afs_inet_ntoa_r(entry.serverNumber[i], hoststr) :
4098                         hostutil_GetNameByINet(entry.serverNumber[i]), pname);
4099             }
4100         }
4101         MapNetworkToHost(&entry, &storeEntry);
4102         vcode =
4103             VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry,
4104                               LOCKREL_TIMESTAMP);
4105         ONERROR(vcode, afromvol,
4106                 " Could not update VLDB entry for volume %u\n");
4107
4108         ERROREXIT(VOLSERBADRELEASE);
4109     }
4110
4111     entry.cloneId = 0;
4112     /* All the ROs were release successfully. Remove the temporary clone */
4113     if (!roclone) {
4114         if (verbose) {
4115             fprintf(STDOUT, "Deleting the releaseClone %lu ...",
4116                     (unsigned long)cloneVolId);
4117             fflush(STDOUT);
4118         }
4119         code = DoVolDelete(fromconn, cloneVolId, afrompart, NULL, 0, NULL,
4120                            NULL);
4121         if (code && code != VNOVOL)
4122             ONERROR(code, cloneVolId, "Failed to delete volume %u.\n");
4123         VDONE;