aa25d4329fe516f112021fdbde32a546111aa1b2
[openafs.git] / src / volser / vsprocs.c
1 /*
2  * Copyright 2000, International Business Machines Corporation and others.
3  * All Rights Reserved.
4  *
5  * This software has been released under the terms of the IBM Public
6  * License.  For details, see the LICENSE file in the top-level source
7  * directory or online at http://www.openafs.org/dl/license10.html
8  */
9
10 #include <afsconfig.h>
11 #include <afs/param.h>
12
13 #include <afs/procmgmt.h>       /* signal(), kill(), wait(), etc. */
14 #include <roken.h>
15
16 #ifdef  AFS_AIX_ENV
17 #include <sys/statfs.h>
18 #endif
19
20 #include <lock.h>
21 #include <afs/voldefs.h>
22 #include <rx/xdr.h>
23 #include <rx/rx.h>
24 #include <rx/rx_queue.h>
25 #include <afs/vlserver.h>
26 #include <afs/nfs.h>
27 #include <afs/cellconfig.h>
28 #include <afs/keys.h>
29 #include <ubik.h>
30 #include <afs/afsint.h>
31 #include "volser.h"
32 #include "volint.h"
33 #include "lockdata.h"
34 #include <afs/com_err.h>
35 #include <rx/rxkad.h>
36 #include <afs/kautils.h>
37 #include <afs/cmd.h>
38 #include <afs/ihandle.h>
39 #ifdef AFS_NT40_ENV
40 #include <afs/ntops.h>
41 #endif
42 #include <afs/vnode.h>
43 #include <afs/volume.h>
44 #define ERRCODE_RANGE 8         /* from error_table.h */
45 #define CLOCKSKEW   2           /* not really skew, but resolution */
46 #define CLOCKADJ(x) (((x) < CLOCKSKEW) ? 0 : (x) - CLOCKSKEW)
47
48 /* for UV_MoveVolume() recovery */
49
50 #include <setjmp.h>
51
52 #include "volser_internal.h"
53 #include "volser_prototypes.h"
54 #include "vsutils_prototypes.h"
55 #include "lockprocs_prototypes.h"
56
57 extern struct ubik_client *cstruct;
58 int verbose = 0, noresolve = 0;
59
60 struct release {
61     afs_uint32 crtime;
62     afs_uint32 uptime;
63     afs_int32 vldbEntryIndex;
64 };
65
66 /* Utility macros used by rest of this source file */
67 #define EPRINT(ec, es) \
68 do { \
69         fprintf(STDERR, "\n"); \
70         fprintf(STDERR, (es)); \
71         PrintError("   ",ec); \
72 } while (0)
73
74 #define EPRINT1(ec, es, ep1) \
75 do { \
76         fprintf(STDERR, "\n"); \
77         fprintf(STDERR, (es), (ep1)); \
78         PrintError("   ",ec); \
79 } while (0)
80
81 #define EPRINT2(ec, es, ep1, ep2) \
82 do { \
83         fprintf(STDERR, "\n"); \
84         fprintf(STDERR, (es), (ep1), (ep2)); \
85         PrintError("   ",ec); \
86 } while (0)
87
88 #define EPRINT3(ec, es, ep1, ep2, ep3) \
89 do { \
90         fprintf(STDERR, "\n"); \
91         fprintf(STDERR, (es), (ep1), (ep2), (ep3)); \
92         PrintError("   ",ec); \
93 } while (0)
94
95 #define EGOTO(where, ec, es) \
96 do { \
97         if (ec) { \
98                 EPRINT((ec),(es)); \
99                 error = (ec); \
100                 goto where; \
101         } \
102 } while (0)
103
104 #define EGOTO1(where, ec, es, ep1) \
105 do { \
106         if (ec) { \
107                 EPRINT1((ec),(es),(ep1)); \
108                 error = (ec); \
109                 goto where; \
110         } \
111 } while (0)
112
113 #define EGOTO2(where, ec, es, ep1, ep2) \
114 do { \
115         if (ec) { \
116                 EPRINT2((ec),(es),(ep1),(ep2)); \
117                 error = (ec); \
118                 goto where; \
119         } \
120 } while (0)
121
122 #define EGOTO3(where, ec, es, ep1, ep2, ep3) \
123 do { \
124         if (ec) { \
125                 EPRINT3((ec),(es),(ep1),(ep2),(ep3)); \
126                 error = (ec); \
127                 goto where; \
128         } \
129 } while (0)
130
131 #define VPRINT(es) \
132         { if (verbose) { fprintf(STDOUT, (es)); fflush(STDOUT); } }
133 #define VPRINT1(es, p) \
134         { if (verbose) { fprintf(STDOUT, (es), (p)); fflush(STDOUT); } }
135 #define VPRINT2(es, p1, p2) \
136         { if (verbose) { fprintf(STDOUT, (es), (p1), (p2)); fflush(STDOUT); } }
137 #define VPRINT3(es, p1, p2, p3) \
138         { if (verbose) { fprintf(STDOUT, (es), (p1), (p2), (p3)); fflush(STDOUT); } }
139 #define VDONE \
140         { if (verbose) { fprintf(STDOUT, " done\n"); fflush(STDOUT); } }
141 #define VEPRINT(es) \
142         { if (verbose) { fprintf(STDERR, (es)); fflush(STDERR); } }
143 #define VEPRINT1(es, p) \
144         { if (verbose) { fprintf(STDERR, (es), (p)); fflush(STDERR); } }
145 #define VEPRINT2(es, p1, p2) \
146         { if (verbose) { fprintf(STDERR, (es), (p1), (p2)); fflush(STDERR); } }
147 #define VEPRINT3(es, p1, p2, p3) \
148         { if (verbose) { fprintf(STDERR, (es), (p1), (p2), (p3)); fflush(STDERR); } }
149 #define VEDONE \
150         { if (verbose) { fprintf(STDERR, " done\n"); fflush(STDERR); } }
151
152
153
154 /* getting rid of this */
155 #define ERROR_EXIT(code) do { \
156     error = (code); \
157     goto error_exit; \
158 } while (0)
159
160
161 /* Protos for static routines */
162 #if 0
163 static afs_int32 CheckAndDeleteVolume(struct rx_connection *aconn,
164                                       afs_int32 apart, afs_uint32 okvol,
165                                       afs_uint32 delvol);
166 #endif
167 static int GetTrans(struct nvldbentry *vldbEntryPtr, afs_int32 index,
168                     struct rx_connection **connPtr, afs_int32 * transPtr,
169                     afs_uint32 * crtimePtr, afs_uint32 * uptimePtr,
170                     afs_int32 *origflags, afs_uint32 tmpVolId);
171 static int SimulateForwardMultiple(struct rx_connection *fromconn,
172                                    afs_int32 fromtid, afs_int32 fromdate,
173                                    manyDests * tr, afs_int32 flags,
174                                    void *cookie, manyResults * results);
175 static int DoVolOnline(struct nvldbentry *vldbEntryPtr, afs_uint32 avolid,
176                        int index, char *vname, struct rx_connection *connPtr);
177 static int DoVolClone(struct rx_connection *aconn, afs_uint32 avolid,
178                       afs_int32 apart, int type, afs_uint32 cloneid,
179                       char *typestring, char *pname, char *vname, char *suffix,
180                       struct volser_status *volstatus, afs_int32 *transPtr);
181 static int DoVolDelete(struct rx_connection *aconn, afs_uint32 avolid,
182                        afs_int32 apart, char *typestring, afs_uint32 atoserver,
183                        struct volser_status *volstatus, char *pprefix);
184 static afs_int32 CheckVolume(volintInfo * volumeinfo, afs_uint32 aserver,
185                              afs_int32 apart, afs_int32 * modentry,
186                              afs_uint32 * maxvolid, struct nvldbentry *aentry);
187 static afs_int32 VolumeExists(afs_uint32 server, afs_int32 partition,
188                               afs_uint32 volumeid);
189 static afs_int32 CheckVldbRWBK(struct nvldbentry * entry,
190                                afs_int32 * modified);
191 static afs_int32 CheckVldbRO(struct nvldbentry *entry, afs_int32 * modified);
192 static afs_int32 CheckVldb(struct nvldbentry *entry, afs_int32 * modified,
193                            afs_int32 *deleted);
194 static void dump_sig_handler(int x);
195 static int sortVolumes(const void *a, const void *b);
196
197
198 /*map the partition <partId> into partition name <partName>*/
199 void
200 MapPartIdIntoName(afs_int32 partId, char *partName)
201 {
202     if (partId < 26) {          /* what if partId > = 26 ? */
203         strcpy(partName, "/vicep");
204         partName[6] = partId + 'a';
205         partName[7] = '\0';
206         return;
207     } else if (partId < VOLMAXPARTS) {
208         strcpy(partName, "/vicep");
209         partId -= 26;
210         partName[6] = 'a' + (partId / 26);
211         partName[7] = 'a' + (partId % 26);
212         partName[8] = '\0';
213         return;
214     }
215 }
216
217 int
218 PrintError(char *msg, afs_int32 errcode)
219 {
220     fprintf(STDERR, "%s", msg);
221     /*replace by a big switch statement */
222     switch (errcode) {
223     case 0:
224         break;
225     case -1:
226         fprintf(STDERR, "Possible communication failure\n");
227         break;
228     case VSALVAGE:
229         fprintf(STDERR, "Volume needs to be salvaged\n");
230         break;
231     case VNOVNODE:
232         fprintf(STDERR, "Bad vnode number quoted\n");
233         break;
234     case VNOVOL:
235         fprintf(STDERR,
236                 "Volume not attached, does not exist, or not on line\n");
237         break;
238     case VVOLEXISTS:
239         fprintf(STDERR, "Volume already exists\n");
240         break;
241     case VNOSERVICE:
242         fprintf(STDERR, "Volume is not in service\n");
243         break;
244     case VOFFLINE:
245         fprintf(STDERR, "Volume is off line\n");
246         break;
247     case VONLINE:
248         fprintf(STDERR, "Volume is already on line\n");
249         break;
250     case VDISKFULL:
251         fprintf(STDERR, "Partition is full\n");
252         break;
253     case VOVERQUOTA:
254         fprintf(STDERR, "Volume max quota exceeded\n");
255         break;
256     case VBUSY:
257         fprintf(STDERR, "Volume temporarily unavailable\n");
258         break;
259     case VMOVED:
260         fprintf(STDERR, "Volume has moved to another server\n");
261         break;
262     case VL_IDEXIST:
263         fprintf(STDERR, "VLDB: volume Id exists in the vldb\n");
264         break;
265     case VL_IO:
266         fprintf(STDERR, "VLDB: a read terminated too early\n");
267         break;
268     case VL_NAMEEXIST:
269         fprintf(STDERR, "VLDB: volume entry exists in the vldb\n");
270         break;
271     case VL_CREATEFAIL:
272         fprintf(STDERR, "VLDB: internal creation failure\n");
273         break;
274     case VL_NOENT:
275         fprintf(STDERR, "VLDB: no such entry\n");
276         break;
277     case VL_EMPTY:
278         fprintf(STDERR, "VLDB: vldb database is empty\n");
279         break;
280     case VL_ENTDELETED:
281         fprintf(STDERR, "VLDB: entry is deleted (soft delete)\n");
282         break;
283     case VL_BADNAME:
284         fprintf(STDERR, "VLDB: volume name is illegal\n");
285         break;
286     case VL_BADINDEX:
287         fprintf(STDERR, "VLDB: index was out of range\n");
288         break;
289     case VL_BADVOLTYPE:
290         fprintf(STDERR, "VLDB: bad volume type\n");
291         break;
292     case VL_BADSERVER:
293         fprintf(STDERR, "VLDB: illegal server number (not within limits)\n");
294         break;
295     case VL_BADPARTITION:
296         fprintf(STDERR, "VLDB: bad partition number\n");
297         break;
298     case VL_REPSFULL:
299         fprintf(STDERR, "VLDB: run out of space for replication sites\n");
300         break;
301     case VL_NOREPSERVER:
302         fprintf(STDERR, "VLDB: no such repsite server exists\n");
303         break;
304     case VL_DUPREPSERVER:
305         fprintf(STDERR, "VLDB: replication site server already exists\n");
306         break;
307     case VL_RWNOTFOUND:
308         fprintf(STDERR, "VLDB: parent r/w entry not found\n");
309         break;
310     case VL_BADREFCOUNT:
311         fprintf(STDERR, "VLDB: illegal reference count number\n");
312         break;
313     case VL_SIZEEXCEEDED:
314         fprintf(STDERR, "VLDB: vldb size for attributes exceeded\n");
315         break;
316     case VL_BADENTRY:
317         fprintf(STDERR, "VLDB: bad incoming vldb entry\n");
318         break;
319     case VL_BADVOLIDBUMP:
320         fprintf(STDERR, "VLDB: illegal max volid increment\n");
321         break;
322     case VL_IDALREADYHASHED:
323         fprintf(STDERR, "VLDB: (RO/BACK) Id already hashed\n");
324         break;
325     case VL_ENTRYLOCKED:
326         fprintf(STDERR, "VLDB: vldb entry is already locked\n");
327         break;
328     case VL_BADVOLOPER:
329         fprintf(STDERR, "VLDB: bad volume operation code\n");
330         break;
331     case VL_BADRELLOCKTYPE:
332         fprintf(STDERR, "VLDB: bad release lock type\n");
333         break;
334     case VL_RERELEASE:
335         fprintf(STDERR, "VLDB: status report: last release was aborted\n");
336         break;
337     case VL_BADSERVERFLAG:
338         fprintf(STDERR, "VLDB: invalid replication site server flag\n");
339         break;
340     case VL_PERM:
341         fprintf(STDERR, "VLDB: no permission access for call\n");
342         break;
343     case VOLSERREAD_DUMPERROR:
344         fprintf(STDERR,
345                 "VOLSER:  Problems encountered in reading the dump file !\n");
346         break;
347     case VOLSERDUMPERROR:
348         fprintf(STDERR, "VOLSER: Problems encountered in doing the dump !\n");
349         break;
350     case VOLSERATTACH_ERROR:
351         fprintf(STDERR, "VOLSER: Could not attach the volume\n");
352         break;
353     case VOLSERDETACH_ERROR:
354         fprintf(STDERR, "VOLSER: Could not detach the volume\n");
355         break;
356     case VOLSERILLEGAL_PARTITION:
357         fprintf(STDERR, "VOLSER: encountered illegal partition number\n");
358         break;
359     case VOLSERBAD_ACCESS:
360         fprintf(STDERR, "VOLSER: permission denied, not a super user\n");
361         break;
362     case VOLSERVLDB_ERROR:
363         fprintf(STDERR, "VOLSER: error detected in the VLDB\n");
364         break;
365     case VOLSERBADNAME:
366         fprintf(STDERR, "VOLSER: error in volume name\n");
367         break;
368     case VOLSERVOLMOVED:
369         fprintf(STDERR, "VOLSER: volume has moved\n");
370         break;
371     case VOLSERBADOP:
372         fprintf(STDERR, "VOLSER: illegal operation\n");
373         break;
374     case VOLSERBADRELEASE:
375         fprintf(STDERR, "VOLSER: release could not be completed\n");
376         break;
377     case VOLSERVOLBUSY:
378         fprintf(STDERR, "VOLSER: volume is busy\n");
379         break;
380     case VOLSERNO_MEMORY:
381         fprintf(STDERR, "VOLSER: volume server is out of memory\n");
382         break;
383     case VOLSERNOVOL:
384         fprintf(STDERR,
385                 "VOLSER: no such volume - location specified incorrectly or volume does not exist\n");
386         break;
387     case VOLSERMULTIRWVOL:
388         fprintf(STDERR,
389                 "VOLSER: multiple RW volumes with same ID, one of which should be deleted\n");
390         break;
391     case VOLSERFAILEDOP:
392         fprintf(STDERR,
393                 "VOLSER: not all entries were successfully processed\n");
394         break;
395     default:
396         {
397             initialize_RXK_error_table();
398             initialize_KTC_error_table();
399             initialize_ACFG_error_table();
400             initialize_VL_error_table();
401
402             fprintf(STDERR, "%s: %s\n", afs_error_table_name(errcode),
403                     afs_error_message(errcode));
404             break;
405         }
406     }
407     return 0;
408 }
409
410 void init_volintInfo(struct volintInfo *vinfo) {
411     memset(vinfo, 0, sizeof(struct volintInfo));
412
413     vinfo->maxquota = -1;
414     vinfo->dayUse = -1;
415     vinfo->creationDate = -1;
416     vinfo->updateDate = -1;
417     vinfo->flags = -1;
418     vinfo->spare0 = -1;
419     vinfo->spare1 = -1;
420     vinfo->spare2 = -1;
421     vinfo->spare3 = -1;
422 }
423
424 static struct rx_securityClass *uvclass = 0;
425 static int uvindex = -1;
426 /* called by VLDBClient_Init to set the security module to be used in the RPC */
427 int
428 UV_SetSecurity(struct rx_securityClass *as, afs_int32 aindex)
429 {
430     uvindex = aindex;
431     uvclass = as;
432     return 0;
433 }
434
435 /* bind to volser on <port> <aserver> */
436 /* takes server address in network order, port in host order.  dumb */
437 struct rx_connection *
438 UV_Bind(afs_uint32 aserver, afs_int32 port)
439 {
440     struct rx_connection *tc;
441
442     tc = rx_NewConnection(aserver, htons(port), VOLSERVICE_ID, uvclass,
443                           uvindex);
444     return tc;
445 }
446
447 static int
448 AFSVolCreateVolume_retry(struct rx_connection *z_conn,
449                        afs_int32 partition, char *name, afs_int32 type,
450                        afs_int32 parent, afs_uint32 *volid, afs_int32 *trans)
451 {
452     afs_int32 code;
453     int retries = 3;
454     while (retries) {
455         code = AFSVolCreateVolume(z_conn, partition, name, type, parent,
456                                   volid, trans);
457         if (code != VOLSERVOLBUSY)
458             break;
459         retries--;
460 #ifdef AFS_PTHREAD_ENV
461         sleep(3-retries);
462 #else
463         IOMGR_Sleep(3-retries);
464 #endif
465     }
466     return code;
467 }
468
469 static int
470 AFSVolTransCreate_retry(struct rx_connection *z_conn,
471                         afs_int32 volume, afs_int32 partition,
472                         afs_int32 flags, afs_int32 * trans)
473 {
474     afs_int32 code;
475     int retries = 3;
476     while (retries) {
477         code = AFSVolTransCreate(z_conn, volume, partition, flags, trans);
478         if (code != VOLSERVOLBUSY)
479             break;
480         retries--;
481 #ifdef AFS_PTHREAD_ENV
482         sleep(3-retries);
483 #else
484         IOMGR_Sleep(3-retries);
485 #endif
486     }
487     return code;
488 }
489
490 #if 0
491 /* if <okvol> is allright(indicated by beibg able to
492  * start a transaction, delete the <delvol> */
493 static afs_int32
494 CheckAndDeleteVolume(struct rx_connection *aconn, afs_int32 apart,
495                      afs_uint32 okvol, afs_uint32 delvol)
496 {
497     afs_int32 error, code, tid, rcode;
498     error = 0;
499     code = 0;
500
501     if (okvol == 0) {
502         code = AFSVolTransCreate_retry(aconn, delvol, apart, ITOffline, &tid);
503         if (!error && code)
504             error = code;
505         code = AFSVolDeleteVolume(aconn, tid);
506         if (!error && code)
507             error = code;
508         code = AFSVolEndTrans(aconn, tid, &rcode);
509         if (!code)
510             code = rcode;
511         if (!error && code)
512             error = code;
513         return error;
514     } else {
515         code = AFSVolTransCreate_retry(aconn, okvol, apart, ITOffline, &tid);
516         if (!code) {
517             code = AFSVolEndTrans(aconn, tid, &rcode);
518             if (!code)
519                 code = rcode;
520             if (!error && code)
521                 error = code;
522             code = AFSVolTransCreate_retry(aconn, delvol, apart, ITOffline, &tid);
523             if (!error && code)
524                 error = code;
525             code = AFSVolDeleteVolume(aconn, tid);
526             if (!error && code)
527                 error = code;
528             code = AFSVolEndTrans(aconn, tid, &rcode);
529             if (!code)
530                 code = rcode;
531             if (!error && code)
532                 error = code;
533         } else
534             error = code;
535         return error;
536     }
537 }
538
539 #endif
540
541 /* called by EmuerateEntry, show vldb entry in a reasonable format */
542 void
543 SubEnumerateEntry(struct nvldbentry *entry)
544 {
545     int i;
546     char pname[10];
547     int isMixed = 0;
548     char hoststr[16];
549
550 #ifdef notdef
551     fprintf(STDOUT, "   readWriteID %-10u ", entry->volumeId[RWVOL]);
552     if (entry->flags & RW_EXISTS)
553         fprintf(STDOUT, " valid \n");
554     else
555         fprintf(STDOUT, " invalid \n");
556     fprintf(STDOUT, "   readOnlyID  %-10u ", entry->volumeId[ROVOL]);
557     if (entry->flags & RO_EXISTS)
558         fprintf(STDOUT, " valid \n");
559     else
560         fprintf(STDOUT, " invalid \n");
561     fprintf(STDOUT, "   backUpID    %-10u ", entry->volumeId[BACKVOL]);
562     if (entry->flags & BACK_EXISTS)
563         fprintf(STDOUT, " valid \n");
564     else
565         fprintf(STDOUT, " invalid \n");
566     if ((entry->cloneId != 0) && (entry->flags & RO_EXISTS))
567         fprintf(STDOUT, "    releaseClone %-10u \n", entry->cloneId);
568 #else
569     if (entry->flags & RW_EXISTS)
570         fprintf(STDOUT, "    RWrite: %-10u", entry->volumeId[RWVOL]);
571     if (entry->flags & RO_EXISTS)
572         fprintf(STDOUT, "    ROnly: %-10u", entry->volumeId[ROVOL]);
573     if (entry->flags & BACK_EXISTS)
574         fprintf(STDOUT, "    Backup: %-10u", entry->volumeId[BACKVOL]);
575     if ((entry->cloneId != 0) && (entry->flags & RO_EXISTS))
576         fprintf(STDOUT, "    RClone: %-10lu", (unsigned long)entry->cloneId);
577     fprintf(STDOUT, "\n");
578 #endif
579     fprintf(STDOUT, "    number of sites -> %lu\n",
580             (unsigned long)entry->nServers);
581     for (i = 0; i < entry->nServers; i++) {
582         if (entry->serverFlags[i] & NEW_REPSITE)
583             isMixed = 1;
584     }
585     for (i = 0; i < entry->nServers; i++) {
586         MapPartIdIntoName(entry->serverPartition[i], pname);
587         fprintf(STDOUT, "       server %s partition %s ",
588                 noresolve ? afs_inet_ntoa_r(entry->serverNumber[i], hoststr) :
589                 hostutil_GetNameByINet(entry->serverNumber[i]), pname);
590         if (entry->serverFlags[i] & ITSRWVOL)
591             fprintf(STDOUT, "RW Site ");
592         else
593             fprintf(STDOUT, "RO Site ");
594         if (isMixed) {
595             if (entry->serverFlags[i] & NEW_REPSITE)
596                 fprintf(STDOUT," -- New release");
597             else
598                 if (!(entry->serverFlags[i] & ITSRWVOL))
599                     fprintf(STDOUT," -- Old release");
600         } else {
601             if (entry->serverFlags[i] & RO_DONTUSE)
602                 fprintf(STDOUT, " -- Not released");
603         }
604         fprintf(STDOUT, "\n");
605     }
606
607     return;
608
609 }
610
611 /*enumerate the vldb entry corresponding to <entry> */
612 void
613 EnumerateEntry(struct nvldbentry *entry)
614 {
615
616     fprintf(STDOUT, "\n");
617     fprintf(STDOUT, "%s \n", entry->name);
618     SubEnumerateEntry(entry);
619     return;
620 }
621
622 /* forcibly remove a volume.  Very dangerous call */
623 int
624 UV_NukeVolume(afs_uint32 server, afs_int32 partid, afs_uint32 volid)
625 {
626     struct rx_connection *tconn;
627     afs_int32 code;
628
629     tconn = UV_Bind(server, AFSCONF_VOLUMEPORT);
630     if (tconn) {
631         code = AFSVolNukeVolume(tconn, partid, volid);
632         rx_DestroyConnection(tconn);
633     } else
634         code = 0;
635     return code;
636 }
637
638 /* like df. Return usage of <pname> on <server> in <partition> */
639 int
640 UV_PartitionInfo64(afs_uint32 server, char *pname,
641                    struct diskPartition64 *partition)
642 {
643     struct rx_connection *aconn;
644     afs_int32 code = 0;
645
646     aconn = UV_Bind(server, AFSCONF_VOLUMEPORT);
647     code = AFSVolPartitionInfo64(aconn, pname, partition);
648     if (code == RXGEN_OPCODE) {
649         struct diskPartition *dpp = malloc(sizeof(struct diskPartition));
650         code = AFSVolPartitionInfo(aconn, pname, dpp);
651         if (!code) {
652             strncpy(partition->name, dpp->name, 32);
653             strncpy(partition->devName, dpp->devName, 32);
654             partition->lock_fd = dpp->lock_fd;
655             partition->free = dpp->free;
656             partition->minFree = dpp->minFree;
657         }
658         free(dpp);
659     }
660     if (code) {
661         fprintf(STDERR, "Could not get information on partition %s\n", pname);
662         PrintError("", code);
663     }
664     if (aconn)
665         rx_DestroyConnection(aconn);
666     return code;
667 }
668
669 /* old interface to create volumes */
670 int
671 UV_CreateVolume(afs_uint32 aserver, afs_int32 apart, char *aname,
672                 afs_uint32 * anewid)
673 {
674     afs_int32 code;
675     *anewid = 0;
676     code = UV_CreateVolume2(aserver, apart, aname, 5000, 0, 0, 0, 0, anewid);
677     return code;
678 }
679
680 /* less old interface to create volumes */
681 int
682 UV_CreateVolume2(afs_uint32 aserver, afs_int32 apart, char *aname,
683                  afs_int32 aquota, afs_int32 aspare1, afs_int32 aspare2,
684                  afs_int32 aspare3, afs_int32 aspare4, afs_uint32 * anewid)
685 {
686     afs_uint32 roid = 0, bkid = 0;
687     return UV_CreateVolume3(aserver, apart, aname, aquota, aspare1, aspare2,
688         aspare3, aspare4, anewid, &roid, &bkid);
689 }
690
691 /**
692  * Create a volume on the given server and partition
693  *
694  * @param aserver  server to create volume on
695  * @param spart  partition to create volume on
696  * @param aname  name of new volume
697  * @param aquota  quota for new volume
698  * @param anewid  contains the desired volume id for the new volume. If
699  *                *anewid == 0, a new id will be chosen, and will be placed
700  *                in *anewid when UV_CreateVolume3 returns.
701  * @param aroid  contains the desired RO volume id. If NULL, the RO id entry
702  *               will be unset. If *aroid == 0, an id will be chosen, and
703  *               will be placed in *anewid when UV_CreateVolume3 returns.
704  * @param abkid  same as aroid, except for the BK volume id instead of the
705  *               RO volume id.
706  * @return 0 on success, error code otherwise.
707  */
708 int
709 UV_CreateVolume3(afs_uint32 aserver, afs_int32 apart, char *aname,
710                  afs_int32 aquota, afs_int32 aspare1, afs_int32 aspare2,
711                  afs_int32 aspare3, afs_int32 aspare4, afs_uint32 * anewid,
712                  afs_uint32 * aroid, afs_uint32 * abkid)
713 {
714     struct rx_connection *aconn;
715     afs_int32 tid;
716     afs_int32 code;
717     afs_int32 error;
718     afs_int32 rcode, vcode;
719     afs_int32 lastid;
720     struct nvldbentry entry, storeEntry;        /*the new vldb entry */
721     struct volintInfo tstatus;
722
723     tid = 0;
724     error = 0;
725
726     init_volintInfo(&tstatus);
727     tstatus.maxquota = aquota;
728
729     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
730
731     if (aroid && *aroid) {
732         VPRINT1("Using RO volume ID %d.\n", *aroid);
733     }
734     if (abkid && *abkid) {
735         VPRINT1("Using BK volume ID %d.\n", *abkid);
736     }
737
738     if (*anewid) {
739         vcode = VLDB_GetEntryByID(*anewid, -1, &entry);
740         if (!vcode) {
741             fprintf(STDERR, "Volume ID %d already exists\n", *anewid);
742             return VVOLEXISTS;
743         }
744         VPRINT1("Using volume ID %d.\n", *anewid);
745     } else {
746         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, anewid);
747         EGOTO1(cfail, vcode, "Could not get an Id for volume %s\n", aname);
748
749         if (aroid && *aroid == 0) {
750             vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, aroid);
751             EGOTO1(cfail, vcode, "Could not get an RO Id for volume %s\n", aname);
752         }
753
754         if (abkid && *abkid == 0) {
755             vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, abkid);
756             EGOTO1(cfail, vcode, "Could not get a BK Id for volume %s\n", aname);
757         }
758     }
759
760     /* rw,ro, bk id are related in the default case */
761     /* If caller specified RW id, but not RO/BK ids, have them be RW+1 and RW+2 */
762     lastid = *anewid;
763     if (aroid && *aroid != 0) {
764         lastid = max(lastid, *aroid);
765     }
766     if (abkid && *abkid != 0) {
767         lastid = max(lastid, *abkid);
768     }
769     if (aroid && *aroid == 0) {
770         *aroid = ++lastid;
771     }
772     if (abkid && *abkid == 0) {
773         *abkid = ++lastid;
774     }
775
776     code =
777         AFSVolCreateVolume_retry(aconn, apart, aname, volser_RW, 0, anewid, &tid);
778     EGOTO2(cfail, code, "Failed to create the volume %s %u \n", aname,
779            *anewid);
780
781     code = AFSVolSetInfo(aconn, tid, &tstatus);
782     if (code)
783         EPRINT(code, "Could not change quota, continuing...\n");
784
785     code = AFSVolSetFlags(aconn, tid, 0);       /* bring it online (mark it InService */
786     EGOTO2(cfail, code, "Could not bring the volume %s %u online \n", aname,
787            *anewid);
788
789     VPRINT2("Volume %s %u created and brought online\n", aname, *anewid);
790
791     /* set up the vldb entry for this volume */
792     strncpy(entry.name, aname, VOLSER_OLDMAXVOLNAME);
793     entry.nServers = 1;
794     entry.serverNumber[0] = aserver;    /* this should have another
795                                          * level of indirection later */
796     entry.serverPartition[0] = apart;   /* this should also have
797                                          * another indirection level */
798     entry.flags = RW_EXISTS;    /* this records that rw volume exists */
799     entry.serverFlags[0] = ITSRWVOL;    /*this rep site has rw  vol */
800     entry.volumeId[RWVOL] = *anewid;
801     entry.volumeId[ROVOL] = aroid ? *aroid : 0;
802     entry.volumeId[BACKVOL] = abkid ? *abkid : 0;
803     entry.cloneId = 0;
804     /*map into right byte order, before passing to xdr, the stuff has to be in host
805      * byte order. Xdr converts it into network order */
806     MapNetworkToHost(&entry, &storeEntry);
807     /* create the vldb entry */
808     vcode = VLDB_CreateEntry(&storeEntry);
809     if (vcode) {
810         fprintf(STDERR,
811                 "Could not create a VLDB entry for the volume %s %lu\n",
812                 aname, (unsigned long)*anewid);
813         /*destroy the created volume */
814         VPRINT1("Deleting the newly created volume %u\n", *anewid);
815         AFSVolDeleteVolume(aconn, tid);
816         error = vcode;
817         goto cfail;
818     }
819     VPRINT2("Created the VLDB entry for the volume %s %u\n", aname, *anewid);
820     /* volume created, now terminate the transaction and release the connection */
821     code = AFSVolEndTrans(aconn, tid, &rcode);  /*if it crashes before this
822                                                  * the volume will come online anyway when transaction timesout , so if
823                                                  * vldb entry exists then the volume is guaranteed to exist too wrt create */
824     tid = 0;
825     if (code) {
826         fprintf(STDERR,
827                 "Failed to end the transaction on the volume %s %lu\n", aname,
828                 (unsigned long)*anewid);
829         error = code;
830         goto cfail;
831     }
832
833   cfail:
834     if (tid) {
835         code = AFSVolEndTrans(aconn, tid, &rcode);
836         if (code)
837             fprintf(STDERR, "WARNING: could not end transaction\n");
838     }
839     if (aconn)
840         rx_DestroyConnection(aconn);
841     PrintError("", error);
842     return error;
843 }
844
845 /* create a volume, given a server, partition number, volume name --> sends
846 * back new vol id in <anewid>*/
847 int
848 UV_AddVLDBEntry(afs_uint32 aserver, afs_int32 apart, char *aname,
849                 afs_uint32 aid)
850 {
851     struct rx_connection *aconn;
852     afs_int32 error;
853     afs_int32 vcode;
854     struct nvldbentry entry, storeEntry;        /*the new vldb entry */
855
856     aconn = (struct rx_connection *)0;
857     error = 0;
858
859     /* set up the vldb entry for this volume */
860     strncpy(entry.name, aname, VOLSER_OLDMAXVOLNAME);
861     entry.nServers = 1;
862     entry.serverNumber[0] = aserver;    /* this should have another
863                                          * level of indirection later */
864     entry.serverPartition[0] = apart;   /* this should also have
865                                          * another indirection level */
866     entry.flags = RW_EXISTS;    /* this records that rw volume exists */
867     entry.serverFlags[0] = ITSRWVOL;    /*this rep site has rw  vol */
868     entry.volumeId[RWVOL] = aid;
869 #ifdef notdef
870     entry.volumeId[ROVOL] = anewid + 1; /* rw,ro, bk id are related in the default case */
871     entry.volumeId[BACKVOL] = *anewid + 2;
872 #else
873     entry.volumeId[ROVOL] = 0;
874     entry.volumeId[BACKVOL] = 0;
875 #endif
876     entry.cloneId = 0;
877     /*map into right byte order, before passing to xdr, the stuff has to be in host
878      * byte order. Xdr converts it into network order */
879     MapNetworkToHost(&entry, &storeEntry);
880     /* create the vldb entry */
881     vcode = VLDB_CreateEntry(&storeEntry);
882     if (vcode) {
883         fprintf(STDERR,
884                 "Could not create a VLDB entry for the  volume %s %lu\n",
885                 aname, (unsigned long)aid);
886         error = vcode;
887         goto cfail;
888     }
889     VPRINT2("Created the VLDB entry for the volume %s %u\n", aname, aid);
890
891   cfail:
892     if (aconn)
893         rx_DestroyConnection(aconn);
894     PrintError("", error);
895     return error;
896 }
897
898 /* Delete the volume <volid>on <aserver> <apart>
899  * the physical entry gets removed from the vldb only if the ref count
900  * becomes zero
901  */
902 int
903 UV_DeleteVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid)
904 {
905     struct rx_connection *aconn = (struct rx_connection *)0;
906     afs_int32 ttid = 0;
907     afs_int32 code, rcode;
908     afs_int32 error = 0;
909     struct nvldbentry entry, storeEntry;
910     int islocked = 0;
911     afs_int32 avoltype = -1, vtype;
912     int notondisk = 0, notinvldb = 0;
913
914     /* Find and read bhe VLDB entry for this volume */
915     code = ubik_VL_SetLock(cstruct, 0, avolid, avoltype, VLOP_DELETE);
916     if (code) {
917         if (code != VL_NOENT) {
918             EGOTO1(error_exit, code,
919                    "Could not lock VLDB entry for the volume %u\n", avolid);
920         }
921         notinvldb = 1;
922     } else {
923         islocked = 1;
924
925         code = VLDB_GetEntryByID(avolid, avoltype, &entry);
926         EGOTO1(error_exit, code, "Could not fetch VLDB entry for volume %u\n",
927                avolid);
928         MapHostToNetwork(&entry);
929
930         if (verbose)
931             EnumerateEntry(&entry);
932     }
933
934     /* Whether volume is in the VLDB or not. Delete the volume on disk */
935     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
936
937     code = DoVolDelete(aconn, avolid, apart, "the", 0, NULL, NULL);
938     if (code) {
939         if (code == VNOVOL)
940             notondisk = 1;
941         else {
942             error = code;
943             goto error_exit;
944         }
945     }
946
947     /* Now update the VLDB entry.
948      * But first, verify we have a VLDB entry.
949      * Whether volume is on disk or not. Delete the volume in VLDB.
950      */
951     if (notinvldb)
952         ERROR_EXIT(0);
953
954     if (avolid == entry.volumeId[BACKVOL]) {
955         /* Its a backup volume, modify the VLDB entry. Check that the
956          * backup volume is on the server/partition we asked to delete.
957          */
958         if (!(entry.flags & BACK_EXISTS) || !Lp_Match(aserver, apart, &entry)) {
959             notinvldb = 2;      /* Not on this server and partition */
960             ERROR_EXIT(0);
961         }
962
963         VPRINT1("Marking the backup volume %u deleted in the VLDB\n", avolid);
964
965         entry.flags &= ~BACK_EXISTS;
966         vtype = BACKVOL;
967     }
968
969     else if (avolid == entry.volumeId[ROVOL]) {
970         /* Its a read-only volume, modify the VLDB entry. Check that the
971          * readonly volume is on the server/partition we asked to delete.
972          * If flags does not have RO_EIXSTS set, then this may mean the RO
973          * hasn't been released (and could exist in VLDB).
974          */
975         if (!Lp_ROMatch(aserver, apart, &entry)) {
976             notinvldb = 2;      /* Not found on this server and partition */
977             ERROR_EXIT(0);
978         }
979
980         if (verbose)
981             fprintf(STDOUT,
982                     "Marking the readonly volume %lu deleted in the VLDB\n",
983                     (unsigned long)avolid);
984
985         Lp_SetROValue(&entry, aserver, apart, 0, 0);    /* delete the site */
986         entry.nServers--;
987         if (!Lp_ROMatch(0, 0, &entry))
988             entry.flags &= ~RO_EXISTS;  /* This was the last ro volume */
989         vtype = ROVOL;
990     }
991
992     else if (avolid == entry.volumeId[RWVOL]) {
993         /* It's a rw volume, delete the backup volume, modify the VLDB entry.
994          * Check that the readwrite volumes is on the server/partition we
995          * asked to delete.
996          */
997         if (!(entry.flags & RW_EXISTS) || !Lp_Match(aserver, apart, &entry)) {
998             notinvldb = 2;      /* Not found on this server and partition */
999             ERROR_EXIT(0);
1000         }
1001
1002         if (entry.volumeId[BACKVOL]) {
1003             /* Delete backup if it exists */
1004             code = DoVolDelete(aconn, entry.volumeId[BACKVOL], apart,
1005                                "the backup", 0, NULL, NULL);
1006             if (code && code != VNOVOL) {
1007                 error = code;
1008                 goto error_exit;
1009             }
1010         }
1011
1012         if (verbose)
1013             fprintf(STDOUT,
1014                     "Marking the readwrite volume %lu%s deleted in the VLDB\n",
1015                     (unsigned long)avolid,
1016                     ((entry.
1017                       flags & BACK_EXISTS) ? ", and its backup volume," :
1018                      ""));
1019
1020         Lp_SetRWValue(&entry, aserver, apart, 0L, 0L);
1021         entry.nServers--;
1022         entry.flags &= ~(BACK_EXISTS | RW_EXISTS);
1023         vtype = RWVOL;
1024
1025         if (entry.flags & RO_EXISTS)
1026             fprintf(STDERR, "WARNING: ReadOnly copy(s) may still exist\n");
1027     }
1028
1029     else {
1030         notinvldb = 2;          /* Not found on this server and partition */
1031         ERROR_EXIT(0);
1032     }
1033
1034     /* Either delete or replace the VLDB entry */
1035     if ((entry.nServers <= 0) || !(entry.flags & (RO_EXISTS | RW_EXISTS))) {
1036         if (verbose)
1037             fprintf(STDOUT,
1038                     "Last reference to the VLDB entry for %lu - deleting entry\n",
1039                     (unsigned long)avolid);
1040         code = ubik_VL_DeleteEntry(cstruct, 0, avolid, vtype);
1041         EGOTO1(error_exit, code,
1042                "Could not delete the VLDB entry for the volume %u \n",
1043                avolid);
1044     } else {
1045         MapNetworkToHost(&entry, &storeEntry);
1046         code =
1047             VLDB_ReplaceEntry(avolid, vtype, &storeEntry,
1048                               (LOCKREL_OPCODE | LOCKREL_AFSID |
1049                                LOCKREL_TIMESTAMP));
1050         EGOTO1(error_exit, code,
1051                "Could not update the VLDB entry for the volume %u \n",
1052                avolid);
1053     }
1054     islocked = 0;
1055
1056   error_exit:
1057     if (error)
1058         EPRINT(error, "\n");
1059
1060     if (notondisk && notinvldb) {
1061         EPRINT2(VOLSERNOVOL, "Volume %u does not exist %s\n", avolid,
1062                 ((notinvldb == 2) ? "on server and partition" : ""));
1063         if (!error)
1064             error = VOLSERNOVOL;
1065     } else if (notondisk) {
1066         fprintf(STDERR,
1067                 "WARNING: Volume %lu did not exist on the partition\n",
1068                 (unsigned long)avolid);
1069     } else if (notinvldb) {
1070         fprintf(STDERR, "WARNING: Volume %lu does not exist in VLDB %s\n",
1071                 (unsigned long)avolid,
1072                 ((notinvldb == 2) ? "on server and partition" : ""));
1073     }
1074
1075     if (ttid) {
1076         code = AFSVolEndTrans(aconn, ttid, &rcode);
1077         code = (code ? code : rcode);
1078         if (code) {
1079             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
1080                     (unsigned long)avolid);
1081             PrintError("", code);
1082             if (!error)
1083                 error = code;
1084         }
1085     }
1086
1087     if (islocked) {
1088         code =
1089             ubik_VL_ReleaseLock(cstruct, 0, avolid, -1,
1090                                 (LOCKREL_OPCODE | LOCKREL_AFSID |
1091                                  LOCKREL_TIMESTAMP));
1092         if (code) {
1093             EPRINT1(code,
1094                     "Could not release the lock on the VLDB entry for the volume %u \n",
1095                     avolid);
1096             if (!error)
1097                 error = code;
1098         }
1099     }
1100
1101     if (aconn)
1102         rx_DestroyConnection(aconn);
1103     return error;
1104 }
1105
1106 /* add recovery to UV_MoveVolume */
1107
1108 #define TESTC   0               /* set to test recovery code, clear for production */
1109
1110 jmp_buf env;
1111 int interrupt = 0;
1112
1113 static void *
1114 do_interrupt(void * unused)
1115 {
1116     if (interrupt) {
1117 #if !defined(AFS_PTHREAD_ENV) && !defined(AFS_NT40_ENV)
1118         /* Avoid UNIX LWP from getting confused that our stack has suddenly
1119          * changed. This will avoid some sanity checks, but until a better way
1120          * is found, the only alternative is always crashing and burning on at
1121          * least the stack-overflow check. */
1122         lwp_cpptr->stack = NULL;
1123 #endif
1124         longjmp(env, 0);
1125     }
1126
1127     fprintf(STDOUT, "\nSIGINT handler: vos move operation in progress\n");
1128     fprintf(STDOUT,
1129             "WARNING: may leave AFS storage and metadata in indeterminate state\n");
1130     fprintf(STDOUT, "enter second control-c to exit\n");
1131     fflush(STDOUT);
1132
1133     interrupt = 1;
1134     return NULL;
1135 }
1136
1137 static void
1138 sigint_handler(int x)
1139 {
1140 #ifdef AFS_PTHREAD_ENV
1141     do_interrupt(NULL);
1142 #else
1143     IOMGR_SoftSig(do_interrupt, 0);
1144 #endif
1145     (void)signal(SIGINT, sigint_handler);
1146 }
1147
1148 static int
1149 DoVolDelete(struct rx_connection *aconn, afs_uint32 avolid,
1150             afs_int32 apart, char *ptypestring, afs_uint32 atoserver,
1151             struct volser_status *volstatus, char *pprefix)
1152 {
1153     afs_int32 ttid = 0, code, rcode, error = 0;
1154     char *prefix, *typestring;
1155     int beverbose = 0;
1156
1157     if (pprefix)
1158         prefix = pprefix;
1159     else
1160         prefix = "";
1161
1162     if (ptypestring) {
1163         typestring = ptypestring;
1164         beverbose = 1;
1165     } else
1166         typestring = "the";
1167
1168     if (beverbose)
1169         VPRINT3("%sDeleting %s volume %u ...", prefix, typestring, avolid);
1170
1171     code =
1172         AFSVolTransCreate_retry(aconn, avolid, apart, ITOffline, &ttid);
1173
1174     /* return early and quietly for VNOVOL; don't continue the attempt to delete. */
1175     if (code == VNOVOL) {
1176         error = code;
1177         goto dfail;
1178     }
1179
1180     EGOTO2(dfail, code, "%sFailed to start transaction on %u\n",
1181            prefix, avolid);
1182
1183     if (volstatus) {
1184         code = AFSVolGetStatus(aconn, ttid, volstatus);
1185         EGOTO2(dfail, code, "%sCould not get timestamp from volume %u\n",
1186                prefix, avolid);
1187     }
1188
1189     code =
1190         AFSVolSetFlags(aconn, ttid,
1191                        VTDeleteOnSalvage | VTOutOfService);
1192
1193     EGOTO2(dfail, code, "%sCould not set flags on volume %u \n",
1194            prefix, avolid);
1195
1196     if (atoserver) {
1197         VPRINT1("%sSetting volume forwarding pointer ...", prefix);
1198         AFSVolSetForwarding(aconn, ttid, atoserver);
1199         VDONE;
1200     }
1201
1202     code = AFSVolDeleteVolume(aconn, ttid);
1203     EGOTO2(dfail, code, "%sCould not delete volume %u\n", prefix, avolid);
1204
1205 dfail:
1206     if (ttid) {
1207         code = AFSVolEndTrans(aconn, ttid, &rcode);
1208         ttid = 0;
1209         if (!code)
1210             code = rcode;
1211         if (code) {
1212             fprintf(STDERR, "%sCould not end transaction on %s volume %lu \n",
1213                     prefix, typestring, (unsigned long)avolid);
1214             if (!error)
1215                 error = code;
1216         }
1217     }
1218
1219     if (beverbose && !error)
1220         VDONE;
1221     return error;
1222 }
1223
1224 static int
1225 DoVolClone(struct rx_connection *aconn, afs_uint32 avolid,
1226            afs_int32 apart, int type, afs_uint32 cloneid,
1227            char *typestring, char *pname, char *vname, char *suffix,
1228            struct volser_status *volstatus, afs_int32 *transPtr)
1229 {
1230     char cname[64];
1231     afs_int32 ttid = 0, btid = 0;
1232     afs_int32 code = 0, rcode = 0;
1233     afs_int32 error = 0;
1234     int cloneexists = 1;
1235
1236     /* Test to see if the clone volume exists by trying to create
1237      * a transaction on the clone volume. We've assumed the clone exists.
1238      */
1239     code = AFSVolTransCreate_retry(aconn, cloneid, apart, ITOffline, &btid);
1240     if (code) {
1241         if (code != VNOVOL) {
1242             EPRINT2(code, "Could not reach the %s volume %lu\n",
1243                     typestring, (unsigned long)cloneid);
1244             error = code;
1245             goto cfail;
1246         }
1247         cloneexists = 0;         /* clone volume does not exist */
1248     }
1249     if (btid) {
1250         code = AFSVolEndTrans(aconn, btid, &rcode);
1251         btid = 0;
1252         if (code || rcode) {
1253             fprintf(STDERR,
1254                     "Could not end transaction on the previous %s volume %lu\n",
1255                     typestring, (unsigned long)cloneid);
1256             error = (code ? code : rcode);
1257             goto cfail;
1258         }
1259     }
1260
1261     /* Now go ahead and try to clone the RW volume.
1262      * First start a transaction on the RW volume
1263      */
1264     code = AFSVolTransCreate_retry(aconn, avolid, apart, ITBusy, &ttid);
1265     if (code) {
1266         fprintf(STDERR, "Could not start a transaction on the volume %lu\n",
1267                 (unsigned long)avolid);
1268         error = code;
1269         goto cfail;
1270     }
1271
1272     /* Clone or reclone the volume, depending on whether the clone
1273      * volume exists or not
1274      */
1275     if (cloneexists) {
1276         VPRINT2("Re-cloning %s volume %u ...", typestring, cloneid);
1277
1278         code = AFSVolReClone(aconn, ttid, cloneid);
1279         if (code) {
1280             EPRINT2(code, "Could not re-clone %s volume %lu\n",
1281                     typestring, (unsigned long)cloneid);
1282             error = code;
1283             goto cfail;
1284         }
1285     } else {
1286         VPRINT2("Creating a new %s clone %u ...", typestring, cloneid);
1287
1288         if (!vname) {
1289             strcpy(cname, pname);
1290             strcat(cname, suffix);
1291         }
1292
1293         code = AFSVolClone(aconn, ttid, 0, type, vname?vname:cname,
1294                            &cloneid);
1295         if (code) {
1296             fprintf(STDERR, "Failed to clone the volume %lu\n",
1297                     (unsigned long)avolid);
1298             error = code;
1299             goto cfail;
1300         }
1301     }
1302
1303     VDONE;
1304
1305     if (volstatus) {
1306         VPRINT1("Getting status of parent volume %u...", avolid);
1307         code = AFSVolGetStatus(aconn, ttid, volstatus);
1308         if (code) {
1309             fprintf(STDERR, "Failed to get the status of the parent volume %lu\n",
1310                     (unsigned long)avolid);
1311             error = code;
1312             goto cfail;
1313         }
1314         VDONE;
1315     }
1316
1317 cfail:
1318     if (ttid) {
1319         code = AFSVolEndTrans(aconn, ttid, &rcode);
1320         if (code || rcode) {
1321             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
1322                     (unsigned long)avolid);
1323             if (!error)
1324                 error = (code ? code : rcode);
1325         }
1326     }
1327
1328     if (btid) {
1329         code = AFSVolEndTrans(aconn, btid, &rcode);
1330         if (code || rcode) {
1331             fprintf(STDERR,
1332                     "Could not end transaction on the %s volume %lu\n",
1333                     typestring, (unsigned long)cloneid);
1334             if (!error)
1335                 error = (code ? code : rcode);
1336         }
1337     }
1338     return error;
1339 }
1340
1341 /* Move volume <afromvol> on <afromserver> <afrompart> to <atoserver>
1342  * <atopart>.  The operation is almost idempotent.  The following
1343  * flags are recognized:
1344  *
1345  *     RV_NOCLONE - don't use a copy clone
1346  */
1347
1348 int
1349 UV_MoveVolume2(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
1350                afs_uint32 atoserver, afs_int32 atopart, int flags)
1351 {
1352     /* declare stuff 'volatile' that may be used from setjmp/longjmp and may
1353      * be changing during the move */
1354     struct rx_connection * volatile toconn;
1355     struct rx_connection * volatile fromconn;
1356     afs_int32 volatile fromtid;
1357     afs_int32 volatile totid;
1358     afs_int32 volatile clonetid;
1359     afs_uint32 volatile newVol;
1360     afs_uint32 volatile volid;
1361     afs_uint32 volatile backupId;
1362     int volatile islocked;
1363     int volatile pntg;
1364
1365     char vname[64];
1366     char *volName = 0;
1367     char tmpName[VOLSER_MAXVOLNAME + 1];
1368     afs_int32 rcode;
1369     afs_int32 fromDate;
1370     afs_int32 tmp;
1371     afs_uint32 tmpVol;
1372     struct restoreCookie cookie;
1373     afs_int32 vcode, code;
1374     struct volser_status tstatus;
1375     struct destServer destination;
1376
1377     struct nvldbentry entry, storeEntry;
1378     int i;
1379     afs_int32 error;
1380     char in, lf;                /* for test code */
1381     int same;
1382     char hoststr[16];
1383
1384 #ifdef  ENABLE_BUGFIX_1165
1385     volEntries volumeInfo;
1386     struct volintInfo *infop = 0;
1387 #endif
1388
1389     islocked = 0;
1390     fromconn = (struct rx_connection *)0;
1391     toconn = (struct rx_connection *)0;
1392     fromtid = 0;
1393     totid = 0;
1394     clonetid = 0;
1395     error = 0;
1396     volid = 0;
1397     pntg = 0;
1398     backupId = 0;
1399     newVol = 0;
1400
1401     /* support control-c processing */
1402     if (setjmp(env))
1403         goto mfail;
1404     (void)signal(SIGINT, sigint_handler);
1405
1406     if (TESTC) {
1407         fprintf(STDOUT,
1408                 "\nThere are three tests points - verifies all code paths through recovery.\n");
1409         fprintf(STDOUT, "First test point - operation not started.\n");
1410         fprintf(STDOUT, "...test here (y, n)? ");
1411         fflush(STDOUT);
1412         fscanf(stdin, "%c", &in);
1413         fscanf(stdin, "%c", &lf);       /* toss away */
1414         if (in == 'y') {
1415             fprintf(STDOUT, "type control-c\n");
1416             while (1) {
1417                 fprintf(stdout, ".");
1418                 fflush(stdout);
1419                 sleep(1);
1420             }
1421         }
1422         /* or drop through */
1423     }
1424
1425     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
1426     EGOTO1(mfail, vcode,
1427            "Could not fetch the entry for the volume  %u from the VLDB \n",
1428            afromvol);
1429
1430     if (entry.volumeId[RWVOL] != afromvol) {
1431         fprintf(STDERR, "Only RW volume can be moved\n");
1432         exit(1);
1433     }
1434
1435     vcode = ubik_VL_SetLock(cstruct, 0, afromvol, RWVOL, VLOP_MOVE);
1436     EGOTO1(mfail, vcode, "Could not lock entry for volume %u \n", afromvol);
1437     islocked = 1;
1438
1439     vcode = VLDB_GetEntryByID(afromvol, RWVOL, &entry);
1440     EGOTO1(mfail, vcode,
1441            "Could not fetch the entry for the volume  %u from the VLDB \n",
1442            afromvol);
1443
1444     backupId = entry.volumeId[BACKVOL];
1445     MapHostToNetwork(&entry);
1446
1447     if (!Lp_Match(afromserver, afrompart, &entry)) {
1448         /* the from server and partition do not exist in the vldb entry corresponding to volid */
1449         if (!Lp_Match(atoserver, atopart, &entry)) {
1450             /* the to server and partition do not exist in the vldb entry corresponding to volid */
1451             fprintf(STDERR, "The volume %lu is not on the specified site. \n",
1452                     (unsigned long)afromvol);
1453             fprintf(STDERR, "The current site is :");
1454             for (i = 0; i < entry.nServers; i++) {
1455                 if (entry.serverFlags[i] == ITSRWVOL) {
1456                     char pname[10];
1457                     MapPartIdIntoName(entry.serverPartition[i], pname);
1458                     fprintf(STDERR, " server %s partition %s \n",
1459                             noresolve ? afs_inet_ntoa_r(entry.serverNumber[i], hoststr) :
1460                             hostutil_GetNameByINet(entry.serverNumber[i]),
1461                             pname);
1462                 }
1463             }
1464             vcode =
1465                 ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
1466                           (LOCKREL_OPCODE | LOCKREL_AFSID |
1467                            LOCKREL_TIMESTAMP));
1468             EGOTO1(mfail, vcode,
1469                    " Could not release lock on the VLDB entry for the volume %u \n",
1470                    afromvol);
1471
1472             return VOLSERVOLMOVED;
1473         }
1474
1475         /* delete the volume afromvol on src_server */
1476         /* from-info does not exist but to-info does =>
1477          * we have already done the move, but the volume
1478          * may still be existing physically on from fileserver
1479          */
1480         fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
1481         pntg = 1;
1482
1483         code = DoVolDelete(fromconn, afromvol, afrompart,
1484                            "leftover", 0, NULL, NULL);
1485         if (code && code != VNOVOL) {
1486             error = code;
1487             goto mfail;
1488         }
1489
1490         code = DoVolDelete(fromconn, backupId, afrompart,
1491                            "leftover backup", 0, NULL, NULL);
1492         if (code && code != VNOVOL) {
1493             error = code;
1494             goto mfail;
1495         }
1496
1497         fromtid = 0;
1498         error = 0;
1499         goto mfail;
1500     }
1501
1502     /* From-info matches the vldb info about volid,
1503      * its ok start the move operation, the backup volume
1504      * on the old site is deleted in the process
1505      */
1506     if (afrompart == atopart) {
1507         same = VLDB_IsSameAddrs(afromserver, atoserver, &error);
1508         EGOTO2(mfail, error,
1509                "Failed to get info about server's %d address(es) from vlserver (err=%d); aborting call!\n",
1510                afromserver, error);
1511
1512         if (same) {
1513             EGOTO1(mfail, VOLSERVOLMOVED,
1514                    "Warning: Moving volume %u to its home partition ignored!\n",
1515                    afromvol);
1516         }
1517     }
1518
1519     pntg = 1;
1520     toconn = UV_Bind(atoserver, AFSCONF_VOLUMEPORT);    /* get connections to the servers */
1521     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
1522     totid = 0;  /* initialize to uncreated */
1523
1524     /* ***
1525      * clone the read/write volume locally.
1526      * ***/
1527
1528     VPRINT1("Starting transaction on source volume %u ...", afromvol);
1529     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
1530     fromtid = tmp;
1531     EGOTO1(mfail, code, "Failed to create transaction on the volume %u\n",
1532            afromvol);
1533     VDONE;
1534
1535     if (!(flags & RV_NOCLONE)) {
1536         /* Get a clone id */
1537         VPRINT1("Allocating new volume id for clone of volume %u ...",
1538                 afromvol);
1539         tmpVol = 0;
1540         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &tmpVol);
1541         newVol = tmpVol;
1542         EGOTO1(mfail, vcode,
1543                "Could not get an ID for the clone of volume %u from the VLDB\n",
1544                afromvol);
1545         VDONE;
1546
1547         /* Do the clone. Default flags on clone are set to delete on salvage and out of service */
1548         VPRINT1("Cloning source volume %u ...", afromvol);
1549         strcpy(vname, "move-clone-temp");
1550         code =
1551             AFSVolClone(fromconn, fromtid, 0, readonlyVolume, vname, &tmpVol);
1552         newVol = tmpVol;
1553         EGOTO1(mfail, code, "Failed to clone the source volume %u\n",
1554                afromvol);
1555         VDONE;
1556     }
1557
1558     /* lookup the name of the volume we just cloned */
1559     volid = afromvol;
1560     code = AFSVolGetName(fromconn, fromtid, &volName);
1561     EGOTO1(mfail, code, "Failed to get the name of the volume %u\n",
1562            afromvol);
1563
1564     VPRINT1("Ending the transaction on the source volume %u ...", afromvol);
1565     rcode = 0;
1566     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1567     fromtid = 0;
1568     if (!code)
1569         code = rcode;
1570     EGOTO1(mfail, code,
1571            "Failed to end the transaction on the source volume %u\n",
1572            afromvol);
1573     VDONE;
1574
1575     /* ***
1576      * Create the destination volume
1577      * ***/
1578
1579     if (!(flags & RV_NOCLONE)) {
1580         /* All of this is to get the fromDate */
1581         VPRINT1("Starting transaction on the cloned volume %u ...", newVol);
1582         tmp = clonetid;
1583         code =
1584             AFSVolTransCreate_retry(fromconn, newVol, afrompart, ITOffline,
1585                               &tmp);
1586         clonetid = tmp;
1587         EGOTO1(mfail, code,
1588                "Failed to start a transaction on the cloned volume%u\n",
1589                newVol);
1590         VDONE;
1591
1592         VPRINT1("Setting flags on cloned volume %u ...", newVol);
1593         code =
1594             AFSVolSetFlags(fromconn, clonetid,
1595                            VTDeleteOnSalvage | VTOutOfService); /*redundant */
1596         EGOTO1(mfail, code, "Could not set flags on the cloned volume %u\n",
1597                newVol);
1598         VDONE;
1599
1600         /* remember time from which we've dumped the volume */
1601         VPRINT1("Getting status of cloned volume %u ...", newVol);
1602         code = AFSVolGetStatus(fromconn, clonetid, &tstatus);
1603         EGOTO1(mfail, code,
1604                "Failed to get the status of the cloned volume %u\n",
1605                newVol);
1606         VDONE;
1607
1608         fromDate = CLOCKADJ(tstatus.creationDate);
1609     } else {
1610         /* With RV_NOCLONE, just do a full copy from the source */
1611         fromDate = 0;
1612     }
1613
1614
1615 #ifdef  ENABLE_BUGFIX_1165
1616     /*
1617      * Get the internal volume state from the source volume. We'll use such info (i.e. dayUse)
1618      * to copy it to the new volume (via AFSSetInfo later on) so that when we move volumes we
1619      * don't use this information...
1620      */
1621     volumeInfo.volEntries_val = (volintInfo *) 0;       /*this hints the stub to allocate space */
1622     volumeInfo.volEntries_len = 0;
1623     code = AFSVolListOneVolume(fromconn, afrompart, afromvol, &volumeInfo);
1624     EGOTO1(mfail, code,
1625            "Failed to get the volint Info of the cloned volume %u\n",
1626            afromvol);
1627
1628     infop = (volintInfo *) volumeInfo.volEntries_val;
1629     infop->maxquota = -1;       /* Else it will replace the default quota */
1630     infop->creationDate = -1;   /* Else it will use the source creation date */
1631     infop->updateDate = -1;     /* Else it will use the source update date */
1632 #endif
1633
1634     /* create a volume on the target machine */
1635     volid = afromvol;
1636     code = DoVolDelete(toconn, volid, atopart,
1637                        "pre-existing destination", 0, NULL, NULL);
1638     if (code && code != VNOVOL) {
1639         error = code;
1640         goto mfail;
1641     }
1642
1643     VPRINT1("Creating the destination volume %u ...", volid);
1644     tmp = totid;
1645     tmpVol = volid;
1646     code =
1647         AFSVolCreateVolume(toconn, atopart, volName, volser_RW, volid, &tmpVol,
1648                            &tmp);
1649     totid = tmp;
1650     volid = tmpVol;
1651     EGOTO1(mfail, code, "Failed to create the destination volume %u\n",
1652            volid);
1653     VDONE;
1654
1655     strncpy(tmpName, volName, VOLSER_OLDMAXVOLNAME);
1656     free(volName);
1657     volName = NULL;
1658
1659     VPRINT1("Setting volume flags on destination volume %u ...", volid);
1660     code =
1661         AFSVolSetFlags(toconn, totid, (VTDeleteOnSalvage | VTOutOfService));
1662     EGOTO1(mfail, code,
1663            "Failed to set the flags on the destination volume %u\n", volid);
1664     VDONE;
1665
1666     /***
1667      * Now dump the clone to the new volume
1668      ***/
1669
1670     destination.destHost = ntohl(atoserver);
1671     destination.destPort = AFSCONF_VOLUMEPORT;
1672     destination.destSSID = 1;
1673
1674     strncpy(cookie.name, tmpName, VOLSER_OLDMAXVOLNAME);
1675     cookie.type = RWVOL;
1676     cookie.parent = entry.volumeId[RWVOL];
1677     cookie.clone = 0;
1678
1679     if (!(flags & RV_NOCLONE)) {
1680         /* Copy the clone to the new volume */
1681         VPRINT2("Dumping from clone %u on source to volume %u on destination ...",
1682                 newVol, afromvol);
1683         code =
1684             AFSVolForward(fromconn, clonetid, 0, &destination, totid,
1685                           &cookie);
1686         EGOTO1(mfail, code, "Failed to move data for the volume %u\n", volid);
1687         VDONE;
1688
1689         VPRINT1("Ending transaction on cloned volume %u ...", newVol);
1690         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
1691         if (!code)
1692             code = rcode;
1693         clonetid = 0;
1694         EGOTO1(mfail, code,
1695                "Failed to end the transaction on the cloned volume %u\n",
1696                newVol);
1697         VDONE;
1698     }
1699
1700     /* ***
1701      * reattach to the main-line volume, and incrementally dump it.
1702      * ***/
1703
1704     VPRINT1("Starting transaction on source volume %u ...", afromvol);
1705     tmp = fromtid;
1706     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
1707     fromtid = tmp;
1708     EGOTO1(mfail, code,
1709            "Failed to create a transaction on the source volume %u\n",
1710            afromvol);
1711     VDONE;
1712
1713     /* now do the incremental */
1714     VPRINT2
1715         ("Doing the%s dump from source to destination for volume %u ... ",
1716          (flags & RV_NOCLONE) ? "" : " incremental",
1717          afromvol);
1718     code =
1719         AFSVolForward(fromconn, fromtid, fromDate, &destination, totid,
1720                       &cookie);
1721     EGOTO1(mfail, code,
1722            "Failed to do the%s dump from rw volume on old site to rw volume on newsite\n",
1723           (flags & RV_NOCLONE) ? "" : " incremental");
1724     VDONE;
1725
1726     /* now adjust the flags so that the new volume becomes official */
1727     VPRINT1("Setting volume flags on old source volume %u ...", afromvol);
1728     code = AFSVolSetFlags(fromconn, fromtid, VTOutOfService);
1729     EGOTO(mfail, code,
1730           "Failed to set the flags to make old source volume offline\n");
1731     VDONE;
1732
1733     VPRINT1("Setting volume flags on new source volume %u ...", afromvol);
1734     code = AFSVolSetFlags(toconn, totid, 0);
1735     EGOTO(mfail, code,
1736           "Failed to set the flags to make new source volume online\n");
1737     VDONE;
1738
1739 #ifdef  ENABLE_BUGFIX_1165
1740     VPRINT1("Setting volume status on destination volume %u ...", volid);
1741     code = AFSVolSetInfo(toconn, totid, infop);
1742     EGOTO1(mfail, code,
1743            "Failed to set volume status on the destination volume %u\n",
1744            volid);
1745     VDONE;
1746 #endif
1747
1748     /* put new volume online */
1749     VPRINT1("Ending transaction on destination volume %u ...", afromvol);
1750     code = AFSVolEndTrans(toconn, totid, &rcode);
1751     totid = 0;
1752     if (!code)
1753         code = rcode;
1754     EGOTO1(mfail, code,
1755            "Failed to end the transaction on the volume %u on the new site\n",
1756            afromvol);
1757     VDONE;
1758
1759     Lp_SetRWValue(&entry, afromserver, afrompart, atoserver, atopart);
1760     MapNetworkToHost(&entry, &storeEntry);
1761     storeEntry.flags &= ~BACK_EXISTS;
1762
1763     if (TESTC) {
1764         fprintf(STDOUT,
1765                 "Second test point - operation in progress but not complete.\n");
1766         fprintf(STDOUT, "...test here (y, n)? ");
1767         fflush(STDOUT);
1768         fscanf(stdin, "%c", &in);
1769         fscanf(stdin, "%c", &lf);       /* toss away */
1770         if (in == 'y') {
1771             fprintf(STDOUT, "type control-c\n");
1772             while (1) {
1773                 fprintf(stdout, ".");
1774                 fflush(stdout);
1775                 sleep(1);
1776             }
1777         }
1778         /* or drop through */
1779     }
1780
1781     VPRINT1("Releasing lock on VLDB entry for volume %u ...", afromvol);
1782     vcode =
1783         VLDB_ReplaceEntry(afromvol, -1, &storeEntry,
1784                           (LOCKREL_OPCODE | LOCKREL_AFSID |
1785                            LOCKREL_TIMESTAMP));
1786     if (vcode) {
1787         fprintf(STDERR,
1788                 " Could not release the lock on the VLDB entry for the volume %s %lu \n",
1789                 storeEntry.name, (unsigned long)afromvol);
1790         error = vcode;
1791         goto mfail;
1792     }
1793     islocked = 0;
1794     VDONE;
1795
1796     if (TESTC) {
1797         fprintf(STDOUT,
1798                 "Third test point - operation complete but no cleanup.\n");
1799         fprintf(STDOUT, "...test here (y, n)? ");
1800         fflush(STDOUT);
1801         fscanf(stdin, "%c", &in);
1802         fscanf(stdin, "%c", &lf);       /* toss away */
1803         if (in == 'y') {
1804             fprintf(STDOUT, "type control-c\n");
1805             while (1) {
1806                 fprintf(stdout, ".");
1807                 fflush(stdout);
1808                 sleep(1);
1809             }
1810         }
1811         /* or drop through */
1812     }
1813 #ifdef notdef
1814     /* This is tricky.  File server is very stupid, and if you mark the volume
1815      * as VTOutOfService, it may mark the *good* instance (if you're moving
1816      * between partitions on the same machine) as out of service.  Since
1817      * we're cleaning this code up in DEcorum, we're just going to kludge around
1818      * it for now by removing this call. */
1819     /* already out of service, just zap it now */
1820     code =
1821         AFSVolSetFlags(fromconn, fromtid, VTDeleteOnSalvage | VTOutOfService);
1822     if (code) {
1823         fprintf(STDERR,
1824                 "Failed to set the flags to make the old source volume offline\n");
1825         goto mfail;
1826     }
1827 #endif
1828     if (atoserver != afromserver) {
1829         /* set forwarding pointer for moved volumes */
1830         VPRINT1("Setting forwarding pointer for volume %u ...", afromvol);
1831         code = AFSVolSetForwarding(fromconn, fromtid, atoserver);
1832         EGOTO1(mfail, code,
1833                "Failed to set the forwarding pointer for the volume %u\n",
1834                afromvol);
1835         VDONE;
1836     }
1837
1838     VPRINT1("Deleting old volume %u on source ...", afromvol);
1839     code = AFSVolDeleteVolume(fromconn, fromtid);       /* zap original volume */
1840     EGOTO1(mfail, code, "Failed to delete the old volume %u on source\n",
1841            afromvol);
1842     VDONE;
1843
1844     VPRINT1("Ending transaction on old volume %u on the source ...",
1845             afromvol);
1846     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1847     fromtid = 0;
1848     if (!code)
1849         code = rcode;
1850     EGOTO1(mfail, code,
1851            "Failed to end the transaction on the old volume %u on the source\n",
1852            afromvol);
1853     VDONE;
1854
1855     code = DoVolDelete(fromconn, backupId, afrompart,
1856                        "source backup", 0, NULL, NULL);
1857     if (code && code != VNOVOL) {
1858         error = code;
1859         goto mfail;
1860     }
1861
1862     code = 0;           /* no backup volume? that's okay */
1863
1864     fromtid = 0;
1865     if (!(flags & RV_NOCLONE)) {
1866         code = DoVolDelete(fromconn, newVol, afrompart,
1867                            "cloned", 0, NULL, NULL);
1868         if (code) {
1869             error = code;
1870             goto mfail;
1871         }
1872     }
1873
1874     /* fall through */
1875     /* END OF MOVE */
1876
1877     if (TESTC) {
1878         fprintf(STDOUT, "Fourth test point - operation complete.\n");
1879         fprintf(STDOUT, "...test here (y, n)? ");
1880         fflush(STDOUT);
1881         fscanf(stdin, "%c", &in);
1882         fscanf(stdin, "%c", &lf);       /* toss away */
1883         if (in == 'y') {
1884             fprintf(STDOUT, "type control-c\n");
1885             while (1) {
1886                 fprintf(stdout, ".");
1887                 fflush(stdout);
1888                 sleep(1);
1889             }
1890         }
1891         /* or drop through */
1892     }
1893
1894     /* normal cleanup code */
1895
1896     if (entry.flags & RO_EXISTS)
1897         fprintf(STDERR, "WARNING : readOnly copies still exist \n");
1898
1899     if (islocked) {
1900         VPRINT1("Cleanup: Releasing VLDB lock on volume %u ...", afromvol);
1901         vcode =
1902             ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
1903                       (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
1904         if (vcode) {
1905             VPRINT("\n");
1906             fprintf(STDERR,
1907                     " Could not release the lock on the VLDB entry for the volume %lu \n",
1908                     (unsigned long)afromvol);
1909             if (!error)
1910                 error = vcode;
1911         }
1912         VDONE;
1913     }
1914
1915     if (fromtid) {
1916         VPRINT1("Cleanup: Ending transaction on source volume %u ...",
1917                 afromvol);
1918         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
1919         if (code || rcode) {
1920             VPRINT("\n");
1921             fprintf(STDERR,
1922                     "Could not end transaction on the source volume %lu\n",
1923                     (unsigned long)afromvol);
1924             if (!error)
1925                 error = (code ? code : rcode);
1926         }
1927         VDONE;
1928     }
1929
1930     if (clonetid) {
1931         VPRINT1("Cleanup: Ending transaction on clone volume %u ...", newVol);
1932         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
1933         if (code || rcode) {
1934             VPRINT("\n");
1935             fprintf(STDERR,
1936                     "Could not end transaction on the source's clone volume %lu\n",
1937                     (unsigned long)newVol);
1938             if (!error)
1939                 error = (code ? code : rcode);
1940         }
1941         VDONE;
1942     }
1943
1944     if (totid) {
1945         VPRINT1("Cleanup: Ending transaction on destination volume %u ...",
1946                 afromvol);
1947         code = AFSVolEndTrans(toconn, totid, &rcode);
1948         if (code) {
1949             VPRINT("\n");
1950             fprintf(STDERR,
1951                     "Could not end transaction on destination volume %lu\n",
1952                     (unsigned long)afromvol);
1953             if (!error)
1954                 error = (code ? code : rcode);
1955         }
1956         VDONE;
1957     }
1958     if (volName)
1959         free(volName);
1960 #ifdef  ENABLE_BUGFIX_1165
1961     if (infop)
1962         free(infop);
1963 #endif
1964     if (fromconn)
1965         rx_DestroyConnection(fromconn);
1966     if (toconn)
1967         rx_DestroyConnection(toconn);
1968     PrintError("", error);
1969     return error;
1970
1971     /* come here only when the sky falls */
1972   mfail:
1973
1974     if (pntg) {
1975         fprintf(STDOUT,
1976                 "vos move: operation interrupted, cleanup in progress...\n");
1977         fprintf(STDOUT, "clear transaction contexts\n");
1978         fflush(STDOUT);
1979     }
1980
1981     /* unlock VLDB entry */
1982     if (islocked) {
1983         VPRINT1("Recovery: Releasing VLDB lock on volume %u ...", afromvol);
1984         ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
1985                   (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
1986         VDONE;
1987         islocked = 0;
1988     }
1989
1990     if (clonetid) {
1991         VPRINT("Recovery: Ending transaction on clone volume ...");
1992         AFSVolEndTrans(fromconn, clonetid, &rcode);
1993         VDONE;
1994     }
1995     if (totid) {
1996         VPRINT("Recovery: Ending transaction on destination volume ...");
1997         AFSVolEndTrans(toconn, totid, &rcode);
1998         VDONE;
1999     }
2000     if (fromtid) {              /* put it on-line */
2001         VPRINT("Recovery: Setting volume flags on source volume ...");
2002         AFSVolSetFlags(fromconn, fromtid, 0);
2003         VDONE;
2004
2005         VPRINT("Recovery: Ending transaction on source volume ...");
2006         AFSVolEndTrans(fromconn, fromtid, &rcode);
2007         VDONE;
2008     }
2009
2010     VPRINT("Recovery: Accessing VLDB.\n");
2011     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2012     if (vcode) {
2013         fprintf(STDOUT, "FATAL: VLDB access error: abort cleanup\n");
2014         fflush(STDOUT);
2015         goto done;
2016     }
2017     MapHostToNetwork(&entry);
2018
2019     /* Delete either the volume on the source location or the target location.
2020      * If the vldb entry still points to the source location, then we know the
2021      * volume move didn't finish so we remove the volume from the target
2022      * location. Otherwise, we remove the volume from the source location.
2023      */
2024     if (Lp_Match(afromserver, afrompart, &entry)) {     /* didn't move - delete target volume */
2025         if (pntg) {
2026             fprintf(STDOUT,
2027                     "move incomplete - attempt cleanup of target partition - no guarantee\n");
2028             fflush(STDOUT);
2029         }
2030
2031         if (volid && toconn)
2032             DoVolDelete(toconn, volid, atopart,
2033                         "destination", 0, NULL, "Recovery:");
2034
2035         /* put source volume on-line */
2036         if (fromconn) {
2037             VPRINT1("Recovery: Creating transaction on source volume %u ...",
2038                     afromvol);
2039             tmp = fromtid;
2040             code =
2041                 AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy,
2042                                   &tmp);
2043             fromtid = tmp;
2044             if (!code) {
2045                 VDONE;
2046
2047                 VPRINT1("Recovery: Setting flags on source volume %u ...",
2048                         afromvol);
2049                 AFSVolSetFlags(fromconn, fromtid, 0);
2050                 VDONE;
2051
2052                 VPRINT1
2053                     ("Recovery: Ending transaction on source volume %u ...",
2054                      afromvol);
2055                 AFSVolEndTrans(fromconn, fromtid, &rcode);
2056                 VDONE;
2057             } else {
2058                 VPRINT1
2059                     ("\nRecovery: Unable to start transaction on source volume %u.\n",
2060                      afromvol);
2061             }
2062         }
2063     } else {                    /* yep, move complete */
2064         if (pntg) {
2065             fprintf(STDOUT,
2066                     "move complete - attempt cleanup of source partition - no guarantee\n");
2067             fflush(STDOUT);
2068         }
2069
2070         /* delete backup volume */
2071         if (fromconn) {
2072             DoVolDelete(fromconn, backupId, afrompart,
2073                         "backup", 0, NULL, "Recovery:");
2074
2075             DoVolDelete(fromconn, afromvol, afrompart, "source",
2076                         (atoserver != afromserver)?atoserver:0,
2077                         NULL, NULL);
2078         }
2079     }
2080
2081     /* common cleanup - delete local clone */
2082     if (newVol)
2083         DoVolDelete(fromconn, newVol, afrompart,
2084                     "clone", 0, NULL, "Recovery:");
2085
2086     /* unlock VLDB entry */
2087     if (islocked) {
2088         VPRINT1("Recovery: Releasing lock on VLDB entry for volume %u ...",
2089                 afromvol);
2090         ubik_VL_ReleaseLock(cstruct, 0, afromvol, -1,
2091                             (LOCKREL_OPCODE | LOCKREL_AFSID | LOCKREL_TIMESTAMP));
2092         VDONE;
2093     }
2094   done:                 /* routine cleanup */
2095     if (volName)
2096         free(volName);
2097 #ifdef  ENABLE_BUGFIX_1165
2098     if (infop)
2099         free(infop);
2100 #endif
2101     if (fromconn)
2102         rx_DestroyConnection(fromconn);
2103     if (toconn)
2104         rx_DestroyConnection(toconn);
2105
2106     if (pntg) {
2107         fprintf(STDOUT, "cleanup complete - user verify desired result\n");
2108         fflush(STDOUT);
2109     }
2110     exit(1);
2111 }
2112
2113
2114 int
2115 UV_MoveVolume(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2116               afs_uint32 atoserver, afs_int32 atopart)
2117 {
2118     return UV_MoveVolume2(afromvol, afromserver, afrompart,
2119                           atoserver, atopart, 0);
2120 }
2121
2122
2123 /* Copy volume <afromvol> from <afromserver> <afrompart> to <atoserver>
2124  * <atopart>.  The new volume is named by <atovolname>.  The new volume
2125  * has ID <atovolid> if that is nonzero; otherwise a new ID is allocated
2126  * from the VLDB.  the following flags are supported:
2127  *
2128  *     RV_RDONLY  - target volume is RO
2129  *     RV_OFFLINE - leave target volume offline
2130  *     RV_CPINCR  - do incremental dump if target exists
2131  *     RV_NOVLDB  - don't create/update VLDB entry
2132  *     RV_NOCLONE - don't use a copy clone
2133  */
2134 int
2135 UV_CopyVolume2(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2136                char *atovolname, afs_uint32 atoserver, afs_int32 atopart,
2137                afs_uint32 atovolid, int flags)
2138 {
2139     /* declare stuff 'volatile' that may be used from setjmp/longjmp and may
2140      * be changing during the copy */
2141     int volatile pntg;
2142     afs_int32 volatile clonetid;
2143     afs_int32 volatile totid;
2144     afs_int32 volatile fromtid;
2145     struct rx_connection * volatile fromconn;
2146     struct rx_connection * volatile toconn;
2147     afs_uint32 volatile cloneVol;
2148
2149     char vname[64];
2150     afs_int32 rcode;
2151     afs_int32 fromDate, cloneFromDate;
2152     struct restoreCookie cookie;
2153     afs_int32 vcode, code;
2154     afs_uint32 newVol;
2155     afs_int32 volflag;
2156     struct volser_status tstatus;
2157     struct destServer destination;
2158     struct nvldbentry entry, newentry, storeEntry;
2159     afs_int32 error;
2160     afs_int32 tmp;
2161     afs_uint32 tmpVol;
2162
2163     fromconn = (struct rx_connection *)0;
2164     toconn = (struct rx_connection *)0;
2165     fromtid = 0;
2166     totid = 0;
2167     clonetid = 0;
2168     error = 0;
2169     pntg = 0;
2170     newVol = 0;
2171
2172     /* support control-c processing */
2173     if (setjmp(env))
2174         goto mfail;
2175     (void)signal(SIGINT, sigint_handler);
2176
2177     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2178     EGOTO1(mfail, vcode,
2179            "Could not fetch the entry for the volume  %u from the VLDB \n",
2180            afromvol);
2181     MapHostToNetwork(&entry);
2182
2183     pntg = 1;
2184     toconn = UV_Bind(atoserver, AFSCONF_VOLUMEPORT);    /* get connections to the servers */
2185     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
2186     fromtid = totid = 0;        /* initialize to uncreated */
2187
2188     /* ***
2189      * clone the read/write volume locally.
2190      * ***/
2191
2192     cloneVol = 0;
2193     if (!(flags & RV_NOCLONE)) {
2194         VPRINT1("Starting transaction on source volume %u ...", afromvol);
2195         tmp = fromtid;
2196         code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy,
2197                                  &tmp);
2198         fromtid = tmp;
2199         EGOTO1(mfail, code, "Failed to create transaction on the volume %u\n",
2200                afromvol);
2201         VDONE;
2202
2203         /* Get a clone id */
2204         VPRINT1("Allocating new volume id for clone of volume %u ...",
2205                 afromvol);
2206         cloneVol = 0;
2207         tmpVol = cloneVol;
2208         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &tmpVol);
2209         cloneVol = tmpVol;
2210         EGOTO1(mfail, vcode,
2211            "Could not get an ID for the clone of volume %u from the VLDB\n",
2212            afromvol);
2213         VDONE;
2214     }
2215
2216     if (atovolid) {
2217         newVol = atovolid;
2218     } else {
2219         /* Get a new volume id */
2220         VPRINT1("Allocating new volume id for copy of volume %u ...", afromvol);
2221         newVol = 0;
2222         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &newVol);
2223         EGOTO1(mfail, vcode,
2224                "Could not get an ID for the copy of volume %u from the VLDB\n",
2225                afromvol);
2226         VDONE;
2227     }
2228
2229     if (!(flags & RV_NOCLONE)) {
2230         /* Do the clone. Default flags on clone are set to delete on salvage and out of service */
2231         VPRINT1("Cloning source volume %u ...", afromvol);
2232         strcpy(vname, "copy-clone-temp");
2233         tmpVol = cloneVol;
2234         code =
2235             AFSVolClone(fromconn, fromtid, 0, readonlyVolume, vname,
2236                         &tmpVol);
2237         cloneVol = tmpVol;
2238         EGOTO1(mfail, code, "Failed to clone the source volume %u\n",
2239                afromvol);
2240         VDONE;
2241
2242         VPRINT1("Ending the transaction on the source volume %u ...", afromvol);
2243         rcode = 0;
2244         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2245         fromtid = 0;
2246         if (!code)
2247             code = rcode;
2248         EGOTO1(mfail, code,
2249                "Failed to end the transaction on the source volume %u\n",
2250                afromvol);
2251         VDONE;
2252     }
2253
2254     /* ***
2255      * Create the destination volume
2256      * ***/
2257
2258     if (!(flags & RV_NOCLONE)) {
2259         VPRINT1("Starting transaction on the cloned volume %u ...", cloneVol);
2260         tmp = clonetid;
2261         code =
2262             AFSVolTransCreate_retry(fromconn, cloneVol, afrompart, ITOffline,
2263                           &tmp);
2264         clonetid = tmp;
2265         EGOTO1(mfail, code,
2266                "Failed to start a transaction on the cloned volume%u\n",
2267                cloneVol);
2268         VDONE;
2269
2270         VPRINT1("Setting flags on cloned volume %u ...", cloneVol);
2271         code =
2272             AFSVolSetFlags(fromconn, clonetid,
2273                            VTDeleteOnSalvage | VTOutOfService); /*redundant */
2274         EGOTO1(mfail, code, "Could not set flags on the cloned volume %u\n",
2275                cloneVol);
2276         VDONE;
2277
2278         /* remember time from which we've dumped the volume */
2279         VPRINT1("Getting status of cloned volume %u ...", cloneVol);
2280         code = AFSVolGetStatus(fromconn, clonetid, &tstatus);
2281         EGOTO1(mfail, code,
2282                "Failed to get the status of the cloned volume %u\n",
2283                cloneVol);
2284         VDONE;
2285
2286         fromDate = CLOCKADJ(tstatus.creationDate);
2287     } else {
2288         fromDate = 0;
2289     }
2290
2291     /* create a volume on the target machine */
2292     cloneFromDate = 0;
2293     tmp = totid;
2294     code = AFSVolTransCreate_retry(toconn, newVol, atopart, ITOffline, &tmp);
2295     totid = tmp;
2296     if (!code) {
2297         if ((flags & RV_CPINCR)) {
2298             VPRINT1("Getting status of pre-existing volume %u ...", newVol);
2299             code = AFSVolGetStatus(toconn, totid, &tstatus);
2300             EGOTO1(mfail, code,
2301                    "Failed to get the status of the pre-existing volume %u\n",
2302                    newVol);
2303             VDONE;
2304
2305             /* Using the update date should be OK here, but add some fudge */
2306             cloneFromDate = CLOCKADJ(tstatus.updateDate);
2307             if ((flags & RV_NOCLONE))
2308                 fromDate = cloneFromDate;
2309
2310             /* XXX We should check that the source volume's creationDate is
2311              * XXX not newer than the existing target volume, and if not,
2312              * XXX throw away the existing target and do a full dump. */
2313
2314             goto cpincr;
2315         }
2316
2317         /* Delete the existing volume.
2318          * While we are deleting the volume in these steps, the transaction
2319          * we started against the cloned volume (clonetid above) will be
2320          * sitting idle. It will get cleaned up after 600 seconds
2321          */
2322         VPRINT1("Deleting pre-existing volume %u on destination ...", newVol);
2323         code = AFSVolDeleteVolume(toconn, totid);
2324         EGOTO1(mfail, code,
2325                "Could not delete the pre-existing volume %u on destination\n",
2326                newVol);
2327         VDONE;
2328
2329         VPRINT1
2330             ("Ending transaction on pre-existing volume %u on destination ...",
2331              newVol);
2332         code = AFSVolEndTrans(toconn, totid, &rcode);
2333         totid = 0;
2334         if (!code)
2335             code = rcode;
2336         EGOTO1(mfail, code,
2337                "Could not end the transaction on pre-existing volume %u on destination\n",
2338                newVol);
2339         VDONE;
2340     }
2341
2342     VPRINT1("Creating the destination volume %u ...", newVol);
2343     tmp = totid;
2344     code =
2345         AFSVolCreateVolume(toconn, atopart, atovolname,
2346                            (flags & RV_RDONLY) ? volser_RO : volser_RW,
2347                            newVol, &newVol, &tmp);
2348     totid = tmp;
2349     EGOTO1(mfail, code, "Failed to create the destination volume %u\n",
2350            newVol);
2351     VDONE;
2352
2353     VPRINT1("Setting volume flags on destination volume %u ...", newVol);
2354     code =
2355         AFSVolSetFlags(toconn, totid, (VTDeleteOnSalvage | VTOutOfService));
2356     EGOTO1(mfail, code,
2357            "Failed to set the flags on the destination volume %u\n", newVol);
2358     VDONE;
2359
2360 cpincr:
2361
2362     destination.destHost = ntohl(atoserver);
2363     destination.destPort = AFSCONF_VOLUMEPORT;
2364     destination.destSSID = 1;
2365
2366     strncpy(cookie.name, atovolname, VOLSER_OLDMAXVOLNAME);
2367     cookie.type = (flags & RV_RDONLY) ? ROVOL : RWVOL;
2368     cookie.parent = 0;
2369     cookie.clone = 0;
2370
2371     /***
2372      * Now dump the clone to the new volume
2373      ***/
2374
2375     if (!(flags & RV_NOCLONE)) {
2376         /* XXX probably should have some code here that checks to see if
2377          * XXX we are copying to same server and partition - if so, just
2378          * XXX use a clone to save disk space */
2379
2380         /* Copy the clone to the new volume */
2381         VPRINT2("Dumping from clone %u on source to volume %u on destination ...",
2382             cloneVol, newVol);
2383         code =
2384             AFSVolForward(fromconn, clonetid, cloneFromDate, &destination,
2385                           totid, &cookie);
2386         EGOTO1(mfail, code, "Failed to move data for the volume %u\n",
2387                newVol);
2388         VDONE;
2389
2390         VPRINT1("Ending transaction on cloned volume %u ...", cloneVol);
2391         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
2392         if (!code)
2393             code = rcode;
2394         clonetid = 0;
2395         EGOTO1(mfail, code,
2396                "Failed to end the transaction on the cloned volume %u\n",
2397                cloneVol);
2398         VDONE;
2399     }
2400
2401     /* ***
2402      * reattach to the main-line volume, and incrementally dump it.
2403      * ***/
2404
2405     VPRINT1("Starting transaction on source volume %u ...", afromvol);
2406     tmp = fromtid;
2407     code = AFSVolTransCreate_retry(fromconn, afromvol, afrompart, ITBusy, &tmp);
2408     fromtid = tmp;
2409     EGOTO1(mfail, code,
2410            "Failed to create a transaction on the source volume %u\n",
2411            afromvol);
2412     VDONE;
2413
2414     /* now do the incremental */
2415     VPRINT2
2416         ("Doing the%s dump from source to destination for volume %u ... ",
2417          (flags & RV_NOCLONE) ? "" : " incremental",
2418          afromvol);
2419     code =
2420         AFSVolForward(fromconn, fromtid, fromDate, &destination, totid,
2421                       &cookie);
2422     EGOTO1(mfail, code,
2423            "Failed to do the%s dump from old site to new site\n",
2424            (flags & RV_NOCLONE) ? "" : " incremental");
2425     VDONE;
2426
2427     VPRINT1("Setting volume flags on destination volume %u ...", newVol);
2428     volflag = ((flags & RV_OFFLINE) ? VTOutOfService : 0);      /* off or on-line */
2429     code = AFSVolSetFlags(toconn, totid, volflag);
2430     EGOTO(mfail, code,
2431           "Failed to set the flags to make destination volume online\n");
2432     VDONE;
2433
2434     /* put new volume online */
2435     VPRINT1("Ending transaction on destination volume %u ...", newVol);
2436     code = AFSVolEndTrans(toconn, totid, &rcode);
2437     totid = 0;
2438     if (!code)
2439         code = rcode;
2440     EGOTO1(mfail, code,
2441            "Failed to end the transaction on the destination volume %u\n",
2442            newVol);
2443     VDONE;
2444
2445     VPRINT1("Ending transaction on source volume %u ...", afromvol);
2446     code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2447     fromtid = 0;
2448     if (!code)
2449         code = rcode;
2450     EGOTO1(mfail, code,
2451            "Failed to end the transaction on the source volume %u\n",
2452            afromvol);
2453     VDONE;
2454
2455     fromtid = 0;
2456
2457     if (!(flags & RV_NOCLONE)) {
2458         code = DoVolDelete(fromconn, cloneVol, afrompart,
2459                            "cloned", 0, NULL, NULL);
2460         if (code) {
2461             error = code;
2462             goto mfail;
2463         }
2464     }
2465
2466     if (!(flags & RV_NOVLDB)) {
2467         /* create the vldb entry for the copied volume */
2468         strncpy(newentry.name, atovolname, VOLSER_OLDMAXVOLNAME);
2469         newentry.nServers = 1;
2470         newentry.serverNumber[0] = atoserver;
2471         newentry.serverPartition[0] = atopart;
2472         newentry.flags = (flags & RV_RDONLY) ? RO_EXISTS : RW_EXISTS;
2473         newentry.serverFlags[0] = (flags & RV_RDONLY) ? ITSROVOL : ITSRWVOL;
2474         newentry.volumeId[RWVOL] = newVol;
2475         newentry.volumeId[ROVOL] = (flags & RV_RDONLY) ? newVol : 0;
2476         newentry.volumeId[BACKVOL] = 0;
2477         newentry.cloneId = 0;
2478         /*map into right byte order, before passing to xdr, the stuff has to be in host
2479          * byte order. Xdr converts it into network order */
2480         MapNetworkToHost(&newentry, &storeEntry);
2481         /* create the vldb entry */
2482         vcode = VLDB_CreateEntry(&storeEntry);
2483         if (vcode) {
2484             fprintf(STDERR,
2485                     "Could not create a VLDB entry for the volume %s %lu\n",
2486                     atovolname, (unsigned long)newVol);
2487             /*destroy the created volume */
2488             VPRINT1("Deleting the newly created volume %u\n", newVol);
2489             AFSVolDeleteVolume(toconn, totid);
2490             error = vcode;
2491             goto mfail;
2492         }
2493         VPRINT2("Created the VLDB entry for the volume %s %u\n", atovolname,
2494                 newVol);
2495     }
2496
2497     /* normal cleanup code */
2498
2499     if (fromtid) {
2500         VPRINT1("Cleanup: Ending transaction on source volume %u ...",
2501                 afromvol);
2502         code = AFSVolEndTrans(fromconn, fromtid, &rcode);
2503         if (code || rcode) {
2504             VPRINT("\n");
2505             fprintf(STDERR,
2506                     "Could not end transaction on the source volume %lu\n",
2507                     (unsigned long)afromvol);
2508             if (!error)
2509                 error = (code ? code : rcode);
2510         }
2511         VDONE;
2512     }
2513
2514     if (clonetid) {
2515         VPRINT1("Cleanup: Ending transaction on clone volume %u ...",
2516                 cloneVol);
2517         code = AFSVolEndTrans(fromconn, clonetid, &rcode);
2518         if (code || rcode) {
2519             VPRINT("\n");
2520             fprintf(STDERR,
2521                     "Could not end transaction on the source's clone volume %lu\n",
2522                     (unsigned long)cloneVol);
2523             if (!error)
2524                 error = (code ? code : rcode);
2525         }
2526         VDONE;
2527     }
2528
2529     if (totid) {
2530         VPRINT1("Cleanup: Ending transaction on destination volume %u ...",
2531                 newVol);
2532         code = AFSVolEndTrans(toconn, totid, &rcode);
2533         if (code) {
2534             VPRINT("\n");
2535             fprintf(STDERR,
2536                     "Could not end transaction on destination volume %lu\n",
2537                     (unsigned long)newVol);
2538             if (!error)
2539                 error = (code ? code : rcode);
2540         }
2541         VDONE;
2542     }
2543     if (fromconn)
2544         rx_DestroyConnection(fromconn);
2545     if (toconn)
2546         rx_DestroyConnection(toconn);
2547     PrintError("", error);
2548     return error;
2549
2550     /* come here only when the sky falls */
2551   mfail:
2552
2553     if (pntg) {
2554         fprintf(STDOUT,
2555                 "vos copy: operation interrupted, cleanup in progress...\n");
2556         fprintf(STDOUT, "clear transaction contexts\n");
2557         fflush(STDOUT);
2558     }
2559
2560     if (clonetid) {
2561         VPRINT("Recovery: Ending transaction on clone volume ...");
2562         AFSVolEndTrans(fromconn, clonetid, &rcode);
2563         VDONE;
2564     }
2565     if (totid) {
2566         VPRINT("Recovery: Ending transaction on destination volume ...");
2567         AFSVolEndTrans(toconn, totid, &rcode);
2568         VDONE;
2569     }
2570     if (fromtid) {              /* put it on-line */
2571         VPRINT("Recovery: Ending transaction on source volume ...");
2572         AFSVolEndTrans(fromconn, fromtid, &rcode);
2573         VDONE;
2574     }
2575
2576     VPRINT("Recovery: Accessing VLDB.\n");
2577     vcode = VLDB_GetEntryByID(afromvol, -1, &entry);
2578     if (vcode) {
2579         fprintf(STDOUT, "FATAL: VLDB access error: abort cleanup\n");
2580         fflush(STDOUT);
2581         goto done;
2582     }
2583     MapHostToNetwork(&entry);
2584
2585     /* common cleanup - delete local clone */
2586     if (cloneVol)
2587         DoVolDelete(fromconn, cloneVol, afrompart,
2588                     "clone", 0, NULL, "Recovery:");
2589
2590   done:                 /* routine cleanup */
2591     if (fromconn)
2592         rx_DestroyConnection(fromconn);
2593     if (toconn)
2594         rx_DestroyConnection(toconn);
2595
2596     if (pntg) {
2597         fprintf(STDOUT, "cleanup complete - user verify desired result\n");
2598         fflush(STDOUT);
2599     }
2600     exit(1);
2601 }
2602
2603
2604 int
2605 UV_CopyVolume(afs_uint32 afromvol, afs_uint32 afromserver, afs_int32 afrompart,
2606               char *atovolname, afs_uint32 atoserver, afs_int32 atopart)
2607 {
2608     return UV_CopyVolume2(afromvol, afromserver, afrompart,
2609                           atovolname, atoserver, atopart, 0, 0);
2610 }
2611
2612
2613
2614 /* Make a new backup of volume <avolid> on <aserver> and <apart>
2615  * if one already exists, update it
2616  */
2617
2618 int
2619 UV_BackupVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid)
2620 {
2621     struct rx_connection *aconn = (struct rx_connection *)0;
2622     afs_int32 ttid = 0, btid = 0;
2623     afs_uint32 backupID;
2624     afs_int32 code = 0, rcode = 0;
2625     struct nvldbentry entry, storeEntry;
2626     afs_int32 error = 0;
2627     int vldblocked = 0, vldbmod = 0;
2628
2629     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
2630
2631     /* the calls to VLDB will succeed only if avolid is a RW volume,
2632      * since we are following the RW hash chain for searching */
2633     code = VLDB_GetEntryByID(avolid, RWVOL, &entry);
2634     if (code) {
2635         fprintf(STDERR,
2636                 "Could not fetch the entry for the volume %lu from the VLDB \n",
2637                 (unsigned long)avolid);
2638         error = code;
2639         goto bfail;
2640     }
2641     MapHostToNetwork(&entry);
2642
2643     /* These operations require the VLDB be locked since it means the VLDB
2644      * will change or the vldb is already locked.
2645      */
2646     if (!(entry.flags & BACK_EXISTS) || /* backup volume doesnt exist */
2647         (entry.flags & VLOP_ALLOPERS) ||        /* vldb lock already held */
2648         (entry.volumeId[BACKVOL] == INVALID_BID)) {     /* no assigned backup volume id */
2649
2650         code = ubik_VL_SetLock(cstruct, 0, avolid, RWVOL, VLOP_BACKUP);
2651         if (code) {
2652             fprintf(STDERR,
2653                     "Could not lock the VLDB entry for the volume %lu\n",
2654                     (unsigned long)avolid);
2655             error = code;
2656             goto bfail;
2657         }
2658         vldblocked = 1;
2659
2660         /* Reread the vldb entry */
2661         code = VLDB_GetEntryByID(avolid, RWVOL, &entry);
2662         if (code) {
2663             fprintf(STDERR,
2664                     "Could not fetch the entry for the volume %lu from the VLDB \n",
2665                     (unsigned long)avolid);
2666             error = code;
2667             goto bfail;
2668         }
2669         MapHostToNetwork(&entry);
2670     }
2671
2672     if (!ISNAMEVALID(entry.name)) {
2673         fprintf(STDERR, "Name of the volume %s exceeds the size limit\n",
2674                 entry.name);
2675         error = VOLSERBADNAME;
2676         goto bfail;
2677     }
2678
2679     backupID = entry.volumeId[BACKVOL];
2680     if (backupID == INVALID_BID) {
2681         /* Get a backup volume id from the VLDB and update the vldb
2682          * entry with it.
2683          */
2684         code = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &backupID);
2685         if (code) {
2686             fprintf(STDERR,
2687                     "Could not allocate ID for the backup volume of  %lu from the VLDB\n",
2688                     (unsigned long)avolid);
2689             error = code;
2690             goto bfail;
2691         }
2692         entry.volumeId[BACKVOL] = backupID;
2693         vldbmod = 1;
2694     }
2695
2696     code = DoVolClone(aconn, avolid, apart, backupVolume, backupID, "backup",
2697                       entry.name, NULL, ".backup", NULL, NULL);
2698     if (code) {
2699         error = code;
2700         goto bfail;
2701     }
2702
2703     /* Mark vldb as backup exists */
2704     if (!(entry.flags & BACK_EXISTS)) {
2705         entry.flags |= BACK_EXISTS;
2706         vldbmod = 1;
2707     }
2708
2709     /* Now go back to the backup volume and bring it on line */
2710     code = AFSVolTransCreate_retry(aconn, backupID, apart, ITOffline, &btid);
2711     if (code) {
2712         fprintf(STDERR,
2713                 "Failed to start a transaction on the backup volume %lu\n",
2714                 (unsigned long)backupID);
2715         error = code;
2716         goto bfail;
2717     }
2718
2719     code = AFSVolSetFlags(aconn, btid, 0);
2720     if (code) {
2721         fprintf(STDERR, "Could not mark the backup volume %lu on line \n",
2722                 (unsigned long)backupID);
2723         error = code;
2724         goto bfail;
2725     }
2726
2727     code = AFSVolEndTrans(aconn, btid, &rcode);
2728     btid = 0;
2729     if (code || rcode) {
2730         fprintf(STDERR,
2731                 "Failed to end the transaction on the backup volume %lu\n",
2732                 (unsigned long)backupID);
2733         error = (code ? code : rcode);
2734         goto bfail;
2735     }
2736
2737     VDONE;
2738
2739     /* Will update the vldb below */
2740
2741   bfail:
2742     if (ttid) {
2743         code = AFSVolEndTrans(aconn, ttid, &rcode);
2744         if (code || rcode) {
2745             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
2746                     (unsigned long)avolid);
2747             if (!error)
2748                 error = (code ? code : rcode);
2749         }
2750     }
2751
2752     if (btid) {
2753         code = AFSVolEndTrans(aconn, btid, &rcode);
2754         if (code || rcode) {
2755             fprintf(STDERR,
2756                     "Could not end transaction the backup volume %lu\n",
2757                     (unsigned long)backupID);
2758             if (!error)
2759                 error = (code ? code : rcode);
2760         }
2761     }
2762
2763     /* Now update the vldb - if modified */
2764     if (vldblocked) {
2765         if (vldbmod) {
2766             MapNetworkToHost(&entry, &storeEntry);
2767             code =
2768                 VLDB_ReplaceEntry(avolid, RWVOL, &storeEntry,
2769                                   (LOCKREL_OPCODE | LOCKREL_AFSID |
2770                                    LOCKREL_TIMESTAMP));
2771             if (code) {
2772                 fprintf(STDERR,
2773                         "Could not update the VLDB entry for the volume %lu \n",
2774                         (unsigned long)avolid);
2775                 if (!error)
2776                     error = code;
2777             }
2778         } else {
2779             code =
2780                 ubik_VL_ReleaseLock(cstruct, 0, avolid, RWVOL,
2781                           (LOCKREL_OPCODE | LOCKREL_AFSID |
2782                            LOCKREL_TIMESTAMP));
2783             if (code) {
2784                 fprintf(STDERR,
2785                         "Could not unlock the VLDB entry for the volume %lu \n",
2786                         (unsigned long)avolid);
2787                 if (!error)
2788                     error = code;
2789             }
2790         }
2791     }
2792
2793     if (aconn)
2794         rx_DestroyConnection(aconn);
2795
2796     PrintError("", error);
2797     return error;
2798 }
2799
2800 /* Make a new clone of volume <avolid> on <aserver> and <apart>
2801  * using volume ID <acloneid>, or a new ID allocated from the VLDB.
2802  * The new volume is named by <aname>, or by appending ".clone" to
2803  * the existing name if <aname> is NULL.  The following flags are
2804  * supported:
2805  *
2806  *     RV_RDONLY  - target volume is RO
2807  *     RV_OFFLINE - leave target volume offline
2808  */
2809
2810 int
2811 UV_CloneVolume(afs_uint32 aserver, afs_int32 apart, afs_uint32 avolid,
2812                afs_uint32 acloneid, char *aname, int flags)
2813 {
2814     struct rx_connection *aconn = (struct rx_connection *)0;
2815     afs_int32 ttid = 0, btid = 0;
2816     afs_int32 code = 0, rcode = 0;
2817     char vname[VOLSER_MAXVOLNAME + 1];
2818     afs_int32 error = 0;
2819     volEntries volumeInfo;
2820     int type = 0;
2821
2822     aconn = UV_Bind(aserver, AFSCONF_VOLUMEPORT);
2823
2824     if (!aname) {
2825         volumeInfo.volEntries_val = (volintInfo *) 0;
2826         volumeInfo.volEntries_len = 0;
2827         code = AFSVolListOneVolume(aconn, apart, avolid, &volumeInfo);
2828         if (code) {
2829             fprintf(stderr, "Could not get info for volume %lu\n",
2830                     (unsigned long)avolid);
2831             error = code;
2832             goto bfail;
2833         }
2834         strncpy(vname, volumeInfo.volEntries_val[0].name,
2835                 VOLSER_OLDMAXVOLNAME - 7);
2836         vname[VOLSER_OLDMAXVOLNAME - 7] = 0;
2837         strcat(vname, ".clone");
2838         aname = vname;
2839         if (volumeInfo.volEntries_val)
2840             free(volumeInfo.volEntries_val);
2841     }
2842
2843     if (!acloneid) {
2844         /* Get a clone id */
2845         VPRINT1("Allocating new volume id for clone of volume %u ...",
2846                 avolid);
2847         code = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &acloneid);
2848         EGOTO1(bfail, code,
2849            "Could not get an ID for the clone of volume %u from the VLDB\n",
2850            avolid);
2851         VDONE;
2852     }
2853
2854     if (flags & RV_RWONLY)
2855         type = readwriteVolume;
2856     else if (flags & RV_RDONLY)
2857         type = readonlyVolume;
2858     else
2859         type = backupVolume;
2860
2861     code = DoVolClone(aconn, avolid, apart, type, acloneid, "clone",
2862                       NULL, ".clone", NULL, NULL, NULL);
2863     if (code) {
2864         error = code;
2865         goto bfail;
2866     }
2867
2868     /* Now go back to the backup volume and bring it on line */
2869     if (!(flags & RV_OFFLINE)) {
2870         code = AFSVolTransCreate_retry(aconn, acloneid, apart, ITOffline, &btid);
2871         if (code) {
2872             fprintf(STDERR,
2873                     "Failed to start a transaction on the clone volume %lu\n",
2874                     (unsigned long)acloneid);
2875             error = code;
2876             goto bfail;
2877         }
2878
2879         code = AFSVolSetFlags(aconn, btid, 0);
2880         if (code) {
2881             fprintf(STDERR, "Could not mark the clone volume %lu on line \n",
2882                     (unsigned long)acloneid);
2883             error = code;
2884             goto bfail;
2885         }
2886
2887         code = AFSVolEndTrans(aconn, btid, &rcode);
2888         btid = 0;
2889         if (code || rcode) {
2890             fprintf(STDERR,
2891                     "Failed to end the transaction on the clone volume %lu\n",
2892                     (unsigned long)acloneid);
2893             error = (code ? code : rcode);
2894             goto bfail;
2895         }
2896     }
2897
2898     VDONE;
2899
2900   bfail:
2901     if (ttid) {
2902         code = AFSVolEndTrans(aconn, ttid, &rcode);
2903         if (code || rcode) {
2904             fprintf(STDERR, "Could not end transaction on the volume %lu\n",
2905                     (unsigned long)avolid);
2906             if (!error)
2907                 error = (code ? code : rcode);
2908         }
2909     }
2910
2911     if (btid) {
2912         code = AFSVolEndTrans(aconn, btid, &rcode);
2913         if (code || rcode) {
2914             fprintf(STDERR,
2915                     "Could not end transaction on the clone volume %lu\n",
2916                     (unsigned long)acloneid);
2917             if (!error)
2918                 error = (code ? code : rcode);
2919         }
2920     }
2921
2922     if (aconn)
2923         rx_DestroyConnection(aconn);
2924
2925     PrintError("", error);
2926     return error;
2927 }
2928
2929 #define ONERROR(ec, ep, es) do { \
2930     if (ec) { \
2931         fprintf(STDERR, (es), (ep)); \
2932         error = (ec); \
2933         goto rfail; \
2934     } \
2935 } while (0)
2936 #define ONERROR0(ec, es) do { \
2937     if (ec) { \
2938         fprintf(STDERR, (es)); \
2939         error = (ec); \
2940         goto rfail; \
2941     } \
2942 } while (0)
2943 #define ERROREXIT(ec) do { \
2944     error = (ec); \
2945     goto rfail; \
2946 } while (0)
2947
2948 /* Get a "transaction" on this replica.  Create the volume
2949  * if necessary.  Return the time from which a dump should
2950  * be made (0 if it's a new volume)
2951  */
2952 static int
2953 GetTrans(struct nvldbentry *vldbEntryPtr, afs_int32 index,
2954          struct rx_connection **connPtr, afs_int32 * transPtr,
2955          afs_uint32 * crtimePtr, afs_uint32 * uptimePtr,
2956          afs_int32 *origflags, afs_uint32 tmpVolId)
2957 {
2958     afs_uint32 volid;
2959     struct volser_status tstatus;
2960     int code = 0;
2961     int rcode, tcode;
2962     char hoststr[16];
2963
2964     *connPtr = (struct rx_connection *)0;
2965     *transPtr = 0;
2966     *crtimePtr = 0;
2967     *uptimePtr = 0;
2968
2969     /* get connection to the replication site */
2970     *connPtr = UV_Bind(vldbEntryPtr->serverNumber[index], AFSCONF_VOLUMEPORT);
2971     if (!*connPtr)
2972         goto fail;              /* server is down */
2973
2974     volid = vldbEntryPtr->volumeId[ROVOL];
2975
2976     if (volid) {
2977         code =
2978             AFSVolTransCreate_retry(*connPtr, volid,
2979                               vldbEntryPtr->serverPartition[index], ITOffline,
2980                               transPtr);
2981
2982         if (!code && (origflags[index] & RO_DONTUSE)) {
2983             /* If RO_DONTUSE is set, this is supposed to be an entirely new
2984              * site. Don't trust any data on it, since it is possible we
2985              * have encountered some temporary volume from some other
2986              * incomplete volume operation. It is difficult to detect if
2987              * that has happened vs if this is a legit volume, so just
2988              * delete it to be safe. */
2989
2990             VPRINT1("Deleting extant RO_DONTUSE site on %s...",
2991                     noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
2992                                                 serverNumber[index], hoststr) :
2993                     hostutil_GetNameByINet(vldbEntryPtr->
2994                                            serverNumber[index]));
2995
2996             code = AFSVolDeleteVolume(*connPtr, *transPtr);
2997             if (code) {
2998                 PrintError("Failed to delete RO_DONTUSE site: ", code);
2999                 goto fail;
3000             }
3001
3002             tcode = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3003             *transPtr = 0;
3004             if (!tcode) {
3005                 tcode = rcode;
3006             }
3007             if (tcode) {
3008                 PrintError("Failed to end transaction on RO_DONTUSE site: ",
3009                            tcode);
3010                 goto fail;
3011             }
3012
3013             VDONE;
3014
3015             /* emulate what TransCreate would have returned, so we try to
3016              * create the volume below */
3017             code = VNOVOL;
3018         }
3019     }
3020
3021     /* If the volume does not exist, create it */
3022     if (!volid || code) {
3023         char volname[VL_MAXNAMELEN];
3024         char hoststr[16];
3025
3026         if (volid && (code != VNOVOL)) {
3027             PrintError("Failed to start a transaction on the RO volume.\n",
3028                        code);
3029             goto fail;
3030         }
3031
3032         strlcpy(volname, vldbEntryPtr->name, sizeof(volname));
3033
3034         if (strlcat(volname,
3035                     tmpVolId?".roclone":".readonly",
3036                     sizeof(volname)) >= sizeof(volname)) {
3037             code = ENOMEM;
3038             PrintError("Volume name is too long\n", code);
3039             goto fail;
3040         }
3041
3042         if (tmpVolId)
3043             strcat(volname, ".roclone");
3044         else
3045             strcat(volname, ".readonly");
3046
3047         if (verbose) {
3048             fprintf(STDOUT,
3049                     "Creating new volume %lu on replication site %s: ",
3050                     tmpVolId?(unsigned long)tmpVolId:(unsigned long)volid,
3051                     noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
3052                                                 serverNumber[index], hoststr) :
3053                     hostutil_GetNameByINet(vldbEntryPtr->
3054                                            serverNumber[index]));
3055             fflush(STDOUT);
3056         }
3057
3058         code =
3059           AFSVolCreateVolume(*connPtr, vldbEntryPtr->serverPartition[index],
3060                              volname, volser_RO,
3061                              vldbEntryPtr->volumeId[RWVOL],
3062                              tmpVolId?&tmpVolId:&volid,
3063                              transPtr);
3064         if (code) {
3065             PrintError("Failed to create the ro volume: ", code);
3066             goto fail;
3067         }
3068         vldbEntryPtr->volumeId[ROVOL] = volid;
3069
3070         VDONE;
3071
3072         /* The following is a bit redundant, since create sets these flags by default */
3073         code =
3074             AFSVolSetFlags(*connPtr, *transPtr,
3075                            VTDeleteOnSalvage | VTOutOfService);
3076         if (code) {
3077             PrintError("Failed to set flags on the ro volume: ", code);
3078             goto fail;
3079         }
3080     }
3081
3082     /* Otherwise, the transaction did succeed, so get the creation date of the
3083      * latest RO volume on the replication site
3084      */
3085     else {
3086         VPRINT2("Updating existing ro volume %u on %s ...\n", volid,
3087                 noresolve ? afs_inet_ntoa_r(vldbEntryPtr->
3088                                             serverNumber[index], hoststr) :
3089                 hostutil_GetNameByINet(vldbEntryPtr->serverNumber[index]));
3090
3091         code = AFSVolGetStatus(*connPtr, *transPtr, &tstatus);
3092         if (code) {
3093             PrintError("Failed to get status of volume on destination: ",
3094                        code);
3095             goto fail;
3096         }
3097         if (tmpVolId) {
3098             code = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3099             *transPtr = 0;
3100             if (!code)
3101                 code = rcode;
3102             if (!code)
3103                 code = DoVolClone(*connPtr, volid,
3104                                   vldbEntryPtr->serverPartition[index],
3105                                   readonlyVolume, tmpVolId, "temporary",
3106                                   vldbEntryPtr->name, NULL, ".roclone", NULL,
3107                                   transPtr);
3108             if (code)
3109                 goto fail;
3110         }
3111         *crtimePtr = CLOCKADJ(tstatus.creationDate);
3112         *uptimePtr = CLOCKADJ(tstatus.updateDate);
3113     }
3114
3115     return 0;
3116
3117   fail:
3118     if (*transPtr) {
3119         tcode = AFSVolEndTrans(*connPtr, *transPtr, &rcode);
3120         *transPtr = 0;
3121         if (!tcode)
3122             tcode = rcode;
3123         if (tcode && tcode != ENOENT)
3124             PrintError("Could not end transaction on a ro volume: ", tcode);
3125     }
3126
3127     return code;
3128 }
3129
3130 static int
3131 SimulateForwardMultiple(struct rx_connection *fromconn, afs_int32 fromtid,
3132                         afs_int32 fromdate, manyDests * tr, afs_int32 flags,
3133                         void *cookie, manyResults * results)
3134 {
3135     unsigned int i;
3136
3137     for (i = 0; i < tr->manyDests_len; i++) {
3138         results->manyResults_val[i] =
3139             AFSVolForward(fromconn, fromtid, fromdate,
3140                           &(tr->manyDests_val[i].server),
3141                           tr->manyDests_val[i].trans, cookie);
3142     }
3143     return 0;
3144 }
3145
3146 /**
3147  * Check if a trans has timed out, and recreate it if necessary.
3148  *
3149  * @param[in] aconn  RX connection to the relevant server
3150  * @param[inout] atid  Transaction ID to check; if we recreated the trans,
3151  *                     contains the new trans ID on success
3152  * @param[in] apart  Partition for the transaction
3153  * @param[in] astat  The status of the original transaction
3154  *
3155  * @return operation status
3156  *  @retval 0 existing transaction is still valid, or we managed to recreate
3157  *            the trans successfully
3158  *  @retval nonzero Fatal error; bail out
3159  */
3160 static int
3161 CheckTrans(struct rx_connection *aconn, afs_int32 *atid, afs_int32 apart,
3162            struct volser_status *astat)
3163 {
3164     struct volser_status new_status;
3165     afs_int32 code;
3166
3167     memset(&new_status, 0, sizeof(new_status));
3168     code = AFSVolGetStatus(aconn, *atid, &new_status);
3169     if (code) {
3170         if (code == ENOENT) {
3171             *atid = 0;
3172             VPRINT1("Old transaction on cloned volume %lu timed out, "
3173                     "restarting transaction\n", (long unsigned) astat->volID);
3174             code = AFSVolTransCreate_retry(aconn, astat->volID, apart,
3175                                            ITBusy, atid);
3176             if (code) {
3177                 PrintError("Failed to recreate cloned RO volume transaction\n",
3178                            code);
3179                 return 1;
3180             }
3181
3182             memset(&new_status, 0, sizeof(new_status));
3183             code = AFSVolGetStatus(aconn, *atid, &new_status);
3184             if (code) {
3185                 PrintError("Failed to get status on recreated transaction\n",
3186                            code);
3187                 return 1;
3188             }
3189
3190             if (memcmp(&new_status, astat, sizeof(new_status)) != 0) {
3191                 PrintError("Recreated transaction on cloned RO volume, but "
3192                            "the volume has changed!\n", 0);
3193                 return 1;
3194             }
3195         } else {
3196             PrintError("Unable to get status of current cloned RO transaction\n",
3197                        code);
3198             return 1;
3199         }
3200     } else {
3201         if (memcmp(&new_status, astat, sizeof(new_status)) != 0) {
3202             /* sanity check */
3203             PrintError("Internal error: current GetStatus does not match "
3204                        "original GetStatus?\n", 0);
3205             return 1;
3206         }
3207     }
3208
3209     return 0;
3210 }
3211
3212 static void
3213 PutTrans(afs_int32 *vldbindex, struct replica *replicas,
3214          struct rx_connection **toconns, struct release *times,
3215          afs_int32 volcount)
3216 {
3217     afs_int32 s, code = 0, rcode = 0;
3218     /* End the transactions and destroy the connections */
3219     for (s = 0; s < volcount; s++) {
3220         if (replicas[s].trans) {
3221             code = AFSVolEndTrans(toconns[s], replicas[s].trans, &rcode);
3222
3223             replicas[s].trans = 0;
3224             if (!code)
3225                 code = rcode;
3226             if (code) {
3227                 if ((s == 0) || (code != ENOENT)) {
3228                     PrintError("Could not end transaction on a ro volume: ",
3229                                code);
3230                 } else {
3231                     PrintError
3232                         ("Transaction timed out on a ro volume. Will retry.\n",
3233                          0);
3234                     if (times[s].vldbEntryIndex < *vldbindex)
3235                         *vldbindex = times[s].vldbEntryIndex;
3236                 }
3237             }
3238         }
3239         if (toconns[s])
3240             rx_DestroyConnection(toconns[s]);
3241         toconns[s] = 0;
3242     }
3243 }
3244
3245 static int
3246 DoVolOnline(struct nvldbentry *vldbEntryPtr, afs_uint32 avolid, int index,
3247             char *vname, struct rx_connection *connPtr)
3248 {
3249     afs_int32 code = 0, rcode = 0, onlinetid = 0;
3250
3251     code =
3252         AFSVolTransCreate_retry(connPtr, avolid,
3253                                 vldbEntryPtr->serverPartition[index],
3254                                 ITOffline,
3255                                 &onlinetid);
3256     if (code)
3257       EPRINT(code, "Could not create transaction on readonly...\n");
3258
3259     else {
3260         code = AFSVolSetFlags(connPtr, onlinetid, 0);
3261         if (code)
3262             EPRINT(code, "Could not set flags on readonly...\n");
3263     }
3264
3265     if (!code) {
3266         code =
3267             AFSVolSetIdsTypes(connPtr, onlinetid, vname,
3268                               ROVOL, vldbEntryPtr->volumeId[RWVOL],
3269                               0, 0);
3270         if (code)
3271             EPRINT(code, "Could not set ids on readonly...\n");
3272     }
3273     if (!code)
3274         code = AFSVolEndTrans(connPtr, onlinetid, &rcode);
3275     if (!code)
3276         code = rcode;
3277     return code;
3278 }
3279
3280 /* UV_ReleaseVolume()
3281  *    Release volume <afromvol> on <afromserver> <afrompart> to all
3282  *    its RO sites (full release). Unless the previous release was
3283  *    incomplete: in which case we bring the remaining incomplete
3284  *    volumes up to date with the volumes that were released
3285  *    successfully.
3286  *    forceflag: Performs a full release.
3287  *
3288  *    Will create a clone from the RW, then dump the clone out to
3289  *    the remaining replicas. If there is more than 1 RO sites,
3290  *    ensure that the VLDB says at least one RO is available all
3291  *    the time: Influences when we write back the VLDB entry.
3292  */
3293
3294 int
3295 UV_ReleaseVolume(afs_uint32 afromvol, afs_uint32 afromserver,
3296                  afs_int32 afrompart, int forceflag, int stayUp)
3297 {
3298     char vname[64];
3299     afs_int32 code = 0;
3300     afs_int32 vcode, rcode, tcode;
3301     afs_uint32 cloneVolId = 0, roVolId;
3302     struct replica *replicas = 0;
3303     struct nvldbentry entry, storeEntry;
3304     int i, volcount = 0, m, fullrelease, vldbindex;
3305     int failure;
3306     struct restoreCookie cookie;
3307     struct rx_connection **toconns = 0;
3308     struct release *times = 0;
3309     int nservers = 0;
3310     struct rx_connection *fromconn = (struct rx_connection *)0;
3311     afs_int32 error = 0;
3312     int islocked = 0;
3313     afs_int32 clonetid = 0, onlinetid;
3314     afs_int32 fromtid = 0;
3315     afs_uint32 fromdate = 0;
3316     afs_uint32 thisdate;
3317     time_t tmv;
3318     int s;
3319     manyDests tr;
3320     manyResults results;
3321     int rwindex, roindex, roclone, roexists;
3322     afs_uint32 rwcrdate = 0, rwupdate = 0;
3323     afs_uint32 clcrdate;
3324     struct rtime {
3325         int validtime;
3326         afs_uint32 uptime;
3327     } remembertime[NMAXNSERVERS];
3328     int releasecount = 0;
3329     struct volser_status volstatus;
3330     char hoststr[16];
3331     afs_int32 origflags[NMAXNSERVERS];
3332     struct volser_status orig_status;
3333     int notreleased = 0;
3334     int tried_justnewsites = 0;
3335     int justnewsites = 0; /* are we just trying to release to new RO sites? */
3336
3337     memset(remembertime, 0, sizeof(remembertime));
3338     memset(&results, 0, sizeof(results));
3339     memset(origflags, 0, sizeof(origflags));
3340
3341     vcode = ubik_VL_SetLock(cstruct, 0, afromvol, RWVOL, VLOP_RELEASE);
3342     if (vcode != VL_RERELEASE)
3343         ONERROR(vcode, afromvol,
3344                 "Could not lock the VLDB entry for the volume %u.\n");
3345     islocked = 1;
3346
3347     /* Get the vldb entry in readable format */
3348     vcode = VLDB_GetEntryByID(afromvol, RWVOL, &entry);
3349     ONERROR(vcode, afromvol,
3350             "Could not fetch the entry for the volume %u from the VLDB.\n");
3351     MapHostToNetwork(&entry);
3352
3353     if (verbose)
3354         EnumerateEntry(&entry);
3355
3356     if (!ISNAMEVALID(entry.name))
3357         ONERROR(VOLSERBADOP, entry.name,
3358                 "Volume name %s is too long, rename before releasing.\n");
3359     if (entry.volumeId[RWVOL] != afromvol)
3360         ONERROR(VOLSERBADOP, afromvol,
3361                 "The volume %u being released is not a read-write volume.\n");
3362     if (entry.nServers <= 1)
3363         ONERROR(VOLSERBADOP, afromvol,
3364                 "Volume %u has no replicas - release operation is meaningless!\n");
3365     if (strlen(entry.name) > (VOLSER_OLDMAXVOLNAME - 10))
3366         ONERROR(VOLSERBADOP, entry.name,
3367                 "RO volume name %s exceeds (VOLSER_OLDMAXVOLNAME - 10) character limit\n");
3368
3369     /* roclone is true if one of the RO volumes is on the same
3370      * partition as the RW volume. In this case, we make the RO volume
3371      * on the same partition a clone instead of a complete copy.
3372      */
3373
3374     roindex = Lp_ROMatch(afromserver, afrompart, &entry) - 1;
3375     roclone = ((roindex == -1) ? 0 : 1);
3376     rwindex = Lp_GetRwIndex(&entry);
3377     if (rwindex < 0)
3378         ONERROR0(VOLSERNOVOL, "There is no RW volume \n");
3379
3380     /* Make sure we have a RO volume id to work with */
3381     if (entry.volumeId[ROVOL] == INVALID_BID) {
3382         /* need to get a new RO volume id */
3383         vcode = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &roVolId);
3384         ONERROR(vcode, entry.name, "Cant allocate ID for RO volume of %s\n");
3385
3386         entry.volumeId[ROVOL] = roVolId;
3387         MapNetworkToHost(&entry, &storeEntry);
3388         vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
3389         ONERROR(vcode, entry.name, "Could not update vldb entry for %s.\n");
3390     }
3391
3392     /* Will we be completing a previously unfinished release. -force overrides */
3393     for (s = 0, m = 0, fullrelease=0, i=0; (i<entry.nServers); i++) {
3394         if (entry.serverFlags[i] & ITSROVOL) {
3395             m++;
3396             if (entry.serverFlags[i] & NEW_REPSITE) s++;
3397             if (entry.serverFlags[i] & RO_DONTUSE) notreleased++;
3398         }
3399         origflags[i] = entry.serverFlags[i];
3400     }
3401     if ((forceflag && !fullrelease) || (s == m) || (s == 0))
3402         fullrelease = 1;
3403
3404     if (!forceflag && (s == m || s == 0)) {
3405         if (notreleased && notreleased != m) {
3406             /* we have some new unreleased sites. try to just release to those,
3407              * if the RW has not changed */
3408             justnewsites = 1;
3409         }
3410     }
3411
3412     /* Determine which volume id to use and see if it exists */
3413     cloneVolId =
3414         ((fullrelease
3415           || (entry.cloneId == 0)) ? entry.volumeId[ROVOL] : entry.cloneId);
3416     code = VolumeExists(afromserver, afrompart, cloneVolId);
3417     roexists = ((code == ENODEV) ? 0 : 1);
3418
3419     /* For stayUp case, if roclone is the only site, bypass special handling */
3420     if (stayUp && roclone) {
3421         int e;
3422         error = 0;
3423
3424         for (e = 0; (e < entry.nServers) && !error; e++) {
3425             if ((entry.serverFlags[e] & ITSROVOL)) {
3426                 if (!(VLDB_IsSameAddrs(entry.serverNumber[e], afromserver,
3427                                        &error)))
3428                     break;
3429             }
3430         }
3431         if (e >= entry.nServers)
3432             stayUp = 0;
3433     }
3434
3435     /* If we had a previous release to complete, do so, else: */
3436     if (stayUp && (cloneVolId == entry.volumeId[ROVOL])) {
3437         code = ubik_VL_GetNewVolumeId(cstruct, 0, 1, &cloneVolId);
3438         ONERROR(code, afromvol,
3439                 "Cannot get temporary clone id for volume %u\n");
3440     }
3441
3442     fromconn = UV_Bind(afromserver, AFSCONF_VOLUMEPORT);
3443     if (!fromconn)
3444         ONERROR(-1, afromserver,
3445                 "Cannot establish connection with server 0x%x\n");
3446
3447     if (!fullrelease) {
3448         if (!roexists)
3449             fullrelease = 1;    /* Do a full release if RO clone does not exist */
3450         else {
3451             /* Begin transaction on RW and mark it busy while we query it */
3452             code = AFSVolTransCreate_retry(
3453                         fromconn, afromvol, afrompart, ITBusy, &fromtid
3454                    );
3455             ONERROR(code, afromvol,
3456                     "Failed to start transaction on RW volume %u\n");
3457
3458             /* Query the creation date for the RW */
3459             code = AFSVolGetStatus(fromconn, fromtid, &volstatus);
3460             ONERROR(code, afromvol,
3461                     "Failed to get the status of RW volume %u\n");
3462             rwcrdate = volstatus.creationDate;
3463
3464             /* End transaction on RW */
3465             code = AFSVolEndTrans(fromconn, fromtid, &rcode);
3466             fromtid = 0;
3467             ONERROR((code ? code : rcode), afromvol,
3468                     "Failed to end transaction on RW volume %u\n");
3469
3470             /* Begin transaction on clone and mark it busy while we query it */
3471             code = AFSVolTransCreate_retry(
3472                         fromconn, cloneVolId, afrompart, ITBusy, &clonetid
3473                    );
3474             ONERROR(code, cloneVolId,
3475                     "Failed to start transaction on RW clone %u\n");
3476
3477             /* Query the creation date for the clone */
3478             code = AFSVolGetStatus(fromconn, clonetid, &volstatus);
3479             ONERROR(code, cloneVolId,
3480                     "Failed to get the status of RW clone %u\n");
3481             clcrdate = volstatus.creationDate;
3482
3483             /* End transaction on clone */
3484             code = AFSVolEndTrans(fromconn, clonetid, &rcode);
3485             clonetid = 0;
3486             ONERROR((code ? code : rcode), cloneVolId,
3487                     "Failed to end transaction on RW clone %u\n");
3488
3489             if (rwcrdate > clcrdate)
3490                 fullrelease = 2;/* Do a full release if RO clone older than RW */
3491         }
3492     }
3493
3494     if (fullrelease != 1) {
3495         /* in case the RW has changed, and just to be safe */
3496         justnewsites = 0;
3497     }
3498
3499     if (verbose) {
3500         switch (fullrelease) {
3501             case 2:
3502                 fprintf(STDOUT, "RW %lu changed, doing a complete release\n",
3503                         (unsigned long)afromvol);
3504                 break;
3505             case 1:
3506                 fprintf(STDOUT, "This is a complete release of volume %lu\n",
3507                         (unsigned long)afromvol);
3508                 if (justnewsites) {
3509                     tried_justnewsites = 1;
3510                     fprintf(STDOUT, "There are new RO sites; we will try to "
3511                                     "only release to new sites\n");
3512                 }
3513                 break;
3514             case 0:
3515                 fprintf(STDOUT, "This is a completion of a previous release\n");
3516                 break;
3517         }
3518     }
3519
3520     if (fullrelease) {
3521         afs_int32 oldest = 0;
3522         /* If the RO clone exists, then if the clone is a temporary
3523          * clone, delete it. Or if the RO clone is marked RO_DONTUSE
3524          * (it was recently added), then also delete it. We do not
3525          * want to "reclone" a temporary RO clone.
3526          */
3527         if (stayUp) {
3528             code = VolumeExists(afromserver, afrompart, cloneVolId);
3529             if (!code) {
3530                 code = DoVolDelete(fromconn, cloneVolId, afrompart, "previous clone", 0,
3531                                    NULL, NULL);
3532                 if (code && (code != VNOVOL))
3533                     ERROREXIT(code);
3534                 VDONE;
3535             }
3536         }
3537         /* clean up any previous tmp clone before starting if staying up */
3538         if (roexists
3539             && (!roclone || (entry.serverFlags[roindex] & RO_DONTUSE))) {
3540             code = DoVolDelete(fromconn,
3541                                stayUp ? entry.volumeId[ROVOL] : cloneVolId,
3542                                afrompart, "the", 0, NULL, NULL);
3543             if (code && (code != VNOVOL))
3544                 ERROREXIT(code);
3545             roexists = 0;
3546         }
3547
3548         if (justnewsites) {
3549             VPRINT("Querying old RO sites for update times...");
3550             for (vldbindex = 0; vldbindex < entry.nServers; vldbindex++) {
3551                 volEntries volumeInfo;
3552                 struct rx_connection *conn;
3553                 afs_int32 crdate;
3554
3555                 if (!(entry.serverFlags[vldbindex] & ITSROVOL)) {
3556                     continue;
3557                 }
3558                 if ((entry.serverFlags[vldbindex] & RO_DONTUSE)) {
3559                     continue;
3560                 }
3561                 conn = UV_Bind(entry.serverNumber[vldbindex], AFSCONF_VOLUMEPORT);
3562                 if (!conn) {
3563                     fprintf(STDERR, "Cannot establish connection to server %s\n",
3564                                     hostutil_GetNameByINet(entry.serverNumber[vldbindex]));
3565                     justnewsites = 0;
3566                     break;
3567                 }
3568                 volumeInfo.volEntries_val = NULL;
3569                 volumeInfo.volEntries_len = 0;
3570                 code = AFSVolListOneVolume(conn, entry.serverPartition[vldbindex],
3571                                            entry.volumeId[ROVOL],
3572                                            &volumeInfo);
3573                 if (code) {
3574                     fprintf(STDERR, "Could not fetch information about RO vol %lu from server %s\n",
3575                                     (unsigned long)entry.volumeId[ROVOL],
3576                                     hostutil_GetNameByINet(entry.serverNumber[vldbindex]));
3577                     PrintError("", code);
3578                     justnewsites = 0;
3579                     rx_DestroyConnection(conn);
3580                     break;
3581                 }
3582
3583                 crdate = CLOCKADJ(volumeInfo.volEntries_val[0].creationDate);
3584
3585                 if (oldest == 0 || crdate < oldest) {
3586                     oldest = crdate;
3587                 }
3588
3589                 rx_DestroyConnection(conn);
3590                 free(volumeInfo.volEntries_val);
3591                 volumeInfo.volEntries_val = NULL;
3592                 volumeInfo.volEntries_len = 0;
3593             }
3594             VDONE;
3595         }
3596         if (justnewsites) {
3597             volEntries volumeInfo;
3598             volumeInfo.volEntries_val = NULL;
3599             volumeInfo.volEntries_len = 0;
3600             code = AFSVolListOneVolume(fromconn, afrompart, afromvol,
3601                                        &volumeInfo);
3602             if (code) {
3603                 fprintf(STDERR, "Could not fetch information about RW vol %lu from server %s\n",
3604                                 (unsigned long)afromvol,
3605                                 hostutil_GetNameByINet(afromserver));
3606                 PrintError("", code);
3607                 justnewsites = 0;
3608             } else {
3609                 rwupdate = volumeInfo.volEntries_val[0].updateDate;
3610
3611                 free(volumeInfo.volEntries_val);
3612                 volumeInfo.volEntries_val = NULL;
3613                 volumeInfo.volEntries_len = 0;
3614             }
3615         }
3616         if (justnewsites && oldest <= rwupdate) {
3617             /* RW has changed */
3618             justnewsites = 0;
3619         }
3620
3621         /* Mark all the ROs in the VLDB entry as RO_DONTUSE. We don't
3622          * write this entry out to the vlserver until after the first
3623          * RO volume is released (temp RO clones don't count).
3624          *
3625          * If 'justnewsites' is set, we're only updating sites that have
3626          * RO_DONTUSE set, so set NEW_REPSITE for all of the others.
3627          */
3628         for (i = 0; i < entry.nServers; i++) {
3629             if (justnewsites) {
3630                 if ((entry.serverFlags[i] & RO_DONTUSE)) {
3631                     entry.serverFlags[i] &= ~NEW_REPSITE;
3632                 } else {
3633                     entry.serverFlags[i] |= NEW_REPSITE;
3634                 }
3635             } else {
3636                 entry.serverFlags[i] &= ~NEW_REPSITE;
3637                 entry.serverFlags[i] |= RO_DONTUSE;
3638             }
3639         }
3640         entry.serverFlags[rwindex] |= NEW_REPSITE;
3641         entry.serverFlags[rwindex] &= ~RO_DONTUSE;
3642     }
3643
3644     if (justnewsites && roexists) {
3645         /* if 'justnewsites' and 'roexists' are set, we don't need to do
3646          * anything with the RO clone, so skip the reclone */
3647         /* noop */
3648
3649     } else if (fullrelease) {
3650
3651         if (roclone) {
3652             strcpy(vname, entry.name);
3653             if (stayUp)
3654                 strcat(vname, ".roclone");
3655             else
3656                 strcat(vname, ".readonly");
3657         } else {
3658             strcpy(vname, "readonly-clone-temp");
3659         }
3660
3661         code = DoVolClone(fromconn, afromvol, afrompart, readonlyVolume,
3662                           cloneVolId, (roclone && !stayUp)?"permanent RO":
3663                           "temporary RO", NULL, vname, NULL, &volstatus, NULL);
3664         if (code) {
3665             error = code;
3666             goto rfail;
3667         }
3668
3669         if (justnewsites && rwupdate != volstatus.updateDate) {
3670             justnewsites = 0;
3671             /* reset the serverFlags as if 'justnewsites' had never been set */
3672             for (i = 0; i < entry.nServers; i++) {
3673                 entry.serverFlags[i] &= ~NEW_REPSITE;
3674                 entry.serverFlags[i] |= RO_DONTUSE;
3675             }
3676             entry.serverFlags[rwindex] |= NEW_REPSITE;
3677             entry.serverFlags[rwindex] &= ~RO_DONTUSE;
3678         }
3679
3680         rwcrdate = volstatus.creationDate;
3681
3682         /* Remember clone volume ID in case we fail or are interrupted */
3683         entry.cloneId = cloneVolId;
3684
3685         if (roclone && !stayUp) {
3686             /* Bring the RO clone online - though not if it's a temporary clone */
3687             VPRINT1("Starting transaction on RO clone volume %u...",
3688                     cloneVolId);
3689             code =
3690                 AFSVolTransCreate_retry(fromconn, cloneVolId, afrompart, ITOffline,
3691                                   &onlinetid);
3692             ONERROR(code, cloneVolId,
3693                     "Failed to start transaction on volume %u\n");
3694             VDONE;
3695
3696             VPRINT1("Setting volume flags for volume %u...", cloneVolId);
3697             tcode = AFSVolSetFlags(fromconn, onlinetid, 0);
3698             VDONE;
3699
3700             VPRINT1("Ending transaction on volume %u...", cloneVolId);
3701             code = AFSVolEndTrans(fromconn, onlinetid, &rcode);
3702             ONERROR((code ? code : rcode), cloneVolId,
3703                     "Failed to end transaction on RO clone %u\n");
3704             VDONE;
3705
3706             ONERROR(tcode, cloneVolId, "Could not bring volume %u on line\n");
3707
3708             /* Sleep so that a client searching for an online volume won't
3709              * find the clone offline and then the next RO offline while the
3710              * release brings the clone online and the next RO offline (race).
3711              * There is a fix in the 3.4 client that does not need this sleep
3712              * anymore, but we don't know what clients we have.
3713              */
3714             if (entry.nServers > 2 && !justnewsites)
3715                 sleep(5);
3716
3717             /* Mark the RO clone in the VLDB as a good site (already released) */
3718             entry.serverFlags[roindex] |= NEW_REPSITE;
3719             entry.serverFlags[roindex] &= ~RO_DONTUSE;
3720             entry.flags |= RO_EXISTS;
3721
3722             releasecount++;
3723
3724             /* Write out the VLDB entry only if the clone is not a temporary
3725              * clone. If we did this to a temporary clone then we would end
3726              * up marking all the ROs as "old release" making the ROs
3727              * temporarily unavailable.
3728              */
3729             MapNetworkToHost(&entry, &storeEntry);
3730             VPRINT1("Replacing VLDB entry for %s...", entry.name);
3731             vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
3732             ONERROR(vcode, entry.name,
3733                     "Could not update vldb entry for %s.\n");
3734             VDONE;
3735         }
3736     }
3737
3738     if (justnewsites) {
3739         VPRINT("RW vol has not changed; only releasing to new RO sites\n");
3740         /* act like this is a completion of a previous release */
3741         fullrelease = 0;
3742     } else if (tried_justnewsites) {
3743         VPRINT("RW vol has changed; releasing to all sites\n");
3744     }
3745
3746     /* Now we will release from the clone to the remaining RO replicas.
3747      * The first 2 ROs (counting the non-temporary RO clone) are released
3748      * individually: releasecount. This is to reduce the race condition
3749      * of clients trying to find an on-line RO volume. The remaining ROs
3750      * are released in parallel but no more than half the number of ROs
3751      * (rounded up) at a time: nservers.
3752      */
3753
3754     strcpy(vname, entry.name);
3755     if (stayUp)
3756         strcat(vname, ".roclone");
3757     else
3758         strcat(vname, ".readonly");
3759     memset(&cookie, 0, sizeof(cookie));
3760     strncpy(cookie.name, vname, VOLSER_OLDMAXVOLNAME);
3761     cookie.type = ROVOL;
3762     cookie.parent = entry.volumeId[RWVOL];
3763     cookie.clone = 0;
3764
3765     /* how many to do at once, excluding clone */
3766     if (stayUp || justnewsites)
3767         nservers = entry.nServers; /* can do all, none offline */
3768     else
3769         nservers = entry.nServers / 2;
3770     replicas = calloc(nservers + 1, sizeof(struct replica));
3771     times = calloc(nservers + 1, sizeof(struct release));
3772     toconns = calloc(nservers + 1, sizeof(struct rx_connection *));
3773     results.manyResults_val = calloc(nservers + 1, sizeof(afs_int32));
3774     if (!replicas || !times || !results.manyResults_val || !toconns)
3775         ONERROR0(ENOMEM,
3776                 "Failed to create transaction on the release clone\n");
3777
3778     /* Create a transaction on the cloned volume */
3779     VPRINT1("Starting transaction on cloned volume %u...", cloneVolId);
3780     code =
3781         AFSVolTransCreate_retry(fromconn, cloneVolId, afrompart, ITBusy, &fromtid);
3782     if (!code) {
3783         memset(&orig_status, 0, sizeof(orig_status));
3784         code = AFSVolGetStatus(fromconn, fromtid, &orig_status);
3785     }
3786     if (!fullrelease && code)
3787         ONERROR(VOLSERNOVOL, afromvol,
3788                 "Old clone is inaccessible. Try vos release -f %u.\n");
3789     ONERROR0(code, "Failed to create transaction on the release clone\n");
3790     VDONE;
3791
3792     /* if we have a clone, treat this as done, for now */
3793     if (stayUp && !fullrelease) {
3794         entry.serverFlags[roindex] |= NEW_REPSITE;
3795         entry.serverFlags[roindex] &= ~RO_DONTUSE;
3796         entry.flags |= RO_EXISTS;
3797
3798         releasecount++;
3799     }
3800
3801     /* For each index in the VLDB */
3802     for (vldbindex = 0; vldbindex < entry.nServers;) {
3803         /* Get a transaction on the replicas. Pick replicas which have an old release. */
3804         for (volcount = 0;
3805              ((volcount < nservers) && (vldbindex < entry.nServers));
3806              vldbindex++) {
3807             if (!stayUp && !justnewsites) {
3808                 /* The first two RO volumes will be released individually.
3809                  * The rest are then released in parallel. This is a hack
3810                  * for clients not recognizing right away when a RO volume
3811                  * comes back on-line.
3812                  */
3813                 if ((volcount == 1) && (releasecount < 2))
3814                     break;
3815             }
3816
3817             if (vldbindex == roindex)
3818                 continue;       /* the clone    */
3819             if ((entry.serverFlags[vldbindex] & NEW_REPSITE)
3820                 && !(entry.serverFlags[vldbindex] & RO_DONTUSE))
3821                 continue;
3822             if (!(entry.serverFlags[vldbindex] & ITSROVOL))
3823                 continue;       /* not a RO vol */
3824
3825
3826             /* Get a Transaction on this replica. Get a new connection if
3827              * necessary.  Create the volume if necessary.  Return the
3828              * time from which the dump should be made (0 if it's a new
3829              * volume).  Each volume might have a different time.
3830              */
3831             replicas[volcount].server.destHost =
3832                 ntohl(entry.serverNumber[vldbindex]);
3833             replicas[volcount].server.destPort = AFSCONF_VOLUMEPORT;
3834             replicas[volcount].server.destSSID = 1;
3835             times[volcount].vldbEntryIndex = vldbindex;
3836
3837             code =
3838                 GetTrans(&entry, vldbindex, &(toconns[volcount]),
3839                          &(replicas[volcount].trans),
3840                          &(times[volcount].crtime),
3841                          &(times[volcount].uptime),
3842                          origflags, stayUp?cloneVolId:0);
3843             if (code)
3844                 continue;
3845
3846             /* Thisdate is the date from which we want to pick up all changes */
3847             if (forceflag || !fullrelease
3848                 || (rwcrdate > times[volcount].crtime)) {
3849                 /* If the forceflag is set, then we want to do a full dump.
3850                  * If it's not a full release, we can't be sure that the creation
3851                  *  date is good (so we also do a full dump).
3852                  * If the RW volume was replaced (its creation date is newer than
3853                  *  the last release), then we can't be sure what has changed (so
3854                  *  we do a full dump).
3855                  */
3856                 thisdate = 0;
3857             } else if (remembertime[vldbindex].validtime) {
3858                 /* Trans was prev ended. Use the time from the prev trans
3859                  * because, prev trans may have created the volume. In which
3860                  * case time[volcount].time would be now instead of 0.
3861                  */
3862                 thisdate =
3863                     (remembertime[vldbindex].uptime < times[volcount].uptime)
3864                         ? remembertime[vldbindex].uptime
3865                         : times[volcount].uptime;
3866             } else {
3867                 thisdate = times[volcount].uptime;
3868             }
3869             remembertime[vldbindex].validtime = 1;
3870             remembertime[vldbindex].uptime = thisdate;
3871
3872             if (volcount == 0) {
3873                 fromdate = thisdate;
3874             } else {
3875                 /* Include this volume if it is within 15 minutes of the earliest */
3876                 if (((fromdate >
3877                       thisdate) ? (fromdate - thisdate) : (thisdate -
3878                                                            fromdate)) > 900) {
3879                     AFSVolEndTrans(toconns[volcount],
3880                                    replicas[volcount].trans, &rcode);
3881                     replicas[volcount].trans = 0;
3882                     break;
3883                 }
3884                 if (thisdate < fromdate)
3885                     fromdate = thisdate;
3886             }
3887             volcount++;
3888         }
3889         if (!volcount)
3890             continue;
3891
3892         code = CheckTrans(fromconn, &fromtid, afrompart, &orig_status);
3893         if (code) {
3894             code = ENOENT;
3895             goto rfail;
3896         }
3897
3898         if (verbose) {
3899             fprintf(STDOUT, "Starting ForwardMulti from %lu to %u on %s",
3900                     (unsigned long)cloneVolId, stayUp?
3901                     cloneVolId:entry.volumeId[ROVOL],
3902                     noresolve ? afs_inet_ntoa_r(entry.serverNumber[times[0].
3903                                                 vldbEntryIndex], hoststr) :
3904                     hostutil_GetNameByINet(entry.
3905                                            serverNumber[times[0].
3906                                                         vldbEntryIndex]));
3907
3908             for (s = 1; s < volcount; s++) {
3909                 fprintf(STDOUT, " and %s",
3910                         noresolve ? afs_inet_ntoa_r(entry.serverNumber[times[s].
3911                                                     vldbEntryIndex], hoststr) :
3912                         hostutil_GetNameByINet(entry.
3913                                                serverNumber[times[s].
3914                                                             vldbEntryIndex]));
3915             }
3916
3917             if (fromdate == 0)
3918                 fprintf(STDOUT, " (full release)");
3919             else {
3920                 tmv = fromdate;
3921                 fprintf(STDOUT, " (as of %.24s)", ctime(&tmv));
3922             }
3923             fprintf(STDOUT, ".\n");
3924             fflush(STDOUT);
3925         }
3926
3927         /* Release the ones we have collected */
3928         tr.manyDests_val = &(replicas[0]);
3929         tr.manyDests_len = results.manyResults_len = volcount;
3930         code =
3931             AFSVolForwardMultiple(fromconn, fromtid, fromdate, &tr,
3932                                   0 /*spare */ , &cookie, &results);
3933         if (code == RXGEN_OPCODE) {     /* RPC Interface Mismatch */
3934             code =
3935                 SimulateForwardMultiple(fromconn, fromtid, fromdate, &tr,
3936                                         0 /*spare */ , &cookie, &results);
3937             nservers = 1;
3938         }
3939
3940         if (code) {
3941             PrintError("Release failed: ", code);
3942         } else {
3943             for (m = 0; m < volcount; m++) {
3944                 if (results.manyResults_val[m]) {
3945                     if ((m == 0) || (results.manyResults_val[m] != ENOENT)) {
3946                         /* we retry timed out transaction. When it is
3947                          * not the first volume and the transaction wasn't found
3948                          * (assume it timed out and was garbage collected by volser).
3949                          */
3950                         PrintError
3951                             ("Failed to dump volume from clone to a ro site: ",
3952                              results.manyResults_val[m]);
3953                     }
3954                     continue;
3955                 }
3956
3957                 code =
3958                     AFSVolSetIdsTypes(toconns[m], replicas[m].trans, vname,
3959                                       ROVOL, entry.volumeId[RWVOL], 0, 0);
3960                 if (code) {
3961                     if ((m == 0) || (code != ENOENT)) {
3962                         PrintError("Failed to set correct names and ids: ",
3963                                    code);
3964                     }
3965                     continue;
3966                 }
3967
3968                 /* have to clear dest. flags to ensure new vol goes online:
3969                  * because the restore (forwarded) operation copied
3970                  * the V_inService(=0) flag over to the destination.
3971                  */
3972                 code = AFSVolSetFlags(toconns[m], replicas[m].trans, 0);
3973                 if (code) {
3974                     if ((m == 0) || (code != ENOENT)) {
3975                         PrintError("Failed to set flags on ro volume: ",
3976                                    code);
3977                     }
3978                     continue;
3979                 }
3980
3981                 entry.serverFlags[times[m].vldbEntryIndex] |= NEW_REPSITE;
3982                 entry.serverFlags[times[m].vldbEntryIndex] &= ~RO_DONTUSE;
3983                 entry.flags |= RO_EXISTS;
3984                 releasecount++;
3985             }
3986         }
3987
3988         if (!stayUp) {
3989             PutTrans(&vldbindex, replicas, toconns, times, volcount);
3990             MapNetworkToHost(&entry, &storeEntry);
3991             vcode = VLDB_ReplaceEntry(afromvol, RWVOL, &storeEntry, 0);
3992             ONERROR(vcode, afromvol,
3993                     " Could not update VLDB entry for volume %u\n");
3994         }
3995     }                           /* for each index in the vldb */
3996
3997     /* for the stayup case, put back at the end */
3998     if (stayUp) {
3999         afs_uint32 tmpVol = entry.volumeId[ROVOL];
4000         strcpy(vname, entry.name);
4001         strcat(vname, ".readonly");
4002
4003         if (roclone) {
4004             /* have to clear flags to ensure new vol goes online
4005              */
4006             code = AFSVolSetFlags(fromconn, fromtid, 0);
4007             if (code && (code != ENOENT)) {
4008                 PrintError("Failed to set flags on ro volume: ",
4009                            code);
4010             }
4011
4012             VPRINT3("%sloning to permanent RO %u on %s...", roexists?"Re-c":"C", tmpVol,
4013                     noresolve ?
4014                     afs_inet_ntoa_r(entry.serverNumber[roindex],
4015                                     hoststr) :
4016                     hostutil_GetNameByINet(entry.serverNumber[roindex]));
4017
4018             code = AFSVolClone(fromconn, fromtid, roexists?tmpVol:0,
4019                                readonlyVolume, vname, &tmpVol);
4020
4021             if (!code) {
4022                 VDONE;
4023                 VPRINT("Bringing readonly online...");
4024                 code = DoVolOnline(&entry, tmpVol, roindex, vname,
4025                                    fromconn);
4026             }
4027             if (code) {
4028                 EPRINT(code, "Failed: ");
4029                 entry.serverFlags[roindex] &= ~NEW_REPSITE;
4030                 entry.serverFlags[roindex] |= RO_DONTUSE;
4031             } else {
4032                 entry.serverFlags[roindex] |= NEW_REPSITE;
4033                 entry.serverFlags[roindex] &= ~RO_DONTUSE;
4034                 entry.flags |= RO_EXISTS;
4035                 VDONE;
4036             }
4037
4038         }
4039         for (s = 0; s < volcount; s++) {
4040             if (replicas[s].trans) {
4041                 vldbindex = times[s].vldbEntryIndex;
4042
4043                 /* ok, so now we have to end the previous transaction */
4044                 code = AFSVolEndTrans(toconns[s], replicas[s].trans, &rcode);
4045                 if (!code)
4046                     code = rcode;
4047
4048                 if (!code) {
4049                     code = AFSVolTransCreate_retry(toconns[s],
4050                                                    cloneVolId,
4051                                                    entry.serverPartition[vldbindex],
4052                                                    ITBusy,
4053                                                    &(replicas[s].trans));
4054                     if (code) {
4055                         PrintError("Unable to begin transaction on temporary clone: ", code);
4056                     }
4057                 } else {
4058                     PrintError("Unable to end transaction on temporary clone: ", code);
4059                 }
4060
4061                 VPRINT3("%sloning to permanent RO %u on %s...", times[s].crtime?"Re-c":"C",
4062                         tmpVol, noresolve ?
4063                         afs_inet_ntoa_r(htonl(replicas[s].server.destHost),
4064                                         hoststr) :
4065                         hostutil_GetNameByINet(htonl(replicas[s].server.destHost)));
4066                 if (times[s].crtime)
4067                     code = AFSVolClone(toconns[s], replicas[s].trans, tmpVol,
4068                                        readonlyVolume, vname, &tmpVol);
4069                 else
4070                     code = AFSVolClone(toconns[s], replicas[s].trans, 0,
4071                                        readonlyVolume, vname, &tmpVol);
4072
4073                 if (code) {
4074                     if (!times[s].crtime) {
4075                         entry.serverFlags[vldbindex] |= RO_DONTUSE;
4076                     }
4077                     entry.serverFlags[vldbindex] &= ~NEW_REPSITE;
4078                     PrintError("Failed: ",
4079                                code);
4080                 } else
4081                     VDONE;
4082
4083                 if (entry.serverFlags[vldbindex] != RO_DONTUSE) {
4084                     /* bring it online (mark it InService) */
4085                     VPRINT1("Bringing readonly online on %s...",
4086                             noresolve ?
4087                             afs_inet_ntoa_r(
4088                                 htonl(replicas[s].server.destHost),
4089                                 hoststr) :
4090                             hostutil_GetNameByINet(
4091                                 htonl(replicas[s].server.destHost)));
4092
4093                     code = DoVolOnline(&entry, tmpVol, vldbindex, vname,
4094                                        toconns[s]);
4095                     /* needed to come online for cloning */
4096                     if (code) {
4097                         /* technically it's still new, just not online */
4098                         entry.serverFlags[s] &= ~NEW_REPSITE;
4099                         entry.serverFlags[s] |= RO_DONTUSE;
4100                         if (code != ENOENT) {
4101                             PrintError("Failed to set correct names and ids: ",
4102                                        code);
4103                         }
4104                     } else
4105                         VDONE;
4106                 }
4107
4108                 VPRINT("Marking temporary clone for deletion...\n");
4109                 code = AFSVolSetFlags(toconns[s],
4110                                       replicas[s].trans,
4111                                       VTDeleteOnSalvage |
4112        &