6199cb1bfbae5ce76333db58c05111432d719f0f
[openafs.git] / doc / man-pages / pod8 / fileserver.pod
1 =head1 NAME
2
3 fileserver - Initializes the File Server component of the fs process
4
5 =head1 SYNOPSIS
6
7 =for html
8 <div class="synopsis">
9
10 B<fileserver> S<<< [B<-auditlog> <I<path to log file>>] >>>
11     S<<< [B<-d> <I<debug level>>] >>>
12     S<<< [B<-p> <I<number of processes>>] >>>
13     S<<< [B<-spare> <I<number of spare blocks>>] >>>
14     S<<< [B<-pctspare> <I<percentage spare>>] >>> S<<< [B<-b> <I<buffers>>] >>>
15     S<<< [B<-l> <I<large vnodes>>] >>> S<<< [B<-s> <I<small vnodes>>] >>>
16     S<<< [B<-vc> <I<volume cachesize>>] >>> S<<< [B<-w> <I<call back wait interval>>] >>>
17     S<<< [B<-cb> <I<number of call backs>>] >>> [B<-banner>] [B<-novbc>]
18     S<<< [B<-implicit> <I<admin mode bits: rlidwka>>] >>> [B<-readonly>]
19     S<<< [B<-hr> <I<number of hours between refreshing the host cps>>] >>>
20     S<<< [B<-busyat> <I<< redirect clients when queue > n >>>] >>>
21     [B<-nobusy>] S<<< [B<-rxpck> <I<number of rx extra packets>>] >>>
22     [B<-rxdbg>] [B<-rxdbge>] S<<< [B<-rxmaxmtu> <I<bytes>>] >>>
23     S<<< [B<-rxbind> <I<address to bind the Rx socket to>>] >>>
24     S<<< [B<-vattachpar> <I<number of volume attach threads>>] >>>
25     S<<< [B<-m> <I<min percentage spare in partition>>] >>>
26     [B<-lock>] [B<-L>] [B<-S>] S<<< [B<-k> <I<stack size>>] >>>
27     S<<< [B<-realm> <I<Kerberos realm name>>] >>>
28     S<<< [B<-udpsize> <I<size of socket buffer in bytes>>] >>>
29     S<<< [B<-sendsize> <I<size of send buffer in bytes>>] >>>
30     S<<< [B<-abortthreshold> <I<abort threshold>>] >>>
31     [B<-enable_peer_stats>] [B<-enable_process_stats>] [B<-help>]
32
33 =for html
34 </div>
35
36 =head1 DESCRIPTION
37
38 The B<fileserver> command initializes the File Server component of the
39 C<fs> process. In the conventional configuration, its binary file is
40 located in the F</usr/afs/bin> directory on a file server machine.
41
42 The B<fileserver> command is not normally issued at the command shell
43 prompt, but rather placed into a database server machine's
44 F</usr/afs/local/BosConfig> file with the B<bos create> command. If it is
45 ever issued at the command shell prompt, the issuer must be logged onto a
46 file server machine as the local superuser C<root>.
47
48 The File Server creates the F</usr/afs/logs/FileLog> log file as it
49 initializes, if the file does not already exist. It does not write a
50 detailed trace by default, but the B<-d> option may be used to
51 increase the amount of detail. Use the B<bos getlog> command to
52 display the contents of the log file.
53
54 The command's arguments enable the administrator to control many aspects
55 of the File Server's performance, as detailed in L<OPTIONS>.  By default
56 the B<fileserver> command sets values for many arguments that are suitable
57 for a medium-sized file server machine. To set values suitable for a small
58 or large file server machine, use the B<-S> or B<-L> flag
59 respectively. The following list describes the parameters and
60 corresponding argument for which the B<fileserver> command sets default
61 values, and the table below summarizes the setting for each of the three
62 machine sizes.
63
64 =over 4
65
66 =item *
67
68 The maximum number of lightweight processes (LWPs) the File Server uses to
69 handle requests for data; corresponds to the B<-p> argument. The File
70 Server always uses a minimum of 32 KB of memory for these processes.
71
72 =item *
73
74 The maximum number of directory blocks the File Server caches in memory;
75 corresponds to the B<-b> argument. Each cached directory block (buffer)
76 consumes 2,092 bytes of memory.
77
78 =item *
79
80 The maximum number of large vnodes the File Server caches in memory for
81 tracking directory elements; corresponds to the B<-l> argument. Each large
82 vnode consumes 292 bytes of memory.
83
84 =item *
85
86 The maximum number of small vnodes the File Server caches in memory for
87 tracking file elements; corresponds to the B<-s> argument.  Each small
88 vnode consumes 100 bytes of memory.
89
90 =item *
91
92 The maximum volume cache size, which determines how many volumes the File
93 Server can cache in memory before having to retrieve data from disk;
94 corresponds to the B<-vc> argument.
95
96 =item *
97
98 The maximum number of callback structures the File Server caches in
99 memory; corresponds to the B<-cb> argument. Each callback structure
100 consumes 16 bytes of memory.
101
102 =item *
103
104 The maximum number of Rx packets the File Server uses; corresponds to the
105 B<-rxpck> argument. Each packet consumes 1544 bytes of memory.
106
107 =back
108
109 The default values are:
110
111   Parameter (Argument)               Small (-S)     Medium   Large (-L)
112   ---------------------------------------------------------------------
113   Number of LWPs (-p)                        6           9           12
114   Number of cached dir blocks (-b)          70          90          120
115   Number of cached large vnodes (-l)       200         400          600
116   Number of cached small vnodes (-s)       200         400          600
117   Maximum volume cache size (-vc)          200         400          600
118   Number of callbacks (-cb)             20,000      60,000       64,000
119   Number of Rx packets (-rxpck)            100         150          200
120
121 To override any of the values, provide the indicated argument (which can
122 be combined with the B<-S> or B<-L> flag).
123
124 The amount of memory required for the File Server varies. The approximate
125 default memory usage is 751 KB when the B<-S> flag is used (small
126 configuration), 1.1 MB when all defaults are used (medium configuration),
127 and 1.4 MB when the B<-L> flag is used (large configuration). If
128 additional memory is available, increasing the value of the B<-cb> and
129 B<-vc> arguments can improve File Server performance most directly.
130
131 By default, the File Server allows a volume to exceed its quota by 1 MB
132 when an application is writing data to an existing file in a volume that
133 is full. The File Server still does not allow users to create new files in
134 a full volume. To change the default, use one of the following arguments:
135
136 =over 4
137
138 =item *
139
140 Set the B<-spare> argument to the number of extra kilobytes that the File
141 Server allows as overage. A value of C<0> allows no overage.
142
143 =item *
144
145 Set the B<-pctspare> argument to the percentage of the volume's quota the
146 File Server allows as overage.
147
148 =back
149
150 By default, the File Server implicitly grants the C<a> (administer) and
151 C<l> (lookup) permissions to system:administrators on the access control
152 list (ACL) of every directory in the volumes stored on its file server
153 machine. In other words, the group's members can exercise those two
154 permissions even when an entry for the group does not appear on an ACL. To
155 change the set of default permissions, use the B<-implicit> argument.
156
157 The File Server maintains a I<host current protection subgroup> (I<host
158 CPS>) for each client machine from which it has received a data access
159 request. Like the CPS for a user, a host CPS lists all of the Protection
160 Database groups to which the machine belongs, and the File Server compares
161 the host CPS to a directory's ACL to determine in what manner users on the
162 machine are authorized to access the directory's contents. When the B<pts
163 adduser> or B<pts removeuser> command is used to change the groups to
164 which a machine belongs, the File Server must recompute the machine's host
165 CPS in order to notice the change. By default, the File Server contacts
166 the Protection Server every two hours to recompute host CPSs, implying
167 that it can take that long for changed group memberships to become
168 effective. To change this frequency, use the B<-hr> argument.
169
170 The File Server stores volumes in partitions. A partition is a
171 filesystem or directory on the server machine that is named C</vicepX>
172 or C</vicepXX> where XX is "a" through "z" or "aa" though "zz". The
173 File Server expects that the /vicepXX directories are each on a
174 dedicated filesystem. The File Server will only use a /vicepXX if it's
175 a mountpoint for another filesystem, unless the file
176 C</vicepXX/AlwaysAttach> exists. The data in the partition is a
177 special format that can only be access using OpenAFS commands or an
178 OpenAFS client.
179
180 The File Server generates the following message when a partition is nearly
181 full:
182
183    No space left on device
184
185 This command does not use the syntax conventions of the AFS command
186 suites. Provide the command name and all option names in full.
187
188 =head1 CAUTIONS
189
190 Do not use the B<-k> and B<-w> arguments, which are intended for use
191 by the OpenAFS developers only. Changing them from their default
192 values can result in unpredictable File Server behavior.  In any case,
193 on many operating systems the File Server uses native threads rather
194 than the LWP threads, so using the B<-k> argument to set the number of
195 LWP threads has no effect.
196
197 Do not specify both the B<-spare> and B<-pctspare> arguments. Doing so
198 causes the File Server to exit, leaving an error message in the
199 F</usr/afs/logs/FileLog> file.
200
201 Options that are available only on some system types, such as the B<-m>
202 and B<-lock> options, appear in the output generated by the B<-help>
203 option only on the relevant system type.
204
205 Currently, the maximum size of a volume is 2 terabytes (2^31 bytes)
206 and the maximum size of a /vicepX partition on a fileserver is also 2
207 terabytes. The fileserver will not report an error when it has access
208 to a partition larger than 2 terabytes, but it will probably fail if
209 the administrator attempts to use more than 2 terabytes of space. In
210 addition, there are reports of erroneous disk usage numbers when
211 B<vos partinfo> or other OpenAFS disk reporting tools are used with
212 partitions larger than 2 terabytes.
213
214 The maximum number of directory entries is 64,000 if all of the
215 entries have names that are 15 characters or less in length. A name
216 that is 15 characters long requires the use of only one block in the
217 directory. Additional sequential blocks are required to store entries
218 with names that are longer than 15 characters. Each additional block
219 provides an additional length of 32 characters for the name of the
220 entry.
221
222 In real world use, the maximum number of objects in an AFS directory
223 is usually between 16,000 and 25,000, depending on the average name
224 length.
225
226 =head1 OPTIONS
227
228 =over 4
229
230 =item B<-auditlog> <I<log path>>
231
232 Set and enable auditing.
233
234 =item B<-d> <I<debug level>>
235
236 Sets the detail level for the debugging trace written to the
237 F</usr/afs/logs/FileLog> file. Provide one of the following values, each
238 of which produces an increasingly detailed trace: C<0>, C<1>, C<5>, C<25>,
239 and C<125>. The default value of C<0> produces only a few messages.
240
241 =item B<-p> <I<number of processes>>
242
243 Sets the number of threads to run. Provide a positive integer. The File
244 Server creates and uses five threads for special purposes, in addition to
245 the number specified (but if this argument specifies the maximum possible
246 number, the File Server automatically uses five of the threads for its own
247 purposes).
248
249 The maximum number of threads can differ in each release of AFS.  Consult
250 the I<IBM AFS Release Notes> for the current release.
251
252 =item B<-spare> <I<number of spare blocks>>
253
254 Specifies the number of additional kilobytes an application can store in a
255 volume after the quota is exceeded. Provide a positive integer; a value of
256 C<0> prevents the volume from ever exceeding its quota. Do not combine
257 this argument with the B<-pctspare> argument.
258
259 =item B<-pctspare> <I<percentage spare>>
260
261 Specifies the amount by which the File Server allows a volume to exceed
262 its quota, as a percentage of the quota. Provide an integer between C<0>
263 and C<99>. A value of C<0> prevents the volume from ever exceeding its
264 quota. Do not combine this argument with the B<-spare> argument.
265
266 =item B<-b> <I<buffers>>
267
268 Sets the number of directory buffers. Provide a positive integer.
269
270 =item B<-l> <I<large vnodes>>
271
272 Sets the number of large vnodes available in memory for caching directory
273 elements. Provide a positive integer.
274
275 =item B<-s> <I<small nodes>>
276
277 Sets the number of small vnodes available in memory for caching file
278 elements. Provide a positive integer.
279
280 =item B<-vc> <I<volume cachesize>>
281
282 Sets the number of volumes the File Server can cache in memory.  Provide a
283 positive integer.
284
285 =item B<-w> <I<call back wait interval>>
286
287 Sets the interval at which the daemon spawned by the File Server performs
288 its maintenance tasks. Do not use this argument; changing the default
289 value can cause unpredictable behavior.
290
291 =item B<-cb> <I<number of callbacks>>
292
293 Sets the number of callbacks the File Server can track. Provide a positive
294 integer.
295
296 =item B<-banner>
297
298 Prints the following banner to F</dev/console> about every 10 minutes.
299
300    File Server is running at I<time>.
301
302 =item B<-novbc>
303
304 Prevents the File Server from breaking the callbacks that Cache Managers
305 hold on a volume that the File Server is reattaching after the volume was
306 offline (as a result of the B<vos restore> command, for example). Use of
307 this flag is strongly discouraged.
308
309 =item B<-implicit> <I<admin mode bits>>
310
311 Defines the set of permissions granted by default to the
312 system:administrators group on the ACL of every directory in a volume
313 stored on the file server machine. Provide one or more of the standard
314 permission letters (C<rlidwka>) and auxiliary permission letters
315 (C<ABCDEFGH>), or one of the shorthand notations for groups of permissions
316 (C<all>, C<none>, C<read>, and C<write>). To review the meaning of the
317 permissions, see the B<fs setacl> reference page.
318
319 =item B<-hr> <I<number of hours between refreshing the host cps>>
320
321 Specifies how often the File Server refreshes its knowledge of the
322 machines that belong to protection groups (refreshes the host CPSs for
323 machines). The File Server must update this information to enable users
324 from machines recently added to protection groups to access data for which
325 those machines now have the necessary ACL permissions.
326
327 =item B<-busyat> <I<< redirect clients when queue > n >>>
328
329 Defines the number of incoming RPCs that can be waiting for a response
330 from the File Server before the File Server returns the error code
331 C<VBUSY> to the Cache Manager that sent the latest RPC. In response, the
332 Cache Manager retransmits the RPC after a delay. This argument prevents
333 the accumulation of so many waiting RPCs that the File Server can never
334 process them all. Provide a positive integer.  The default value is
335 C<600>.
336
337 =item B<-rxpck> <I<number of rx extra packets>>
338
339 Controls the number of Rx packets the File Server uses to store data for
340 incoming RPCs that it is currently handling, that are waiting for a
341 response, and for replies that are not yet complete. Provide a positive
342 integer.
343
344 =item B<-rxdbg>
345
346 Writes a trace of the File Server's operations on Rx packets to the file
347 F</usr/afs/logs/rx_dbg>.
348
349 =item F<-rxdbge>
350
351 Writes a trace of the File Server's operations on Rx events (such as
352 retransmissions) to the file F</usr/afs/logs/rx_dbg>.
353
354 =item F<-m> <I<min percentage spare in partition>>
355
356 Specifies the percentage of each AFS server partition that the AIX version
357 of the File Server creates as a reserve. Specify an integer value between
358 C<0> and C<30>; the default is 8%. A value of C<0> means that the
359 partition can become completely full, which can have serious negative
360 consequences.
361
362 =item B<-lock>
363
364 Prevents any portion of the fileserver binary from being paged (swapped)
365 out of memory on a file server machine running the IRIX operating system.
366
367 =item B<-L>
368
369 Sets values for many arguments in a manner suitable for a large file
370 server machine. Combine this flag with any option except the B<-S> flag;
371 omit both flags to set values suitable for a medium-sized file server
372 machine.
373
374 =item B<-S>
375
376 Sets values for many arguments in a manner suitable for a small file
377 server machine. Combine this flag with any option except the B<-L> flag;
378 omit both flags to set values suitable for a medium-sized file server
379 machine.
380
381 =item B<-k> <I<stack size>>
382
383 Sets the LWP stack size in units of 1 kilobyte. Do not use this argument,
384 and in particular do not specify a value less than the default of C<24>.
385
386 =item B<-realm> <I<Kerberos realm name>>
387
388 Defines the Kerberos realm name for the File Server to use. If this
389 argument is not provided, it uses the realm name corresponding to the cell
390 listed in the local F</usr/afs/etc/ThisCell> file.
391
392 =item B<-udpsize> <I<size of socket buffer in bytes>>
393
394 Sets the size of the UDP buffer, which is 64 KB by default. Provide a
395 positive integer, preferably larger than the default.
396
397 =item B<-enable_peer_stats>
398
399 Activates the collection of Rx statistics and allocates memory for their
400 storage. For each connection with a specific UDP port on another machine,
401 a separate record is kept for each type of RPC (FetchFile, GetStatus, and
402 so on) sent or received. To display or otherwise access the records, use
403 the Rx Monitoring API.
404
405 =item B<-enable_process_stats>
406
407 Activates the collection of Rx statistics and allocates memory for their
408 storage. A separate record is kept for each type of RPC (FetchFile,
409 GetStatus, and so on) sent or received, aggregated over all connections to
410 other machines. To display or otherwise access the records, use the Rx
411 Monitoring API.
412
413 =item B<-abortthreshold> <I<abort threshold>>
414
415 Sets the abort threshold, which is triggered when an AFS client sends
416 a number of FetchStatus requests in a row and all of them fail due to
417 access control or some other error. When the abort threshold is
418 reached, the file server starts to slow down the responses to the
419 problem client in order to reduce the load on the file server.
420
421 The throttling behaviour can cause issues especially for some versions
422 of the Windows OpenAFS client. When using Windows Explorer to navigate
423 the AFS directory tree, directories with only "look" access for the
424 current user may load more slowly because of the throttling. This is
425 because the Windows OpenAFS client sends FetchStatus calls one at a
426 time instead of in bulk like the Unix Open AFS client.
427
428 Setting the threshold to 0 disables the throttling behavior. This
429 option is available in OpenAFS versions 1.4.1 and later.
430
431 =item B<-help>
432
433 Prints the online help for this command. All other valid options are
434 ignored.
435
436 =back
437
438 =head1 EXAMPLES
439
440 The following B<bos create> command creates an fs process on the file
441 server machine C<fs2.abc.com> that uses the large configuration size, and
442 allows volumes to exceed their quota by 10%. Type the command on a single
443 line:
444
445    % bos create -server fs2.abc.com -instance fs -type fs \
446                 -cmd "/usr/afs/bin/fileserver -pctspare 10 \
447                 -L" /usr/afs/bin/volserver /usr/afs/bin/salvager
448
449
450 =head1 TROUBLESHOOTING
451
452 Sending process signals to the File Server Process can change its
453 behavior in the following ways:
454
455   Process          Signal       OS     Result
456   ---------------------------------------------------------------------
457
458   File Server      XCPU        Unix    Prints a list of client IP
459                                        Addresses.
460
461   File Server      USR2      Windows   Prints a list of client IP
462                                        Addresses.
463
464   File Server      POLL        HPUX    Prints a list of client IP
465                                        Addresses.
466
467   Any server       TSTP        Any     Increases Debug level by a power
468                                        of 5 -- 1,5,25,125, etc.
469                                        This has the same effect as the
470                                        -d XXX command-line option.
471
472   Any Server       HUP         Any     Resets Debug level to 0
473
474   File Server      TERM        Any     Run minor instrumentation over
475                                        the list of descriptors.
476
477   Other Servers    TERM        Any     Causes the process to quit.
478
479   File Server      QUIT        Any     Causes the File Server to Quit.
480                                        Bos Server knows this.
481
482 The basic metric of whether an AFS file server is doing well is the number
483 of connections waiting for a thread,
484 which can be found by running the following command:
485
486    % rxdebug <server> | grep waiting_for | wc -l
487
488 Each line returned by C<rxdebug> that contains the text "waiting_for"
489 represents a connection that's waiting for a file server thread.
490
491 If the blocked connection count is ever above 0, the server is having
492 problems replying to clients in a timely fashion.  If it gets above 10,
493 roughly, there will be noticable slowness by the user.  The total number of
494 connections is a mostly irrelevant number that goes essentially
495 monotonically for as long as the server has been running and then goes back
496 down to zero when it's restarted.
497
498 The most common cause of blocked connections rising on a server is some
499 process somewhere performing an abnormal number of accesses to that server
500 and its volumes.  If multiple servers have a blocked connection count, the
501 most likely explanation is that there is a volume replicated between those
502 servers that is absorbing an abnormally high access rate.
503
504 To get an access count on all the volumes on a server, run:
505
506    % vos listvol <server> -long
507
508 and save the output in a file.  The results will look like a bunch of B<vos
509 examine> output for each volume on the server.  Look for lines like:
510
511    40065 accesses in the past day (i.e., vnode references)
512
513 and look for volumes with an abnormally high number of accesses.  Anything
514 over 10,000 is fairly high, but some volumes like root.cell and other
515 volumes close to the root of the cell will have that many hits routinely.
516 Anything over 100,000 is generally abnormally high.  The count resets about
517 once a day.
518
519 Another approach that can be used to narrow the possibilities for a
520 replicated volume, when multiple servers are having trouble, is to find all
521 replicated volumes for that server.  Run:
522
523    % vos listvldb -server <server>
524
525 where <server> is one of the servers having problems to refresh the VLDB
526 cache, and then run:
527
528    % vos listvldb -server <server> -part <partition>
529
530 to get a list of all volumes on that server and partition, including every
531 other server with replicas.
532
533 Once the volume causing the problem has been identified, the best way to
534 deal with the problem is to move that volume to another server with a low
535 load or to stop any runaway programs that are accessing that volume
536 unnecessarily.  Often the volume will be enough information to tell what's
537 going on.
538
539 If you still need additional information about who's hitting that server,
540 sometimes you can guess at that information from the failed callbacks in the
541 F<FileLog> log in F</var/log/afs> on the server, or from the output of:
542
543    % /usr/afsws/etc/rxdebug <server> -rxstats
544
545 but the best way is to turn on debugging output from the file server.
546 (Warning: This generates a lot of output into FileLog on the AFS server.)
547 To do this, log on to the AFS server, find the PID of the fileserver
548 process, and do:
549
550     kill -TSTP <pid>
551
552 where <pid> is the PID of the file server process.  This will raise the
553 debugging level so that you'll start seeing what people are actually doing
554 on the server.  You can do this up to three more times to get even more
555 output if needed.  To reset the debugging level back to normal, use (The
556 following command will NOT terminate the file server):
557
558     kill -HUP <pid>
559
560 The debugging setting on the File Server should be reset back to normal when
561 debugging is no longer needed.  Otherwise, the AFS server may well fill its
562 disks with debugging output.
563
564 The lines of the debugging output that are most useful for debugging load
565 problems are:
566
567     SAFS_FetchStatus,  Fid = 2003828163.77154.82248, Host 171.64.15.76
568     SRXAFS_FetchData, Fid = 2003828163.77154.82248
569
570 (The example above is partly truncated to highlight the interesting
571 information).  The Fid identifies the volume and inode within the volume;
572 the volume is the first long number.  So, for example, this was:
573
574    % vos examine 2003828163
575    pubsw.matlab61                   2003828163 RW    1040060 K  On-line
576        afssvr5.Stanford.EDU /vicepa 
577        RWrite 2003828163 ROnly 2003828164 Backup 2003828165 
578        MaxQuota    3000000 K 
579        Creation    Mon Aug  6 16:40:55 2001
580        Last Update Tue Jul 30 19:00:25 2002
581        86181 accesses in the past day (i.e., vnode references)
582
583        RWrite: 2003828163    ROnly: 2003828164    Backup: 2003828165
584        number of sites -> 3
585           server afssvr5.Stanford.EDU partition /vicepa RW Site 
586           server afssvr11.Stanford.EDU partition /vicepd RO Site 
587           server afssvr5.Stanford.EDU partition /vicepa RO Site 
588
589 and from the Host information one can tell what system is accessing that
590 volume.
591
592 Note that the output of L<vos_examine(1)> also includes the access count, so
593 once the problem has been identified, vos examine can be used to see if the
594 access count is still increasing.  Also remember that you can run vos
595 examine on the read-only replica (e.g., pubsw.matlab61.readonly) to see the
596 access counts on the read-only replica on all of the servers that it's
597 located on.
598
599 =head1 PRIVILEGE REQUIRED
600
601 The issuer must be logged in as the superuser C<root> on a file server
602 machine to issue the command at a command shell prompt.  It is conventional
603 instead to create and start the process by issuing the B<bos create>
604 command.
605
606 =head1 SEE ALSO
607
608 L<BosConfig(5)>,
609 L<FileLog(5)>,
610 L<bos_create(8)>,
611 L<bos_getlog(8)>,
612 L<fs_setacl(1)>,
613 L<salvager(8)>,
614 L<volserver(8)>,
615 L<vos_examine(1)>
616
617 =head1 COPYRIGHT
618
619 IBM Corporation 2000. <http://www.ibm.com/> All Rights Reserved.
620
621 This documentation is covered by the IBM Public License Version 1.0.  It was
622 converted from HTML to POD by software written by Chas Williams and Russ
623 Allbery, based on work by Alf Wachsmann and Elizabeth Cassell.