none
[openafs-wiki.git] / AFSLore / UsageFAQ.mdwn
1 ## <a name="2  Using AFS"></a> 2 Using AFS
2
3 The Usage Section of the [[AFSFrequentlyAskedQuestions]].
4
5 - [[PreambleFAQ]]
6 - [[GeneralFAQ]]
7
8 <div>
9   <ul>
10     <li><a href="#2  Using AFS"> 2 Using AFS</a><ul>
11         <li><a href="#2.01  What are the differences b"> 2.01 What are the differences between AFS and a unix filesystem?</a></li>
12         <li><a href="#2.02  What is an AFS protection"> 2.02 What is an AFS protection group?</a></li>
13         <li><a href="#2.03  What are the AFS defined p"> 2.03 What are the AFS defined protection groups?</a></li>
14         <li><a href="#2.04  What is an AFS access cont"> 2.04 What is an AFS access control list (ACL)?</a></li>
15         <li><a href="#2.05  What are the AFS access ri"> 2.05 What are the AFS access rights?</a></li>
16         <li><a href="#2.06  What is pagsh?"> 2.06 What is pagsh?</a></li>
17         <li><a href="#2.07  Why use a PAG?"> 2.07 Why use a PAG?</a></li>
18         <li><a href="#2.08  How can I tell if I have a"> 2.08 How can I tell if I have a PAG?</a></li>
19         <li><a href="#2.09  Can I still run cron jobs"> 2.09 Can I still run cron jobs with AFS?</a></li>
20         <li><a href="#2.10  How much disk space does a"> 2.10 How much disk space does a 1 byte file occupy in AFS?</a></li>
21         <li><a href="#2.11  Is it possible to specify"> 2.11 Is it possible to specify a user who is external to the current AFS cell on an ACL?</a></li>
22         <li><a href="#2.12  Are there any problems pri"> 2.12 Are there any problems printing files in /afs?</a></li>
23         <li><a href="#2.13  Can I create a fifo (aka n"> 2.13 Can I create a fifo (aka named pipe) in /afs?</a></li>
24         <li><a href="#2.14  If an AFS server crashes,"> 2.14 If an AFS server crashes, do I have to reboot my AFS client?</a></li>
25         <li><a href="#2.15  Can I use AFS on my diskle"> 2.15 Can I use AFS on my diskless workstation?</a></li>
26         <li><a href="#2.16  Can I test for AFS tokens"> 2.16 Can I test for AFS tokens from within my program?</a></li>
27         <li><a href="#2.17  What's the difference betw"> 2.17 What's the difference between /afs/cellname and /afs/.cellname?</a></li>
28         <li><a href="#2.18  Can I klog as two users on"> 2.18 Can I klog as two users on a machine in the same cell?</a></li>
29         <li><a href="#2.19  What are the ~/._afsXXXX f"> 2.19 What are the ~/.__afsXXXX files?</a></li>
30       </ul>
31     </li>
32   </ul>
33 </div>
34
35 - [[AdminFAQ]]
36 - [[ResourcesFAQ]]
37 - [[AboutTheFAQ]]
38 - [[FurtherReading]]
39
40 ### <a name="2.01  What are the differences b"></a> 2.01 What are the differences between AFS and a unix filesystem?
41
42 Essentially, from a user's point of view, there is little difference between AFS and local unix filestore. Nearly all the commands normally used to access local files can be used to access files in /afs.
43
44 In the following set of sections, I have attempted to "target" each section to an appropriate type of user by including to the right of each section heading one of: User, Programmer, [[SysAdmin]].
45
46 Here is a summary of the differences:
47
48 **Authentication:** [ User ]
49
50 Before a user can access protected AFS files (s)he needs to become authenticated to AFS using the klog command (Kerberos login) to get a Kerberos "ticket granting ticket" (called a token from here on).
51
52 Without a token, an unauthenticated user is given the AFS identity "system:anyuser" and as such is only able to access files in directories that have ACLs granting system:anyuser access.
53
54 Many systems have the klog function built into the system login program. So a user would not even have to know they gain a token on logging in. If you use a system where you have to issue the klog command after login then you should run the pagsh command first (see below).
55
56 AFS provides access control lists to give more precise control to users wishing to protect their files (see AFS ACL below).
57
58 **File permissions:** [ User ]
59
60 Unix mode bits for group and other are ignored. The mode bits for the file owner don't work the way they used to.
61
62 Users should protect their AFS files with (directory) ACLs only. Just use mode bits to make a file executable.
63
64 **Data protection with AFS ACLs:** [ User ]
65
66 Some versions of unix (eg IBM's AIX version 3) allow ACLs on local files. In AFS, ACLs protect directories and used with AFS protection groups (see below) provide a finer granularity of protection than can be achieved with basic unix file permissions. (AFS ACLs are described in more detail below.)
67
68 **Protection groups:** [ User ]
69
70 Users can create and maintain their own protection groups in AFS - as opposed to unix where only sys admins can manage protection groups.
71
72 **Hard links:** [ User ]
73
74 In AFS, hard links (eg: ln old new) are only valid within a directory. This is because AFS ACLs protect directories (not individual files) and allowing hard links that span directories would subvert ACL protection.
75
76 Symbolic links work in AFS because they reference a pathname and not an i-node directly. (Hard links reference an i-node directly.)
77
78 **Changing file protection by moving a file:** [ User ]
79
80 Moving a file to a different directory will change the protection of a file if the ACL on the new directory if different to the ACL on the original directory.
81
82 **chown and chgrp:** [ User ]
83
84 Only members of the AFS group "system:administrators" can use these commands on files in /afs.
85
86 **Save on close:** [ Programmer ]
87
88 AFS Cache Manager does not send file modifications to a file server until the close() or fsync() system call.
89
90 write() system calls only update the local cache copy on the client.
91
92 Note the difference in semantic of writing a file:
93
94 <table border="1" cellpadding="0" cellspacing="0">
95   <tr>
96     <th bgcolor="#99CCCC"><strong> local unix file: </strong></th>
97     <td> writes update the file "immediately" </td>
98   </tr>
99   <tr>
100     <th align="center" bgcolor="#99CCCC"><strong> AFS file: </strong></th>
101     <td> local cached copy updated "immediately" but the server copy is only updated when the file is closed or fsync'ed. </td>
102   </tr>
103 </table>
104
105 It is important to understand that most applications (eg: vi, emacs, frame, interleaf, wingz, dogz, etc) issue the close() system call when the user chooses/issues the "save" command in the application.
106
107 Users are not required to exit the application to "save" their changes back to the server.
108
109 **byte-range file locking:** [ Programmer ]
110
111 AFS does not support byte-range locking within a file, although lockf() and fcntl() calls will return 0 (success). The first time a byte-range lock is attempted, AFS will display:
112
113 "afs: byte-range lock/unlock ignored; make sure no one else else is running this program."
114
115 **whole file locking:** [ Programmer ]
116
117 AFS does support advisory locking an entire file with flock(). Processes on the same client workstation that attempt to lock a file obey the proper locking semantics.
118
119 Processes on different AFS clients requesting a lock on the same file would get EWOULDBLOCK returned.
120
121 **character and block special files:** [ [[SysAdmin]] ]
122
123 AFS does not support character and block special files. The mknod command does not create either character or block special files in /afs.
124
125 **AFS version of fsck:** [ [[SysAdmin]] ]
126
127 On an AFS server, the partitions containing served files are NOT unix filesystems and standard fsck **must** not be used - use the AFS version instead.
128
129 ### <a name="2.02  What is an AFS protection"></a><a name="2.02  What is an AFS protection "></a> 2.02 What is an AFS protection group?
130
131 A named list of users.
132
133 Group names are used in AFS ACLs to identify lists of users with particular access permissions.
134
135 In AFS, users can create and maintain their own protection groups. This is different to unix where only the system administrator can manage /etc/group.
136
137 AFS groups are stored in the protection database on fileserver(s) and managed by using the "pts" command.
138
139 An AFS group typically has the format:
140
141 - owner-id:group-name
142
143 By default, only the owner of a group can change its members.
144
145 It is possible to have both users and IP addresses as members of an AFS group. By using an IP address like this you can specify all the users from the host with that IP address.
146
147 ### <a name="2.03  What are the AFS defined p"></a> 2.03 What are the AFS defined protection groups?
148
149 - system:anyuser
150   - Everyone who has access to an AFS client in any cell that is on the same network as your cell.
151
152 - system:authuser
153   - Everyone who has access to an AFS client in any cell that is on the same network as your cell **and** has valid tokens for your cell (ie has been authenticated in your cell).
154
155 - system:administrators
156   - Users who have privileges to execute some but not all system administrator commands.
157
158 ### <a name="2.04  What is an AFS access cont"></a> 2.04 What is an AFS access control list (ACL)?
159
160 There is an ACL for every directory in AFS. The ACL specifies protection at the directory level (not file level) by listing permissions of users and/or groups to a directory. There is a maximum of 20 entries on an ACL.
161
162 For example:
163
164 An AFS ACL is displayed by using the "fs" command as shown below:
165
166        tweety@toontown $ fs listacl .
167        Access list for . is
168        Normal rights:
169          fac:coords rlidwka
170          system:anyuser rl
171
172 This ACL shows that members of the AFS protection group "fac:coords" have full access rights to the current directory and "system:anyuser" has only read and lookup rights.
173
174 The members of "fac:coords" can be determined by accessing the protection group database using the "pts" command as shown below:
175
176        tweety@toontown $ pts membership fac:coords
177        Members of fac:coords (id: -1577) are:
178          sylvester
179          roadrunner
180          yosemite.sam
181
182 ### <a name="2.05  What are the AFS access ri"></a> 2.05 What are the AFS access rights?
183
184 In AFS, there are seven access rights that may be set or not set:
185
186 <table border="1" cellpadding="0" cellspacing="0">
187   <tr>
188     <th bgcolor="#99CCCC"><strong> lookup </strong></th>
189     <td><code>l</code></td>
190     <td> Permission to examine the ACL and traverse the directory (needed with most other access rights). Permission to look up filenames in a directory. </td>
191   </tr>
192   <tr>
193     <th bgcolor="#99CCCC"><strong> read </strong></th>
194     <td><code>r</code></td>
195     <td> View the contents of files in the directory </td>
196   </tr>
197   <tr>
198     <th bgcolor="#99CCCC"><strong> insert </strong></th>
199     <td><code>i</code></td>
200     <td> Add new files or sub-directories </td>
201   </tr>
202   <tr>
203     <th bgcolor="#99CCCC"><strong> write </strong></th>
204     <td><code>w</code></td>
205     <td> Modify file contents, use "chmod" </td>
206   </tr>
207   <tr>
208     <th bgcolor="#99CCCC"><strong> delete </strong></th>
209     <td><code>d</code></td>
210     <td> Remove file(s) in directory </td>
211   </tr>
212   <tr>
213     <th bgcolor="#99CCCC"><strong> lock </strong></th>
214     <td><code>k</code></td>
215     <td> Permission for programs to "flock" files in the directory </td>
216   </tr>
217   <tr>
218     <th bgcolor="#99CCCC"><strong> administer </strong></th>
219     <td><code>a</code></td>
220     <td> Ability to change the ACL </td>
221   </tr>
222 </table>
223
224 There are short-hand forms:
225
226 <table border="1" cellpadding="0" cellspacing="0">
227   <tr>
228     <th bgcolor="#99CCCC"><strong> read </strong></th>
229     <td><code>rl</code></td>
230     <td> read and lookup </td>
231   </tr>
232   <tr>
233     <th bgcolor="#99CCCC"><strong> write </strong></th>
234     <td><code>rlidwk</code></td>
235     <td> all rights except administer </td>
236   </tr>
237   <tr>
238     <th bgcolor="#99CCCC"><strong> all </strong></th>
239     <td><code>rlidwka</code></td>
240     <td> all rights </td>
241   </tr>
242   <tr>
243     <th bgcolor="#99CCCC"><strong> none </strong></th>
244     <td>   </td>
245     <td> removes all rights </td>
246   </tr>
247 </table>
248
249 ### <a name="2.06  What is pagsh?"></a> 2.06 What is pagsh?
250
251 A command to get a new shell with a process authentication group (PAG).
252
253 This is normally used if your system does not use the AFS version of login. It is used to get a PAG prior to running klog.
254
255 The PAG uniquely identifies the user to the Cache Manager. Without a PAG the Cache Manager uses the unix UID to identify a user.
256
257 ### <a name="2.07  Why use a PAG?"></a> 2.07 Why use a PAG?
258
259 There are two reasons:
260
261 1. Child processes inherit the PAG and the Kerberos token so they are AFS authenticated.
262
263 1. For security: if you don't have a PAG then the Cache Manager identifies you by unix UID. Another user with root access to the client could su to you and therefore use your token.
264
265 ### <a name="2.08  How can I tell if I have a"></a> 2.08 How can I tell if I have a PAG?
266
267 You can tell if you have a PAG by typing "groups". A PAG is indicated by the appearance of two integers in the list of groups.
268
269 For example:
270
271        sylvester@toontown $ groups
272        33536 32533 staff catz
273
274 ### <a name="2.09  Can I still run cron jobs"></a><a name="2.09  Can I still run cron jobs "></a> 2.09 Can I still run cron jobs with AFS?
275
276 Yes, but remember that in order to fully access files in AFS you have to be AFS authenticated. If your cron job doesn't klog then it only gets system:anyuser access.
277
278 The klog command has a "-pipe" option which will read a password from stdin. IF (yes, that's a big if :-) you are prepared to store your password in a local (non-AFS) file then you might use the following:
279
280 (a) create a "wrapper" script to get a PAG, get your AFS token and execute a command:
281
282     #!/usr/afsws/bin/pagsh
283     #
284     # NAME          afs_wrap_cron
285     # AUTHOR        Paul Blackburn <mpb@acm.org>
286     # PURPOSE       Run an AFS authenticated cron job.
287     #               Get a PAG, get the user's token,
288     #               then exec user's command
289
290     CMD=`basename ${0}`
291
292     usage() {
293        echo "Usage: ${CMD} [ -principal AFSID ] passwordfile command" >&2
294     }
295
296     if [ ${1} = "-principal" ]; then
297             PRINCIPAL="${1} ${2}"
298             shift 2
299     fi
300
301     if [ -z "${1}" ]; then
302             echo "${CMD} error: need name of password file" >&2
303             usage
304             exit 1
305     else
306             passwordfile=${1}
307             shift
308     fi
309
310     /usr/afsws/bin/klog ${PRINCIPAL} -pipe < ${passwordfile}
311
312     if [ -z "${1}" ]; then
313             echo "${CMD} error: need name of command to run" >&2
314             usage
315             exit 1
316     else
317             command_line="$*"
318             command=`echo ${command_line} | awk '{print $1}'`
319
320     # Check if we can run the command.
321     # If we got this far, it is likely that the command name is correct
322     # but there may be a problem in accessing the command file.
323     # If there is an error, log it via syslog (logger) rather than ">&2"
324
325             if [ ! -x "${command}" ]; then
326                     M="error: unable to execute command ${command}"
327                     logger -i -t "${CMD}" "${M}"
328                     exit 1
329             fi
330     fi
331     exec ${command_line}
332
333 (b) Store your password in a local (non-AFS) file that only you have access to (perhaps: /home/$USER/.p).
334
335 Make sure that this file is mode 600 and also be sure that you trust whoever has root access on this system and whoever has access to backup tapes! Also, don't forget to change this file if you change your AFS password.
336
337 (c) In your crontab file, run afs\_wrap\_cron followed by unlog:
338
339           0 6 * * * /usr/local/bin/afs_wrap_cron /home/$USER/.p \
340                        $HOME/bin/6AMdaily; /usr/afsws/bin/unlog
341
342 Note that you can still run a cron job without getting a token if the task does not need to be AFS authenticated. In this case, you may get stderr from the cron job if your .profile is not accessible because of the ACL protecting your $HOME. Simply redirect to /dev/null:
343
344           0 7 * * * $sys_anyuser_readable_dir/7AMdaily 2>/dev/null
345
346 ### <a name="2.10  How much disk space does a"></a> 2.10 How much disk space does a 1 byte file occupy in AFS?
347
348 One kilobyte.
349
350 Other filesystems allocate different file block sizes. For example, IBM's AIX version 3 journaled file system (JFS) uses 4K blocks (exception: 2K for the 160MB disk drive).
351
352 Such blocksize differences lead to variations on the amount of disk space required to store files. Copying a directory from AFS to AIX JFS would require more space in JFS because of the block fragmentation.
353
354 Example:
355
356 (a) Create a one byte file in AFS and use "ls -s" to show how many kilobytes it occupies:
357
358           ariel@atlantica $ echo z >/afs/dsea/tmp/one_byte_file
359           ariel@atlantica $ ls -s /afs/dsea/tmp/one_byte_file
360              1 /afs/dsea/tmp/one_byte_file
361
362 (b) Create same file in local filesystem (AIX JFS):
363
364           ariel@atlantica $ echo z >/tmp/one_byte_file
365           ariel@atlantica $ ls -s /tmp/one_byte_file
366              4 /tmp/one_byte_file
367
368 ### <a name="2.11  Is it possible to specify"></a><a name="2.11  Is it possible to specify "></a> 2.11 Is it possible to specify a user who is external to the current AFS cell on an ACL?
369
370 No. You cannot reference a particular user from another AFS cell.
371
372 You can specify an IP address on the ACL; this means any and all users from the host with that IP address.
373
374 Another solution to this problem is to give the external user an "authentication-only" account in your AFS cell. This means that (s)he can klog (but has no home directory) in your cell.
375
376     # Example: AFS administrator creates an authentication-only user
377     $ uss add daffy "Daffy Duck" -t /dev/null
378     $ kas setpassword daffy -admin admin
379
380 Cross-realm authentication (where co-operating cells are able to specify remore users as "user@remote.cell" on an ACL) is an **unsupported** feature of AFS 3.3a. That means that Transarc doesn't promise to make it work for you, nor keep it running in future releases.
381
382 ### <a name="2.12  Are there any problems pri"></a> 2.12 Are there any problems printing files in /afs?
383
384 The issue of printing in AFS is almost always the same: what do you send to the printing daemon? Do you send it the bytes you want to print or do you just send the file name containing those bytes? If you send it a file name, you have to be sure that the printing daemon can read it. Most daemons run with no AFS tokens, so can't access directories unless they are open for system:anyuser read access. Often, printing commands (lpr, lp, enq) have an option that allows for both modes of operation, though the default behavior varies from system to system. If you're interested in making your daemons authenticate to AFS, check out the example scripts in AFS-Contrib:
385
386 - <file:///afs/transarc.com/public/afs-contrib/tools/reauth-example>
387 - <ftp://ftp.transarc.com/pub/afs-contrib/tools/reauth-example/MANIFEST>
388
389 Another common problem is setuid printing commands. For instance, the "enq" command runs as root, daemon, or some such user. If you aren't using the AFS login and simply issue "klog" to get tokens, those tokens are associated with your uid. When setuid programs run, they lose access to your token and often can't read the file name given as an argument. The solution in this case is to use "pagsh" before "klog" so that your tokens are transferred to subprocesses automatically by group membership. This works even if the uid changes, as for setuid programs.
390
391 ### <a name="2.13  Can I create a fifo (aka n"></a> 2.13 Can I create a fifo (aka named pipe) in /afs?
392
393 No. AFS does not support "mknod fifofile p".
394
395 ### <a name="2.14  If an AFS server crashes,"></a><a name="2.14  If an AFS server crashes, "></a> 2.14 If an AFS server crashes, do I have to reboot my AFS client?
396
397 No.
398
399 Typically, if an AFS server becomes unavailable, the AFS Cache Manager on your AFS client will see you through the outage until the server returns. This robustness is dependent on the way your AFS cell has been configured including the following factors:
400
401 - On the client side:
402   - How big is the cache?
403   - Are the files you need already in the cache?
404
405 - On the server side:
406   - How many servers? It's best to have a minimum of three.
407   - Is the data you are accessing replicated? In AFS, replicas are [[ReadOnly]] copies.
408
409 With replicated volumes, the AFS Cache Manager knows about all of the servers on which the replicas are located. Therefore, when the Cache Manager accesses a replicated volume, if the RPC times out, the Cache Manager automatically retrys the RPC, using a different file server.
410
411 If necessary, the Cache Manager will attempt to contact all file servers on which a replica of the volume resides.
412
413 If you are accessing [[ReadWrite]] volumes on a crashed server then you will not be able to save changes back to the server until it returns.
414
415 You don't need to reboot, and the Cache Manager activity is "invisible" to the user.
416
417 ### <a name="2.15  Can I use AFS on my diskle"></a> 2.15 Can I use AFS on my diskless workstation?
418
419 Yes. The AFS Cache Manager can be configured to work with either a disk based cache or a memory (RAM) based cache. With the latter, you can expect file access from the cache with a whizz!
420
421 <http://www.uni-hohenheim.de/~schaefer/afs/info-afs/1306.html>
422
423 ### <a name="2.16  Can I test for AFS tokens"></a><a name="2.16  Can I test for AFS tokens "></a> 2.16 Can I test for AFS tokens from within my program?
424
425 Yes. Some sample code showing how to do this can be found in:
426
427 <file:///afs/transarc.com/public/afs-contrib/tools/auth-samples/listtokens.c> <ftp://ftp.transarc.com/pub/afs-contrib/tools/auth-samples/listtokens.c>
428
429 ### <a name="2.17  What&#39;s the difference betw"></a> 2.17 What's the difference between /afs/cellname and /afs/.cellname?
430
431 AFS has [[ReadOnly]] (RO) and [[ReadWrite]] (RW) volumes.
432
433 The convention in AFS is to mount the RW volume "root.cell" as /afs/.cellname and the RO volume "root.cell.readonly" as /afs/cellname.
434
435 This is so that when you travel down the /afs/.cellname link, AFS will always use the RW site of any volumes that have RO clones.
436
437 This allows your administrator to update the RW copy of a volume and "vos release $volname" so that it will appear in /afs/cellname.
438
439 ### <a name="2.18  Can I klog as two users on"></a> 2.18 Can I klog as two users on a machine in the same cell?
440
441 Yes, if you use two different PAGs.
442
443 It's: "One token per PAG per client system."
444
445 From one shell you can only authenticate as a single user of a cell. If you open another shell (with another PAG) you can klog as a different user of the same cell from the same client.
446
447 You can authenticate into many cells from one client shell.
448
449 ### <a name="2.19  What are the ~/._afsXXXX f"></a> 2.19 What are the ~/.\_\_afsXXXX files?
450
451 They are temporary reference files used by the AFS Cache Manager.
452
453 In UNIX filesystems, when you a remove a file that is kept open by a process, the file stays around physically while it is no longer referenced in any directory (which you will see as a mismatch between disk space usage according to df and du).
454
455 Some applications rely on that feature, e.g. they create a temporary file and remove it immediatley while keeping the file descriptor open. The file then disappears from the filesystem automagically when the process terminates or the file descriptor gets closed otherwise. Such applications could get into trouble with older versions of AFS, where the file could really disappear while it was held open.
456
457 Newer versions of AFS rename such files to .\_\_afsXXXX, thus making sure that the data stays around as expected by the application. As soon as the file gets closed, the associated .\_\_afsXXXX should disappear.