fix-indent-bug-with-lock-macros-part-three-20040818
[openafs.git] / src / des / des.c
1 /*
2  * Copyright 1985, 1986, 1987, 1988 by the Massachusetts Institute
3  * of Technology.
4  *
5  * For copying and distribution information, please see the file
6  * <mit-cpyright.h>.
7  *
8  * These routines perform encryption and decryption using the DES
9  * private key algorithm, or else a subset of it-- fewer inner loops.
10  * (AUTH_DES_ITER defaults to 16, may be less.)
11  *
12  * Under U.S. law, this software may not be exported outside the US
13  * without license from the U.S. Commerce department.
14  *
15  * The key schedule is passed as an arg, as well as the cleartext or
16  * ciphertext.
17  *
18  * All registers labeled imply Vax using the Ultrix or 4.2bsd
19  * compiler.
20  *
21  *
22  *      NOTE:  bit and byte numbering:
23  *                      DES algorithm is defined in terms of bits of L
24  *                      followed by bits of R.
25
26  *              bit 0  ==> lsb of L
27  *              bit 63 ==> msb of R
28  *
29  * Always work in register pairs, FROM L1,R1 TO L2,R2 to make
30  * bookkeeping easier.
31  *
32  * originally written by Steve Miller, MIT Project Athena
33  */
34 #include <mit-cpyright.h>
35
36 #include <afsconfig.h>
37 #include <afs/param.h>
38
39 RCSID
40     ("$Header$");
41
42 #ifndef KERNEL
43 #include <stdio.h>
44 #endif
45 #ifdef AFS_PTHREAD_ENV
46 #include <pthread.h>
47 #endif /* AFS_PTHREAD_ENV */
48 #include <des.h>
49 #include "des_internal.h"
50 #include "s_table.h"
51 #ifdef BIG
52 #include "p_table.h"
53 #endif
54 #include "stats.h"
55
56 #include "des_prototypes.h"
57
58 #define XPRT_DES
59
60 #ifdef DEBUG
61 #define DBG_PRINT(s) if (des_debug & 2) \
62     des_debug_print(s,i,L1&0xffff,(L1>>16)&0xffff, \
63                 R1&0xffff,(R1>>16)&0xffff)
64 #else
65 #define DBG_PRINT(s)
66 #endif
67
68 #ifdef AFS_PTHREAD_ENV
69 pthread_mutex_t rxkad_stats_mutex;
70 #endif /* AFS_PTHREAD_ENV */
71
72 /* encrypt == 0  ==> decrypt, else encrypt */
73
74 afs_int32
75 des_ecb_encrypt(afs_uint32 * clear, afs_uint32 * cipher,
76                 register des_key_schedule schedule, int encrypt)
77 {
78     /* better pass 8 bytes, length not checked here */
79
80     register afs_uint32 R1 = 0, L1 = 0; /* R1 = r10, L1 = r9 */
81     register afs_uint32 R2 = 0, L2 = 0; /* R2 = r8, L2 = r7 */
82     afs_int32 i;
83     /* one more registers left on VAX, see below P_temp_p */
84 #ifdef BITS16
85     sbox_in_16_a S_in_16_a;
86     sbox_in_16_b S_in_16_b;
87     sbox_in_16_c S_in_16_c;
88     unsigned int *S_in_a_16_p = (unsigned int *)&S_in_16_a;
89     unsigned int *S_in_b_16_p = (unsigned int *)&S_in_16_b;
90     unsigned int *S_in_c_16_p = (unsigned int *)&S_in_16_c;
91 #endif
92 #ifndef BITS32
93 #ifndef BITS16
94 #error dunno how to do this machine type, you lose;
95 #endif
96 #endif
97     afs_uint32 P_temp;
98     register unsigned char *P_temp_p = (unsigned char *)&P_temp;
99 #ifdef BITS16
100     sbox_out S_out;
101     afs_uint32 *S_out_p = (afs_uint32 *) & S_out;
102 #endif
103     afs_uint32 R_save, L_save;
104 #ifdef DEBUG
105     afs_uint32 dbg_tmp[2];
106 #endif
107     LOCK_RXKAD_STATS;
108     if (encrypt)
109         rxkad_stats.des_encrypts[DES_ENCRYPT]++;
110     else
111         rxkad_stats.des_encrypts[DES_DECRYPT]++;
112     UNLOCK_RXKAD_STATS;
113     /*
114      * Use L1,R1 and L2,R2 as two sets of "64-bit" registers always
115      * work from L1,R1 input to L2,R2 output; initialize the cleartext
116      * into registers.
117      */
118 #ifdef MUSTALIGN
119 #ifdef DEBUG
120     /*
121      * If the alignment is wrong, the programmer really screwed up --
122      * we aren't even getting the right data type.  His problem.  Keep
123      * this code for debugging.
124      */
125     /* Make sure schedule is ok */
126     if ((afs_int32) schedule & 3) {
127         fprintf(stderr, "des.c schedule arg pointer not aligned\n");
128         abort();
129     }
130 #endif
131     if ((afs_int32) clear & 3) {
132         memcpy((char *)&L_save, (char *)clear++, sizeof(L_save));
133         memcpy((char *)&R_save, (char *)clear, sizeof(R_save));
134         L1 = L_save;
135         R1 = R_save;
136     } else
137 #endif
138     {
139         if (clear)
140             L1 = *clear++;
141         else
142             L1 = 0;
143         if (clear)
144             R1 = *clear;
145         else
146             R1 = 0;
147     }
148
149 #ifdef DEBUG
150     if (des_debug & 2) {
151         printf("All values printed from low byte (bit 0)");
152         printf(" --> high byte (bit 63)\n");
153         i = 0;
154         dbg_tmp[0] = L1;
155         dbg_tmp[1] = R1;
156         printf("iter = %2d  before IP\n\t\tL1 R1 = ", i);
157         des_cblock_print_file(dbg_tmp, stdout);
158     }
159
160     DBG_PRINT("before IP");
161 #endif
162
163 /*   IP_start:*/
164
165     /* all the Initial Permutation code is in the include file */
166 #include "ip.c"
167     /* reset input to L1,R1 */
168     L1 = L2;
169     R1 = R2;
170
171     /* iterate through the inner loop */
172     for (i = 0; i <= (AUTH_DES_ITER - 1); i++) {
173
174 #ifdef DEBUG
175         if (des_debug & 2) {
176             dbg_tmp[0] = L1;
177             dbg_tmp[1] = R1;
178             printf("iter = %2d  start loop\n\t\tL1 R1 = ", i);
179             des_cblock_print_file(dbg_tmp, stdout);
180             DBG_PRINT("start loop");
181         }
182 #endif
183
184         R_save = R1;
185         L_save = L1;
186
187 /*   E_start:*/
188         /* apply the E permutation from R1 to L2, R2 */
189 #ifndef VAXASM
190 #ifdef SLOW_E
191 #include "e.c"
192 #else /* Bill's fast E */
193         L2 = (R1 << 1);
194         if (R1 & (1 << 31))
195             L2 |= 1 << 0;
196         L2 &= 077;
197         L2 |= (R1 << 3) & 07700;
198         L2 |= (R1 << 5) & 0770000;
199         L2 |= (R1 << 7) & 077000000;
200         L2 |= (R1 << 9) & 07700000000;
201         L2 |= (R1 << 11) & 030000000000;
202
203         /* now from right to right */
204
205         R2 = ((R1 >> 17) & 0176000);
206         if (R1 & (1 << 0))
207             R2 |= 1 << 15;
208
209         R2 |= ((R1 >> 21) & 017);
210         R2 |= ((R1 >> 19) & 01760);
211 #endif /* SLOW_E */
212 #else /* VAXASM */
213         /* E operations */
214         /* right to left */
215         asm("   rotl    $1,r10,r7");
216         L2 &= 077;
217         L2 |= (R1 << 3) & 07700;
218         L2 |= (R1 << 5) & 0770000;
219         L2 |= (R1 << 7) & 077000000;
220         L2 |= (R1 << 9) & 07700000000;
221         L2 |= (R1 << 11) & 030000000000;
222
223         asm("   rotl    $-17,r10,r8");
224         R2 &= 0176000;
225         asm("   rotl    $-21,r10,r0");
226         asm("   bicl2   $-16,r0");
227         asm("  bisl2    r0,r8");
228         asm("   rotl    $-19,r10,r0");
229         asm("   bicl2   $-1009,r0");
230         asm("  bisl2    r0,r8");
231
232 #endif
233
234         /* reset input to L1,R1 */
235         L1 = L2;
236         R1 = R2;
237
238 #ifdef DEBUG
239         if (des_debug & 2) {
240             dbg_tmp[0] = L1;
241             dbg_tmp[1] = R1;
242             DBG_PRINT("after e");
243             printf("iter = %2d  after e\n\t\tL1 R1 = ", i);
244             des_cblock_print_file(dbg_tmp, stdout);
245         }
246 #endif
247
248 /*   XOR_start:*/
249         /*
250          * XOR with the key schedule, "schedule"
251          *
252          * If this is an encryption operation, use schedule[i],
253          * otherwise use schedule [AUTH_DES_ITER-i-1]
254          *
255          * First XOR left half.
256          */
257         if (encrypt) {
258             L1 ^= *(((afs_uint32 *) & schedule[i]) + 0);
259             /* now right half */
260             R1 ^= *(((afs_uint32 *) & schedule[i]) + 1);
261         } else {
262             L1 ^= *(((afs_uint32 *) & schedule[AUTH_DES_ITER - i - 1]) + 0);
263             /* now right half */
264             R1 ^= *(((afs_uint32 *) & schedule[AUTH_DES_ITER - i - 1]) + 1);
265         }
266
267         /* dont have to reset input to L1, R1 */
268
269 #ifdef DEBUG
270         if (des_debug & 2) {
271             dbg_tmp[0] = L1;
272             dbg_tmp[1] = R1;
273             DBG_PRINT("after xor");
274             printf("iter = %2d  after xor\n\t\tL1 R1 =", i);
275             des_cblock_print_file(dbg_tmp, stdout);
276         }
277 #endif
278
279 /*   S_start:*/
280         /* apply the S selection from L1, R1 to R2 */
281
282 #ifdef notdef
283 #include "s.c"
284 #endif
285
286         /* S operations , cant use registers for bit field stuff */
287         /* from S_in to S_out */
288
289 #ifdef BITS16
290         *S_in_a_16_p = L1 & 0xffff;
291         *S_in_b_16_p = (L1 >> 16) & 0xffff;
292         *S_in_c_16_p = R1 & 0xffff;
293         (*(afs_uint32 *) & S_out) = (unsigned)S_adj[0][S_in_16_a.b0];
294         S_out.b1 = (unsigned)S_adj[1][S_in_16_a.b1];
295         /* b2 spans two words */
296         S_out.b2 = (unsigned)
297             S_adj[2][(unsigned)S_in_16_a.b2 +
298                      (((unsigned)S_in_16_b.b2) << 4)];
299         S_out.b3 = (unsigned)S_adj[3][S_in_16_b.b3];
300         S_out.b4 = (unsigned)S_adj[4][S_in_16_b.b4];
301         /* b5 spans both parts */
302         S_out.b5 = (unsigned)
303             S_adj[5][(unsigned)S_in_16_b.b5 +
304                      (((unsigned)S_in_16_c.b5) << 2)];
305         S_out.b6 = (unsigned)S_adj[6][S_in_16_c.b6];
306         S_out.b7 = (unsigned)S_adj[7][S_in_16_c.b7];
307         R1 = *S_out_p;
308 #else
309         /* is a 32 bit sys */
310 #ifndef VAXASM
311         R2 = (unsigned)S_adj[0][L1 & 077];
312         L2 = (unsigned)S_adj[1][(L1 >> 6) & 077];
313         R2 |= (L2 << 4);
314         L2 = (unsigned)S_adj[2][(L1 >> 12) & 077];
315         R2 |= (L2 << 8);
316         L2 = (unsigned)S_adj[3][(L1 >> 18) & 077];
317         R2 |= (L2 << 12);
318         L2 = (unsigned)S_adj[4][(L1 >> 24) & 077];
319         R2 |= (L2 << 16);
320         /* b5 spans both parts */
321         L2 = (unsigned)
322             S_adj[5][(unsigned)((L1 >> 30) & 03) + ((R1 & 017) << 2)];
323         R2 |= (L2 << 20);
324         L2 = (unsigned)S_adj[6][(R1 >> 4) & 077];
325         R2 |= (L2 << 24);
326         L2 = (unsigned)S_adj[7][(R1 >> 10) & 077];
327         R1 = R2 | (L2 << 28);
328         /* reset input to L1, R1 */
329 #else /* vaxasm */
330         /*
331          * this is the c code produced above, with
332          * extzv replaced by rotl
333          */
334         asm("bicl3      $-64,r9,r0");
335         asm("movzbl     _S_adj[r0],r8");
336         asm("rotl       $-6,r9,r0");
337         asm("bicl2      $-64,r0");
338         asm("movzbl     _S_adj+64[r0],r7");
339         asm("ashl       $4,r7,r0");
340         asm("bisl2      r0,r8");
341         asm("rotl       $-12,r9,r0");
342         asm("bicl2      $-64,r0");
343         asm("movzbl     _S_adj+128[r0],r7");
344         asm("ashl       $8,r7,r0");
345         asm("bisl2      r0,r8");
346         asm("rotl       $-18,r9,r0");
347         asm("bicl2      $-64,r0");
348         asm("movzbl     _S_adj+192[r0],r7");
349         asm("ashl       $12,r7,r0");
350         asm("bisl2      r0,r8");
351         asm("rotl       $-24,r9,r0");
352         asm("bicl2      $-64,r0");
353         asm("movzbl     _S_adj+256[r0],r7");
354         asm("ashl       $16,r7,r0");
355         asm("bisl2      r0,r8");
356         asm("rotl       $-30,r9,r0");
357         asm("bicl2      $-4,r0");
358         asm("bicl3      $-16,r10,r1");
359         asm("ashl       $2,r1,r1");
360         asm("addl2      r1,r0");
361         asm("movzbl     _S_adj+320[r0],r7");
362         asm("ashl       $20,r7,r0");
363         asm("bisl2      r0,r8");
364         asm("rotl       $-4,r10,r0");
365         asm("bicl2      $-64,r0");
366         asm("movzbl     _S_adj+384[r0],r7");
367         asm("ashl       $24,r7,r0");
368         asm("bisl2      r0,r8");
369         asm("rotl       $-10,r10,r0");
370         asm("bicl2      $-64,r0");
371         asm("movzbl     _S_adj+448[r0],r7");
372         asm("ashl       $28,r7,r0");
373         asm("bisl2      r8,r0");
374         asm("movl       r0,r10");
375
376 #endif /* vaxasm */
377 #endif
378
379 #ifdef DEBUG
380         if (des_debug & 2) {
381             dbg_tmp[0] = L1;
382             dbg_tmp[1] = R1;
383             DBG_PRINT("after s");
384             printf("iter = %2d  after s\n\t\tL1 R1 = ", i);
385             des_cblock_print_file(dbg_tmp, stdout);
386         }
387 #endif
388
389 /*   P_start:*/
390         /* and then the p permutation from R1 into R2 */
391 #include "p.c"
392         /* reset the input to L1, R1 */
393         R1 = R2;
394
395 #ifdef DEBUG
396         if (des_debug & 2) {
397             dbg_tmp[0] = L1;
398             dbg_tmp[1] = R1;
399             DBG_PRINT("after p");
400             printf("iter = %2d  after p\n\t\tL1 R1 = ", i);
401             des_cblock_print_file(dbg_tmp, stdout);
402         }
403 #endif
404
405         /* R1 is the output value from the f() */
406         /* move R[iter] to L[iter+1] */
407 /*   XOR_2_start:*/
408         L1 = R_save;
409         /* xor with left */
410         R1 = L_save ^ R1;
411         /* reset the input */
412     }
413
414     /* flip left and right before final permutation */
415     L2 = R1;                    /* flip */
416     R2 = L1;
417     /* reset the input */
418     L1 = L2;
419     R1 = R2;
420
421 #ifdef DEBUG
422     if (des_debug & 2) {
423         dbg_tmp[0] = L1;
424         dbg_tmp[1] = R1;
425         DBG_PRINT("before FP");
426         printf("iter = %2d  before FP\n\t\tL1 R1 = ", i);
427         des_cblock_print_file(dbg_tmp, stdout);
428     }
429 #endif
430
431 /*FP_start:*/
432     /* do the final permutation from L1R1 to L2R2 */
433     /* all the fp code is in the include file */
434 #include "fp.c"
435
436     /* copy the output to the ciphertext string;
437      * can be same as cleartext
438      */
439
440 #ifdef MUSTALIGN
441     if ((afs_int32) cipher & 3) {
442         L_save = L2;            /* cant bcopy a reg */
443         R_save = R2;
444         memcpy((char *)cipher++, (char *)&L_save, sizeof(L_save));
445         memcpy((char *)cipher, (char *)&R_save, sizeof(R_save));
446     } else
447 #endif
448     {
449         *cipher++ = L2;
450         *cipher = R2;
451     }
452
453 #ifdef DEBUG
454     if (des_debug & 2) {
455         L1 = L2;
456         R1 = R2;
457         dbg_tmp[0] = L1;
458         dbg_tmp[1] = R1;
459         DBG_PRINT("done");
460         printf("iter = %2d  done\n\t\tL1 R1 = ", i);
461         des_cblock_print_file(dbg_tmp, stdout);
462     }
463 #endif
464
465     /* that's it, no errors can be returned */
466     return 0;
467 }