chiark / gitweb /
Provide various wrappers for memcpy (COPY_OBJ, BUF_...)
[secnet.git] / sha512.c
1 /* sha512.c - Functions to compute SHA512 and SHA384 message digest of files or
2    memory blocks according to the NIST specification FIPS-180-2.
3
4    Copyright (C) 2005, 2006, 2008, 2009, 2010 Free Software Foundation, Inc.
5
6    This program is free software: you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation, either version 3 of the License, or
9    (at your option) any later version.
10
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15
16    You should have received a copy of the GNU General Public License
17    along with this program.  If not, see <http://www.gnu.org/licenses/>.  */
18
19 /* Written by David Madore, considerably copypasting from
20    Scott G. Miller's sha1.c
21 */
22
23 #include <config.h>
24
25 #include "sha512.h"
26
27 #include <stddef.h>
28 #include <stdlib.h>
29 #include <string.h>
30
31 #if USE_UNLOCKED_IO
32 # include "unlocked-io.h"
33 #endif
34
35 #ifdef WORDS_BIGENDIAN
36 # define SWAP(n) (n)
37 #else
38 # define SWAP(n) \
39     u64or (u64or (u64or (u64shl (n, 56),                                \
40                          u64shl (u64and (n, u64lo (0x0000ff00)), 40)),  \
41                   u64or (u64shl (u64and (n, u64lo (0x00ff0000)), 24),   \
42                          u64shl (u64and (n, u64lo (0xff000000)),  8))), \
43            u64or (u64or (u64and (u64shr (n,  8), u64lo (0xff000000)),   \
44                          u64and (u64shr (n, 24), u64lo (0x00ff0000))),  \
45                   u64or (u64and (u64shr (n, 40), u64lo (0x0000ff00)),   \
46                          u64shr (n, 56))))
47 #endif
48
49 #define BLOCKSIZE 32768
50 #if BLOCKSIZE % 128 != 0
51 # error "invalid BLOCKSIZE"
52 #endif
53
54 /* This array contains the bytes used to pad the buffer to the next
55    128-byte boundary.  */
56 static const unsigned char fillbuf[128] = { 0x80, 0 /* , 0, 0, ...  */ };
57
58
59 /*
60   Takes a pointer to a 512 bit block of data (eight 64 bit ints) and
61   intializes it to the start constants of the SHA512 algorithm.  This
62   must be called before using hash in the call to sha512_hash
63 */
64 void
65 sha512_init_ctx (struct sha512_ctx *ctx)
66 {
67   ctx->state[0] = u64hilo (0x6a09e667, 0xf3bcc908);
68   ctx->state[1] = u64hilo (0xbb67ae85, 0x84caa73b);
69   ctx->state[2] = u64hilo (0x3c6ef372, 0xfe94f82b);
70   ctx->state[3] = u64hilo (0xa54ff53a, 0x5f1d36f1);
71   ctx->state[4] = u64hilo (0x510e527f, 0xade682d1);
72   ctx->state[5] = u64hilo (0x9b05688c, 0x2b3e6c1f);
73   ctx->state[6] = u64hilo (0x1f83d9ab, 0xfb41bd6b);
74   ctx->state[7] = u64hilo (0x5be0cd19, 0x137e2179);
75
76   ctx->total[0] = ctx->total[1] = u64lo (0);
77   ctx->buflen = 0;
78 }
79
80 void
81 sha384_init_ctx (struct sha512_ctx *ctx)
82 {
83   ctx->state[0] = u64hilo (0xcbbb9d5d, 0xc1059ed8);
84   ctx->state[1] = u64hilo (0x629a292a, 0x367cd507);
85   ctx->state[2] = u64hilo (0x9159015a, 0x3070dd17);
86   ctx->state[3] = u64hilo (0x152fecd8, 0xf70e5939);
87   ctx->state[4] = u64hilo (0x67332667, 0xffc00b31);
88   ctx->state[5] = u64hilo (0x8eb44a87, 0x68581511);
89   ctx->state[6] = u64hilo (0xdb0c2e0d, 0x64f98fa7);
90   ctx->state[7] = u64hilo (0x47b5481d, 0xbefa4fa4);
91
92   ctx->total[0] = ctx->total[1] = u64lo (0);
93   ctx->buflen = 0;
94 }
95
96 /* Copy the value from V into the memory location pointed to by *CP,
97    If your architecture allows unaligned access, this is equivalent to
98    * (__typeof__ (v) *) cp = v  */
99 static inline void
100 set_uint64 (char *cp, u64 v)
101 {
102   memcpy (cp, &v, sizeof v);
103 }
104
105 /* Put result from CTX in first 64 bytes following RESBUF.
106    The result must be in little endian byte order.  */
107 void *
108 sha512_read_ctx (const struct sha512_ctx *ctx, void *resbuf)
109 {
110   int i;
111   char *r = resbuf;
112
113   for (i = 0; i < 8; i++)
114     set_uint64 (r + i * sizeof ctx->state[0], SWAP (ctx->state[i]));
115
116   return resbuf;
117 }
118
119 void *
120 sha384_read_ctx (const struct sha512_ctx *ctx, void *resbuf)
121 {
122   int i;
123   char *r = resbuf;
124
125   for (i = 0; i < 6; i++)
126     set_uint64 (r + i * sizeof ctx->state[0], SWAP (ctx->state[i]));
127
128   return resbuf;
129 }
130
131 /* Process the remaining bytes in the internal buffer and the usual
132    prolog according to the standard and write the result to RESBUF.  */
133 static void
134 sha512_conclude_ctx (struct sha512_ctx *ctx)
135 {
136   /* Take yet unprocessed bytes into account.  */
137   size_t bytes = ctx->buflen;
138   size_t size = (bytes < 112) ? 128 / 8 : 128 * 2 / 8;
139
140   /* Now count remaining bytes.  */
141   ctx->total[0] = u64plus (ctx->total[0], u64lo (bytes));
142   if (u64lt (ctx->total[0], u64lo (bytes)))
143     ctx->total[1] = u64plus (ctx->total[1], u64lo (1));
144
145   /* Put the 128-bit file length in *bits* at the end of the buffer.
146      Use set_uint64 rather than a simple assignment, to avoid risk of
147      unaligned access.  */
148   set_uint64 ((char *) &ctx->buffer[size - 2],
149               SWAP (u64or (u64shl (ctx->total[1], 3),
150                            u64shr (ctx->total[0], 61))));
151   set_uint64 ((char *) &ctx->buffer[size - 1],
152               SWAP (u64shl (ctx->total[0], 3)));
153
154   memcpy (&((char *) ctx->buffer)[bytes], fillbuf, (size - 2) * 8 - bytes);
155
156   /* Process last bytes.  */
157   sha512_process_block (ctx->buffer, size * 8, ctx);
158 }
159
160 void *
161 sha512_finish_ctx (struct sha512_ctx *ctx, void *resbuf)
162 {
163   sha512_conclude_ctx (ctx);
164   return sha512_read_ctx (ctx, resbuf);
165 }
166
167 void *
168 sha384_finish_ctx (struct sha512_ctx *ctx, void *resbuf)
169 {
170   sha512_conclude_ctx (ctx);
171   return sha384_read_ctx (ctx, resbuf);
172 }
173
174 /* Compute SHA512 message digest for bytes read from STREAM.  The
175    resulting message digest number will be written into the 64 bytes
176    beginning at RESBLOCK.  */
177 int
178 sha512_stream (FILE *stream, void *resblock)
179 {
180   struct sha512_ctx ctx;
181   size_t sum;
182
183   char *buffer = malloc (BLOCKSIZE + 72);
184   if (!buffer)
185     return 1;
186
187   /* Initialize the computation context.  */
188   sha512_init_ctx (&ctx);
189
190   /* Iterate over full file contents.  */
191   while (1)
192     {
193       /* We read the file in blocks of BLOCKSIZE bytes.  One call of the
194          computation function processes the whole buffer so that with the
195          next round of the loop another block can be read.  */
196       size_t n;
197       sum = 0;
198
199       /* Read block.  Take care for partial reads.  */
200       while (1)
201         {
202           n = fread (buffer + sum, 1, BLOCKSIZE - sum, stream);
203
204           sum += n;
205
206           if (sum == BLOCKSIZE)
207             break;
208
209           if (n == 0)
210             {
211               /* Check for the error flag IFF N == 0, so that we don't
212                  exit the loop after a partial read due to e.g., EAGAIN
213                  or EWOULDBLOCK.  */
214               if (ferror (stream))
215                 {
216                   free (buffer);
217                   return 1;
218                 }
219               goto process_partial_block;
220             }
221
222           /* We've read at least one byte, so ignore errors.  But always
223              check for EOF, since feof may be true even though N > 0.
224              Otherwise, we could end up calling fread after EOF.  */
225           if (feof (stream))
226             goto process_partial_block;
227         }
228
229       /* Process buffer with BLOCKSIZE bytes.  Note that
230                         BLOCKSIZE % 128 == 0
231        */
232       sha512_process_block (buffer, BLOCKSIZE, &ctx);
233     }
234
235  process_partial_block:;
236
237   /* Process any remaining bytes.  */
238   if (sum > 0)
239     sha512_process_bytes (buffer, sum, &ctx);
240
241   /* Construct result in desired memory.  */
242   sha512_finish_ctx (&ctx, resblock);
243   free (buffer);
244   return 0;
245 }
246
247 /* FIXME: Avoid code duplication */
248 int
249 sha384_stream (FILE *stream, void *resblock)
250 {
251   struct sha512_ctx ctx;
252   size_t sum;
253
254   char *buffer = malloc (BLOCKSIZE + 72);
255   if (!buffer)
256     return 1;
257
258   /* Initialize the computation context.  */
259   sha384_init_ctx (&ctx);
260
261   /* Iterate over full file contents.  */
262   while (1)
263     {
264       /* We read the file in blocks of BLOCKSIZE bytes.  One call of the
265          computation function processes the whole buffer so that with the
266          next round of the loop another block can be read.  */
267       size_t n;
268       sum = 0;
269
270       /* Read block.  Take care for partial reads.  */
271       while (1)
272         {
273           n = fread (buffer + sum, 1, BLOCKSIZE - sum, stream);
274
275           sum += n;
276
277           if (sum == BLOCKSIZE)
278             break;
279
280           if (n == 0)
281             {
282               /* Check for the error flag IFF N == 0, so that we don't
283                  exit the loop after a partial read due to e.g., EAGAIN
284                  or EWOULDBLOCK.  */
285               if (ferror (stream))
286                 {
287                   free (buffer);
288                   return 1;
289                 }
290               goto process_partial_block;
291             }
292
293           /* We've read at least one byte, so ignore errors.  But always
294              check for EOF, since feof may be true even though N > 0.
295              Otherwise, we could end up calling fread after EOF.  */
296           if (feof (stream))
297             goto process_partial_block;
298         }
299
300       /* Process buffer with BLOCKSIZE bytes.  Note that
301                         BLOCKSIZE % 128 == 0
302        */
303       sha512_process_block (buffer, BLOCKSIZE, &ctx);
304     }
305
306  process_partial_block:;
307
308   /* Process any remaining bytes.  */
309   if (sum > 0)
310     sha512_process_bytes (buffer, sum, &ctx);
311
312   /* Construct result in desired memory.  */
313   sha384_finish_ctx (&ctx, resblock);
314   free (buffer);
315   return 0;
316 }
317
318 /* Compute SHA512 message digest for LEN bytes beginning at BUFFER.  The
319    result is always in little endian byte order, so that a byte-wise
320    output yields to the wanted ASCII representation of the message
321    digest.  */
322 void *
323 sha512_buffer (const char *buffer, size_t len, void *resblock)
324 {
325   struct sha512_ctx ctx;
326
327   /* Initialize the computation context.  */
328   sha512_init_ctx (&ctx);
329
330   /* Process whole buffer but last len % 128 bytes.  */
331   sha512_process_bytes (buffer, len, &ctx);
332
333   /* Put result in desired memory area.  */
334   return sha512_finish_ctx (&ctx, resblock);
335 }
336
337 void *
338 sha384_buffer (const char *buffer, size_t len, void *resblock)
339 {
340   struct sha512_ctx ctx;
341
342   /* Initialize the computation context.  */
343   sha384_init_ctx (&ctx);
344
345   /* Process whole buffer but last len % 128 bytes.  */
346   sha512_process_bytes (buffer, len, &ctx);
347
348   /* Put result in desired memory area.  */
349   return sha384_finish_ctx (&ctx, resblock);
350 }
351
352 void
353 sha512_process_bytes (const void *buffer, size_t len, struct sha512_ctx *ctx)
354 {
355   /* When we already have some bits in our internal buffer concatenate
356      both inputs first.  */
357   if (ctx->buflen != 0)
358     {
359       size_t left_over = ctx->buflen;
360       size_t add = 256 - left_over > len ? len : 256 - left_over;
361
362       memcpy (&((char *) ctx->buffer)[left_over], buffer, add);
363       ctx->buflen += add;
364
365       if (ctx->buflen > 128)
366         {
367           sha512_process_block (ctx->buffer, ctx->buflen & ~127, ctx);
368
369           ctx->buflen &= 127;
370           /* The regions in the following copy operation cannot overlap.  */
371           memcpy (ctx->buffer,
372                   &((char *) ctx->buffer)[(left_over + add) & ~127],
373                   ctx->buflen);
374         }
375
376       buffer = (const char *) buffer + add;
377       len -= add;
378     }
379
380   /* Process available complete blocks.  */
381   if (len >= 128)
382     {
383 #if !_STRING_ARCH_unaligned
384 # define alignof(type) offsetof (struct { char c; type x; }, x)
385 # define UNALIGNED_P(p) (((size_t) p) % alignof (u64) != 0)
386       if (UNALIGNED_P (buffer))
387         while (len > 128)
388           {
389             sha512_process_block (memcpy (ctx->buffer, buffer, 128), 128, ctx);
390             buffer = (const char *) buffer + 128;
391             len -= 128;
392           }
393       else
394 #endif
395         {
396           sha512_process_block (buffer, len & ~127, ctx);
397           buffer = (const char *) buffer + (len & ~127);
398           len &= 127;
399         }
400     }
401
402   /* Move remaining bytes in internal buffer.  */
403   if (len > 0)
404     {
405       size_t left_over = ctx->buflen;
406
407       memcpy (&((char *) ctx->buffer)[left_over], buffer, len);
408       left_over += len;
409       if (left_over >= 128)
410         {
411           sha512_process_block (ctx->buffer, 128, ctx);
412           left_over -= 128;
413           memcpy (ctx->buffer, &ctx->buffer[16], left_over);
414         }
415       ctx->buflen = left_over;
416     }
417 }
418
419 /* --- Code below is the primary difference between sha1.c and sha512.c --- */
420
421 /* SHA512 round constants */
422 #define K(I) sha512_round_constants[I]
423 static u64 const sha512_round_constants[80] = {
424   u64init (0x428a2f98, 0xd728ae22), u64init (0x71374491, 0x23ef65cd),
425   u64init (0xb5c0fbcf, 0xec4d3b2f), u64init (0xe9b5dba5, 0x8189dbbc),
426   u64init (0x3956c25b, 0xf348b538), u64init (0x59f111f1, 0xb605d019),
427   u64init (0x923f82a4, 0xaf194f9b), u64init (0xab1c5ed5, 0xda6d8118),
428   u64init (0xd807aa98, 0xa3030242), u64init (0x12835b01, 0x45706fbe),
429   u64init (0x243185be, 0x4ee4b28c), u64init (0x550c7dc3, 0xd5ffb4e2),
430   u64init (0x72be5d74, 0xf27b896f), u64init (0x80deb1fe, 0x3b1696b1),
431   u64init (0x9bdc06a7, 0x25c71235), u64init (0xc19bf174, 0xcf692694),
432   u64init (0xe49b69c1, 0x9ef14ad2), u64init (0xefbe4786, 0x384f25e3),
433   u64init (0x0fc19dc6, 0x8b8cd5b5), u64init (0x240ca1cc, 0x77ac9c65),
434   u64init (0x2de92c6f, 0x592b0275), u64init (0x4a7484aa, 0x6ea6e483),
435   u64init (0x5cb0a9dc, 0xbd41fbd4), u64init (0x76f988da, 0x831153b5),
436   u64init (0x983e5152, 0xee66dfab), u64init (0xa831c66d, 0x2db43210),
437   u64init (0xb00327c8, 0x98fb213f), u64init (0xbf597fc7, 0xbeef0ee4),
438   u64init (0xc6e00bf3, 0x3da88fc2), u64init (0xd5a79147, 0x930aa725),
439   u64init (0x06ca6351, 0xe003826f), u64init (0x14292967, 0x0a0e6e70),
440   u64init (0x27b70a85, 0x46d22ffc), u64init (0x2e1b2138, 0x5c26c926),
441   u64init (0x4d2c6dfc, 0x5ac42aed), u64init (0x53380d13, 0x9d95b3df),
442   u64init (0x650a7354, 0x8baf63de), u64init (0x766a0abb, 0x3c77b2a8),
443   u64init (0x81c2c92e, 0x47edaee6), u64init (0x92722c85, 0x1482353b),
444   u64init (0xa2bfe8a1, 0x4cf10364), u64init (0xa81a664b, 0xbc423001),
445   u64init (0xc24b8b70, 0xd0f89791), u64init (0xc76c51a3, 0x0654be30),
446   u64init (0xd192e819, 0xd6ef5218), u64init (0xd6990624, 0x5565a910),
447   u64init (0xf40e3585, 0x5771202a), u64init (0x106aa070, 0x32bbd1b8),
448   u64init (0x19a4c116, 0xb8d2d0c8), u64init (0x1e376c08, 0x5141ab53),
449   u64init (0x2748774c, 0xdf8eeb99), u64init (0x34b0bcb5, 0xe19b48a8),
450   u64init (0x391c0cb3, 0xc5c95a63), u64init (0x4ed8aa4a, 0xe3418acb),
451   u64init (0x5b9cca4f, 0x7763e373), u64init (0x682e6ff3, 0xd6b2b8a3),
452   u64init (0x748f82ee, 0x5defb2fc), u64init (0x78a5636f, 0x43172f60),
453   u64init (0x84c87814, 0xa1f0ab72), u64init (0x8cc70208, 0x1a6439ec),
454   u64init (0x90befffa, 0x23631e28), u64init (0xa4506ceb, 0xde82bde9),
455   u64init (0xbef9a3f7, 0xb2c67915), u64init (0xc67178f2, 0xe372532b),
456   u64init (0xca273ece, 0xea26619c), u64init (0xd186b8c7, 0x21c0c207),
457   u64init (0xeada7dd6, 0xcde0eb1e), u64init (0xf57d4f7f, 0xee6ed178),
458   u64init (0x06f067aa, 0x72176fba), u64init (0x0a637dc5, 0xa2c898a6),
459   u64init (0x113f9804, 0xbef90dae), u64init (0x1b710b35, 0x131c471b),
460   u64init (0x28db77f5, 0x23047d84), u64init (0x32caab7b, 0x40c72493),
461   u64init (0x3c9ebe0a, 0x15c9bebc), u64init (0x431d67c4, 0x9c100d4c),
462   u64init (0x4cc5d4be, 0xcb3e42b6), u64init (0x597f299c, 0xfc657e2a),
463   u64init (0x5fcb6fab, 0x3ad6faec), u64init (0x6c44198c, 0x4a475817),
464 };
465
466 /* Round functions.  */
467 #define F2(A, B, C) u64or (u64and (A, B), u64and (C, u64or (A, B)))
468 #define F1(E, F, G) u64xor (G, u64and (E, u64xor (F, G)))
469
470 /* Process LEN bytes of BUFFER, accumulating context into CTX.
471    It is assumed that LEN % 128 == 0.
472    Most of this code comes from GnuPG's cipher/sha1.c.  */
473
474 void
475 sha512_process_block (const void *buffer, size_t len, struct sha512_ctx *ctx)
476 {
477   u64 const *words = buffer;
478   u64 const *endp = words + len / sizeof (u64);
479   u64 x[16];
480   u64 a = ctx->state[0];
481   u64 b = ctx->state[1];
482   u64 c = ctx->state[2];
483   u64 d = ctx->state[3];
484   u64 e = ctx->state[4];
485   u64 f = ctx->state[5];
486   u64 g = ctx->state[6];
487   u64 h = ctx->state[7];
488
489   /* First increment the byte count.  FIPS PUB 180-2 specifies the possible
490      length of the file up to 2^128 bits.  Here we only compute the
491      number of bytes.  Do a double word increment.  */
492   ctx->total[0] = u64plus (ctx->total[0], u64lo (len));
493   if (u64lt (ctx->total[0], u64lo (len)))
494     ctx->total[1] = u64plus (ctx->total[1], u64lo (1));
495
496 #define S0(x) u64xor (u64rol(x, 63), u64xor (u64rol (x, 56), u64shr (x, 7)))
497 #define S1(x) u64xor (u64rol (x, 45), u64xor (u64rol (x, 3), u64shr (x, 6)))
498 #define SS0(x) u64xor (u64rol (x, 36), u64xor (u64rol (x, 30), u64rol (x, 25)))
499 #define SS1(x) u64xor (u64rol(x, 50), u64xor (u64rol (x, 46), u64rol (x, 23)))
500
501 #define M(I) (x[(I) & 15]                                                 \
502               = u64plus (x[(I) & 15],                                     \
503                          u64plus (S1 (x[((I) - 2) & 15]),                 \
504                                   u64plus (x[((I) - 7) & 15],             \
505                                            S0 (x[((I) - 15) & 15])))))
506
507 #define R(A, B, C, D, E, F, G, H, K, M)                                   \
508   do                                                                      \
509     {                                                                     \
510       u64 t0 = u64plus (SS0 (A), F2 (A, B, C));                           \
511       u64 t1 =                                                            \
512         u64plus (H, u64plus (SS1 (E),                                     \
513                              u64plus (F1 (E, F, G), u64plus (K, M))));    \
514       D = u64plus (D, t1);                                                \
515       H = u64plus (t0, t1);                                               \
516     }                                                                     \
517   while (0)
518
519   while (words < endp)
520     {
521       int t;
522       /* FIXME: see sha1.c for a better implementation.  */
523       for (t = 0; t < 16; t++)
524         {
525           x[t] = SWAP (*words);
526           words++;
527         }
528
529       R( a, b, c, d, e, f, g, h, K( 0), x[ 0] );
530       R( h, a, b, c, d, e, f, g, K( 1), x[ 1] );
531       R( g, h, a, b, c, d, e, f, K( 2), x[ 2] );
532       R( f, g, h, a, b, c, d, e, K( 3), x[ 3] );
533       R( e, f, g, h, a, b, c, d, K( 4), x[ 4] );
534       R( d, e, f, g, h, a, b, c, K( 5), x[ 5] );
535       R( c, d, e, f, g, h, a, b, K( 6), x[ 6] );
536       R( b, c, d, e, f, g, h, a, K( 7), x[ 7] );
537       R( a, b, c, d, e, f, g, h, K( 8), x[ 8] );
538       R( h, a, b, c, d, e, f, g, K( 9), x[ 9] );
539       R( g, h, a, b, c, d, e, f, K(10), x[10] );
540       R( f, g, h, a, b, c, d, e, K(11), x[11] );
541       R( e, f, g, h, a, b, c, d, K(12), x[12] );
542       R( d, e, f, g, h, a, b, c, K(13), x[13] );
543       R( c, d, e, f, g, h, a, b, K(14), x[14] );
544       R( b, c, d, e, f, g, h, a, K(15), x[15] );
545       R( a, b, c, d, e, f, g, h, K(16), M(16) );
546       R( h, a, b, c, d, e, f, g, K(17), M(17) );
547       R( g, h, a, b, c, d, e, f, K(18), M(18) );
548       R( f, g, h, a, b, c, d, e, K(19), M(19) );
549       R( e, f, g, h, a, b, c, d, K(20), M(20) );
550       R( d, e, f, g, h, a, b, c, K(21), M(21) );
551       R( c, d, e, f, g, h, a, b, K(22), M(22) );
552       R( b, c, d, e, f, g, h, a, K(23), M(23) );
553       R( a, b, c, d, e, f, g, h, K(24), M(24) );
554       R( h, a, b, c, d, e, f, g, K(25), M(25) );
555       R( g, h, a, b, c, d, e, f, K(26), M(26) );
556       R( f, g, h, a, b, c, d, e, K(27), M(27) );
557       R( e, f, g, h, a, b, c, d, K(28), M(28) );
558       R( d, e, f, g, h, a, b, c, K(29), M(29) );
559       R( c, d, e, f, g, h, a, b, K(30), M(30) );
560       R( b, c, d, e, f, g, h, a, K(31), M(31) );
561       R( a, b, c, d, e, f, g, h, K(32), M(32) );
562       R( h, a, b, c, d, e, f, g, K(33), M(33) );
563       R( g, h, a, b, c, d, e, f, K(34), M(34) );
564       R( f, g, h, a, b, c, d, e, K(35), M(35) );
565       R( e, f, g, h, a, b, c, d, K(36), M(36) );
566       R( d, e, f, g, h, a, b, c, K(37), M(37) );
567       R( c, d, e, f, g, h, a, b, K(38), M(38) );
568       R( b, c, d, e, f, g, h, a, K(39), M(39) );
569       R( a, b, c, d, e, f, g, h, K(40), M(40) );
570       R( h, a, b, c, d, e, f, g, K(41), M(41) );
571       R( g, h, a, b, c, d, e, f, K(42), M(42) );
572       R( f, g, h, a, b, c, d, e, K(43), M(43) );
573       R( e, f, g, h, a, b, c, d, K(44), M(44) );
574       R( d, e, f, g, h, a, b, c, K(45), M(45) );
575       R( c, d, e, f, g, h, a, b, K(46), M(46) );
576       R( b, c, d, e, f, g, h, a, K(47), M(47) );
577       R( a, b, c, d, e, f, g, h, K(48), M(48) );
578       R( h, a, b, c, d, e, f, g, K(49), M(49) );
579       R( g, h, a, b, c, d, e, f, K(50), M(50) );
580       R( f, g, h, a, b, c, d, e, K(51), M(51) );
581       R( e, f, g, h, a, b, c, d, K(52), M(52) );
582       R( d, e, f, g, h, a, b, c, K(53), M(53) );
583       R( c, d, e, f, g, h, a, b, K(54), M(54) );
584       R( b, c, d, e, f, g, h, a, K(55), M(55) );
585       R( a, b, c, d, e, f, g, h, K(56), M(56) );
586       R( h, a, b, c, d, e, f, g, K(57), M(57) );
587       R( g, h, a, b, c, d, e, f, K(58), M(58) );
588       R( f, g, h, a, b, c, d, e, K(59), M(59) );
589       R( e, f, g, h, a, b, c, d, K(60), M(60) );
590       R( d, e, f, g, h, a, b, c, K(61), M(61) );
591       R( c, d, e, f, g, h, a, b, K(62), M(62) );
592       R( b, c, d, e, f, g, h, a, K(63), M(63) );
593       R( a, b, c, d, e, f, g, h, K(64), M(64) );
594       R( h, a, b, c, d, e, f, g, K(65), M(65) );
595       R( g, h, a, b, c, d, e, f, K(66), M(66) );
596       R( f, g, h, a, b, c, d, e, K(67), M(67) );
597       R( e, f, g, h, a, b, c, d, K(68), M(68) );
598       R( d, e, f, g, h, a, b, c, K(69), M(69) );
599       R( c, d, e, f, g, h, a, b, K(70), M(70) );
600       R( b, c, d, e, f, g, h, a, K(71), M(71) );
601       R( a, b, c, d, e, f, g, h, K(72), M(72) );
602       R( h, a, b, c, d, e, f, g, K(73), M(73) );
603       R( g, h, a, b, c, d, e, f, K(74), M(74) );
604       R( f, g, h, a, b, c, d, e, K(75), M(75) );
605       R( e, f, g, h, a, b, c, d, K(76), M(76) );
606       R( d, e, f, g, h, a, b, c, K(77), M(77) );
607       R( c, d, e, f, g, h, a, b, K(78), M(78) );
608       R( b, c, d, e, f, g, h, a, K(79), M(79) );
609
610       a = ctx->state[0] = u64plus (ctx->state[0], a);
611       b = ctx->state[1] = u64plus (ctx->state[1], b);
612       c = ctx->state[2] = u64plus (ctx->state[2], c);
613       d = ctx->state[3] = u64plus (ctx->state[3], d);
614       e = ctx->state[4] = u64plus (ctx->state[4], e);
615       f = ctx->state[5] = u64plus (ctx->state[5], f);
616       g = ctx->state[6] = u64plus (ctx->state[6], g);
617       h = ctx->state[7] = u64plus (ctx->state[7], h);
618     }
619 }