chiark - git - mdw - catacomb/blob - math/mpmont.c

   1 /* -*-c-*-
   2  *
   3  * Montgomery reduction
   4  *
   5  * (c) 1999 Straylight/Edgeware
   6  */
   7
   8 /*----- Licensing notice --------------------------------------------------*
   9  *
  10  * This file is part of Catacomb.
  11  *
  12  * Catacomb is free software; you can redistribute it and/or modify
  13  * it under the terms of the GNU Library General Public License as
  14  * published by the Free Software Foundation; either version 2 of the
  15  * License, or (at your option) any later version.
  16  *
  17  * Catacomb is distributed in the hope that it will be useful,
  18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20  * GNU Library General Public License for more details.
  21  *
  22  * You should have received a copy of the GNU Library General Public
  23  * License along with Catacomb; if not, write to the Free
  24  * Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  25  * MA 02111-1307, USA.
  26  */
  27
  28 /*----- Header files ------------------------------------------------------*/
  29
  30 #include "config.h"
  31 #include "dispatch.h"
  32 #include "mp.h"
  33 #include "mpmont.h"
  34
  35 /*----- Tweakables --------------------------------------------------------*/
  36
  37 /* --- @MPMONT_DISABLE@ --- *
  38  *
  39  * Replace all the clever Montgomery reduction with good old-fashioned long
  40  * division.
  41  */
  42
  43 /* #define MPMONT_DISABLE */
  44
  45 #define MPMONT_KTHRESH (16*MPK_THRESH)
  46
  47 /*----- Low-level implementation ------------------------------------------*/
  48
  49 #ifndef MPMONT_DISABLE
  50
  51 /* --- @redccore@ --- *
  52  *
  53  * Arguments:   @mpw *dv, *dvl@ = base and limit of source/destination
  54  *              @const mpw *mv@ = base of modulus %$m$%
  55  *              @size_t n@ = length of modulus
  56  *              @const mpw *mi@ = base of REDC coefficient %$m'$%
  57  *
  58  * Returns:     ---
  59  *
  60  * Use:         Let %$a$% be the input operand.  Store in %$d$% the value
  61  *              %$a + (m' a \bmod R) m$%.  The destination has space for at
  62  *              least %$2 n + 1$% words of result.
  63  */
  64
  65 CPU_DISPATCH(static, (void), void, redccore,
  66              (mpw *dv, mpw *dvl, const mpw *mv, size_t n, const mpw *mi),
  67              (dv, dvl, mv, n, mi), pick_redccore, simple_redccore);
  68
  69 static void simple_redccore(mpw *dv, mpw *dvl, const mpw *mv,
  70                             size_t n, const mpw *mi)
  71 {
  72   mpw mi0 = *mi;
  73   size_t i;
  74
  75   for (i = 0; i < n; i++) {
  76     MPX_UMLAN(dv, dvl, mv, mv + n, MPW(*dv*mi0));
  77     dv++;
  78   }
  79 }
  80
  81 #define MAYBE_REDC4(impl)                                               \
  82   extern void mpxmont_redc4_##impl(mpw *dv, mpw *dvl, const mpw *mv,    \
  83                                    size_t n, const mpw *mi);            \
  84   static void maybe_redc4_##impl(mpw *dv, mpw *dvl, const mpw *mv,      \
  85                                  size_t n, const mpw *mi)               \
  86   {                                                                     \
  87     if (n%4) simple_redccore(dv, dvl, mv, n, mi);                       \
  88     else mpxmont_redc4_##impl(dv, dvl, mv, n, mi);                      \
  89   }
  90
  91 #if CPUFAM_X86
  92   MAYBE_REDC4(x86_sse2)
  93   MAYBE_REDC4(x86_avx)
  94 #endif
  95
  96 #if CPUFAM_AMD64
  97   MAYBE_REDC4(amd64_sse2)
  98   MAYBE_REDC4(amd64_avx)
  99 #endif
 100
 101 #if CPUFAM_ARMEL
 102   MAYBE_REDC4(arm_neon)
 103 #endif
 104
 105 #if CPUFAM_ARM64
 106   MAYBE_REDC4(arm64_simd)
 107 #endif
 108
 109 static redccore__functype *pick_redccore(void)
 110 {
 111 #if CPUFAM_X86
 112   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_x86_avx,
 113                      cpu_feature_p(CPUFEAT_X86_AVX));
 114   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_x86_sse2,
 115                      cpu_feature_p(CPUFEAT_X86_SSE2));
 116 #endif
 117 #if CPUFAM_AMD64
 118   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_amd64_avx,
 119                      cpu_feature_p(CPUFEAT_X86_AVX));
 120   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_amd64_sse2,
 121                      cpu_feature_p(CPUFEAT_X86_SSE2));
 122 #endif
 123 #if CPUFAM_ARMEL
 124   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_arm_neon,
 125                      cpu_feature_p(CPUFEAT_ARM_NEON));
 126 #endif
 127 #if CPUFAM_ARM64
 128   DISPATCH_PICK_COND(mpmont_reduce, maybe_redc4_arm64_simd,
 129                      cpu_feature_p(CPUFEAT_ARM_NEON));
 130 #endif
 131   DISPATCH_PICK_FALLBACK(mpmont_reduce, simple_redccore);
 132 }
 133
 134 /* --- @mulcore@ --- *
 135  *
 136  * Arguments:   @mpw *dv, *dvl@ = base and limit of source/destination
 137  *              @const mpw *av, *avl@ = base and limit of first multiplicand
 138  *              @const mpw *bv, *bvl@ = base and limit of second multiplicand
 139  *              @const mpw *mv@ = base of modulus %$m$%
 140  *              @size_t n@ = length of modulus
 141  *              @const mpw *mi@ = base of REDC coefficient %$m'$%
 142  *
 143  * Returns:     ---
 144  *
 145  * Use:         Let %$a$% and %$b$% be the multiplicands.  Let %$w = a b$%.
 146  *              Store in %$d$% the value %$a b + (m' a b \bmod R) m$%.
 147  */
 148
 149 CPU_DISPATCH(static, (void), void, mulcore,
 150              (mpw *dv, mpw *dvl, const mpw *av, const mpw *avl,
 151               const mpw *bv, const mpw *bvl, const mpw *mv,
 152               size_t n, const mpw *mi),
 153              (dv, dvl, av, avl, bv, bvl, mv, n, mi),
 154              pick_mulcore, simple_mulcore);
 155
 156 static void simple_mulcore(mpw *dv, mpw *dvl,
 157                            const mpw *av, const mpw *avl,
 158                            const mpw *bv, const mpw *bvl,
 159                            const mpw *mv, size_t n, const mpw *mi)
 160 {
 161   mpw ai, b0, y, mi0 = *mi;
 162   const mpw *tv, *tvl;
 163   const mpw *mvl = mv + n;
 164   size_t i = 0;
 165
 166   /* --- Initial setup --- */
 167
 168   MPX_ZERO(dv, dvl);
 169   if (avl - av > bvl - bv) {
 170     tv = av; av = bv; bv = tv;
 171     tvl = avl; avl = bvl; bvl = tvl;
 172   }
 173   b0 = *bv;
 174
 175   /* --- Multiply, until we run out of multiplicand --- */
 176
 177   while (i < n && av < avl) {
 178     ai = *av++;
 179     y = MPW((*dv + ai*b0)*mi0);
 180     MPX_UMLAN(dv, dvl, bv, bvl, ai);
 181     MPX_UMLAN(dv, dvl, mv, mvl, y);
 182     dv++; i++;
 183   }
 184
 185   /* --- Continue reducing until we run out of modulus --- */
 186
 187   while (i < n) {
 188     y = MPW(*dv*mi0);
 189     MPX_UMLAN(dv, dvl, mv, mvl, y);
 190     dv++; i++;
 191   }
 192 }
 193
 194 #define MAYBE_MUL4(impl)                                                \
 195   extern void mpxmont_mul4_##impl(mpw *dv,                              \
 196                                   const mpw *av, const mpw *bv,         \
 197                                   const mpw *mv,                        \
 198                                   size_t n, const mpw *mi);             \
 199   static void maybe_mul4_##impl(mpw *dv, mpw *dvl,                      \
 200                            const mpw *av, const mpw *avl,               \
 201                            const mpw *bv, const mpw *bvl,               \
 202                            const mpw *mv, size_t n, const mpw *mi)      \
 203   {                                                                     \
 204     size_t an = avl - av, bn = bvl - bv;                                \
 205     if (n%4 || an != n || bn != n)                                      \
 206       simple_mulcore(dv, dvl, av, avl, bv, bvl, mv, n, mi);             \
 207     else {                                                              \
 208       mpxmont_mul4_##impl(dv, av, bv, mv, n, mi);                       \
 209       MPX_ZERO(dv + 2*n + 1, dvl);                                      \
 210     }                                                                   \
 211   }
 212
 213 #if CPUFAM_X86
 214   MAYBE_MUL4(x86_sse2)
 215   MAYBE_MUL4(x86_avx)
 216 #endif
 217
 218 #if CPUFAM_AMD64
 219   MAYBE_MUL4(amd64_sse2)
 220   MAYBE_MUL4(amd64_avx)
 221 #endif
 222
 223 #if CPUFAM_ARMEL
 224   MAYBE_MUL4(arm_neon)
 225 #endif
 226
 227 #if CPUFAM_ARM64
 228   MAYBE_MUL4(arm64_simd)
 229 #endif
 230
 231 static mulcore__functype *pick_mulcore(void)
 232 {
 233 #if CPUFAM_X86
 234   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_x86_avx,
 235                      cpu_feature_p(CPUFEAT_X86_AVX));
 236   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_x86_sse2,
 237                      cpu_feature_p(CPUFEAT_X86_SSE2));
 238 #endif
 239 #if CPUFAM_AMD64
 240   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_amd64_avx,
 241                      cpu_feature_p(CPUFEAT_X86_AVX));
 242   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_amd64_sse2,
 243                      cpu_feature_p(CPUFEAT_X86_SSE2));
 244 #endif
 245 #if CPUFAM_ARMEL
 246   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_arm_neon,
 247                      cpu_feature_p(CPUFEAT_ARM_NEON));
 248 #endif
 249 #if CPUFAM_ARM64
 250   DISPATCH_PICK_COND(mpmont_mul, maybe_mul4_arm64_simd,
 251                      cpu_feature_p(CPUFEAT_ARM_NEON));
 252 #endif
 253   DISPATCH_PICK_FALLBACK(mpmont_mul, simple_mulcore);
 254 }
 255
 256 /* --- @finish@ --- *
 257  *
 258  * Arguments:   @const mpmont *mm@ = pointer to a Montgomery reduction
 259  *                      context
 260  *              *mp *d@ = pointer to mostly-reduced operand
 261  *
 262  * Returns:     ---
 263  *
 264  * Use:         Applies the finishing touches to Montgomery reduction.  The
 265  *              operand @d@ is a multiple of %$R%$ at this point, so it needs
 266  *              to be shifted down; the result might need a further
 267  *              subtraction to get it into the right interval; and we may
 268  *              need to do an additional subtraction if %$d$% is negative.
 269  */
 270
 271 static void finish(const mpmont *mm, mp *d)
 272 {
 273   mpw *dv = d->v, *dvl = d->vl;
 274   size_t n = mm->n;
 275
 276   memmove(dv, dv + n, MPWS(dvl - (dv + n)));
 277   dvl -= n;
 278
 279   if (MPX_UCMP(dv, dvl, >=, mm->m->v, mm->m->vl))
 280     mpx_usub(dv, dvl, dv, dvl, mm->m->v, mm->m->vl);
 281
 282   if (d->f & MP_NEG) {
 283     mpx_usub(dv, dvl, mm->m->v, mm->m->vl, dv, dvl);
 284     d->f &= ~MP_NEG;
 285   }
 286
 287   d->vl = dvl;
 288   MP_SHRINK(d);
 289 }
 290
 291 #endif
 292
 293 /*----- Reduction and multiplication --------------------------------------*/
 294
 295 /* --- @mpmont_create@ --- *
 296  *
 297  * Arguments:   @mpmont *mm@ = pointer to Montgomery reduction context
 298  *              @mp *m@ = modulus to use
 299  *
 300  * Returns:     Zero on success, nonzero on error.
 301  *
 302  * Use:         Initializes a Montgomery reduction context ready for use.
 303  *              The argument @m@ must be a positive odd integer.
 304  */
 305
 306 #ifdef MPMONT_DISABLE
 307
 308 int mpmont_create(mpmont *mm, mp *m)
 309 {
 310   mp_shrink(m);
 311   mm->m = MP_COPY(m);
 312   mm->r = MP_ONE;
 313   mm->r2 = MP_ONE;
 314   mm->mi = MP_ONE;
 315   return (0);
 316 }
 317
 318 #else
 319
 320 int mpmont_create(mpmont *mm, mp *m)
 321 {
 322   size_t n = MP_LEN(m);
 323   mp *r2 = mp_new(2 * n + 1, 0);
 324   mp r;
 325
 326   /* --- Take a copy of the modulus --- */
 327
 328  if (!MP_POSP(m) || !MP_ODDP(m))
 329    return (-1);
 330   mm->m = MP_COPY(m);
 331
 332   /* --- Determine %$R^2$% --- */
 333
 334   mm->n = n;
 335   MPX_ZERO(r2->v, r2->vl - 1);
 336   r2->vl[-1] = 1;
 337
 338   /* --- Find the magic value @mi@ --- */
 339
 340   mp_build(&r, r2->v + n, r2->vl);
 341   mm->mi = mp_modinv(MP_NEW, m, &r);
 342   mm->mi = mp_sub(mm->mi, &r, mm->mi);
 343   MP_ENSURE(mm->mi, n);
 344
 345   /* --- Discover the values %$R \bmod m$% and %$R^2 \bmod m$% --- */
 346
 347   mm->r2 = MP_NEW;
 348   mp_div(0, &mm->r2, r2, m);
 349   mm->r = mpmont_reduce(mm, MP_NEW, mm->r2);
 350   MP_DROP(r2);
 351   return (0);
 352 }
 353
 354 #endif
 355
 356 /* --- @mpmont_destroy@ --- *
 357  *
 358  * Arguments:   @mpmont *mm@ = pointer to a Montgomery reduction context
 359  *
 360  * Returns:     ---
 361  *
 362  * Use:         Disposes of a context when it's no longer of any use to
 363  *              anyone.
 364  */
 365
 366 void mpmont_destroy(mpmont *mm)
 367 {
 368   MP_DROP(mm->m);
 369   MP_DROP(mm->r);
 370   MP_DROP(mm->r2);
 371   MP_DROP(mm->mi);
 372 }
 373
 374 /* --- @mpmont_reduce@ --- *
 375  *
 376  * Arguments:   @const mpmont *mm@ = pointer to Montgomery reduction context
 377  *              @mp *d@ = destination
 378  *              @mp *a@ = source, assumed positive
 379  *
 380  * Returns:     Result, %$a R^{-1} \bmod m$%.
 381  */
 382
 383 #ifdef MPMONT_DISABLE
 384
 385 mp *mpmont_reduce(const mpmont *mm, mp *d, mp *a)
 386 {
 387   mp_div(0, &d, a, mm->m);
 388   return (d);
 389 }
 390
 391 #else
 392
 393 mp *mpmont_reduce(const mpmont *mm, mp *d, mp *a)
 394 {
 395   size_t n = mm->n;
 396
 397   /* --- Check for serious Karatsuba reduction --- */
 398
 399   if (n > MPMONT_KTHRESH) {
 400     mp al;
 401     mpw *vl;
 402     mp *u;
 403
 404     if (MP_LEN(a) >= n) vl = a->v + n;
 405     else vl = a->vl;
 406     mp_build(&al, a->v, vl);
 407     u = mp_mul(MP_NEW, &al, mm->mi);
 408     if (MP_LEN(u) > n) u->vl = u->v + n;
 409     u = mp_mul(u, u, mm->m);
 410     d = mp_add(d, a, u);
 411     MP_ENSURE(d, n);
 412     mp_drop(u);
 413   }
 414
 415   /* --- Otherwise do it the hard way --- */
 416
 417   else {
 418     a = MP_COPY(a);
 419     if (d) MP_DROP(d);
 420     d = a;
 421     MP_DEST(d, 2*mm->n + 1, a->f);
 422     redccore(d->v, d->vl, mm->m->v, mm->n, mm->mi->v);
 423   }
 424
 425   /* --- Wrap everything up --- */
 426
 427   finish(mm, d);
 428   return (d);
 429 }
 430
 431 #endif
 432
 433 /* --- @mpmont_mul@ --- *
 434  *
 435  * Arguments:   @const mpmont *mm@ = pointer to Montgomery reduction context
 436  *              @mp *d@ = destination
 437  *              @mp *a, *b@ = sources, assumed positive
 438  *
 439  * Returns:     Result, %$a b R^{-1} \bmod m$%.
 440  */
 441
 442 #ifdef MPMONT_DISABLE
 443
 444 mp *mpmont_mul(const mpmont *mm, mp *d, mp *a, mp *b)
 445 {
 446   d = mp_mul(d, a, b);
 447   mp_div(0, &d, d, mm->m);
 448   return (d);
 449 }
 450
 451 #else
 452
 453 mp *mpmont_mul(const mpmont *mm, mp *d, mp *a, mp *b)
 454 {
 455   size_t n = mm->n;
 456
 457   if (n > MPMONT_KTHRESH) {
 458     d = mp_mul(d, a, b);
 459     d = mpmont_reduce(mm, d, d);
 460   } else {
 461     a = MP_COPY(a); b = MP_COPY(b);
 462     MP_DEST(d, 2*n + 1, a->f | b->f | MP_UNDEF);
 463     mulcore(d->v, d->vl, a->v, a->vl, b->v, b->vl,
 464             mm->m->v, mm->n, mm->mi->v);
 465     d->f = ((a->f | b->f) & MP_BURN) | ((a->f ^ b->f) & MP_NEG);
 466     finish(mm, d);
 467     MP_DROP(a); MP_DROP(b);
 468   }
 469
 470   return (d);
 471 }
 472
 473 #endif
 474
 475 /*----- Test rig ----------------------------------------------------------*/
 476
 477 #ifdef TEST_RIG
 478
 479 #ifdef ENABLE_ASM_DEBUG
 480 #  include "regdump.h"
 481 #endif
 482
 483 static int tcreate(dstr *v)
 484 {
 485   mp *m = *(mp **)v[0].buf;
 486   mp *mi = *(mp **)v[1].buf;
 487   mp *r = *(mp **)v[2].buf;
 488   mp *r2 = *(mp **)v[3].buf;
 489
 490   mpmont mm;
 491   int ok = 1;
 492
 493   mpmont_create(&mm, m);
 494
 495   if (mm.mi->v[0] != mi->v[0]) {
 496     fprintf(stderr, "\n*** bad mi: found %lu, expected %lu",
 497             (unsigned long)mm.mi->v[0], (unsigned long)mi->v[0]);
 498     fputs("\nm = ", stderr); mp_writefile(m, stderr, 10);
 499     fputc('\n', stderr);
 500     ok = 0;
 501   }
 502
 503   if (!MP_EQ(mm.r, r)) {
 504     fputs("\n*** bad r", stderr);
 505     fputs("\nm = ", stderr); mp_writefile(m, stderr, 10);
 506     fputs("\nexpected ", stderr); mp_writefile(r, stderr, 10);
 507     fputs("\n   found ", stderr); mp_writefile(mm.r, stderr, 10);
 508     fputc('\n', stderr);
 509     ok = 0;
 510   }
 511
 512   if (!MP_EQ(mm.r2, r2)) {
 513     fputs("\n*** bad r2", stderr);
 514     fputs("\nm = ", stderr); mp_writefile(m, stderr, 10);
 515     fputs("\nexpected ", stderr); mp_writefile(r2, stderr, 10);
 516     fputs("\n   found ", stderr); mp_writefile(mm.r2, stderr, 10);
 517     fputc('\n', stderr);
 518     ok = 0;
 519   }
 520
 521   MP_DROP(m);
 522   MP_DROP(mi);
 523   MP_DROP(r);
 524   MP_DROP(r2);
 525   mpmont_destroy(&mm);
 526   assert(mparena_count(MPARENA_GLOBAL) == 0);
 527   return (ok);
 528 }
 529
 530 static int tmul(dstr *v)
 531 {
 532   mp *m = *(mp **)v[0].buf;
 533   mp *a = *(mp **)v[1].buf;
 534   mp *b = *(mp **)v[2].buf;
 535   mp *r = *(mp **)v[3].buf;
 536   int ok = 1;
 537
 538   mpmont mm;
 539   mpmont_create(&mm, m);
 540
 541   {
 542     mp *qr = mp_mul(MP_NEW, a, b);
 543     mp_div(0, &qr, qr, m);
 544
 545     if (!MP_EQ(qr, r)) {
 546       fputs("\n*** classical modmul failed", stderr);
 547       fputs("\n m = ", stderr); mp_writefile(m, stderr, 10);
 548       fputs("\n a = ", stderr); mp_writefile(a, stderr, 10);
 549       fputs("\n b = ", stderr); mp_writefile(b, stderr, 10);
 550       fputs("\n r = ", stderr); mp_writefile(r, stderr, 10);
 551       fputs("\nqr = ", stderr); mp_writefile(qr, stderr, 10);
 552       fputc('\n', stderr);
 553       ok = 0;
 554     }
 555
 556     mp_drop(qr);
 557   }
 558
 559   {
 560     mp *ar = mpmont_mul(&mm, MP_NEW, a, mm.r2);
 561     mp *br = mpmont_mul(&mm, MP_NEW, b, mm.r2);
 562     mp *mr = mpmont_mul(&mm, MP_NEW, ar, br);
 563     mr = mpmont_reduce(&mm, mr, mr);
 564     if (!MP_EQ(mr, r)) {
 565       fputs("\n*** montgomery modmul failed", stderr);
 566       fputs("\n m = ", stderr); mp_writefile(m, stderr, 10);
 567       fputs("\n a = ", stderr); mp_writefile(a, stderr, 10);
 568       fputs("\n b = ", stderr); mp_writefile(b, stderr, 10);
 569       fputs("\n r = ", stderr); mp_writefile(r, stderr, 10);
 570       fputs("\nmr = ", stderr); mp_writefile(mr, stderr, 10);
 571       fputc('\n', stderr);
 572       ok = 0;
 573     }
 574     MP_DROP(ar); MP_DROP(br);
 575     mp_drop(mr);
 576   }
 577
 578   MP_DROP(m);
 579   MP_DROP(a);
 580   MP_DROP(b);
 581   MP_DROP(r);
 582   mpmont_destroy(&mm);
 583   assert(mparena_count(MPARENA_GLOBAL) == 0);
 584   return ok;
 585 }
 586
 587 static test_chunk tests[] = {
 588   { "create", tcreate, { &type_mp, &type_mp, &type_mp, &type_mp, 0 } },
 589   { "mul", tmul, { &type_mp, &type_mp, &type_mp, &type_mp, 0 } },
 590   { 0, 0, { 0 } },
 591 };
 592
 593 int main(int argc, char *argv[])
 594 {
 595   sub_init();
 596 #ifdef ENABLE_ASM_DEBUG
 597   regdump_init();
 598 #endif
 599   test_run(argc, argv, tests, SRCDIR "/t/mpmont");
 600   return (0);
 601 }
 602
 603 #endif
 604
 605 /*----- That's all, folks -------------------------------------------------*/