chiark / gitweb /
plip shouldn't reset nevals
[nlopt.git] / luksan / plip.c
1 #include <limits.h>
2 #include <stdlib.h>
3 #include <math.h>
4 #include <string.h>
5 #include "luksan.h"
6
7 #define max(a,b) ((a) > (b) ? (a) : (b))
8 #define min(a,b) ((a) < (b) ? (a) : (b))
9
10 /* *********************************************************************** */
11 /* SUBROUTINE PLIP               ALL SYSTEMS                   01/09/22 */
12 /* PURPOSE : */
13 /* GENERAL SUBROUTINE FOR LARGE-SCALE BOX CONSTRAINED MINIMIZATION THAT */
14 /* USE THE SHIFTED LIMITED MEMORY VARIABLE METRIC METHOD BASED ON THE */
15 /* PRODUCT FORM UPDATES. */
16
17 /* PARAMETERS : */
18 /*  II  NF  NUMBER OF VARIABLES. */
19 /*  II  NB  CHOICE OF SIMPLE BOUNDS. NB=0-SIMPLE BOUNDS SUPPRESSED. */
20 /*         NB>0-SIMPLE BOUNDS ACCEPTED. */
21 /*  RI  X(NF)  VECTOR OF VARIABLES. */
22 /*  II  IX(NF)  VECTOR CONTAINING TYPES OF BOUNDS. IX(I)=0-VARIABLE */
23 /*         X(I) IS UNBOUNDED. IX(I)=1-LOVER BOUND XL(I).LE.X(I). */
24 /*         IX(I)=2-UPPER BOUND X(I).LE.XU(I). IX(I)=3-TWO SIDE BOUND */
25 /*         XL(I).LE.X(I).LE.XU(I). IX(I)=5-VARIABLE X(I) IS FIXED. */
26 /*  RI  XL(NF)  VECTOR CONTAINING LOWER BOUNDS FOR VARIABLES. */
27 /*  RI  XU(NF)  VECTOR CONTAINING UPPER BOUNDS FOR VARIABLES. */
28 /*  RA  GF(NF)  GRADIENT OF THE OBJECTIVE FUNCTION. */
29 /*  RO  S(NF)  DIRECTION VECTOR. */
30 /*  RU  XO(NF)  VECTORS OF VARIABLES DIFFERENCE. */
31 /*  RI  GO(NF)  GRADIENTS DIFFERENCE. */
32 /*  RA  SO(NF)  AUXILIARY VECTOR. */
33 /*  RA  XM(NF*MF)  AUXILIARY VECTOR. */
34 /*  RA  XR(MF)  AUXILIARY VECTOR. */
35 /*  RA  GR(MF)  AUXILIARY VECTOR. */
36 /*  RI  XMAX  MAXIMUM STEPSIZE. */
37 /*  RI  TOLX  TOLERANCE FOR CHANGE OF VARIABLES. */
38 /*  RI  TOLF  TOLERANCE FOR CHANGE OF FUNCTION VALUES. */
39 /*  RI  TOLB  TOLERANCE FOR THE FUNCTION VALUE. */
40 /*  RI  TOLG  TOLERANCE FOR THE GRADIENT NORM. */
41 /*  RI  MINF_EST  ESTIMATION OF THE MINIMUM FUNCTION VALUE. */
42 /*  RO  GMAX  MAXIMUM PARTIAL DERIVATIVE. */
43 /*  RO  F  VALUE OF THE OBJECTIVE FUNCTION. */
44 /*  II  MIT  MAXIMUM NUMBER OF ITERATIONS. */
45 /*  II  MFV  MAXIMUM NUMBER OF FUNCTION EVALUATIONS. */
46 /*  II  IEST  ESTIMATION INDICATOR. IEST=0-MINIMUM IS NOT ESTIMATED. */
47 /*         IEST=1-MINIMUM IS ESTIMATED BY THE VALUE MINF_EST. */
48 /*  II  MET  METHOD USED. MET=1-RANK-ONE METHOD. MET=2-RANK-TWO */
49 /*         METHOD. */
50 /*  II  MF  NUMBER OF LIMITED MEMORY STEPS. */
51 /*  IO  ITERM  VARIABLE THAT INDICATES THE CAUSE OF TERMINATION. */
52 /*         ITERM=1-IF ABS(X-XO) WAS LESS THAN OR EQUAL TO TOLX IN */
53 /*                   MTESX (USUALLY TWO) SUBSEQUEBT ITERATIONS. */
54 /*         ITERM=2-IF ABS(F-FO) WAS LESS THAN OR EQUAL TO TOLF IN */
55 /*                   MTESF (USUALLY TWO) SUBSEQUEBT ITERATIONS. */
56 /*         ITERM=3-IF F IS LESS THAN OR EQUAL TO TOLB. */
57 /*         ITERM=4-IF GMAX IS LESS THAN OR EQUAL TO TOLG. */
58 /*         ITERM=6-IF THE TERMINATION CRITERION WAS NOT SATISFIED, */
59 /*                   BUT THE SOLUTION OBTAINED IS PROBABLY ACCEPTABLE. */
60 /*         ITERM=11-IF NIT EXCEEDED MIT. ITERM=12-IF NFV EXCEEDED MFV. */
61 /*         ITERM=13-IF NFG EXCEEDED MFG. ITERM<0-IF THE METHOD FAILED. */
62
63 /* VARIABLES IN COMMON /STAT/ (STATISTICS) : */
64 /*  IO  NRES  NUMBER OF RESTARTS. */
65 /*  IO  NDEC  NUMBER OF MATRIX DECOMPOSITION. */
66 /*  IO  NIN  NUMBER OF INNER ITERATIONS. */
67 /*  IO  NIT  NUMBER OF ITERATIONS. */
68 /*  IO  NFV  NUMBER OF FUNCTION EVALUATIONS. */
69 /*  IO  NFG  NUMBER OF GRADIENT EVALUATIONS. */
70 /*  IO  NFH  NUMBER OF HESSIAN EVALUATIONS. */
71
72 /* SUBPROGRAMS USED : */
73 /*  S   PCBS04  ELIMINATION OF BOX CONSTRAINT VIOLATIONS. */
74 /*  S   PS1L01  STEPSIZE SELECTION USING LINE SEARCH. */
75 /*  S   PULSP3  SHIFTED VARIABLE METRIC UPDATE. */
76 /*  S   PULVP3  SHIFTED LIMITED-MEMORY VARIABLE METRIC UPDATE. */
77 /*  S   PYADC0  ADDITION OF A BOX CONSTRAINT. */
78 /*  S   PYFUT1  TEST ON TERMINATION. */
79 /*  S   PYRMC0  DELETION OF A BOX CONSTRAINT. */
80 /*  S   PYTRCD  COMPUTATION OF PROJECTED DIFFERENCES FOR THE VARIABLE METRIC */
81 /*         UPDATE. */
82 /*  S   PYTRCG  COMPUTATION OF THE PROJECTED GRADIENT. */
83 /*  S   PYTRCS  COMPUTATION OF THE PROJECTED DIRECTION VECTOR. */
84 /*  S   MXDRMM  MULTIPLICATION OF A ROWWISE STORED DENSE RECTANGULAR */
85 /*         MATRIX A BY A VECTOR X. */
86 /*  S   MXDCMD  MULTIPLICATION OF A COLUMNWISE STORED DENSE RECTANGULAR */
87 /*         MATRIX A BY A VECTOR X AND ADDITION OF THE SCALED VECTOR */
88 /*         ALF*Y. */
89 /*  S   MXUCOP  COPYING OF A VECTOR. */
90 /*  S   MXUDIR  VECTOR AUGMENTED BY THE SCALED VECTOR. */
91 /*  RF  MXUDOT  DOT PRODUCT OF TWO VECTORS. */
92 /*  S   MXUNEG  COPYING OF A VECTOR WITH CHANGE OF THE SIGN. */
93 /*  S   MXUZER  VECTOR ELEMENTS CORRESPONDING TO ACTIVE BOUNDS ARE SET */
94 /*         TO ZERO. */
95 /*  S   MXVCOP  COPYING OF A VECTOR. */
96
97 /* EXTERNAL SUBROUTINES : */
98 /*  SE  OBJ  COMPUTATION OF THE VALUE OF THE OBJECTIVE FUNCTION. */
99 /*         CALLING SEQUENCE: CALL OBJ(NF,X,FF) WHERE NF IS THE NUMBER */
100 /*         OF VARIABLES, X(NF) IS THE VECTOR OF VARIABLES AND FF IS */
101 /*         THE VALUE OF THE OBJECTIVE FUNCTION. */
102 /*  SE  DOBJ  COMPUTATION OF THE GRADIENT OF THE OBJECTIVE FUNCTION. */
103 /*         CALLING SEQUENCE: CALL DOBJ(NF,X,GF) WHERE NF IS THE NUMBER */
104 /*         OF VARIABLES, X(NF) IS THE VECTOR OF VARIABLES AND GF(NF) */
105 /*         IS THE GRADIENT OF THE OBJECTIVE FUNCTION. */
106 /* -- OBJ and DOBJ are replaced by a single function, objgrad, in NLopt */
107
108 /* METHOD : */
109 /* HYBRID METHOD WITH SPARSE MARWIL UPDATES FOR SPARSE LEAST SQUARES */
110 /* PROBLEMS. */
111
112 static void plip_(int *nf, int *nb, double *x, int *
113                   ix, double *xl, double *xu, double *gf, double *s, 
114                   double *xo, double *go, double *so, double *xm, 
115                   double *xr, double *gr, double *xmax, double *tolx, 
116                   double *tolf, double *tolb, double *tolg, 
117                   nlopt_stopping *stop, double *
118                   minf_est, double *gmax, double *f, int *mit, int *mfv, 
119                   int *iest, int *met, int *mf, 
120                   int *iterm, stat_common *stat_1,
121                   nlopt_func objgrad, void *objgrad_data)
122 {
123     /* System generated locals */
124     int i__1;
125     double d__1, d__2;
126
127     /* Builtin functions */
128
129     /* Local variables */
130     int i__, n;
131     double p, r__;
132     int kd, ld;
133     double fo, fp;
134     int nn;
135     double po, pp, ro, rp;
136     int kbf, mec, mfg;
137     double par;
138     int mes, kit;
139     double alf1, alf2, eta0, eta9, par1, par2;
140     int mes1, mes2, mes3, met3;
141     double eps8, eps9;
142     int meta, mred, nred, iold;
143     double maxf, dmax__;
144     int inew;
145     double told;
146     int ites;
147     double rmin, rmax, umax, tolp, tols;
148     int isys;
149     int ires1, ires2;
150     int iterd, iterh, mtesf, ntesf;
151     double gnorm;
152     int iters, irest, inits, kters, maxst;
153     double snorm;
154     int mtesx, ntesx;
155
156 /*     INITIATION */
157
158     /* Parameter adjustments */
159     --gr;
160     --xr;
161     --xm;
162     --so;
163     --go;
164     --xo;
165     --s;
166     --gf;
167     --xu;
168     --xl;
169     --ix;
170     --x;
171
172     /* Function Body */
173     kbf = 0;
174     if (*nb > 0) {
175         kbf = 2;
176     }
177     stat_1->nres = 0;
178     stat_1->ndec = 0;
179     stat_1->nin = 0;
180     stat_1->nit = 0;
181     stat_1->nfg = 0;
182     stat_1->nfh = 0;
183     isys = 0;
184     ites = 1;
185     mtesx = 2;
186     mtesf = 2;
187     inits = 2;
188     *iterm = 0;
189     iterd = 0;
190     iters = 2;
191     iterh = 0;
192     kters = 3;
193     irest = 0;
194     ires1 = 999;
195     ires2 = 0;
196     mred = 10;
197     meta = 1;
198     met3 = 4;
199     mec = 4;
200     mes = 4;
201     mes1 = 2;
202     mes2 = 2;
203     mes3 = 2;
204     eta0 = 1e-15;
205     eta9 = 1e120;
206     eps8 = 1.;
207     eps9 = 1e-8;
208     alf1 = 1e-10;
209     alf2 = 1e10;
210     rmax = eta9;
211     dmax__ = eta9;
212     maxf = 1e20;
213     if (*iest <= 0) {
214          *minf_est = -HUGE_VAL; /* changed from -1e60 by SGJ */
215     }
216     if (*iest > 0) {
217         *iest = 1;
218     }
219     if (*xmax <= 0.) {
220         *xmax = 1e16;
221     }
222     if (*tolx <= 0.) {
223         *tolx = 1e-16;
224     }
225     if (*tolf <= 0.) {
226         *tolf = 1e-14;
227     }
228     if (*tolg <= 0.) {
229          *tolg = 1e-8; /* SGJ: was 1e-6, but this sometimes stops too soon */
230     }
231 #if 0
232     /* removed by SGJ: this check prevented us from using minf_max <= 0,
233        which doesn't make sense.  Instead, if you don't want to have a
234        lower limit, you should set minf_max = -HUGE_VAL */
235     if (*tolb <= 0.) {
236         *tolb = *minf_est + 1e-16;
237     }
238 #endif
239     told = 1e-4;
240     tols = 1e-4;
241     tolp = .9;
242     if (*met <= 0) {
243         *met = 2;
244     }
245     /* changed by SGJ: default is no limit (INT_MAX) on # iterations/fevals */
246     if (*mit <= 0) {
247         *mit = INT_MAX;
248     }
249     if (*mfv <= 0) {
250         *mfv = INT_MAX;
251     }
252     mfg = *mfv;
253     kd = 1;
254     ld = -1;
255     kit = -(ires1 * *nf + ires2);
256     fo = *minf_est;
257
258 /*     INITIAL OPERATIONS WITH SIMPLE BOUNDS */
259
260     if (kbf > 0) {
261         i__1 = *nf;
262         for (i__ = 1; i__ <= i__1; ++i__) {
263             if ((ix[i__] == 3 || ix[i__] == 4) && xu[i__] <= xl[i__]) {
264                 xu[i__] = xl[i__];
265                 ix[i__] = 5;
266             } else if (ix[i__] == 5 || ix[i__] == 6) {
267                 xl[i__] = x[i__];
268                 xu[i__] = x[i__];
269                 ix[i__] = 5;
270             }
271 /* L2: */
272         }
273         luksan_pcbs04__(nf, &x[1], &ix[1], &xl[1], &xu[1], &eps9, &kbf);
274         luksan_pyadc0__(nf, &n, &x[1], &ix[1], &xl[1], &xu[1], &inew);
275     }
276     if (*iterm != 0) {
277         goto L11190;
278     }
279     if (nlopt_stop_time(stop)) { *iterm = 100; goto L11190; }
280     *f = objgrad(*nf, &x[1], &gf[1], objgrad_data);
281     ++stop->nevals;
282     ++stat_1->nfg;
283 L11120:
284     luksan_pytrcg__(nf, nf, &ix[1], &gf[1], &umax, gmax, &kbf, &iold);
285     luksan_pyfut1__(nf, f, &fo, &umax, gmax, &dmax__, tolx, tolf, tolb, tolg, 
286             &kd, &stat_1->nit, &kit, mit, &stop->nevals, mfv, &stat_1->nfg, &mfg, 
287             &ntesx, &mtesx, &ntesf, &mtesf, &ites, &ires1, &ires2, &irest, &
288             iters, iterm);
289     if (*iterm != 0) {
290         goto L11190;
291     }
292     if (nlopt_stop_time(stop)) { *iterm = 100; goto L11190; }
293     if (kbf > 0 && rmax > 0.) {
294         luksan_pyrmc0__(nf, &n, &ix[1], &gf[1], &eps8, &umax, gmax, &rmax, &
295                 iold, &irest);
296     }
297 L11130:
298     if (irest > 0) {
299         nn = 0;
300         par = 1.;
301         ld = min(ld,1);
302         if (kit < stat_1->nit) {
303             ++stat_1->nres;
304             kit = stat_1->nit;
305         } else {
306             *iterm = -10;
307             if (iters < 0) {
308                 *iterm = iters - 5;
309             }
310         }
311     }
312     if (*iterm != 0) {
313         goto L11190;
314     }
315     if (nlopt_stop_time(stop)) { *iterm = 100; goto L11190; }
316
317 /*     DIRECTION DETERMINATION */
318
319     gnorm = sqrt(luksan_mxudot__(nf, &gf[1], &gf[1], &ix[1], &kbf));
320
321 /*     NEWTON LIKE STEP */
322
323     luksan_mxuneg__(nf, &gf[1], &s[1], &ix[1], &kbf);
324     luksan_mxdrmm__(nf, &nn, &xm[1], &s[1], &gr[1]);
325     luksan_mxdcmd__(nf, &nn, &xm[1], &gr[1], &par, &s[1], &s[1]);
326     luksan_mxuzer__(nf, &s[1], &ix[1], &kbf);
327     iterd = 1;
328     snorm = sqrt(luksan_mxudot__(nf, &s[1], &s[1], &ix[1], &kbf));
329
330 /*     TEST ON DESCENT DIRECTION AND PREPARATION OF LINE SEARCH */
331
332     if (kd > 0) {
333         p = luksan_mxudot__(nf, &gf[1], &s[1], &ix[1], &kbf);
334     }
335     if (iterd < 0) {
336         *iterm = iterd;
337     } else {
338
339 /*     TEST ON DESCENT DIRECTION */
340
341         if (snorm <= 0.) {
342             irest = max(irest,1);
343         } else if (p + told * gnorm * snorm <= 0.) {
344             irest = 0;
345         } else {
346
347 /*     UNIFORM DESCENT CRITERION */
348
349             irest = max(irest,1);
350         }
351         if (irest == 0) {
352
353 /*     PREPARATION OF LINE SEARCH */
354
355             nred = 0;
356             rmin = alf1 * gnorm / snorm;
357 /* Computing MIN */
358             d__1 = alf2 * gnorm / snorm, d__2 = *xmax / snorm;
359             rmax = min(d__1,d__2);
360         }
361     }
362     if (*iterm != 0) {
363         goto L11190;
364     }
365     if (nlopt_stop_time(stop)) { *iterm = 100; goto L11190; }
366     if (irest != 0) {
367         goto L11130;
368     }
369     luksan_pytrcs__(nf, &x[1], &ix[1], &xo[1], &xl[1], &xu[1], &gf[1], &go[1],
370              &s[1], &ro, &fp, &fo, f, &po, &p, &rmax, &eta9, &kbf);
371     if (rmax == 0.) {
372         goto L11175;
373     }
374 L11170:
375     luksan_ps1l01__(&r__, &rp, f, &fo, &fp, &p, &po, &pp, minf_est, &maxf, &rmin, 
376             &rmax, &tols, &tolp, &par1, &par2, &kd, &ld, &stat_1->nit, &kit, &
377             nred, &mred, &maxst, iest, &inits, &iters, &kters, &mes, &isys);
378     if (isys == 0) {
379         goto L11174;
380     }
381     luksan_mxudir__(nf, &r__, &s[1], &xo[1], &x[1], &ix[1], &kbf);
382     luksan_pcbs04__(nf, &x[1], &ix[1], &xl[1], &xu[1], &eps9, &kbf);
383     *f = objgrad(*nf, &x[1], &gf[1], objgrad_data);
384     ++stop->nevals;
385     ++stat_1->nfg;
386     p = luksan_mxudot__(nf, &gf[1], &s[1], &ix[1], &kbf);
387     goto L11170;
388 L11174:
389     if (iters <= 0) {
390         r__ = 0.;
391         *f = fo;
392         p = po;
393         luksan_mxvcop__(nf, &xo[1], &x[1]);
394         luksan_mxvcop__(nf, &go[1], &gf[1]);
395         irest = max(irest,1);
396         ld = kd;
397         goto L11130;
398     }
399     luksan_mxuneg__(nf, &go[1], &s[1], &ix[1], &kbf);
400     luksan_pytrcd__(nf, &x[1], &ix[1], &xo[1], &gf[1], &go[1], &r__, f, &fo, &
401             p, &po, &dmax__, &kbf, &kd, &ld, &iters);
402     luksan_mxucop__(nf, &gf[1], &so[1], &ix[1], &kbf);
403     if (nn < *mf) {
404         luksan_pulsp3__(nf, &nn, mf, &xm[1], &gr[1], &xo[1], &go[1], &r__, &
405                 po, &par, &iterh, &met3);
406     } else {
407         luksan_pulvp3__(nf, &nn, &xm[1], &xr[1], &gr[1], &s[1], &so[1], &xo[1]
408                 , &go[1], &r__, &po, &par, &iterh, &mec, &met3, met);
409     }
410 L11175:
411     if (iterh != 0) {
412         irest = max(irest,1);
413     }
414     if (kbf > 0) {
415         luksan_pyadc0__(nf, &n, &x[1], &ix[1], &xl[1], &xu[1], &inew);
416     }
417     goto L11120;
418 L11190:
419     return;
420 } /* plip_ */
421
422 /* NLopt wrapper around plip_, handling dynamic allocation etc. */
423 nlopt_result luksan_plip(int n, nlopt_func f, void *f_data,
424                          const double *lb, const double *ub, /* bounds */
425                          double *x, /* in: initial guess, out: minimizer */
426                          double *minf,
427                          nlopt_stopping *stop,
428                          int method) /* 1 or 2, see below */
429 {
430      int i, *ix, nb = 1;
431      double *work, *xl, *xu, *gf, *s, *xo, *go, *so, *xm, *xr, *gr;
432      double gmax, minf_est;
433      double xmax = 0; /* no maximum */
434      double tolg = 0; /* default gradient tolerance */
435      int iest = 0; /* we have no estimate of min function value */
436      int mit = 0; /* default no limit on #iterations */
437      int mfv = stop->maxeval;
438      stat_common stat;
439      int iterm;
440      int mf;
441
442      ix = (int*) malloc(sizeof(int) * n);
443      if (!ix) return NLOPT_OUT_OF_MEMORY;
444
445      /* FIXME: what should we set mf to?  The example program tlis.for
446         sets it to zero as far as I can tell, but it seems to greatly
447         improve convergence to make it > 0.  The computation time
448         per iteration, and of course the memory, seem to go as O(n * mf),
449         and we'll assume that the main limiting factor is the memory.
450         We'll assume that at least MEMAVAIL memory, or 4*n memory, whichever
451         is bigger, is available. */
452      mf = max(MEMAVAIL/n, 4);
453      if (stop->maxeval && stop->maxeval <= mf)
454           mf = max(stop->maxeval - 5, 1); /* mf > maxeval seems not good */
455
456  retry_alloc:
457      work = (double*) malloc(sizeof(double) * (n * 7 + max(n,n*mf) + 
458                                                max(n,mf)*2));
459      if (!work) { 
460           if (mf > 0) {
461                mf = 0; /* allocate minimal memory */
462                goto retry_alloc;
463           }
464           free(ix);
465           return NLOPT_OUT_OF_MEMORY;
466      }
467
468      xl = work; xu = xl + n;
469      gf = xu + n; s = gf + n; xo = s + n; go = xo + n; so = go + n;
470      xm = so + n;
471      xr = xm + max(n*mf,n); gr = xr + max(n,mf);
472
473      for (i = 0; i < n; ++i) {
474           int lbu = lb[i] <= -0.99 * HUGE_VAL; /* lb unbounded */
475           int ubu = ub[i] >= 0.99 * HUGE_VAL;  /* ub unbounded */
476           ix[i] = lbu ? (ubu ? 0 : 2) : (ubu ? 1 : (lb[i] == ub[i] ? 5 : 3));
477           xl[i] = lb[i];
478           xu[i] = ub[i];
479      }
480
481      /* ?  xo does not seem to be initialized in the
482         original Fortran code, but it is used upon
483         input to plip if mf > 0 ... perhaps ALLOCATE initializes
484         arrays to zero by default? */
485      memset(xo, 0, sizeof(double) * max(n,n*mf));
486
487      plip_(&n, &nb, x, ix, xl, xu, 
488            gf, s, xo, go, so, xm, xr, gr,
489            &xmax,
490
491            /* fixme: pass tol_rel and tol_abs and use NLopt check */
492            &stop->xtol_rel,
493            &stop->ftol_rel,
494            &stop->minf_max,
495            &tolg,
496            stop,
497
498            &minf_est, &gmax,
499            minf,
500            &mit, &mfv,
501            &iest,
502            &method, /* 1 == rank-one method VAR1, 2 == rank-two method VAR2 */
503            &mf,
504            &iterm, &stat,
505            f, f_data);
506
507      free(work);
508      free(ix);
509
510      switch (iterm) {
511          case 1: return NLOPT_XTOL_REACHED;
512          case 2: return NLOPT_FTOL_REACHED;
513          case 3: return NLOPT_MINF_MAX_REACHED;
514          case 4: return NLOPT_SUCCESS; /* gradient tolerance reached */
515          case 6: return NLOPT_SUCCESS;
516          case 12: case 13: return NLOPT_MAXEVAL_REACHED;
517          default: return NLOPT_FAILURE;
518      }
519 }