src/config.rs

   1 // Copyright 2021 Ian Jackson and contributors to Hippotat
   2 // SPDX-License-Identifier: AGPL-3.0-or-later
   3 // There is NO WARRANTY.
   4
   5 use crate::prelude::*;
   6
   7 use configparser::ini::Ini;
   8
   9 #[derive(StructOpt,Debug)]
  10 pub struct Opts {
  11   /// Top-level config file or directory
  12   ///
  13   /// Look for `main.cfg`, `config.d` and `secrets.d` here.
  14   ///
  15   /// Or if this is a file, just read that file.
  16   #[structopt(long, default_value="/etc/hippotat")]
  17   pub config: PathBuf,
  18
  19   /// Additional config files or dirs, which can override the others
  20   #[structopt(long, multiple=true, number_of_values=1)]
  21   pub extra_config: Vec<PathBuf>,
  22 }
  23
  24 pub struct CidrString(pub String);
  25
  26 #[derive(hippotat_macros::ResolveConfig)]
  27 pub struct InstanceConfig {
  28 /*
  29   // Exceptional settings
  30   pub server:                       String,
  31   pub secret:                       String, // make a newytpe
  32   pub ipif:                         String,
  33 */
  34   // Capped settings:
  35   pub max_batch_down:               u32,
  36 /*
  37   pub max_queue_time:               Duration,
  38   pub http_timeout:                 Duration,
  39   pub target_requests_outstanding:  u32,
  40
  41   // Ordinary settings:
  42   pub addrs:                        Vec<IpAddr>,
  43   pub vnetwork:                     Vec<CidrString>,
  44   pub vaddr:                        Vec<IpAddr>,
  45   pub vrelay:                       IpAddr,
  46   pub port:                         u16,
  47   pub mtu:                          u32,
  48   pub ifname_server:                String,
  49   pub ifname_client:                String,
  50
  51   // Ordinary settings, used by server only:
  52   pub max_clock_skew:               Duration,
  53
  54   // Ordinary settings, used by client only:
  55   pub http_timeout_grace:           Duration,
  56   pub max_requests_outstanding:     u32,
  57   pub max_batch_up:                 u32,
  58   pub http_retry:                   Duration,
  59   pub url:                          Uri,
  60   pub vroutes:                      Vec<CidrString>,
  61 */
  62 }
  63
  64 #[derive(Debug,Clone,Hash,Eq,PartialEq)]
  65 pub enum SectionName {
  66   Link(LinkName),
  67   Client(ClientName),
  68   Server(ServerName), // includes SERVER, which is slightly special
  69   ServerLimit(ServerName),
  70   GlobalLimit,
  71   Common,
  72   Default,
  73 }
  74 pub use SectionName as SN;
  75
  76 #[derive(Debug,Clone)]
  77 struct RawVal { val: Option<String>, loc: Arc<PathBuf> }
  78 type SectionMap = HashMap<String, RawVal>;
  79
  80 pub struct Config {
  81   opts: Opts,
  82 }
  83
  84 static OUTSIDE_SECTION: &str = "[";
  85
  86 #[derive(Default,Debug)]
  87 struct Aggregate {
  88   sections: HashMap<SectionName, SectionMap>,
  89 }
  90
  91 type OkAnyway<'f,A> = &'f dyn Fn(ErrorKind) -> Option<A>;
  92 #[ext]
  93 impl<'f,A> OkAnyway<'f,A> {
  94   fn ok<T>(self, r: &Result<T, io::Error>) -> Option<A> {
  95     let e = r.as_ref().err()?;
  96     let k = e.kind();
  97     let a = self(k)?;
  98     Some(a)
  99   }
 100 }
 101
 102 impl FromStr for SectionName {
 103   type Err = AE;
 104   #[throws(AE)]
 105   fn from_str(s: &str) -> Self {
 106     match s {
 107       "COMMON" => return SN::Common,
 108       "DEFAULT" => return SN::Default,
 109       "LIMIT" => return SN::GlobalLimit,
 110       _ => { }
 111     };
 112     if let Ok(n@ ServerName(_)) = s.parse() { return SN::Server(n) }
 113     if let Ok(n@ ClientName(_)) = s.parse() { return SN::Client(n) }
 114     let (server, client) = s.split_ascii_whitespace().collect_tuple()
 115       .ok_or_else(|| anyhow!(
 116         "bad section name {:?} \
 117          (must be COMMON, DEFAULT, <server>, <client>, or <server> <client>",
 118         s
 119       ))?;
 120     let server = server.parse().context("server name in link section name")?;
 121     if client == "LIMIT" { return SN::ServerLimit(server) }
 122     let client = client.parse().context("client name in link section name")?;
 123     SN::Link(LinkName { server, client })
 124   }
 125 }
 126
 127 impl Aggregate {
 128   #[throws(AE)] // AE does not include path
 129   fn read_file<A>(&mut self, path: &Path, anyway: OkAnyway<A>) -> Option<A>
 130   {
 131     let f = fs::File::open(path);
 132     if let Some(anyway) = anyway.ok(&f) { return Some(anyway) }
 133     let mut f = f.context("open")?;
 134
 135     let mut s = String::new();
 136     let y = f.read_to_string(&mut s);
 137     if let Some(anyway) = anyway.ok(&y) { return Some(anyway) }
 138     y.context("read")?;
 139
 140     let mut ini = Ini::new_cs();
 141     ini.set_default_section(OUTSIDE_SECTION);
 142     ini.read(s).map_err(|e| anyhow!("{}", e)).context("parse as INI")?;
 143     let map = mem::take(ini.get_mut_map());
 144     if map.get(OUTSIDE_SECTION).is_some() {
 145       throw!(anyhow!("INI file contains settings outside a section"));
 146     }
 147
 148     let loc = Arc::new(path.to_owned());
 149
 150     for (sn, vars) in map {
 151       dbg!( InstanceConfig::FIELDS );// check xxx vars are in fields
 152
 153       let sn = sn.parse().dcontext(&sn)?;
 154         self.sections.entry(sn)
 155         .or_default()
 156         .extend(
 157           vars.into_iter()
 158             .map(|(k,val)| {
 159               (k.replace('-',"_"),
 160                RawVal { val, loc: loc.clone() })
 161             })
 162         );
 163     }
 164     None
 165   }
 166
 167   #[throws(AE)] // AE includes path
 168   fn read_dir_d<A>(&mut self, path: &Path, anyway: OkAnyway<A>) -> Option<A>
 169   {
 170     let dir = fs::read_dir(path);
 171     if let Some(anyway) = anyway.ok(&dir) { return Some(anyway) }
 172     let dir = dir.context("open directory").dcontext(path)?;
 173     for ent in dir {
 174       let ent = ent.context("read directory").dcontext(path)?;
 175       let leaf = ent.file_name();
 176       let leaf = leaf.to_str();
 177       let leaf = if let Some(leaf) = leaf { leaf } else { continue }; //utf8?
 178       if leaf.len() == 0 { continue }
 179       if ! leaf.chars().all(
 180         |c| c=='-' || c=='_' || c.is_ascii_alphanumeric()
 181       ) { continue }
 182
 183       // OK we want this one
 184       let ent = ent.path();
 185       self.read_file(&ent, &|_| None::<Void>).dcontext(&ent)?;
 186     }
 187     None
 188   }
 189
 190   #[throws(AE)] // AE includes everything
 191   fn read_toplevel(&mut self, toplevel: &Path) {
 192     enum Anyway { None, Dir }
 193     match self.read_file(toplevel, &|k| match k {
 194       EK::NotFound => Some(Anyway::None),
 195       EK::IsADirectory => Some(Anyway::Dir),
 196       _ => None,
 197     })
 198       .dcontext(toplevel).context("top-level config directory (or file)")?
 199     {
 200       None | Some(Anyway::None) => { },
 201
 202       Some(Anyway::Dir) => {
 203         struct AnywayNone;
 204         let anyway_none = |k| match k {
 205           EK::NotFound => Some(AnywayNone),
 206           _ => None,
 207         };
 208
 209         let mk = |leaf: &str| {
 210           [ toplevel, &PathBuf::from(leaf) ]
 211             .iter().collect::<PathBuf>()
 212         };
 213
 214         for &(try_main, desc) in &[
 215           ("main.cfg", "main config file"),
 216           ("master.cfg", "obsolete-named main config file"),
 217         ] {
 218           let main = mk(try_main);
 219
 220           match self.read_file(&main, &anyway_none)
 221             .dcontext(main).context(desc)?
 222           {
 223             None => break,
 224             Some(AnywayNone) => { },
 225           }
 226         }
 227
 228         for &(try_dir, desc) in &[
 229           ("config.d", "per-link config directory"),
 230           ("secrets.d", "per-link secrets directory"),
 231         ] {
 232           let dir = mk(try_dir);
 233           match self.read_dir_d(&dir, &anyway_none).context(desc)? {
 234             None => { },
 235             Some(AnywayNone) => { },
 236           }
 237         }
 238       }
 239     }
 240   }
 241
 242   #[throws(AE)] // AE includes extra, but does that this is extra
 243   fn read_extra(&mut self, extra: &Path) {
 244     struct AnywayDir;
 245
 246     match self.read_file(extra, &|k| match k {
 247       EK::IsADirectory => Some(AnywayDir),
 248       _ => None,
 249     })
 250       .dcontext(extra)?
 251     {
 252       None => return,
 253       Some(AnywayDir) => {
 254         self.read_dir_d(extra, &|_| None::<Void>)?;
 255       }
 256     }
 257
 258   }
 259 }
 260
 261 enum LinkEnd { Server, Client }
 262
 263 struct ResolveContext<'c> {
 264   agg: &'c Aggregate,
 265   link: &'c LinkName,
 266   end: LinkEnd,
 267   all_sections: Vec<SectionName>,
 268 }
 269
 270 trait Parseable: Sized {
 271   fn parse(s: &Option<String>) -> Result<Self, AE>;
 272 }
 273
 274 impl Parseable for Duration {
 275   #[throws(AE)]
 276   fn parse(s: &Option<String>) -> Duration {
 277     let s = s.as_ref().ok_or_else(|| anyhow!("value needed"))?;
 278     if let Ok(u64) = s.parse() { return Duration::from_secs(u64) }
 279     throw!(anyhow!("xxx parse with humantime"))
 280   }
 281 }
 282 macro_rules! parseable_from_str { ($t:ty) => {
 283   impl Parseable for $t {
 284     #[throws(AE)]
 285     fn parse(s: &Option<String>) -> $t {
 286       let s = s.as_ref().ok_or_else(|| anyhow!("value needed"))?;
 287       s.parse()?
 288     }
 289   }
 290 } }
 291 parseable_from_str!{u32}
 292
 293 #[derive(Debug,Copy,Clone)]
 294 enum SectionKindList {
 295   Ordinary,
 296   Limited,
 297   Limits,
 298   ClientAgnostic,
 299   ServerName,
 300 }
 301 use SectionKindList as SKL;
 302
 303 impl SectionKindList {
 304   fn contains(self, s: &SectionName) -> bool {
 305     match self {
 306       SKL::Ordinary       => matches!(s, SN::Link(_)
 307                                        | SN::Client(_)
 308                                        | SN::Server(_)
 309                                        | SN::Common),
 310
 311       SKL::Limits         => matches!(s, SN::ServerLimit(_)
 312                                        | SN::GlobalLimit),
 313
 314       SKL::ClientAgnostic => matches!(s, SN::Common
 315                                        | SN::Server(_)),
 316
 317       SKL::Limited        => SKL::Ordinary.contains(s)
 318                            | SKL::Limits  .contains(s),
 319
 320       SKL::ServerName     => matches!(s, SN::Common)
 321                            | matches!(s, SN::Server(ServerName(name))
 322                                          if name == "SERVER"),
 323     }
 324   }
 325 }
 326
 327 impl<'c> ResolveContext<'c> {
 328   fn first_of_raw(&self, key: &'static str, sections: SectionKindList)
 329                   -> Option<&'c RawVal> {
 330     for section in self.all_sections.iter()
 331       .filter(|s| sections.contains(s))
 332     {
 333       if let Some(raw) = self.agg.sections
 334         .get(section)
 335         .and_then(|vars: &SectionMap| vars.get(key))
 336       {
 337         return Some(raw)
 338       }
 339     }
 340     None
 341   }
 342
 343   #[throws(AE)]
 344   fn first_of<T>(&self, key: &'static str, sections: SectionKindList)
 345                  -> Option<T>
 346   where T: Parseable
 347   {
 348     match self.first_of_raw(key, sections) {
 349       None => None,
 350       Some(raw) => Some({
 351         Parseable::parse(&raw.val)
 352           .context(key)
 353 //          .with_context(|| format!(r#"in section "{}""#, &section))
 354           .dcontext(&raw.loc)?
 355       }),
 356     }
 357   }
 358
 359   #[throws(AE)]
 360   pub fn ordinary<T>(&self, key: &'static str) -> T
 361   where T: Parseable + Default
 362   {
 363     self.first_of(key, SKL::Ordinary)?
 364       .unwrap_or_default()
 365   }
 366
 367   #[throws(AE)]
 368   pub fn limited<T>(&self, key: &'static str) -> T
 369   where T: Parseable + Default + Ord
 370   {
 371     let val = self.ordinary(key)?;
 372     if let Some(limit) = self.first_of(key, SKL::Limits)? {
 373       min(val, limit)
 374     } else {
 375       val
 376     }
 377   }
 378
 379   #[throws(AE)]
 380   pub fn client<T>(&self, key: &'static str) -> T
 381   where T: Parseable + Default {
 382     match self.end {
 383       LinkEnd::Client => self.ordinary(key)?,
 384       LinkEnd::Server => default(),
 385     }
 386   }
 387   #[throws(AE)]
 388   pub fn server<T>(&self, key: &'static str) -> T
 389   where T: Parseable + Default {
 390     match self.end {
 391       LinkEnd::Server => self.ordinary(key)?,
 392       LinkEnd::Client => default(),
 393     }
 394   }
 395
 396   #[throws(AE)]
 397   pub fn special_ipif<T>(&self, key: &'static str) -> T
 398   where T: Parseable + Default
 399   {
 400     match self.end {
 401       LinkEnd::Client => self.ordinary(key)?,
 402       LinkEnd::Server => {
 403         self.first_of(key, SKL::ClientAgnostic)?
 404           .unwrap_or_default()
 405       },
 406     }
 407   }
 408 }
 409
 410 impl<'c> ResolveContext<'c> {
 411   #[throws(AE)]
 412   fn resolve_instance(&self) -> InstanceConfig {
 413     InstanceConfig {
 414       max_batch_down: self.limited::<u32>("max_batch_down")?.into(),
 415     }
 416   }
 417 }
 418
 419 #[throws(AE)]
 420 pub fn read() {
 421   let opts = config::Opts::from_args();
 422
 423   let agg = (||{
 424     let mut agg = Aggregate::default();
 425
 426     agg.read_toplevel(&opts.config)?;
 427     for extra in &opts.extra_config {
 428       agg.read_extra(extra).context("extra config")?;
 429     }
 430
 431     eprintln!("GOT {:#?}", agg);
 432
 433     Ok::<_,AE>(agg)
 434   })().context("read configuration")?;
 435
 436   let link = LinkName {
 437     server: "fooxxx".parse().unwrap(),
 438     client: "127.0.0.1".parse().unwrap(),
 439   };
 440
 441   let rctx = ResolveContext {
 442     agg: &agg,
 443     link: &link,
 444     end: LinkEnd::Server,
 445     all_sections: vec![
 446       SN::Link(link.clone()),
 447       SN::Client(link.client.clone()),
 448       SN::Server(link.server.clone()),
 449       SN::Common,
 450       SN::ServerLimit(link.server.clone()),
 451       SN::GlobalLimit,
 452     ],
 453   };
 454 }