src/bin/server.rs

   1 // Copyright 2021 Ian Jackson and contributors to Hippotat
   2 // SPDX-License-Identifier: GPL-3.0-or-later
   3 // There is NO WARRANTY.
   4
   5 use hippotat::prelude::*;
   6
   7 #[derive(StructOpt,Debug)]
   8 pub struct Opts {
   9   #[structopt(flatten)]
  10   log: LogOpts,
  11
  12   #[structopt(flatten)]
  13   config: config::Opts,
  14 }
  15
  16 const METADATA_MAX_LEN: usize = MAX_OVERHEAD;
  17
  18 type AllClients = HashMap<ClientName, ClientHandles>;
  19
  20 struct ClientHandles {
  21   ic: Arc<InstanceConfig>,
  22   web: tokio::sync::mpsc::Sender<WebRequest>,
  23 }
  24
  25 /// Sent from hyper worker pool task to client task
  26 #[allow(dead_code)] // xxx
  27 #[derive(Debug)]
  28 struct WebRequest {
  29   // initial part of body
  30   // used up to and including first 2 lines of metadata
  31   // end delimiter for the metadata not yet located, but in here somewhere
  32   initial: Box<[u8]>,
  33   initial_remaining: usize,
  34   length_hint: usize,
  35   body: hyper::body::Body,
  36   boundary_finder: multipart::BoundaryFinder,
  37   reply_to: tokio::sync::oneshot::Sender<WebResponse>,
  38   warnings: Warnings,
  39   conn: Arc<String>,
  40 }
  41
  42 /// Reply from client task to hyper worker pool task
  43 #[allow(dead_code)] // xxx
  44 #[derive(Debug)]
  45 struct WebResponse {
  46   warnings: Warnings,
  47   data: Result<WebResponseData, AE>,
  48 }
  49
  50 type WebResponseData = Vec<u8>;
  51
  52 #[throws(PacketError)]
  53 pub fn route_packet(conn: &str, link: &dyn Display,
  54                     packet: Box<[u8]>, daddr: IpAddr)
  55 {
  56   // xxx
  57   trace!("{} {} discarding packet daddr={:?} len={}",
  58          conn, link, daddr, packet.len());
  59 }
  60
  61 async fn handle(
  62   conn: Arc<String>,
  63   all_clients: Arc<AllClients>,
  64   req: hyper::Request<hyper::Body>
  65 ) -> Result<hyper::Response<hyper::Body>, hyper::http::Error> {
  66   if req.method() == Method::GET {
  67     let mut resp = hyper::Response::new(hyper::Body::from("hippotat\r\n"));
  68     resp.headers_mut().insert(
  69       "Content-Type",
  70       "text/plain; charset=US-ASCII".try_into().unwrap()
  71     );
  72     return Ok(resp)
  73   }
  74
  75   let mut warnings: Warnings = default();
  76
  77   async {
  78
  79     let get_header = |hn: &str| {
  80       let mut values = req.headers().get_all(hn).iter();
  81       let v = values.next().ok_or_else(|| anyhow!("missing {}", hn))?;
  82       if values.next().is_some() { throw!(anyhow!("multiple {}!", hn)); }
  83       let v = v.to_str().context(anyhow!("interpret {} as UTF-8", hn))?;
  84       Ok::<_,AE>(v)
  85     };
  86
  87     let mkboundary = |b: &'_ _| format!("\n--{}", b).into_bytes();
  88     let boundary = match (||{
  89       let t = get_header("Content-Type")?;
  90       let t: mime::Mime = t.parse().context("parse Content-Type")?;
  91       if t.type_() != "multipart" { throw!(anyhow!("not multipart/")) }
  92       let b = mime::BOUNDARY;
  93       let b = t.get_param(b).ok_or_else(|| anyhow!("missing boundary=..."))?;
  94       if t.subtype() != "form-data" {
  95         warnings.add(&"Content-Type not /form-data")?;
  96       }
  97       let b = mkboundary(b.as_str());
  98       Ok::<_,AE>(b)
  99     })() {
 100       Ok(y) => y,
 101       Err(e) => {
 102         warnings.add(&e.wrap_err("guessing boundary"))?;
 103         mkboundary("b")
 104       },
 105     };
 106
 107     let length_hint: usize = (||{
 108       let clength = get_header("Content-Length")?;
 109       let clength = clength.parse().context("parse Content-Length")?;
 110       Ok::<_,AE>(clength)
 111     })().unwrap_or_else(
 112       |e| { let _ = warnings.add(&e.wrap_err("parsing Content-Length")); 0 }
 113     );
 114
 115     let mut body = req.into_body();
 116     let initial = match read_limited_bytes(
 117       METADATA_MAX_LEN, default(), length_hint, &mut body
 118     ).await {
 119       Ok(all) => all,
 120       Err(ReadLimitedError::Truncated { sofar,.. }) => sofar,
 121       Err(ReadLimitedError::Hyper(e)) => throw!(e),
 122     };
 123
 124     let boundary_finder = memmem::Finder::new(&boundary);
 125     let mut boundary_iter = boundary_finder.find_iter(&initial);
 126
 127     let start = if initial.starts_with(&boundary[1..]) { boundary.len()-1 }
 128     else if let Some(start) = boundary_iter.next() { start + boundary.len() }
 129     else { throw!(anyhow!("initial boundary not found")) };
 130
 131     let comp = multipart::process_boundary
 132       (&mut warnings, &initial[start..], PartName::m)?
 133       .ok_or_else(|| anyhow!(r#"no "m" component"#))?;
 134
 135     if comp.name != PartName::m { throw!(anyhow!(
 136       r#"first multipart component must be name="m""#
 137     )) }
 138
 139     let mut meta = MetadataFieldIterator::new(comp.payload);
 140
 141     let client: ClientName = meta.need_parse().context("client addr")?;
 142
 143     let mut hmac_got = [0; HMAC_L];
 144     let (client_time, hmac_got_l) = (||{
 145       let token: &str = meta.need_next().context(r#"find in "m""#)?;
 146       let (time_t, hmac_b64) = token.split_once(' ')
 147         .ok_or_else(|| anyhow!("split"))?;
 148       let time_t = u64::from_str_radix(time_t, 16).context("parse time_t")?;
 149       let l = io::copy(
 150         &mut base64::read::DecoderReader::new(&mut hmac_b64.as_bytes(),
 151                                               BASE64_CONFIG),
 152         &mut &mut hmac_got[..]
 153       ).context("parse b64 token")?;
 154       let l = l.try_into()?;
 155       Ok::<_,AE>((time_t, l))
 156     })().context("token")?;
 157     let hmac_got = &hmac_got[0..hmac_got_l];
 158
 159     let client_name = client;
 160     let client = all_clients.get(&client_name);
 161
 162     // We attempt to hide whether the client exists we don't try to
 163     // hide the hash lookup computationgs, but we do try to hide the
 164     // HMAC computation by always doing it.  We hope that the compiler
 165     // doesn't produce a specialised implementation for the dummy
 166     // secret value.
 167     let client_exists = subtle::Choice::from(client.is_some() as u8);
 168     let secret = client.map(|c| c.ic.secret.0.as_bytes());
 169     let secret = secret.unwrap_or(&[0x55; HMAC_B][..]);
 170     let client_time_s = format!("{:x}", client_time);
 171     let hmac_exp = token_hmac(secret, client_time_s.as_bytes());
 172     // We also definitely want a consttime memeq for the hmac value
 173     let hmac_ok = hmac_got.ct_eq(&hmac_exp);
 174     //dbg!(DumpHex(&hmac_exp), client.is_some());
 175     //dbg!(DumpHex(hmac_got), hmac_ok, client_exists);
 176     if ! bool::from(hmac_ok & client_exists) {
 177       debug!("{} rejected client {}", &conn, &client_name);
 178       let body = hyper::Body::from("Not authorised\r\n");
 179       return Ok(
 180         hyper::Response::builder()
 181           .status(hyper::StatusCode::FORBIDDEN)
 182           .header("Content-Type", r#"text/plain; charset="utf-8""#)
 183           .body(body)
 184       )
 185     }
 186
 187     let client = client.unwrap();
 188     let now = time_t_now();
 189     let chk_skew = |a: u64, b: u64, c_ahead_behind| {
 190       if let Some(a_ahead) = a.checked_sub(b) {
 191         if a_ahead > client.ic.max_clock_skew.as_secs() {
 192           throw!(anyhow!("too much clock skew (client {} by {})",
 193                          c_ahead_behind, a_ahead));
 194         }
 195       }
 196       Ok::<_,AE>(())
 197     };
 198     chk_skew(client_time, now, "ahead")?;
 199     chk_skew(now, client_time, "behind")?;
 200
 201     let initial_remaining = meta.remaining_bytes_len();
 202
 203     //eprintln!("boundary={:?} start={} name={:?} client={}",
 204     // boundary, start, &comp.name, &client.ic);
 205
 206     let (reply_to, reply_recv) = tokio::sync::oneshot::channel();
 207     trace!("{} {} request, Content-Length={}",
 208            &conn, &client_name, length_hint);
 209     let wreq = WebRequest {
 210       initial,
 211       initial_remaining,
 212       length_hint,
 213       boundary_finder: boundary_finder.into_owned(),
 214       body,
 215       warnings: mem::take(&mut warnings),
 216       reply_to,
 217       conn: conn.clone(),
 218     };
 219
 220     client.web.try_send(wreq)
 221       .map_err(|_| anyhow!("client task shut down!"))?;
 222
 223     let reply: WebResponse = reply_recv.await?;
 224     warnings = reply.warnings;
 225     let data = reply.data?;
 226
 227     if warnings.warnings.is_empty() {
 228       trace!("{} {} responding, {}",
 229              &conn, &client_name, data.len());
 230     } else {
 231       debug!("{} {} responding, {} warnings={:?}",
 232              &conn, &client_name, data.len(),
 233              &warnings.warnings);
 234     }
 235
 236     let data = hyper::Body::from(data);
 237     Ok::<_,AE>(
 238       hyper::Response::builder()
 239         .header("Content-Type", r#"application/octet-stream"#)
 240         .body(data)
 241     )
 242   }.await.unwrap_or_else(|e| {
 243     debug!("{} error {}", &conn, &e);
 244     let mut errmsg = format!("ERROR\n\n{:?}\n\n", &e);
 245     for w in warnings.warnings {
 246       write!(errmsg, "warning: {}\n", w).unwrap();
 247     }
 248     hyper::Response::builder()
 249       .status(hyper::StatusCode::BAD_REQUEST)
 250       .header("Content-Type", r#"text/plain; charset="utf-8""#)
 251       .body(errmsg.into())
 252   })
 253 }
 254
 255 #[allow(unused_variables)] // xxx
 256 #[allow(unused_mut)] // xxx
 257 async fn run_client(ic: Arc<InstanceConfig>,
 258                     mut web: mpsc::Receiver<WebRequest>)
 259                     -> Result<Void, AE>
 260 {
 261   struct Outstanding {
 262     reply_to: tokio::sync::oneshot::Sender<WebResponse>,
 263     oi: OutstandingInner,
 264   }
 265   #[derive(Debug)]
 266   struct OutstandingInner {
 267     target_requests_outstanding: u32,
 268   }
 269   let mut outstanding: VecDeque<Outstanding> = default();
 270   let  downbound: VecDeque<(/*xxx*/)> = default();
 271
 272   let try_send_response = |
 273     reply_to: tokio::sync::oneshot::Sender<WebResponse>,
 274     response: WebResponse
 275   | {
 276     reply_to.send(response)
 277       .unwrap_or_else(|_: WebResponse| () /* oh dear */ /* xxx trace? */);
 278   };
 279
 280   loop {
 281     if let Some(ret) = {
 282       if ! downbound.is_empty() {
 283         outstanding.pop_front()
 284       } else if let Some((i,_)) = outstanding.iter().enumerate().find({
 285         |(_,o)| outstanding.len() > o.oi.target_requests_outstanding.sat()
 286       }) {
 287         Some(outstanding.remove(i).unwrap())
 288       } else {
 289         None
 290       }
 291     } {
 292       let response = WebResponse {
 293         data: Ok(vec![ /* xxx */ ]),
 294         warnings: default(),
 295       };
 296
 297       try_send_response(ret.reply_to, response);
 298     }
 299
 300     select!{
 301       req = web.recv() =>
 302       {
 303         let WebRequest {
 304           initial, initial_remaining, length_hint, mut body,
 305           boundary_finder,
 306           reply_to, conn, mut warnings,
 307         } = req.ok_or_else(|| anyhow!("webservers all shut down!"))?;
 308
 309         match async {
 310
 311           let initial_used = initial.len() - initial_remaining;
 312
 313           let whole_request = read_limited_bytes(
 314             ic.max_batch_up.sat(),
 315             initial,
 316             length_hint,
 317             &mut body
 318           ).await.context("read request body")?;
 319
 320           let (meta, mut comps) =
 321             multipart::ComponentIterator::resume_mid_component(
 322               &whole_request[initial_used..],
 323               boundary_finder
 324             ).context("resume parsing body, after auth checks")?;
 325
 326           let mut meta = MetadataFieldIterator::new(&meta);
 327
 328           macro_rules! meta {
 329             { $v:ident, ( $( $badcmp:tt )? ), $ret:expr,
 330               let $server:ident, $client:ident $($code:tt)*
 331             } => {
 332               let $v = (||{
 333                 let $server = ic.$v;
 334                 let $client $($code)*
 335                 $(
 336                   if $client $badcmp $server {
 337                     throw!(anyhow!("mismatch: client={:?} {} server={:?}",
 338                                    $client, stringify!($badcmp), $server));
 339                   }
 340                 )?
 341                 Ok::<_,AE>($ret)
 342               })().context(stringify!($v))?;
 343               //dbg!(&$v);
 344             }
 345           }
 346
 347           meta!{
 348             target_requests_outstanding, ( != ), client,
 349             let server, client: u32 = meta.need_parse()?;
 350           }
 351
 352           meta!{
 353             http_timeout, ( > ), client,
 354             let server, client = Duration::from_secs(meta.need_parse()?);
 355           }
 356
 357           meta!{
 358             mtu, ( != ), client,
 359             let server, client: u32 = meta.parse()?.unwrap_or(server);
 360           }
 361
 362           meta!{
 363             max_batch_down, (), min(client, server),
 364             let server, client: u32 = meta.parse()?.unwrap_or(server);
 365           }
 366
 367           meta!{
 368             max_batch_up, ( > ), client,
 369             let server, client = meta.parse()?.unwrap_or(server);
 370           }
 371
 372           while let Some(comp) = comps.next(&mut warnings, PartName::d)? {
 373             if comp.name != PartName::d {
 374               warnings.add(&format_args!("unexpected part {:?}", comp.name))?;
 375             }
 376             checkn(Mime2Slip, mtu, comp.payload, |header| {
 377               let saddr = ip_packet_addr::<false>(header)?;
 378               if saddr != ic.link.client.0 { throw!(PE::Src(saddr)) }
 379               let daddr = ip_packet_addr::<true>(header)?;
 380               Ok(daddr)
 381             }, |(daddr,packet)| route_packet(
 382               &conn, &ic.link.client, daddr,packet
 383             ),
 384               |e| Ok::<_,SlipFramesError<_>>({ warnings.add(&e)?; })
 385             )?;
 386           }
 387
 388           let oi = OutstandingInner {
 389             target_requests_outstanding,
 390           };
 391           Ok::<_,AE>(oi)
 392         }.await {
 393           Ok(oi) => outstanding.push_back(Outstanding { reply_to, oi }),
 394           Err(e) => {
 395             try_send_response(reply_to, WebResponse {
 396               data: Err(e),
 397               warnings,
 398             });
 399           },
 400         }
 401       }
 402     }
 403   }
 404   //Err(anyhow!("xxx"))
 405 }
 406
 407 #[tokio::main]
 408 async fn main() {
 409   let opts = Opts::from_args();
 410   let mut tasks: Vec<(
 411     JoinHandle<AE>,
 412     String,
 413   )> = vec![];
 414
 415   let (global, ipif) = config::startup(
 416     "hippotatd", LinkEnd::Server,
 417     &opts.config, &opts.log, |ics|
 418   {
 419     let global = config::InstanceConfigGlobal::from(&ics);
 420     let ipif = Ipif::start(&global.ipif, None)?;
 421
 422     let all_clients: AllClients = ics.into_iter().map(|ic| {
 423       let ic = Arc::new(ic);
 424
 425       let (web_send, web_recv) = mpsc::channel(
 426         5 // xxx should me max_requests_outstanding but that's
 427           // marked client-only so needs rework
 428       );
 429
 430       let ic_ = ic.clone();
 431       tasks.push((tokio::spawn(async move {
 432         run_client(ic_, web_recv).await.void_unwrap_err()
 433       }), format!("client {}", &ic)));
 434
 435       (ic.link.client,
 436        ClientHandles {
 437          ic,
 438          web: web_send,
 439        })
 440     }).collect();
 441     let all_clients = Arc::new(all_clients);
 442
 443     for addr in &global.addrs {
 444       let all_clients_ = all_clients.clone();
 445       let make_service = hyper::service::make_service_fn(
 446         move |conn: &hyper::server::conn::AddrStream| {
 447           let all_clients_ = all_clients_.clone();
 448           let conn = Arc::new(format!("[{}]", conn.remote_addr()));
 449           async { Ok::<_, Void>( hyper::service::service_fn(move |req| {
 450             handle(conn.clone(), all_clients_.clone(), req)
 451           }) ) }
 452         }
 453       );
 454
 455       let addr = SocketAddr::new(*addr, global.port);
 456       let server = hyper::Server::try_bind(&addr)
 457         .context("bind")?
 458         .http1_preserve_header_case(true)
 459         .serve(make_service);
 460       info!("listening on {}", &addr);
 461       let task = tokio::task::spawn(async move {
 462         match server.await {
 463           Ok(()) => anyhow!("shut down?!"),
 464           Err(e) => e.into(),
 465         }
 466       });
 467       tasks.push((task, format!("http server {}", addr)));
 468     }
 469
 470     Ok((global, ipif))
 471   });
 472
 473   let died = future::select_all(
 474     tasks.iter_mut().map(|e| &mut e.0)
 475   ).await;
 476   error!("xxx {:?}", &died);
 477
 478   ipif.quitting(None).await;
 479
 480   dbg!(global);
 481 }