fix: Nightscout API silently truncated multi-day fetches to ~3-4 days

_entries_since/_treatments_since requested a single page via `count`,
but Nightscout's /api/v1/entries and /api/v1/treatments ignore a large
`count` and cap the response around ~1150/~700 documents regardless of
how far back the requested period goes. Every report page relying on
fetch_entries_range/fetch_treatments_range (7/14/30/90-day selectors)
was silently only getting the most recent ~3-4 days, no matter the
selected period.

Fixed by paginating with `find[date][$lte]` cursors in a new
_paginated_get(), walking back until the requested `since` boundary is
reached or the server returns a short/empty page (= genuinely no more
data, confirmed by manually paginating against the real instance:
entries go back 50+ days, treatments only ~4 days on this install).

Also added reporting.completeness_warning(), shared by the interactive
pages (via ui_common.render_completeness_warning) and the PDF export,
that distinguishes "a structural gap at the start of the period" (data
wasn't fetched/available) from "scattered gaps below the clinical AGP
coverage threshold" (Danne et al. 2017) — the previous single generic
"X% sensor coverage" message read as a CGM/sensor problem even when
the real cause was this fetch bug.

nightscout_client.py

@@ -31,6 +31,19 @@ SENSOR_CHANGE_EVENT_TYPES = {"Sensor Change", "Sensor Start"}
 
 _REQUEST_TIMEOUT = 10
 
+# Nightscout's /api/v1/entries en /api/v1/treatments negeren een groot
+# `count`-verzoek: het antwoord wordt hoe dan ook stilzwijgend afgeknipt rond
+# een paar honderd tot ~1150 documenten, ongeacht hoe ver de opgevraagde
+# periode teruggaat (waargenomen: count=100000 op entries gaf slechts de
+# meest recente ~1150 metingen terug — nog geen 4 dagen — terwijl er wel
+# degelijk weken oudere data in Nightscout beschikbaar bleek te zijn). Eén
+# verzoek is dus niet genoeg voor meerdaagse rapportages; _paginated_get()
+# loopt terug in de tijd met `find[date][$lte]`-cursors tot de gevraagde
+# `since`-grens bereikt is of de server minder dan een volle pagina teruggeeft
+# (= geen oudere data meer beschikbaar, wat verschilt van "afgeknipt").
+_PAGE_SIZE = 1000
+_MAX_PAGES = 150  # 150 000 documenten; ruim boven wat een 90-dagenrapport nodig heeft
+
 
 class NightscoutConfigError(RuntimeError):
     """NIGHTSCOUT_URL ontbreekt of is ongeldig."""
@@ -75,15 +88,44 @@ def _get(path: str, params: dict) -> list:
     return response.json()
 
 
-def _entries_since(since: datetime, count: int, until: datetime | None = None) -> pd.DataFrame:
-    """Haal entries op sinds `since` (en optioneel tot `until`), lokaal gefilterd.
+def _paginated_get(path: str, since: datetime, until: datetime | None = None) -> list:
+    """Haal alle documenten op tussen `since` en `until` (of tot nu), pagina voor pagina.
 
-    Nightscout geeft resultaten terug in aflopende volgorde; vraag ruim genoeg
-    entries op (CGM meet doorgaans elke 5 min) en filter lokaal op tijd. Dit is
-    robuuster dan server-side find[]-query's, die niet op elke Nightscout-versie
-    identiek werken.
+    Zie de toelichting bij _PAGE_SIZE hierboven voor waarom dit niet één
+    verzoek met een groot `count` kan zijn (BUG: dat leverde bij een
+    meerdaags rapport stilzwijgend alleen de laatste ~3-4 dagen op, ongeacht
+    de gekozen periode). Elke pagina wordt opgevraagd met `find[date][$lte]`
+    net onder de oudste timestamp van de vorige pagina, zodat elk document
+    precies één keer terugkomt. Stopt zodra de oudste timestamp in een pagina
+    op of voorbij `since` ligt, of zodra de server minder dan een volle
+    pagina teruggeeft (dan is er geen oudere data meer, punt).
     """
-    data = _get("/api/v1/entries/sgv.json", {"count": count})
+    since_ms = int(since.timestamp() * 1000)
+    cursor_ms = int(until.timestamp() * 1000) if until is not None else None
+
+    results: list = []
+    for _ in range(_MAX_PAGES):
+        params = {"count": _PAGE_SIZE}
+        if cursor_ms is not None:
+            params["find[date][$lte]"] = cursor_ms
+        page = _get(path, params)
+        if not page:
+            break
+        results.extend(page)
+
+        dates = [item["date"] for item in page if "date" in item]
+        if not dates:
+            break
+        oldest_ms = min(dates)
+        if oldest_ms <= since_ms or len(page) < _PAGE_SIZE:
+            break
+        cursor_ms = oldest_ms - 1
+    return results
+
+
+def _entries_since(since: datetime, until: datetime | None = None) -> pd.DataFrame:
+    """Haal entries op sinds `since` (en optioneel tot `until`), lokaal gefilterd."""
+    data = _paginated_get("/api/v1/entries/sgv.json", since, until)
 
     if not data:
         return pd.DataFrame(columns=["timestamp", "mmol"])
@@ -97,9 +139,9 @@ def _entries_since(since: datetime, count: int, until: datetime | None = None) -
     return df[["timestamp", "mmol"]].sort_values("timestamp").reset_index(drop=True)
 
 
-def _treatments_since(since: datetime, count: int, until: datetime | None = None) -> pd.DataFrame:
+def _treatments_since(since: datetime, until: datetime | None = None) -> pd.DataFrame:
     """Haal treatments op sinds `since` (en optioneel tot `until`), lokaal gefilterd."""
-    data = _get("/api/v1/treatments.json", {"count": count})
+    data = _paginated_get("/api/v1/treatments.json", since, until)
 
     if not data:
         return pd.DataFrame(columns=["timestamp", "eventType", "insulin", "carbs"])
@@ -129,8 +171,7 @@ def fetch_entries(hours: int = 24) -> pd.DataFrame:
     gesorteerd op tijd.
     """
     since = datetime.now(timezone.utc) - timedelta(hours=hours)
-    count = max(300, hours * 15)
-    return _entries_since(since, count)
+    return _entries_since(since)
 
 
 def fetch_treatments(hours: int = 24) -> pd.DataFrame:
@@ -141,8 +182,7 @@ def fetch_treatments(hours: int = 24) -> pd.DataFrame:
     'insulin' en 'carbs' (de laatste twee NaN waar niet van toepassing).
     """
     since = datetime.now(timezone.utc) - timedelta(hours=hours)
-    count = max(200, hours * 10)
-    return _treatments_since(since, count)
+    return _treatments_since(since)
 
 
 def fetch_entries_range(start_date: date, end_date: date) -> pd.DataFrame:
@@ -154,9 +194,7 @@ def fetch_entries_range(start_date: date, end_date: date) -> pd.DataFrame:
     """
     since = datetime.combine(start_date, time.min, tzinfo=timezone.utc)
     until = datetime.combine(end_date, time.max, tzinfo=timezone.utc)
-    days = (end_date - start_date).days + 1
-    count = min(days * 300, 100_000)  # ruime marge boven 5-min-interval
-    return _entries_since(since, count, until)
+    return _entries_since(since, until)
 
 
 def fetch_treatments_range(start_date: date, end_date: date) -> pd.DataFrame:
@@ -166,6 +204,4 @@ def fetch_treatments_range(start_date: date, end_date: date) -> pd.DataFrame:
     """
     since = datetime.combine(start_date, time.min, tzinfo=timezone.utc)
     until = datetime.combine(end_date, time.max, tzinfo=timezone.utc)
-    days = (end_date - start_date).days + 1
-    count = min(days * 50, 50_000)
-    return _treatments_since(since, count, until)
+    return _treatments_since(since, until)