fix: Nightscout API silently truncated multi-day fetches to ~3-4 days

_entries_since/_treatments_since requested a single page via `count`,
but Nightscout's /api/v1/entries and /api/v1/treatments ignore a large
`count` and cap the response around ~1150/~700 documents regardless of
how far back the requested period goes. Every report page relying on
fetch_entries_range/fetch_treatments_range (7/14/30/90-day selectors)
was silently only getting the most recent ~3-4 days, no matter the
selected period.

Fixed by paginating with `find[date][$lte]` cursors in a new
_paginated_get(), walking back until the requested `since` boundary is
reached or the server returns a short/empty page (= genuinely no more
data, confirmed by manually paginating against the real instance:
entries go back 50+ days, treatments only ~4 days on this install).

Also added reporting.completeness_warning(), shared by the interactive
pages (via ui_common.render_completeness_warning) and the PDF export,
that distinguishes "a structural gap at the start of the period" (data
wasn't fetched/available) from "scattered gaps below the clinical AGP
coverage threshold" (Danne et al. 2017) — the previous single generic
"X% sensor coverage" message read as a CGM/sensor problem even when
the real cause was this fetch bug.
This commit is contained in:
2026-07-31 14:21:35 +02:00
parent fe6a471f17
commit 29d20ca441
13 changed files with 322 additions and 30 deletions
+50
View File
@@ -95,6 +95,56 @@ def sensor_active_percent(glucose: pd.DataFrame, start, end, expected_interval_m
return round(min(len(glucose) / expected_readings, 1.0) * 100, 1)
def completeness_warning(glucose: pd.DataFrame, start, end) -> str | None:
"""Bouw een waarschuwingstekst als er te weinig data is voor de gekozen periode.
Pure functie zodat zowel de interactieve pagina's (ui_common.py, als
st.warning) als het PDF-rapport (pdf_export.py, als tekstregel) exact
dezelfde beoordeling en bewoording gebruiken — een rapport dat naar het
diabetesteam gaat moet dezelfde disclaimer bevatten als wat de gebruiker
zelf op het scherm ziet.
Onderscheidt twee oorzaken:
- een structureel gat aan het BEGIN van de periode (de vroegste
binnengekomen meting ligt later dan de gekozen startdatum) — data is
simpelweg niet opgehaald/beschikbaar voor dat stuk, geen sensorhiaat.
- een lagere dekking dan de klinische AGP-ondergrens (Danne et al. 2017)
zonder zo'n gat aan het begin — verspreide hiaten.
Returns:
None als er geen waarschuwing nodig is; anders de te tonen tekst.
"""
if glucose.empty:
return "Geen glucosedata gevonden in deze periode."
start_date = pd.Timestamp(start).date()
end_date = pd.Timestamp(end).date()
active_pct = sensor_active_percent(glucose, start, end)
earliest = glucose["timestamp"].min().date()
missing_days_at_start = max((earliest - start_date).days, 0)
if missing_days_at_start > 0:
return (
f"Nightscout heeft pas data vanaf {earliest:%d-%m-%Y} teruggegeven — "
f"de eerste {missing_days_at_start} dag(en) van de gekozen periode "
f"({start_date:%d-%m-%Y} t/m {end_date:%d-%m-%Y}) ontbreken volledig, niet alleen "
f"losse sensorhiaten. Sensordekking over de wél opgehaalde periode: "
f"{active_pct:.0f}%. Onderstaande cijfers zijn dus berekend over een "
"kortere periode dan geselecteerd."
)
if active_pct < 70:
# ">=" i.p.v. "≥": deze tekst komt ook in het PDF-rapport terecht
# (pdf_export.py), en fpdf2's ingebouwde Helvetica-font ondersteunt
# alleen Latin-1 — zie gitea issue #11 voor het opruimen hiervan
# (Unicode-lettertype embedden) zodra dat de moeite waard is.
return (
f"Slechts {active_pct:.0f}% sensordekking in deze periode (streefwaarde "
">=70% voor een klinisch betrouwbaar rapport, Danne et al. 2017). De "
"onderstaande cijfers zijn mogelijk minder betrouwbaar door de vele hiaten."
)
return None
def _state_blocks(df: pd.DataFrame, out: pd.Series) -> list[dict]:
"""Groepeer aaneengesloten metingen met dezelfde in/out-status.