fix: Nightscout API silently truncated multi-day fetches to ~3-4 days
_entries_since/_treatments_since requested a single page via `count`, but Nightscout's /api/v1/entries and /api/v1/treatments ignore a large `count` and cap the response around ~1150/~700 documents regardless of how far back the requested period goes. Every report page relying on fetch_entries_range/fetch_treatments_range (7/14/30/90-day selectors) was silently only getting the most recent ~3-4 days, no matter the selected period. Fixed by paginating with `find[date][$lte]` cursors in a new _paginated_get(), walking back until the requested `since` boundary is reached or the server returns a short/empty page (= genuinely no more data, confirmed by manually paginating against the real instance: entries go back 50+ days, treatments only ~4 days on this install). Also added reporting.completeness_warning(), shared by the interactive pages (via ui_common.render_completeness_warning) and the PDF export, that distinguishes "a structural gap at the start of the period" (data wasn't fetched/available) from "scattered gaps below the clinical AGP coverage threshold" (Danne et al. 2017) — the previous single generic "X% sensor coverage" message read as a CGM/sensor problem even when the real cause was this fetch bug.
This commit is contained in:
@@ -95,6 +95,56 @@ def sensor_active_percent(glucose: pd.DataFrame, start, end, expected_interval_m
|
||||
return round(min(len(glucose) / expected_readings, 1.0) * 100, 1)
|
||||
|
||||
|
||||
def completeness_warning(glucose: pd.DataFrame, start, end) -> str | None:
|
||||
"""Bouw een waarschuwingstekst als er te weinig data is voor de gekozen periode.
|
||||
|
||||
Pure functie zodat zowel de interactieve pagina's (ui_common.py, als
|
||||
st.warning) als het PDF-rapport (pdf_export.py, als tekstregel) exact
|
||||
dezelfde beoordeling en bewoording gebruiken — een rapport dat naar het
|
||||
diabetesteam gaat moet dezelfde disclaimer bevatten als wat de gebruiker
|
||||
zelf op het scherm ziet.
|
||||
|
||||
Onderscheidt twee oorzaken:
|
||||
- een structureel gat aan het BEGIN van de periode (de vroegste
|
||||
binnengekomen meting ligt later dan de gekozen startdatum) — data is
|
||||
simpelweg niet opgehaald/beschikbaar voor dat stuk, geen sensorhiaat.
|
||||
- een lagere dekking dan de klinische AGP-ondergrens (Danne et al. 2017)
|
||||
zonder zo'n gat aan het begin — verspreide hiaten.
|
||||
|
||||
Returns:
|
||||
None als er geen waarschuwing nodig is; anders de te tonen tekst.
|
||||
"""
|
||||
if glucose.empty:
|
||||
return "Geen glucosedata gevonden in deze periode."
|
||||
|
||||
start_date = pd.Timestamp(start).date()
|
||||
end_date = pd.Timestamp(end).date()
|
||||
active_pct = sensor_active_percent(glucose, start, end)
|
||||
earliest = glucose["timestamp"].min().date()
|
||||
missing_days_at_start = max((earliest - start_date).days, 0)
|
||||
|
||||
if missing_days_at_start > 0:
|
||||
return (
|
||||
f"Nightscout heeft pas data vanaf {earliest:%d-%m-%Y} teruggegeven — "
|
||||
f"de eerste {missing_days_at_start} dag(en) van de gekozen periode "
|
||||
f"({start_date:%d-%m-%Y} t/m {end_date:%d-%m-%Y}) ontbreken volledig, niet alleen "
|
||||
f"losse sensorhiaten. Sensordekking over de wél opgehaalde periode: "
|
||||
f"{active_pct:.0f}%. Onderstaande cijfers zijn dus berekend over een "
|
||||
"kortere periode dan geselecteerd."
|
||||
)
|
||||
if active_pct < 70:
|
||||
# ">=" i.p.v. "≥": deze tekst komt ook in het PDF-rapport terecht
|
||||
# (pdf_export.py), en fpdf2's ingebouwde Helvetica-font ondersteunt
|
||||
# alleen Latin-1 — zie gitea issue #11 voor het opruimen hiervan
|
||||
# (Unicode-lettertype embedden) zodra dat de moeite waard is.
|
||||
return (
|
||||
f"Slechts {active_pct:.0f}% sensordekking in deze periode (streefwaarde "
|
||||
">=70% voor een klinisch betrouwbaar rapport, Danne et al. 2017). De "
|
||||
"onderstaande cijfers zijn mogelijk minder betrouwbaar door de vele hiaten."
|
||||
)
|
||||
return None
|
||||
|
||||
|
||||
def _state_blocks(df: pd.DataFrame, out: pd.Series) -> list[dict]:
|
||||
"""Groepeer aaneengesloten metingen met dezelfde in/out-status.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user