Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Nettoyage table multi_validation #4373

Open
ptitfred opened this issue Dec 11, 2024 · 1 comment
Open

Nettoyage table multi_validation #4373

ptitfred opened this issue Dec 11, 2024 · 1 comment

Comments

@ptitfred
Copy link
Contributor

Nettoyage (au sens anglais de "pruning"), restant à définir. Options :

  • suppression pure et simple de lignes trop anciennes (à définir ; 30 jours ?)
  • nullification de certaines colonnes de lignes trop anciennes (colonnes oban_args, result et data_vis notamment ; pour les lignes plus vieilles de 30 jours ?)
  • extraction de données vers un stockage à froid (S3-like par exemple) en ne conservant en base que certaines informations synthétiques

On pourrait panacher les 3 options (en faisant varier les durées, ou en appliquant des stratégies de pruning différentes selon les colonnes).

@AntoineAugusti
Copy link
Member

Plutôt qu'un délai en nombre de jours il faudrait plutôt une réflexion autour de la resource history associée pour les ressources statiques.

Il est possible qu'un GTFS ne soit mis à jour que tous les trimestres, on veut garder des données de validation pour au moins la dernière version et probablement plus longtemps.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants