Optimisations pour la carte GTFS nationale #3122

thbar · 2023-05-02T15:28:29Z

Dans cette PR je travaille à optimiser le rendu de la carte GTFS nationale, de façon à pouvoir la rendre publique (performance suffisante pour ne pas faire planter le reste du size).

Démo disponible sur http://prochainement.transport.data.gouv.fr/explore/gtfs-stops

Périmètre

Je ne cherche pas à rendre la carte publique tout de suite, mais déjà à nettement améliorer sa performance en interne.

Pour l'instant la piste de travail est une mise sous cache des clusters par zoom level, avec des materialized views correspondantes.

Je crée les vues à la volée sans chercher à les invalider en cas de changement pour le moment.

Je m'appuie sur la base de données pour générer le JSON, ce qui est plus rapide.

J'ai testé avec différentes tailles d'écran et ça semble rendre correct.

Points à améliorer

Réduire les étapes de traitement côté Elixir, car c'est ce qui prend le plus de temps à présent. Il y a des conversions / arrondis vers flottants qui prennent pas mal de temps. Éventuellement l'encodage vers le JSON
Trouver comment remettre en place la clé "type" pour différencier ce qui est en dessous
Déplacer les points restants dans un nouveau ticket pour pouvoir shipper ça - ok voir [Epic] Améliorations carte GTFS nationale #3136

Vérification de la taille des caches

select schemaname as table_schema,
    relname as table_name,
    pg_size_pretty(pg_total_relation_size(relid)) as total_size,
    pg_size_pretty(pg_relation_size(relid)) as data_size,
    pg_size_pretty(pg_total_relation_size(relid) - pg_relation_size(relid))
      as external_size
from pg_catalog.pg_statio_user_tables
where relname like 'gtfs_stops_clusters_level%'
order by pg_total_relation_size(relid) desc,
         pg_relation_size(relid) desc
limit 20;

EDIT: après récupération d'un backup de production le 9 mai et ajout de zoom-levels:

table_schema	table_name	total_size	data_size	external_size
public	gtfs_stops_clusters_level_12	11 MB	11 MB	32 kB
public	gtfs_stops_clusters_level_11	9080 kB	9048 kB	32 kB
public	gtfs_stops_clusters_level_10	6472 kB	6440 kB	32 kB
public	gtfs_stops_clusters_level_9	4176 kB	4144 kB	32 kB
public	gtfs_stops_clusters_level_8	2384 kB	2352 kB	32 kB
public	gtfs_stops_clusters_level_7	1096 kB	1064 kB	32 kB
public	gtfs_stops_clusters_level_6	456 kB	424 kB	32 kB
public	gtfs_stops_clusters_level_5	208 kB	176 kB	32 kB
public	gtfs_stops_clusters_level_4	120 kB	88 kB	32 kB
public	gtfs_stops_clusters_level_3	40 kB	40 kB	0 bytes
public	gtfs_stops_clusters_level_2	24 kB	24 kB	0 bytes
public	gtfs_stops_clusters_level_1	8192 bytes	8192 bytes	0 bytes

…rom production

…h faster)

apps/transport/lib/transport/gtfs_data.ex

thbar · 2023-05-09T16:04:39Z

apps/transport/lib/transport/gtfs_data.ex

+      #{sql}
+      """
+
+      # TODO: replace this by cleaner solutions (https://dba.stackexchange.com/a/208599)


Au final c'est une solution classique de ce que j'ai compris. Je collerai ça dans une méthode à part.

thbar · 2023-05-09T16:05:11Z

apps/transport/lib/transport/gtfs_data.ex

+    {zoom_level, {_sx, _sy}} = find_closest_zoom_level({snap_x, snap_y})
+
+    # TODO: skip create earlier if exist
+    create_gtfs_stops_materialized_view(zoom_level)


Pour l'instant, je lazy-create les vues, ce qui permet d'être sûr qu'elle sera là. On pourra garder ça mais en plus, s'assurer que c'est rafraichi la nuit.

thbar · 2023-05-09T16:05:40Z

apps/transport/lib/transport/gtfs_data.ex

@@ -99,13 +201,5 @@ defmodule Transport.GTFSData do
      c: selected_as(fragment("count"), :count)
    })
    |> where([e], e.count > 0)
-    |> DB.Repo.all()


Le code ci-dessous prenait du temps, il en prend moins quand le calcul est décalé dans Postgres, ce que j'ai fait.

apps/transport/lib/transport_web/controllers/explore_controller.ex

thbar · 2023-05-09T16:06:39Z

apps/transport/lib/transport_web/controllers/explore_controller.ex

+      conn
+      |> put_resp_content_type("application/json")
+      |> render("gtfs_stops_data.json",
+        data: {:skip_json_encoding, Jason.encode!(%{type: "clustered", data: Jason.Fragment.new(data)})}


Le "fragment" permet de ne pas ré-encoder une partie, mais que la globalité de l'encode soit quand même un JSON valide.

thbar · 2023-05-09T16:14:31Z

apps/transport/lib/transport/gtfs_data.ex

+
+  def create_gtfs_stops_materialized_view(zoom_level)
+      when is_integer(zoom_level) and zoom_level in 1..12 do
+    {:ok, %{rows: [[count]], num_rows: 1}} =


Code qui vérifie si la vue matérialisée existe déjà. Sera refactoré plus proprement dans #3136.

thbar · 2023-05-09T16:14:49Z

apps/transport/lib/transport/gtfs_data.ex

+      Ecto.Adapters.SQL.query(DB.Repo, """
+      select count(*)
+        from pg_matviews
+        where matviewname = 'gtfs_stops_clusters_level_#{zoom_level}'


Pas d'injection SQL tant que le paramètre est bien un entier!

(mais je remplacerai ça par une query Ecto propre)

apps/transport/lib/transport/gtfs_data.ex

apps/transport/lib/transport/log_time_taken.ex

apps/transport/lib/transport_web/controllers/explore_controller.ex

thbar · 2023-05-10T08:46:21Z

@AntoineAugusti j'ai répondu à tes commentaires mais surtout nourri #3136 pour la suite. Prêt pour déploiement quand tu voudras.

AntoineAugusti

Merci pour le boulot effectué 🗺️

thbar added 21 commits May 2, 2023 12:14

Save exploratory notes

3bb5041

Build cachable global output

3479e7a

Try to create a materialized view (fails)

70cb5d8

Find a hackish way to create materialized view

77540f6

Use most relevant zoom level

bac824a

Fix warnings

d195881

Add more zoom levels

928a418

Filter based on bounding box

6c36c7c

Skip max/min queries + avoid attempt to create if already exists

6c11f79

Profile time taken

2195c88

Merge branch 'master' into public-gtfs-map

e6aa4a4

Add more zoom-levels after some testing around Paris & data refresh f…

9d3082c

…rom production

Adjust max points without cluster (for Paris)

e9673df

Move useful code to module

9366248

Optimize query by moving select into Postgres

267d5f4

Optimize the query by moving the JSON generation to the database (muc…

bd28919

…h faster)

Rename method for clarity, & document

81596e4

Remove no-op step

54dffe5

Fix test

451d09b

Merge branch 'master' into public-gtfs-map

61dea99

Use nice fragment trick to bring back the full structure

7c9a61c

thbar commented May 9, 2023

View reviewed changes

apps/transport/lib/transport/gtfs_data.ex Show resolved Hide resolved

thbar commented May 9, 2023

View reviewed changes

apps/transport/lib/transport_web/controllers/explore_controller.ex Show resolved Hide resolved

thbar commented May 9, 2023

View reviewed changes

thbar mentioned this pull request May 9, 2023

[Epic] Améliorations carte GTFS nationale #3136

Closed

18 tasks

thbar added 2 commits May 9, 2023 18:12

Replace todos and improve notes

cbd7ad4

Mix format

63b83c8

Fix credo warning

dd115a6

thbar commented May 9, 2023

View reviewed changes

thbar changed the title ~~[WIP] Optimisations pour la carte GTFS nationale~~ Optimisations pour la carte GTFS nationale May 9, 2023

thbar marked this pull request as ready for review May 9, 2023 16:16

thbar requested a review from a team as a code owner May 9, 2023 16:16

AntoineAugusti reviewed May 10, 2023

View reviewed changes

thbar enabled auto-merge May 10, 2023 08:45

AntoineAugusti approved these changes May 10, 2023

View reviewed changes

thbar added this pull request to the merge queue May 10, 2023

Merged via the queue into master with commit 0f45a51 May 10, 2023

thbar deleted the public-gtfs-map branch May 10, 2023 09:18

thbar mentioned this pull request May 10, 2023

Points d'attention pour le rafraichissement des données GTFS consolidées #3138

Closed

thbar mentioned this pull request Dec 4, 2024

[Very WIP] Consolidation brute pour le registre d'arrêts #4354

Open

11 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Optimisations pour la carte GTFS nationale #3122

Optimisations pour la carte GTFS nationale #3122

thbar commented May 2, 2023 •

edited

Loading

thbar May 9, 2023

thbar May 9, 2023

thbar May 9, 2023

thbar May 9, 2023

thbar May 9, 2023

thbar May 9, 2023

thbar May 9, 2023

thbar commented May 10, 2023

AntoineAugusti left a comment

Optimisations pour la carte GTFS nationale #3122

Optimisations pour la carte GTFS nationale #3122

Conversation

thbar commented May 2, 2023 • edited Loading

Périmètre

Points à améliorer

Vérification de la taille des caches

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar May 9, 2023

Choose a reason for hiding this comment

thbar commented May 10, 2023

AntoineAugusti left a comment

Choose a reason for hiding this comment

thbar commented May 2, 2023 •

edited

Loading