From 422fe8d0607967040e3380626c22a5c90a612c1c Mon Sep 17 00:00:00 2001 From: vtr363 Date: Mon, 16 Sep 2024 15:45:02 -0300 Subject: [PATCH 01/12] corrige tratamento de viagens em do --- pipelines/migration/projeto_subsidio_sppo/flows.py | 2 +- queries/dbt_project.yml | 4 ++-- .../aux_registros_status_trajeto.sql | 3 ++- .../subsidio_data_versao_efetiva.sql | 8 ++++---- queries/models/projeto_subsidio_sppo/viagem_planejada.sql | 8 ++++---- 5 files changed, 13 insertions(+), 12 deletions(-) diff --git a/pipelines/migration/projeto_subsidio_sppo/flows.py b/pipelines/migration/projeto_subsidio_sppo/flows.py index 002e51b9..8090f400 100644 --- a/pipelines/migration/projeto_subsidio_sppo/flows.py +++ b/pipelines/migration/projeto_subsidio_sppo/flows.py @@ -106,7 +106,7 @@ dataset_id=constants.SUBSIDIO_SPPO_DATASET_ID.value, table_id="subsidio_data_versao_efetiva viagem_planejada", _vars={"run_date": date_d0, "version": dataset_sha}, - ) + ).set_upstream(RUN) viagens_sppo.storage = GCS(smtr_constants.GCS_FLOWS_BUCKET.value) viagens_sppo.run_config = KubernetesRun( diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml index 7eda4f61..b6cf51e3 100644 --- a/queries/dbt_project.yml +++ b/queries/dbt_project.yml @@ -193,10 +193,10 @@ models: rj_smtr: projeto_subsidio_sppo: +materialized: view - +schema: projeto_subsidio_sppo + +schema: projeto_subsidio_sppo_dbt_tmp deprecated: +materialized: view - +schema: projeto_subsidio_sppo + +schema: projeto_subsidio_sppo_dbt_tmp br_rj_riodejaneiro_sigmob: +materialized: view +schema: br_rj_riodejaneiro_sigmob diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 70f5bcd7..523e9caa 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -132,7 +132,8 @@ shapes AS ( SELECT * FROM - {{ ref("shapes_geom_gtfs") }} + -- {{ ref("shapes_geom_gtfs") }} + rj-smtr.gtfs.shapes_geom WHERE date_sub(date("{{ var("run_date") }}"), interval 1 day) BETWEEN feed_start_date AND feed_end_date ), diff --git a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql index d01eca14..800a79a5 100644 --- a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql +++ b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql @@ -366,8 +366,8 @@ WITH FROM dates AS d LEFT JOIN - {{ ref('feed_info_gtfs') }} AS i - -- rj-smtr.gtfs.feed_info AS i + -- {{ ref('feed_info_gtfs') }} AS i + rj-smtr.gtfs.feed_info AS i USING (feed_version) WHERE @@ -391,8 +391,8 @@ SELECT FROM data_versao_efetiva_manual AS d LEFT JOIN - {{ ref('feed_info_gtfs') }} AS i - -- rj-smtr.gtfs.feed_info AS i + -- {{ ref('feed_info_gtfs') }} AS i + rj-smtr.gtfs.feed_info AS i ON (data BETWEEN i.feed_start_date AND i.feed_end_date OR (data >= i.feed_start_date AND i.feed_end_date IS NULL)) diff --git a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql index a8b01f59..50ec4924 100644 --- a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql +++ b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql @@ -165,10 +165,10 @@ shapes as ( inner join ( select * from {{ ref('subsidio_shapes_geom') }} - {% if is_incremental() %} + where data_versao in (select data_versao_shapes from data_efetiva) - {% endif %} + ) s on s.data_versao = e.data_versao_shapes @@ -414,8 +414,8 @@ shapes AS ( SELECT * FROM - {{ ref("shapes_geom_gtfs") }} - -- rj-smtr.gtfs.shapes_geom + -- {{ ref("shapes_geom_gtfs") }} + rj-smtr.gtfs.shapes_geom WHERE feed_start_date IN (SELECT feed_start_date FROM data_versao_efetiva WHERE data BETWEEN DATE_SUB("{{ var('run_date') }}", INTERVAL 2 DAY) AND DATE_SUB("{{ var('run_date') }}", INTERVAL 1 DAY)) ), From d9100aef44bb49ecabd816d1f4b4281b63b00259 Mon Sep 17 00:00:00 2001 From: "pre-commit-ci[bot]" <66853113+pre-commit-ci[bot]@users.noreply.github.com> Date: Mon, 16 Sep 2024 18:46:43 +0000 Subject: [PATCH 02/12] [pre-commit.ci] auto fixes from pre-commit.com hooks for more information, see https://pre-commit.ci --- queries/models/projeto_subsidio_sppo/viagem_planejada.sql | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql index 50ec4924..b4ad924c 100644 --- a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql +++ b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql @@ -165,10 +165,10 @@ shapes as ( inner join ( select * from {{ ref('subsidio_shapes_geom') }} - + where data_versao in (select data_versao_shapes from data_efetiva) - + ) s on s.data_versao = e.data_versao_shapes From 77d2a9ddea78b167b7148ce21f96bfea00f15cb3 Mon Sep 17 00:00:00 2001 From: vtr363 Date: Mon, 16 Sep 2024 16:04:24 -0300 Subject: [PATCH 03/12] comenta registros_historico no schema de btr_gps --- .../br_rj_riodejaneiro_brt_gps/schema.yml | 58 +++++++++---------- 1 file changed, 29 insertions(+), 29 deletions(-) diff --git a/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml b/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml index bc3e71af..28c31b60 100644 --- a/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml +++ b/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml @@ -64,32 +64,32 @@ models: description: "{{ doc('sentido') }}" - name: velocidade description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" - - name: registros_historico - description: "View para os dados históricos capturados em staging com tratamento básico e conversão de valores" - columns: - - name: codigo - description: "{{ doc('codigo') }}" - - name: placa - description: "Placa do veículo" - - name: linha - description: "Linha de ônibus (serviço) ou, se realocada, informada pela empresa operadora" - - name: latitude - description: "{{ doc('latitude_gps') }}" - - name: longitude - description: "{{ doc('longitude_gps') }}" - - name: timestamp_gps - description: "{{ doc('timestamp_gps') }}" - - name: velocidade - description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" - - name: id_migracao_trajeto - description: "" - - name: sentido - description: "{{ doc('sentido') }}" - - name: trajeto - description: "{{ doc('trajeto') }}" - - name: timestamp_captura - description: "{{ doc('timestamp_captura') }}" - - name: data - description: "Data do 'timestamp_captura'" - - name: hora - description: "Hora do 'timestamp_captura'" \ No newline at end of file + # - name: registros_historico + # description: "View para os dados históricos capturados em staging com tratamento básico e conversão de valores" + # columns: + # - name: codigo + # description: "{{ doc('codigo') }}" + # - name: placa + # description: "Placa do veículo" + # - name: linha + # description: "Linha de ônibus (serviço) ou, se realocada, informada pela empresa operadora" + # - name: latitude + # description: "{{ doc('latitude_gps') }}" + # - name: longitude + # description: "{{ doc('longitude_gps') }}" + # - name: timestamp_gps + # description: "{{ doc('timestamp_gps') }}" + # - name: velocidade + # description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" + # - name: id_migracao_trajeto + # description: "" + # - name: sentido + # description: "{{ doc('sentido') }}" + # - name: trajeto + # description: "{{ doc('trajeto') }}" + # - name: timestamp_captura + # description: "{{ doc('timestamp_captura') }}" + # - name: data + # description: "Data do 'timestamp_captura'" + # - name: hora + # description: "Hora do 'timestamp_captura'" \ No newline at end of file From 0a7fcacae33609f4c255780d9356ca7b0425004b Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 12:52:52 -0300 Subject: [PATCH 04/12] corrige query de busca de shapes em aux_registro_status_trajeto --- pipelines/migration/projeto_subsidio_sppo/flows.py | 2 +- queries/dbt_project.yml | 4 ++-- .../aux_registros_status_trajeto.sql | 6 +++--- .../subsidio_data_versao_efetiva.sql | 8 ++++---- queries/models/projeto_subsidio_sppo/viagem_planejada.sql | 8 ++++---- 5 files changed, 14 insertions(+), 14 deletions(-) diff --git a/pipelines/migration/projeto_subsidio_sppo/flows.py b/pipelines/migration/projeto_subsidio_sppo/flows.py index 99302246..c0b763c9 100644 --- a/pipelines/migration/projeto_subsidio_sppo/flows.py +++ b/pipelines/migration/projeto_subsidio_sppo/flows.py @@ -106,7 +106,7 @@ dataset_id=constants.SUBSIDIO_SPPO_DATASET_ID.value, table_id="subsidio_data_versao_efetiva viagem_planejada", _vars={"run_date": date_d0, "version": dataset_sha}, - ).set_upstream(RUN) + ) viagens_sppo.storage = GCS(smtr_constants.GCS_FLOWS_BUCKET.value) viagens_sppo.run_config = KubernetesRun( diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml index b6cf51e3..7eda4f61 100644 --- a/queries/dbt_project.yml +++ b/queries/dbt_project.yml @@ -193,10 +193,10 @@ models: rj_smtr: projeto_subsidio_sppo: +materialized: view - +schema: projeto_subsidio_sppo_dbt_tmp + +schema: projeto_subsidio_sppo deprecated: +materialized: view - +schema: projeto_subsidio_sppo_dbt_tmp + +schema: projeto_subsidio_sppo br_rj_riodejaneiro_sigmob: +materialized: view +schema: br_rj_riodejaneiro_sigmob diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 523e9caa..334e3da1 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -132,10 +132,10 @@ shapes AS ( SELECT * FROM - -- {{ ref("shapes_geom_gtfs") }} - rj-smtr.gtfs.shapes_geom + {{ ref("shapes_geom_gtfs") }} + -- rj-smtr.gtfs.shapes_geom WHERE - date_sub(date("{{ var("run_date") }}"), interval 1 day) BETWEEN feed_start_date AND feed_end_date + date_sub(date("{{ var("run_date") }}"), interval 1 day) BETWEEN feed_start_date AND COALESCE(feed_end_date, date("{{ var("run_date") }}")) ), -- 3. Deduplica viagens planejadas viagem_planejada AS ( diff --git a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql index 800a79a5..d01eca14 100644 --- a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql +++ b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql @@ -366,8 +366,8 @@ WITH FROM dates AS d LEFT JOIN - -- {{ ref('feed_info_gtfs') }} AS i - rj-smtr.gtfs.feed_info AS i + {{ ref('feed_info_gtfs') }} AS i + -- rj-smtr.gtfs.feed_info AS i USING (feed_version) WHERE @@ -391,8 +391,8 @@ SELECT FROM data_versao_efetiva_manual AS d LEFT JOIN - -- {{ ref('feed_info_gtfs') }} AS i - rj-smtr.gtfs.feed_info AS i + {{ ref('feed_info_gtfs') }} AS i + -- rj-smtr.gtfs.feed_info AS i ON (data BETWEEN i.feed_start_date AND i.feed_end_date OR (data >= i.feed_start_date AND i.feed_end_date IS NULL)) diff --git a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql index b4ad924c..a8b01f59 100644 --- a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql +++ b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql @@ -165,10 +165,10 @@ shapes as ( inner join ( select * from {{ ref('subsidio_shapes_geom') }} - + {% if is_incremental() %} where data_versao in (select data_versao_shapes from data_efetiva) - + {% endif %} ) s on s.data_versao = e.data_versao_shapes @@ -414,8 +414,8 @@ shapes AS ( SELECT * FROM - -- {{ ref("shapes_geom_gtfs") }} - rj-smtr.gtfs.shapes_geom + {{ ref("shapes_geom_gtfs") }} + -- rj-smtr.gtfs.shapes_geom WHERE feed_start_date IN (SELECT feed_start_date FROM data_versao_efetiva WHERE data BETWEEN DATE_SUB("{{ var('run_date') }}", INTERVAL 2 DAY) AND DATE_SUB("{{ var('run_date') }}", INTERVAL 1 DAY)) ), From 5139b099b00cb28894c9c9b8201b02a938772cab Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 12:55:46 -0300 Subject: [PATCH 05/12] descomenta registros_historico do eschema de brt_gps --- .../migration/projeto_subsidio_sppo/flows.py | 2 +- .../br_rj_riodejaneiro_brt_gps/schema.yml | 58 +++++++++---------- 2 files changed, 30 insertions(+), 30 deletions(-) diff --git a/pipelines/migration/projeto_subsidio_sppo/flows.py b/pipelines/migration/projeto_subsidio_sppo/flows.py index c0b763c9..efab7ca9 100644 --- a/pipelines/migration/projeto_subsidio_sppo/flows.py +++ b/pipelines/migration/projeto_subsidio_sppo/flows.py @@ -3,7 +3,7 @@ """ Flows for projeto_subsidio_sppo -DBT: 2024-09-16 +DBT: 2024-09-17 """ from prefect import Parameter, case, task diff --git a/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml b/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml index 28c31b60..bc3e71af 100644 --- a/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml +++ b/queries/models/br_rj_riodejaneiro_brt_gps/schema.yml @@ -64,32 +64,32 @@ models: description: "{{ doc('sentido') }}" - name: velocidade description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" - # - name: registros_historico - # description: "View para os dados históricos capturados em staging com tratamento básico e conversão de valores" - # columns: - # - name: codigo - # description: "{{ doc('codigo') }}" - # - name: placa - # description: "Placa do veículo" - # - name: linha - # description: "Linha de ônibus (serviço) ou, se realocada, informada pela empresa operadora" - # - name: latitude - # description: "{{ doc('latitude_gps') }}" - # - name: longitude - # description: "{{ doc('longitude_gps') }}" - # - name: timestamp_gps - # description: "{{ doc('timestamp_gps') }}" - # - name: velocidade - # description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" - # - name: id_migracao_trajeto - # description: "" - # - name: sentido - # description: "{{ doc('sentido') }}" - # - name: trajeto - # description: "{{ doc('trajeto') }}" - # - name: timestamp_captura - # description: "{{ doc('timestamp_captura') }}" - # - name: data - # description: "Data do 'timestamp_captura'" - # - name: hora - # description: "Hora do 'timestamp_captura'" \ No newline at end of file + - name: registros_historico + description: "View para os dados históricos capturados em staging com tratamento básico e conversão de valores" + columns: + - name: codigo + description: "{{ doc('codigo') }}" + - name: placa + description: "Placa do veículo" + - name: linha + description: "Linha de ônibus (serviço) ou, se realocada, informada pela empresa operadora" + - name: latitude + description: "{{ doc('latitude_gps') }}" + - name: longitude + description: "{{ doc('longitude_gps') }}" + - name: timestamp_gps + description: "{{ doc('timestamp_gps') }}" + - name: velocidade + description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)" + - name: id_migracao_trajeto + description: "" + - name: sentido + description: "{{ doc('sentido') }}" + - name: trajeto + description: "{{ doc('trajeto') }}" + - name: timestamp_captura + description: "{{ doc('timestamp_captura') }}" + - name: data + description: "Data do 'timestamp_captura'" + - name: hora + description: "Hora do 'timestamp_captura'" \ No newline at end of file From 8ba72b8ce08a6e5f647bd4237bc077cfaa566100 Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 12:59:01 -0300 Subject: [PATCH 06/12] atualiza changelog --- queries/models/projeto_subsidio_sppo/CHANGELOG.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/queries/models/projeto_subsidio_sppo/CHANGELOG.md b/queries/models/projeto_subsidio_sppo/CHANGELOG.md index 97b76b6b..7928f387 100644 --- a/queries/models/projeto_subsidio_sppo/CHANGELOG.md +++ b/queries/models/projeto_subsidio_sppo/CHANGELOG.md @@ -1,5 +1,11 @@ # Changelog - projeto_subsidio_sppo +## [9.0.2] - 2024-09-17 + +### Corrigido + +- Corrigido a consulta por shapes em `aux_registro_status_trajeto` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/234) + ## [9.0.1] - 2024-09-11 ### Alterado From 0cfa655250326fe6d8c9a04b788508d21b1dd00e Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 17:43:15 -0300 Subject: [PATCH 07/12] corrige filtro da cte shapes em aux_regisros_status_trajeto --- .../aux_registros_status_trajeto.sql | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 334e3da1..7980e16e 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -1,3 +1,9 @@ + +{% if execute %} + {% set result = run_query("SELECT feed_start_date FROM " ~ ref('subsidio_data_versao_efetiva') ~ " WHERE data BETWEEN DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 2 DAY) AND DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 1 DAY) ORDER BY data") %} + {% set feed_start_dates = result.columns[0].values() %} +{% endif %} + {% if var("run_date") == "2024-05-05" %} -- Apuração "Madonna · The Celebration Tour in Rio" {% set gps_interval = 7 %} @@ -135,7 +141,7 @@ shapes AS ( {{ ref("shapes_geom_gtfs") }} -- rj-smtr.gtfs.shapes_geom WHERE - date_sub(date("{{ var("run_date") }}"), interval 1 day) BETWEEN feed_start_date AND COALESCE(feed_end_date, date("{{ var("run_date") }}")) + feed_start_date IN ('{{ feed_start_dates|join("', '") }}') ), -- 3. Deduplica viagens planejadas viagem_planejada AS ( From 52c81055c8709a6328a92b69f5a99a2b207151d9 Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 18:11:35 -0300 Subject: [PATCH 08/12] corrige referencias e dependencia de subsidio_data_versao_efetiva --- .../aux_registros_status_trajeto.sql | 8 +++++--- 1 file changed, 5 insertions(+), 3 deletions(-) diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 7980e16e..3e8b3f64 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -1,4 +1,4 @@ - +-- depends_on: {{ ref('subsidio_data_versao_efetiva') }} {% if execute %} {% set result = run_query("SELECT feed_start_date FROM " ~ ref('subsidio_data_versao_efetiva') ~ " WHERE data BETWEEN DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 2 DAY) AND DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 1 DAY) ORDER BY data") %} {% set feed_start_dates = result.columns[0].values() %} @@ -33,7 +33,8 @@ with gps as ( date_sub(date("{{ var("run_date") }}"), interval 1 day) as data_operacao {% endif %} from - `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g -- {{ ref('gps_sppo') }} g + -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g + {{ ref('gps_sppo') }} g where ( data between date_sub(date("{{ var("run_date") }}"), interval 1 day) and date("{{ var("run_date") }}") ) @@ -122,7 +123,8 @@ with gps as ( ST_GEOGPOINT(longitude, latitude) posicao_veiculo_geo, date_sub(date("{{ var("run_date") }}"), interval 1 day) as data_operacao from - `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g -- {{ ref('gps_sppo') }} g + -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g + {{ ref('gps_sppo') }} g where ( data between date_sub(date("{{ var("run_date") }}"), interval 1 day) and date("{{ var("run_date") }}") ) From dadaa4d9a9f8b67227d87c51f8e6d35f72fa5e1b Mon Sep 17 00:00:00 2001 From: "pre-commit-ci[bot]" <66853113+pre-commit-ci[bot]@users.noreply.github.com> Date: Tue, 17 Sep 2024 21:13:00 +0000 Subject: [PATCH 09/12] [pre-commit.ci] auto fixes from pre-commit.com hooks for more information, see https://pre-commit.ci --- .../projeto_subsidio_sppo/aux_registros_status_trajeto.sql | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 3e8b3f64..1cc134b2 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -33,7 +33,7 @@ with gps as ( date_sub(date("{{ var("run_date") }}"), interval 1 day) as data_operacao {% endif %} from - -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g + -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g {{ ref('gps_sppo') }} g where ( data between date_sub(date("{{ var("run_date") }}"), interval 1 day) and date("{{ var("run_date") }}") @@ -123,7 +123,7 @@ with gps as ( ST_GEOGPOINT(longitude, latitude) posicao_veiculo_geo, date_sub(date("{{ var("run_date") }}"), interval 1 day) as data_operacao from - -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g + -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` g {{ ref('gps_sppo') }} g where ( data between date_sub(date("{{ var("run_date") }}"), interval 1 day) and date("{{ var("run_date") }}") From 084bb2155114a37a7e68993727bb7a210625717f Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 18:15:04 -0300 Subject: [PATCH 10/12] remove order by data --- .../projeto_subsidio_sppo/aux_registros_status_trajeto.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql index 1cc134b2..3e297a36 100644 --- a/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql +++ b/queries/models/projeto_subsidio_sppo/aux_registros_status_trajeto.sql @@ -1,6 +1,6 @@ -- depends_on: {{ ref('subsidio_data_versao_efetiva') }} {% if execute %} - {% set result = run_query("SELECT feed_start_date FROM " ~ ref('subsidio_data_versao_efetiva') ~ " WHERE data BETWEEN DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 2 DAY) AND DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 1 DAY) ORDER BY data") %} + {% set result = run_query("SELECT feed_start_date FROM " ~ ref('subsidio_data_versao_efetiva') ~ " WHERE data BETWEEN DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 2 DAY) AND DATE_SUB(DATE('" ~ var("run_date") ~ "'), INTERVAL 1 DAY)") %} {% set feed_start_dates = result.columns[0].values() %} {% endif %} From 9071dc32744967f2ae902e04c1abc8637f3de3d6 Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 19:09:14 -0300 Subject: [PATCH 11/12] corrige changelog --- queries/models/projeto_subsidio_sppo/CHANGELOG.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/queries/models/projeto_subsidio_sppo/CHANGELOG.md b/queries/models/projeto_subsidio_sppo/CHANGELOG.md index 7928f387..8733591e 100644 --- a/queries/models/projeto_subsidio_sppo/CHANGELOG.md +++ b/queries/models/projeto_subsidio_sppo/CHANGELOG.md @@ -2,9 +2,9 @@ ## [9.0.2] - 2024-09-17 -### Corrigido +### Alterado -- Corrigido a consulta por shapes em `aux_registro_status_trajeto` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/234) +- Alterada a consulta por shapes em `aux_registro_status_trajeto` para buscar o feed_start_date do particionamento da tabela shapes_geom em `data_versao_efetiva`(https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/234) ## [9.0.1] - 2024-09-11 From 1e05eafccbc9bd4cbdecbf6fa0cb01d24f22d882 Mon Sep 17 00:00:00 2001 From: vtr363 Date: Tue, 17 Sep 2024 19:28:35 -0300 Subject: [PATCH 12/12] corrige changelog sobre referencias de tabelas --- queries/models/projeto_subsidio_sppo/CHANGELOG.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/queries/models/projeto_subsidio_sppo/CHANGELOG.md b/queries/models/projeto_subsidio_sppo/CHANGELOG.md index 8733591e..d190513d 100644 --- a/queries/models/projeto_subsidio_sppo/CHANGELOG.md +++ b/queries/models/projeto_subsidio_sppo/CHANGELOG.md @@ -2,6 +2,10 @@ ## [9.0.2] - 2024-09-17 +### Corrigido + +- corrigidas as referencias a tabela `gps_sppo` em `aux_registro_status_trajeto` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/234) + ### Alterado - Alterada a consulta por shapes em `aux_registro_status_trajeto` para buscar o feed_start_date do particionamento da tabela shapes_geom em `data_versao_efetiva`(https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/234)