Merge pull request #178 from prefeitura-rio/development

Updating Datalake Models
prefeitura-rio · Aug 5, 2024 · 27a8f02 · 27a8f02
2 parents 65671ac + 9786d16
commit 27a8f02
Show file tree

Hide file tree

Showing 2 changed files with 38 additions and 29 deletions.
diff --git a/app/datalake/models.py b/app/datalake/models.py
@@ -44,6 +44,7 @@ class SMSRioPaciente(BaseModel):
     data__timestamp: Optional[str]
     data__cns_provisorio: Optional[str]
     data__telefones: Optional[str]
+    payload_cnes: str
 
     class Config:
         dataset_id = "brutos_plataforma_smsrio"
@@ -136,6 +137,7 @@ class VitacarePaciente(BaseModel):
     data__dataAtualizacaoVinculoEquipe: Optional[str]
     data__familiaBeneficiariaAuxilioBrasil: Optional[str]
     data__criancaMatriculadaCrechePreEscola: Optional[str]
+    payload_cnes: str
 
     class Config:
         dataset_id = "brutos_prontuario_vitacare"
@@ -189,6 +191,7 @@ class VitacarePacienteHistorico(BaseModel):
     data__NOME_DA_PESSOA_CADASTRADA: Optional[str]
     data__N_CNS_DA_PESSOA_CADASTRADA: Optional[str]
     data__NOME_DA_MAE_PESSOA_CADASTRADA: Optional[str]
+    payload_cnes: str
 
     class Config:
         dataset_id = "brutos_prontuario_vitacare"
@@ -204,35 +207,35 @@ class VitacareAtendimento(BaseModel):
     patient_code: str
     source_updated_at: str
     source_id: str
-    id: Optional[str]
-    data__unidade_ap: Optional[str]
-    data__unidade_cnes: Optional[str]
-    data__profissional__cns: Optional[str]
-    data__profissional__cpf: Optional[str]
-    data__profissional__nome: Optional[str]
-    data__profissional__cbo: Optional[str]
-    data__profissional__cboDescricao: Optional[str]
-    data__profissional__equipe__nome: Optional[str]
-    data__profissional__equipe__cod_equipe: Optional[str]
-    data__profissional__equipe__cod_ine: Optional[str]
-    data__data_consulta: Optional[str]
-    data__planoObservacao: Optional[str]
-    data__objetivoDescricao: Optional[str]
-    data__procedimentosClinicos: Optional[str]
-    data__tipo_consulta: Optional[str]
-    data__eh_coleta: Optional[str]
-    data__motivo: Optional[str]
-    data__observacao: Optional[str]
-    data__avaliacao: Optional[str]
-    data__evolucao: Optional[str]
-    data__observacoes_atendimento: Optional[str]
-    data__condicoes: Optional[str]
-    data__prescricoes: Optional[str]
-    data__exames_solicitados: Optional[str]
-    data__vacinas: Optional[str]
-    data__alergias_anamnese: Optional[str]
-    data__indicadores: Optional[str]
-    data__encaminhamentos: Optional[str]
+    data__unidade_ap: str
+    data__unidade_cnes: str
+    data__profissional__cns: str
+    data__profissional__cpf: str
+    data__profissional__nome: str
+    data__profissional__cbo: str
+    data__profissional__cbo_descricao: str
+    data__profissional__equipe__nome: str
+    data__profissional__equipe__cod_equipe: str
+    data__profissional__equipe__cod_ine: str
+    data__datahora_inicio_atendimento: str
+    data__datahora_fim_atendimento: str
+    data__datahora_marcacao_atendimento: Optional[str]
+    data__tipo_consulta: str
+    data__eh_coleta: str
+    data__soap_subjetivo_motivo: Optional[str]
+    data__soap_plano_procedimentos_clinicos: Optional[str]
+    data__soap_plano_observacoes: Optional[str]
+    data__soap_avaliacao_observacoes: Optional[str]
+    data__soap_objetivo_descricao: Optional[str]
+    data__notas_observacoes: Optional[str]
+    data__condicoes: str
+    data__prescricoes: str
+    data__exames_solicitados: str
+    data__vacinas: str
+    data__alergias_anamnese: str
+    data__indicadores: str
+    data__encaminhamentos: str
+    payload_cnes: str
 
     class Config:
         dataset_id = "brutos_prontuario_vitacare"

diff --git a/app/routers/entities_raw.py b/app/routers/entities_raw.py
@@ -107,11 +107,17 @@ async def create_raw_data(
     # ====================
     uploaded_to_datalake = False
 
+    # Inject CNES in records
+    for record in records:
+        record["payload_cnes"] = data_source.cnes
+
+    # Get Formatter
     formatter = get_formatter(
         system=data_source.system.value,
         entity=entity_name
     )
 
+    # Format and Upload
     try:
         if upload_to_datalake and formatter:
             uploader = DatalakeUploader(