From 175e6343e8a2147bbc4f4fbb69ade9f634eade1a Mon Sep 17 00:00:00 2001 From: Pedro Castro Date: Fri, 21 Jun 2024 15:14:42 -0300 Subject: [PATCH] create_yaml_file strip name and description --- src/databasers_utils/create_yaml_file.py | 11 ++++++----- tests/models/br_ibge_pib/schema.yml | 12 ++++++------ 2 files changed, 12 insertions(+), 11 deletions(-) diff --git a/src/databasers_utils/create_yaml_file.py b/src/databasers_utils/create_yaml_file.py index f555133..90507cd 100644 --- a/src/databasers_utils/create_yaml_file.py +++ b/src/databasers_utils/create_yaml_file.py @@ -1,5 +1,6 @@ import os import re +import pandas as pd import ruamel.yaml as yaml from typing import Optional, Union from .utils import get_model_directory, read_architecture_table @@ -157,7 +158,7 @@ def create_yaml_file( unique_keys_copy = unique_keys.copy() architecture_df = read_architecture_table(url) architecture_df.dropna(subset=["bigquery_type"], inplace=True) - architecture_df = architecture_df[ + architecture_df: pd.DataFrame = architecture_df[ # type: ignore ~architecture_df["bigquery_type"].apply( lambda x: any(word in x.lower() for word in exclude) ) @@ -191,10 +192,10 @@ def create_yaml_file( for _, row in architecture_df.iterrows(): column = yaml.comments.CommentedMap() - column["name"] = row["name"] - column["description"] = row["description"] - directory_column = row["directory_column"] - if len(directory_column.strip()) != 0: + column["name"] = row["name"].strip() + column["description"] = row["description"].strip() + directory_column = row["directory_column"].strip() + if len(directory_column) != 0: tests = [] tests = create_relationships(directory_column) column["tests"] = tests diff --git a/tests/models/br_ibge_pib/schema.yml b/tests/models/br_ibge_pib/schema.yml index 49682d5..3a056b1 100644 --- a/tests/models/br_ibge_pib/schema.yml +++ b/tests/models/br_ibge_pib/schema.yml @@ -69,14 +69,14 @@ models: description: Índice de Gini da distribuição do produto interno bruto a preços correntes - name: gini_va - description: 'Índice de Gini da distribuição do valor adicionado bruto a preços - correntes da agropecuária ' + description: Índice de Gini da distribuição do valor adicionado bruto a preços + correntes da agropecuária - name: gini_va_agro - description: 'Índice de Gini da distribuição do valor adicionado bruto a preços - correntes da agropecuária ' + description: Índice de Gini da distribuição do valor adicionado bruto a preços + correntes da agropecuária - name: gini_va_industria - description: 'Índice de Gini da distribuição do valor adicionado bruto a preços - correntes da indústria ' + description: Índice de Gini da distribuição do valor adicionado bruto a preços + correntes da indústria - name: gini_va_servicos description: Índice de Gini da distribuição do valor adicionado bruto a preços correntes dos serviços, exclusive administração, defesa, educação e saúde