Adiciona crawler para o Ceará

[csmaniottojr]

No description provided.

[turicas]

Você poderia colocar isso num docker-compose?

[csmaniottojr]

@turicas Refatorei o spider. Agora os dados estão todos em JSON e não precisa mais do splash como dependência.

[endersonmaia]

@csmaniottojr tu consegue fazer rebase com a master, e dar squash nesse commit 37acc35 ?

só pra deixar o histórico mais linear 😉

[endersonmaia]

pelo que entendi, só precisa deste commit 3a35fec

[csmaniottojr]

feito @endersonmaia

[turicas]

Pessoal, atualização sobre os crawlers e a forma como estamos preenchendo os dados: vamos mudar a forma de subida dos dados pra facilitar o trabalho dos voluntários e deixar o processo mais robusto e confiável e, com isso, será mais fácil que robôs possam subir também os dados; dessa forma, os scrapers ajudarão bastante no processo. Com isso, criei algumas regras gerais e em breve farei algumas atualizações sobre:

• Necessário fazer o scraper usando o scrapy;
• Não usar pandas, BeautifulSoap, requests ou outras bibliotecas desnecessárias (a std lib do Python já tem muita biblioteca útil, o scrapy com XPath já dá conta de boa parte das raspagens e rows já é uma dependênciad esse repositório);
• Deve existir alguma maneira fácil de fazer o scraper coletar os boletins e casos para uma data específica;
• O método de parsing deve devolver (com yield) um dicionário com as seguintes chaves:
  • date: data no formato "YYYY-MM-DD"
  • state: sigla do estado, com 2 caracteres maiúsculos (deve ser um atributo da classe do spider e usar self.state)
  • city (nome do município ou em branco, caso seja o valor do estado, deve ser None)
  • place_type: "city" para município e "state" para estado
  • confirmed: inteiro, número de casos confirmados (ou None)
  • deaths: inteiro, número de mortes naquele dia (ou None)
  • ATENÇÃO: o scraper deve devolver sempre um registro para o estado que não seja a soma dos valores por município (esse dado deve ser extraído da linha "total no estado" no boletim) - essa linha virá com a coluna city com o valor None e place_type com "state";
• Quando possível, use testes automatizados.

Nesse momento não temos muito tempo disponível para revisão, então por favor, só crie um pull request sugerindo com código de um novo scraper caso você possa cumprir os requisitos acima.

[csmaniottojr]

@turicas atualizei o PR seguindo as novas diretrizes

[turicas]

@csmaniottojr eu criei na master bem rapidamente o corona_ce_spider.py (do zero, diferente do seu). O meu tem algumas coisas que o seu não tem (como o uso do date_utils) e vice-versa. Você conseguiria unificar os dois? O meu tem um problema: se algum município não aparece na lista de casos confirmados de uma data, ele não busca a quantidade de mortes para aquele município para essa data e parece que em alguns casos isso pode acontecer. Com relação ao seu, não verifiquei, mas tem que ver se "Sem informação" está sendo traduzido para "Importados/Indefinidos" (nomenclatura que usamos).

[csmaniottojr]

@turicas beleza, vou dar uma olhada pra fazer um merge entre os dois spiders

[csmaniottojr]

@turicas corrigi o PR. o script está coletando corretamente casos confirmados e óbitos de cidades.

[turicas]

@turicas corrigi o PR. o script está coletando corretamente casos confirmados e óbitos de cidades.

Obrigado! Revisarei assim que terminarmos a nova forma de coletar os dados dos voluntários (que também possibilitará coletar de robôs).