Commits

Branch selector

 main

User selector

All users

Datepicker

All time

Commit History

Commits on Jan 24, 2024

• ScraperAPI: Super Otimização na performance com `curl_cffi` fase 01: Substituí o `cfscrape` pelo `curl_cffi` que possuí funções async por natureza e também realiza bypass nas restrições do cloudflare.

  Show description for bcb276b
  WelBert-dev

  committed
  bcb276b

  Copy full SHA for bcb276b

Commits on Jan 23, 2024

• ScraperAPI: Balançeando a carga igualmente entre as instâncias clones da API:

  Show description for d73c37d
  WelBert-dev

  committed
  d73c37d

  Copy full SHA for d73c37d

Commits on Jan 22, 2024

• ScraperAPI: Reflete lógicas de retentativas feitas na API clone passando para a API Main também: Ajusta o bloco try-catch da função que faz requisições, re-lançando a exception para o chamador, poi…

  Show description for f7207a8
  WelBert-dev

  committed
  f7207a8

  Copy full SHA for f7207a8

• ScraperAPI: Tira Mock de data e Correção de bugs nos endpoints de detalhamentos: Ajusta o bloco try-catch da função que faz requisições, re-lançando a exception para o chamador, pois o retry do ten…

  Show description for fab6bf8
  WelBert-dev

  committed
  fab6bf8

  Copy full SHA for fab6bf8

Commits on Jan 21, 2024

• Add README.md: Get Started; Explicações sobre docker e possiveis error's; Endpoints da API e explicações sobre performance;

  WelBert-dev

  committed
  4895a44

  Copy full SHA for 4895a44

Commits on Jan 20, 2024

• ScraperAPI: Correção de bugs nos endpoints de detalhamentos, lógicas de retentativas quando falha no lado do gov e mais otimização na performance:

  Show description for 015db56
  WelBert-dev

  committed
  015db56

  Copy full SHA for 015db56

Commits on Jan 19, 2024

• ScraperAPI: Correção de bugs: Como a tarefa exigia não duplicar códigos similares, eu extraí as verificações da resposta da API em um único bloco, mas isso tornou o código meio acoplado, então vou …

  Show description for 7bd39ad
  WelBert-dev

  committed
  7bd39ad

  Copy full SHA for 7bd39ad

• ScraperAPI: [TRADE-OF: PERFORMANCE OU NENHUM ERROR?] Rastreando erros nos endpoints de detalhamentos, observei algo:

  Show description for 71c7a09
  WelBert-dev

  committed
  71c7a09

  Copy full SHA for 71c7a09

Commits on Jan 18, 2024

• ScraperAPI: SUPER Otimizações quase finalizadas e SALVAMENTO dos DETALHADOS:

  Show description for a56d447
  WelBert-dev

  committed
  a56d447

  Copy full SHA for a56d447

Commits on Jan 17, 2024

• ScraperAPI: [Teste de performance] Disseminando otimização da performance ENDPOINT DA API:

  Show description for 4f01295
  WelBert-dev

  committed
  4f01295

  Copy full SHA for 4f01295

• ScraperAPI: [Teste de performance] Disseminando otimização da performance ENDPOINT DA API: VARRENDO COM NENHUM PARAMETRO, GETALL NA HOME: Utilizando programação async (Porém não delegando para API'…

  Show description for 85d9b56
  WelBert-dev

  committed
  85d9b56

  Copy full SHA for 85d9b56

• ScraperAPI: Remove duplicatas de código das API's clones, deixando apenas um arquivo de projeto para elas, e alterando as configurações de cada container (Instância) individualmente pelos arquivos …

  Show description for 38902b3
  WelBert-dev

  committed
  38902b3

  Copy full SHA for 38902b3

• ATENÇÃO: UTILIZE A ROTA: GET http://127.0.0.1:8000/trigger_web_scraping_dou_api/?detailDOUJournalFlag=True

  Show description for cda6d1f
  WelBert-dev

  committed
  cda6d1f

  Copy full SHA for cda6d1f

• ScraperAPI: Add Otimização MASTER (3x Mais rápido) da performance com uso de +3 Instâncias clones da API, paralelismo e async em pontos críticos:

  Show description for 9489439
  WelBert-dev

  committed
  9489439

  Copy full SHA for 9489439

Commits on Jan 15, 2024

• Limpeza geral: Remove códigos inutilizados

  WelBert-dev

  committed
  9bf2188

  Copy full SHA for 9bf2188

• ScraperAPI: Add Otimização da performance com uso de paralelismo em pontos críticos:

  Show description for 39f5c60
  WelBert-dev

  committed
  39f5c60

  Copy full SHA for 39f5c60

Commits on Jan 14, 2024

• Add métricas de performance com o monitor django-debug-toolbar: Basta realizar as mesmas requisições que agora é disposto uma barra de opções do django-debug-toolbar no lado direito da página.

  Show description for bc4c5e5
  WelBert-dev

  committed
  bc4c5e5

  Copy full SHA for bc4c5e5

• ScraperAPI: Melhora comentários explicativos sobre o handler:

  Show description for 94b11b7
  WelBert-dev

  committed
  94b11b7

  Copy full SHA for 94b11b7

• Quase finaliza ultimo endpoint que detalha TODOS jornais das 3 seções para o dia em que está sendo executado com 'https://www.in.gov.br/en/web/dou/-/' + `urlTitle` em castaca, para todos registros.

  Show description for a203d34
  WelBert-dev

  committed
  a203d34

  Copy full SHA for a203d34

• Finaliza endpoint para mais detalhamento de cada registro DOU com 'https://www.in.gov.br/en/web/dou/-/' + `urlTitle`

  Show description for 7ff714c
  WelBert-dev

  committed
  7ff714c

  Copy full SHA for 7ff714c

Commits on Jan 13, 2024

• Add comentário no service JournalJsonArrayOfDOUService de inserir os elementos do jsonArray (tag script id params):

  Show description for 40e74a8
  WelBert-dev

  committed
  40e74a8

  Copy full SHA for 40e74a8

• Melhora ScraperAPI endpoints para as consultas com '?secao=' e 'data='' : RESTFullniza um pouco mais as respostas json com mais detalhes em casos de erros e com status code mais apropriado.

  WelBert-dev

  committed
  f42c745

  Copy full SHA for f42c745

• Single Record Details: Raspagem quase finalizada para mais detalhamento de cada registro DOU com 'https://www.in.gov.br/en/web/dou/-/' + `urlTitle`, parei pois fiz tantas requisições que fui banido…

  Show description for e5be531
  WelBert-dev

  committed
  e5be531

  Copy full SHA for e5be531

• Finaliza ScraperAPI e db_dou_api: Add dois ultimos endpoints que são os gatilhos para a raspagem e salvamento em banco (Tudo controlado via URL query string parameter):

  Show description for 2eb5699
  WelBert-dev

  committed
  2eb5699

  Copy full SHA for 2eb5699

Commits on Jan 12, 2024

• Refactoring ScraperAPI Service: Reduz a quantidade de loopings no insert into e obtém o mesmo resultado porém mais rapidamente.

  WelBert-dev

  committed
  c2d0025

  Copy full SHA for c2d0025

• Corrige anotações do `passo_a_passo_de_desenvolvimento.txt`

  WelBert-dev

  committed
  60c1497

  Copy full SHA for 60c1497

• ScraperAPI e db_dou_api: Add endpoint GET http://127.0.0.1:8000/trigger_web_scraping_dou_api/?secao=`dou1 | dou2 | dou3`&saveInDBFlag=true

  Show description for 695a38c
  WelBert-dev

  committed
  695a38c

  Copy full SHA for 695a38c

• ScraperAPI e ROTA db_dou_api: Retorna a chave primária da entidade JournalJsonArrayOfDOU para o attr `id`, e utiliza outra lógica para garantir DISTINCT (Evitar duplicatas de registros ao executar …

  Show description for 7f5a74b
  WelBert-dev

  committed
  7f5a74b

  Copy full SHA for 7f5a74b

• ScraperAPI e ROTA db_dou_api: Altera a chave primária da entidade JournalJsonArrayOfDOU utilizando o attr `urlTitle` pois ele é único, desta forma não vão ocorrer duplicatas (DISTINCT) de registros…

  Show description for 18f5525
  WelBert-dev

  committed
  18f5525

  Copy full SHA for 18f5525

• ScraperAPI e db_dou_api: Add endpoint GET `http://127.0.0.1:8000/trigger_web_scraping_dou_api/?saveInDB=true`

  Show description for 891c3d1
  WelBert-dev

  committed
  891c3d1

  Copy full SHA for 891c3d1

Commits on Jan 11, 2024

• ScraperAPI Refactoring no `scrappers.py`: Renomeia para `scrapers.py`

  WelBert-dev

  committed
  a84c6a7

  Copy full SHA for a84c6a7

• ScraperAPI Refactoring no `scrappers.py`: Renomeia para `scrapers.py`

  WelBert-dev

  committed
  6530085

  Copy full SHA for 6530085

• Atualiza documentação de desenvolvimento `passo_a_passo_de_desenvolvimento.txt` com os últimos commits.

  WelBert-dev

  committed
  09e62b4

  Copy full SHA for 09e62b4

• ScraperAPI: Add endpoint GET `http://127.0.0.1:8000/trigger_web_scraping_dou_api/?secao=`do1|do2|do3`&`data=DD-MM-AAAA`

  Show description for 87509c7
  WelBert-dev

  committed
  87509c7

  Copy full SHA for 87509c7

• ScraperAPI: Add logs em arquivo para os validators, não é boa pratica ficar expondo detalhes de erros para o mundo externo quando não existe autenticação e autorização.

  WelBert-dev

  committed
  24638a1

  Copy full SHA for 24638a1

Pagination

Previous

Next