orair / scraper_informe_diario_fundos_cvm

Scraper Informe diário de fundos de investimentos - CVM

README.md

This is a scraper that runs on Morph. To get started see the documentation

Projeto de Scraper dos Informes Diários dos Fundos de Investimentos do Brasil

Este projeto objetiva principalmente resolver a necessidade de obtenção das informações das cotas dos fundos de investimento. Essas cotas são utilizadas para o acompanhamento do desempenho dos fundos.

As cotas são obtidas diretamente do Portal de Dados Abertos da CVM: * http://dados.cvm.gov.br/

Neste portal existem várias bases de dados sobre os fundos de investimentos. O foco deste projeto encontra-se nos informes diários: * Fundos de Investimento: Documentos: Informe Diário

Caso não seja um desenvolvedor e não consiga utilizar com qualidade este scraper, sugere-se buscar uma solução com interface gráfica mais bem desenvolvida como o https://infofundos.com.br/.

Esse projeto foi desenvolvido com o objetivo de encapsular a parte de obtenção dos dados e a utilização da API do morph.io para a obtenção das cotas.

A documentação da API do Morph.io pode ser encontrada em: * https://morph.io/documentation/api

Em particular, pretende-se utilizar a API do Morph.io para consumir os dados de dentro do Google SpreadSheets por meio do Google Apps script: * https://developers.google.com/apps-script

FORMATO DOS DADOS

A documentação da CVM para este dataset pode ser obtida em: * http://dados.cvm.gov.br/dataset/fi-doc-inf_diario

Documentação da CVM sobre os datasets

O INFORME DIÁRIO é um demonstrativo que contém as seguintes informações do fundo, relativas à data de competência: * Valor total da carteira do fundo; * Patrimônio líquido; * Valor da cota; * Captações realizadas no dia; * Resgates pagos no dia; * Número de cotistas

O conjunto de dados disponibiliza os informes diários referentes aos Fundos de Investimento nos últimos doze meses.

Os arquivos referentes aos meses corrente (M) e anterior (M-1) serão atualizados diariamente com as eventuais reapresentações. A atualização ocorre de terça a sábado, às 08:00h, com os dados recebidos pelo CVMWeb até as 23:59h do dia anterior.

Os arquivos referentes aos meses M-2, M-3, ..., até M-11 serão atualizados semanalmente com as eventuais reapresentações.

Dicionários de dados

Como o dicionário de dados pode ser atualizado pela CVM, sugere-se a consulta ao dicionário de dados que pode ser encontrado na página do dataset: * http://dados.cvm.gov.br/dados/FI/DOC/INFDIARIO/META/metainfdiariofi.txt

Dicionário de dados das Informações Cadastrais dos fundos de investimento

Decisões de projeto

No projeto optou-se por obter as cotas a partir de 2018. Para obter os dados de 2017 será necessário alterar a variável de ambiente SCRAPERINFORMECVMANOINICIAL.

Nota: Como os dados anteriores a 2017 estão compactados, este projeto não contemplou a obtenção destas informações anteriores a 2017.

Agendamento

TODO: Deve-se definir uma política de agendamento e documentá-la

Variáveis de ambiente

SCRAPERINFORMECVMANOINICIAL default: 2018

Variáveis de ambiente do Morph.io

Conforme a documentação do ScraperWiki utilizado pelo Morph.io: https://github.com/sensiblecodeio/scraperwiki-python

SCRAPERWIKIDATABASENAME default: scraperwiki.sqlite - name of database

SCRAPERWIKIDATABASETIMEOUT default: 300 - number of seconds database will wait for a lock

Contributors orair

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling... Injecting scraper and running... variável de ambiente sqlite:///data.sqlite Período inicial para buscar os informes diários 202101 Criando índices na tabela dados cadastrais... Criando índices na tabela informe diário... Criação da view de ultima_data Criação da view de ultima_quota Desabilitando enable_remotedb pois não foi encontrado a URI para acesso ao banco. Apagando acervo antigo da base local... Traceback (most recent call last): File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 1900, in _execute_context self.dialect.do_execute( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/default.py", line 736, in do_execute cursor.execute(statement, parameters) sqlite3.DatabaseError: database disk image is malformed The above exception was the direct cause of the following exception: Traceback (most recent call last): File "/app/scraper.py", line 939, in <module> executa_scraper() File "/app/.heroku/python/lib/python3.9/site-packages/click/core.py", line 1130, in __call__ return self.main(*args, **kwargs) File "/app/.heroku/python/lib/python3.9/site-packages/click/core.py", line 1055, in main rv = self.invoke(ctx) File "/app/.heroku/python/lib/python3.9/site-packages/click/core.py", line 1404, in invoke return ctx.invoke(self.callback, **ctx.params) File "/app/.heroku/python/lib/python3.9/site-packages/click/core.py", line 760, in invoke return __callback(*args, **kwargs) File "/app/scraper.py", line 113, in executa_scraper executa_limpeza_acervo_antigo(enable_remotedb, engine) File "/app/scraper.py", line 841, in executa_limpeza_acervo_antigo executa_limpeza_acervo_antigo_local() File "/app/scraper.py", line 927, in executa_limpeza_acervo_antigo_local scraperwiki.sqlite.execute(sql_delete) File "/app/.heroku/python/lib/python3.9/site-packages/scraperwiki/sql.py", line 144, in execute result = connection.execute(query, data) File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 1365, in execute return self._exec_driver_sql( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 1669, in _exec_driver_sql ret = self._execute_context( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 1943, in _execute_context self._handle_dbapi_exception( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 2124, in _handle_dbapi_exception util.raise_( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/util/compat.py", line 208, in raise_ raise exception File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/base.py", line 1900, in _execute_context self.dialect.do_execute( File "/app/.heroku/python/lib/python3.9/site-packages/sqlalchemy/engine/default.py", line 736, in do_execute cursor.execute(statement, parameters) sqlalchemy.exc.DatabaseError: (sqlite3.DatabaseError) database disk image is malformed [SQL: delete from informe_diario where informe_diario.DT_REF < '2024-03-26' and exists ( select 1 from informe_diario d2 where informe_diario.COD_CNPJ = d2.COD_CNPJ and informe_diario.DT_REF < d2.DT_REF and strftime('%Y%m', informe_diario.DT_REF) = strftime('%Y%m', d2.DT_REF) )] (Background on this error at: https://sqlalche.me/e/14/4xp6)

Data

Downloaded 20 times by orair guiisaac mottaprs Databricks-BR

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (404 MB) Use the API

rows 0 / 0

TP_FUNDO COD_CNPJ CNPJ_FUNDO DENOM_SOCIAL DT_REG DT_CONST CD_CVM DT_CANCEL SIT DT_INI_SIT DT_INI_ATIV DT_INI_EXERC DT_FIM_EXERC CLASSE DT_INI_CLASSE RENTAB_FUNDO CONDOM FUNDO_COTAS FUNDO_EXCLUSIVO TRIB_LPRAZO INVEST_QUALIF ENTID_INVEST TAXA_PERFM INF_TAXA_PERFM TAXA_ADM INF_TAXA_ADM VL_PATRIM_LIQ DT_PATRIM_LIQ DIRETOR CNPJ_ADMIN ADMIN PF_PJ_GESTOR CPF_CNPJ_GESTOR GESTOR CNPJ_AUDITOR AUDITOR CNPJ_CUSTODIANTE CUSTODIANTE CNPJ_CONTROLADOR CONTROLADOR INVEST_PROF PUBLICO_ALVO
FI
04688976000150
04.688.976/0001-50
ARVOREDO FUNDO DE INVESTIMENTO MULTIMERCADO CRÉDITO PRIVADO PREVIDENCIÁRIO
2005-03-02
2001-10-04
13048.0
EM FUNCIONAMENTO NORMAL
2005-02-15
2001-10-04
2020-07-01
2021-06-30
Fundo Multimercado
2007-09-10
Índice Nacional de Preços ao Consumidor (INPC/IBGE)
Aberto
N
S
N
S
0.0
0.1
0.0
2021-02-08
CARLOS ALBERTO SARAIVA
02.201.501/0001-61
BNY MELLON SERVICOS FINANCEIROS DTVM S.A.
PJ
08.896.477/0001-09
BNY MELLON ALOCAÇÃO DE PATRIMÔNIO LTDA
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
60.746.948/0001-12
BANCO BRADESCO S.A.
02.201.501/0001-61
BNY MELLON SERVICOS FINANCEIROS DTVM S.A.
FI
29196937000166
29.196.937/0001-66
VISIA PREV FUNDO DE INVESTIMENTO MULTIMERCADO
2018-03-29
2018-03-27
297577.0
EM FUNCIONAMENTO NORMAL
2018-06-28
2018-06-28
2021-01-01
2021-12-31
Fundo Multimercado
2018-03-27
DI de um dia
Aberto
N
S
N
S
0.0
0.7
0.0
2021-02-08
CARLOS ALBERTO SARAIVA
02.201.501/0001-61
BNY MELLON SERVICOS FINANCEIROS DTVM S.A.
PJ
17.021.922/0001-88
GIANT STEPS CAPITAL INVESTIMENTOS
57.755.217/0001-29
KPMG AUDITORES INDEPENDENTES
42.272.526/0001-70
BNY MELLON BANCO S.A.
02.201.501/0001-61
BNY MELLON SERVICOS FINANCEIROS DTVM S.A.
FI
36351458000132
36.351.458/0001-32
SFPB 027 FUNDO DE INVESTIMENTO EM COTAS DE FUNDO DE INVESTIMENTO MULTIMERCADO CRÉDITO PRIVADO IE
2020-04-15
2020-04-15
360244.0
EM FUNCIONAMENTO NORMAL
2020-06-30
2020-06-30
2020-06-30
2021-03-31
Fundo Multimercado
2020-04-15
DI de um dia
Aberto
S
N
S
S
0.0
0.1
0.0
2021-02-09
LUIZ ANTONIO NAVARRO LIMA
06.947.853/0001-11
SAFRA SERVIÇOS DE ADMINISTRAÇÃO FIDUCIÁRIA LTDA.
PJ
62.180.047/0001-31
SAFRA ASSET MANAGEMENT LTDA.
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
58.160.789/0001-28
BANCO SAFRA S/A
58.160.789/0001-28
BANCO SAFRA S/A
FI
36351472000136
36.351.472/0001-36
SFPB 028 FUNDO DE INVESTIMENTO EM COTAS DE FUNDO DE INVESTIMENTO MULTIMERCADO CRÉDITO PRIVADO IE
2020-04-15
2020-04-15
360252.0
EM FUNCIONAMENTO NORMAL
2020-06-30
2020-06-30
2020-06-30
2021-03-31
Fundo Multimercado
2020-04-15
DI de um dia
Aberto
S
N
S
S
0.0
0.1
0.0
2021-02-09
LUIZ ANTONIO NAVARRO LIMA
06.947.853/0001-11
SAFRA SERVIÇOS DE ADMINISTRAÇÃO FIDUCIÁRIA LTDA.
PJ
62.180.047/0001-31
SAFRA ASSET MANAGEMENT LTDA.
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
58.160.789/0001-28
BANCO SAFRA S/A
58.160.789/0001-28
BANCO SAFRA S/A
FI
36399716000150
36.399.716/0001-50
SFPB 030 FUNDO DE INVESTIMENTO EM COTAS DE FUNDO DE INVESTIMENTO MULTIMERCADO CRÉDITO PRIVADO IE
2020-04-15
2020-04-15
360279.0
EM FUNCIONAMENTO NORMAL
2020-06-30
2020-06-30
2020-06-30
2021-03-31
Fundo Multimercado
2020-04-15
DI de um dia
Aberto
S
N
S
S
0.0
0.1
0.0
2021-02-09
LUIZ ANTONIO NAVARRO LIMA
06.947.853/0001-11
SAFRA SERVIÇOS DE ADMINISTRAÇÃO FIDUCIÁRIA LTDA.
PJ
62.180.047/0001-31
SAFRA ASSET MANAGEMENT LTDA.
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
58.160.789/0001-28
BANCO SAFRA S/A
58.160.789/0001-28
BANCO SAFRA S/A
FI
36399781000186
36.399.781/0001-86
SFPB 031 FUNDO DE INVESTIMENTO EM COTAS DE FUNDO DE INVESTIMENTO MULTIMERCADO CRÉDITO PRIVADO IE
2020-04-15
2020-04-15
360287.0
EM FUNCIONAMENTO NORMAL
2020-06-30
2020-06-30
2020-06-30
2021-03-31
Fundo Multimercado
2020-04-15
DI de um dia
Aberto
S
N
S
S
0.0
0.1
0.0
2021-02-09
LUIZ ANTONIO NAVARRO LIMA
06.947.853/0001-11
SAFRA SERVIÇOS DE ADMINISTRAÇÃO FIDUCIÁRIA LTDA.
PJ
62.180.047/0001-31
SAFRA ASSET MANAGEMENT LTDA.
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
58.160.789/0001-28
BANCO SAFRA S/A
58.160.789/0001-28
BANCO SAFRA S/A
FI
31024323000149
31.024.323/0001-49
3I ITAÚ IDEIAS DE INVESTIMENTO 5G ESTRATÉGIA PROTEGIDA FUNDO DE INVESTIMENTO MULTIMERCADO
2018-10-02
2018-09-28
309044.0
EM FUNCIONAMENTO NORMAL
2019-01-14
2019-01-14
2020-07-01
2021-06-30
Fundo Multimercado
2018-09-28
DI de um dia
Aberto
N
N
S
N
0.0
2021-02-11
CARLOS AUGUSTO SALAMONDE
60.701.190/0001-04
ITAU UNIBANCO S.A.
PJ
60.701.190/0001-04
ITAU UNIBANCO S.A.
61.562.112/0001-20
PRICEWATERHOUSECOOPERS AUDITORES INDEPENDENTES
60.701.190/0001-04
ITAU UNIBANCO S.A.
60.701.190/0001-04
ITAU UNIBANCO S.A.
FI
38657398000106
38.657.398/0001-06
OCCAM FUNDO DE INVESTIMENTO EM COTAS DE FUNDOS DE INVESTIMENTO EM AÇÕES ÁGORA
2020-10-16
2020-10-16
379999.0
EM FUNCIONAMENTO NORMAL
2020-11-03
2020-11-03
2020-11-03
2021-07-31
Fundo de Ações
2020-10-16
OUTROS
Aberto
S
N
N
N
3224383.89
2021-02-11
ANDRE BERNARDINO DA CRUZ FILHO
60.746.948/0001-12
BANCO BRADESCO S.A.
PJ
62.375.134/0001-44
BRAM - BRADESCO ASSET MANAGEMENT S.A. DISTRIBUIDORA DE TITULOS E VALORES MOBILIARIOS
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
60.746.948/0001-12
BANCO BRADESCO S.A.
60.746.948/0001-12
BANCO BRADESCO S.A.
FI
38657534000168
38.657.534/0001-68
OCCAM INSTITUCIONAL II FUNDO DE INVESTIMENTO EM COTAS DE FUNDOS DE INVESTIMENTO MULTIMERCADO ÁGORA
2020-10-19
2020-10-19
380210.0
EM FUNCIONAMENTO NORMAL
2020-11-09
2020-11-09
2020-11-09
2021-07-31
Fundo Multimercado
2020-10-19
OUTROS
Aberto
S
N
S
N
2489973.65
2021-02-11
ANDRE BERNARDINO DA CRUZ FILHO
60.746.948/0001-12
BANCO BRADESCO S.A.
PJ
62.375.134/0001-44
BRAM - BRADESCO ASSET MANAGEMENT S.A. DISTRIBUIDORA DE TITULOS E VALORES MOBILIARIOS
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
60.746.948/0001-12
BANCO BRADESCO S.A.
60.746.948/0001-12
BANCO BRADESCO S.A.
FI
38657612000124
38.657.612/0001-24
BLACKROCK GLOBAL EVENT DRIVEN INVESTIMENTO NO EXTERIOR FC DE FI MULTIMERCADO ÁGORA
2020-10-19
2020-10-19
380229.0
EM FUNCIONAMENTO NORMAL
2020-10-30
2020-10-30
2020-10-30
2021-07-31
Fundo Multimercado
2020-10-19
OUTROS
Aberto
S
N
S
S
85798892.48
2021-02-11
ANDRE BERNARDINO DA CRUZ FILHO
60.746.948/0001-12
BANCO BRADESCO S.A.
PJ
62.375.134/0001-44
BRAM - BRADESCO ASSET MANAGEMENT S.A. DISTRIBUIDORA DE TITULOS E VALORES MOBILIARIOS
49.928.567/0001-11
DELOITTE TOUCHE TOHMATSU AUDITORES INDEPENDENTES
60.746.948/0001-12
BANCO BRADESCO S.A.
60.746.948/0001-12
BANCO BRADESCO S.A.

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (404 MB) Use the API

rows 10 / 1204390

COD_CNPJ CNPJ_FUNDO DT_REF DT_COMPTC VL_TOTAL VL_QUOTA VL_PATRIM_LIQ CAPTC_DIA RESG_DIA NR_COTST TP_FUNDO
00017024000153
00.017.024/0001-53
2018-12-31
2018-12-31
26.6508956
00017024000153
00.017.024/0001-53
2019-01-31
2019-01-31
26.7034211
00017024000153
00.017.024/0001-53
2019-02-28
2019-02-28
26.7354452
00017024000153
00.017.024/0001-53
2019-03-29
2019-03-29
26.7834741
00017024000153
00.017.024/0001-53
2019-04-30
2019-04-30
26.8471556
00017024000153
00.017.024/0001-53
2019-05-31
2019-05-31
26.9128776
00017024000153
00.017.024/0001-53
2019-06-28
2019-06-28
27.012387
00017024000153
00.017.024/0001-53
2019-07-31
2019-07-31
27.1104852
00017024000153
00.017.024/0001-53
2019-08-30
2019-08-30
27.1182382
00017024000153
00.017.024/0001-53
2019-09-30
2019-09-30
27.1890363

Statistics

Average successful run time: 18 minutes

Total run time: 8 days

Total cpu time used: 2 days

Total disk space used: 405 MB

History

  • Auto ran revision f6eb41d9 and failed .
  • Auto ran revision f6eb41d9 and failed .
  • Auto ran revision f6eb41d9 and failed .
  • Auto ran revision f6eb41d9 and failed .
  • Auto ran revision f6eb41d9 and failed .
  • ...
  • Created on morph.io

Show complete history