Artigo 3

Diferentes tipos de instituições que atuam no mercado financeiro brasileiro e variações existentes na rentabilidade das instituições do setor

 

Different types of institutions operating in the Brazilian financial market and variations

in the profitability of institutions in the sector

 

Douglas José Mendonça1 e Júlia Alves e Souza2

 

1 Instituto Federal de Minas Gerais, Brasil, Mestrado em Administração, e-mail: mendonca_douglas@yahoo.com.br

2 Centro Universitário Faminas, Brasil, Mestrado em Administração, e-mail: julia.jasouza@gmail.com

 

Recebido em: 20/03/2022 - Revisado em: 16/08/2022 - Aprovado em: 18/01/2023 - Disponível em: 01/04/2023

Resumo

Este estudo tem como objetivo investigar como os diferentes tipos de instituições financeiras - bancos comerciais, cooperativas de crédito e bancos múltiplos - influenciam as variações de rentabilidade observadas no setor. A amostra compreende 923 instituições que operaram no mercado financeiro brasileiro durante o ano de 2016. Para avaliar essa relação, foi utilizada uma abordagem econométrica de regressão hierárquica. Os resultados obtidos indicam que as discrepâncias entre os tipos de instituições financeiras desempenham um papel crucial na determinação da rentabilidade alcançada. O modelo de regressão hierárquica revela que cerca de 7,68% da variação total na rentabilidade pode ser atribuída às diferenças entre esses tipos de instituições financeiras. Esta pesquisa contribui de maneira significativa para a compreensão dos fatores que afetam a rentabilidade dessas instituições, introduzindo uma nova perspectiva no campo. Destaca-se o papel central desempenhado pelos tipos de instituições financeiras na análise das flutuações de rentabilidade. Ao explorar essa relação complexa, o estudo oferece uma contribuição valiosa tanto para a literatura quanto para a prática, proporcionando uma compreensão mais completa e abrangente do funcionamento dessas instituições no contexto econômico brasileiro. Os resultados obtidos oferecem uma visão mais ampla dos determinantes da rentabilidade das instituições financeiras. Adicionalmente, eles têm o potencial de aprimorar as estratégias de gestão e tomada de decisão ao identificar os principais fatores que moldam o desempenho financeiro dessas entidades.

Palavras-chave: Tipos de Instituições Financeiras. Determinantes. Economia Brasileira.

 

Abstract

This study aims to investigate how different types of financial institutions - commercial banks, credit unions, and multiple-service banks - influence the variations in profitability observed in the sector. The sample comprises 923 institutions that operated in the Brazilian financial market during the year 2016. To assess this relationship, a hierarchical econometric approach was employed. The obtained results indicate that disparities among the types of financial institutions play a crucial role in determining the achieved profitability. The hierarchical regression model reveals that around 7.68% of the total variation in profitability can be attributed to differences between these types of financial institutions. This research significantly contributes to the understanding of the factors affecting the profitability of these institutions, introducing a new perspective in the field. The central role played by the types of financial institutions in analyzing profitability fluctuations is highlighted. By exploring this complex relationship, the study offers a valuable contribution to both literature and practice, providing a more complete and comprehensive understanding of how these institutions operate in the Brazilian economic context. The obtained results offer a broader view of the determinants of financial institutions’ profitability. Additionally, they have the potential to enhance management strategies and decision-making by identifying the key factors that shape the financial performance of these entities.

Keywords: Institution Types. Determinants. Brazilian Economy.

 

1. INTRODUÇÃO

A maximização da rentabilidade é uma busca central para as instituições financeiras, constituindo um critério crucial na avaliação de seu desempenho (PHILIPPON, 2015). Diante desse cenário, o estudo dos fatores que determinam a rentabilidade dessas instituições tem atraído crescente interesse acadêmico, refletindo em uma série de investigações (TARUS; MANYALA, 2018; DWUMFOUR, 2019; AZUMAH et al., 2023). Este interesse é reflexo da importância das instituições financeiras na economia e da necessidade de compreender as variáveis que moldam sua rentabilidade. Nesse contexto, a identificação desses fatores ganha relevância não apenas pela compreensão das nuances do setor, mas também por sua potencial contribuição à gestão eficiente dessas entidades (POGHOSYAN, 2013; MENICUCCI; PAOLUCCI, 2016; DWUMFOUR, 2019).

A análise minuciosa dos determinantes da rentabilidade bancária possibilita a compreensão das tomadas de decisões que conduzem a discrepâncias nos níveis de rentabilidade entre as instituições (AKINKUNMI, 2017). Diversas pesquisas foram direcionadas a esse tópico, dentre os estudos que têm se dedicado a investigar fatores que podem ser considerados determinantes para as variações nas rentabilidades das instituições financeiras, pode-se destacar trabalhos como os de Sufian e Chong (2008), Rover, Tomazzia e Fávero (2011), Trujillo Ponce (2013), Almazari (2014), Akinkunmi (2017), Bittencourt et al. (2017), Mota, Silva e Silva (2019), Freitas, Carvalho, Borsatto (2021) e Abreu e Camargos (2022).

No Brasil, o setor financeiro é composto por diferentes tipos de instituições, seguindo a legislação e as formas de regulamentação específicas. Embora todas elas operem no mesmo mercado, os diferentes tipos de instituições financeiras possibilitam atuação de cada uma em seu nicho de mercado específico. Particularmente no setor bancário brasileiro, pode-se destacar bancos comerciais, cooperativas de crédito e bancos múltiplos como tipos de instituições financeiras (BCB, 2018b).

Os bancos comerciais são instituições tradicionais que oferecem uma ampla gama de serviços financeiros, como empréstimos, depósitos e gestão de contas, voltados principalmente para indivíduos e empresas. Por outro lado, as cooperativas de crédito são instituições de propriedade coletiva, onde os membros são também proprietários e participam nas decisões. Elas têm um foco mais local e comunitário, oferecendo serviços similares aos bancos comerciais, mas com uma ênfase na cooperação entre os membros. Já os bancos múltiplos, também conhecidos como conglomerados financeiros, são instituições que reúnem diferentes tipos de serviços financeiros, como bancos de investimento, bancos comerciais e outras atividades financeiras em uma única entidade. Dessa forma, conseguem atender a uma ampla variedade de necessidades financeiras, desde empréstimos tradicionais até serviços mais complexos de investimento. Cada uma dessas entidades opera de acordo com sua estrutura e foco específicos, proporcionando uma variedade de opções para atender às diversas demandas do mercado financeiro e dos clientes (BCB, 2018b).

As diferenças nas atuações de bancos comerciais, cooperativas de crédito e bancos múltiplos têm impactos diretos em sua rentabilidade (FREITAS; CARVALHO; BORSATTO, 2021). Bancos comerciais se destacam por oferecer uma ampla variedade de serviços, diversificando suas fontes de receita, apesar de enfrentarem maior competição e riscos de mercado. Cooperativas de crédito, com foco comunitário e estrutura cooperativa, desfrutam de uma maior lealdade dos clientes, o que reduz custos de aquisição destes, embora possam ter alcance e oferta de serviços mais limitados (ABREU; CAMARGOS, 2022). Bancos múltiplos, ao centralizarem diferentes serviços em uma única entidade, podem atingir diversos segmentos de mercado, porém enfrentam complexidade operacional e riscos interconectados que afetam seus custos administrativos e gera maiores níveis de riscos (DWUMFOUR, 2019; AZUMAH et al., 2023).

Visando ampliar as discussões sobre os fatores determinantes da rentabilidade das referidas instituições financeiras e abordar fatores referentes à estrutura do setor bancário brasileiro, esse estudo tem como objetivo investigar como os diferentes tipos de instituições financeiras - bancos comerciais, cooperativas de crédito e bancos múltiplos - influenciam as variações de rentabilidade observadas no setor.

É inegável que as instituições financeiras desempenham um papel crucial na economia de qualquer país, tornando a rentabilidade dessas entidades um tópico relevante tanto no meio acadêmico quanto no mercado. Isso se deve à percepção de que o desempenho bancário sólido pode se traduzir em uma economia robusta (PHILIPPON, 2015). Portanto, a presente pesquisa busca investigar, de forma inédita, se os diferentes tipos de instituições financeiras têm um papel determinante nas variações de rentabilidade, contribuindo assim para um entendimento mais aprofundado desse cenário. A análise das implicações dos diferentes tipos de instituições financeiras na rentabilidade do setor bancário brasileiro é de grande importância para compreender a dinâmica do setor, orientar decisões estratégicas e promover a estabilidade financeira.

Este estudo está estruturado em cinco seções, incluindo esta introdução. A segunda seção apresenta o referencial teórico, enquanto a terceira aborda a metodologia empregada, incluindo a descrição das variáveis e os modelos de regressão hierárquicos utilizados. A seção quatro descreve e analisa os resultados do estudo. Por fim, tem-se a seção que apresenta as considerações finais e as recomendações para futuras pesquisas.

 

2. REFERÊNCIAL TEÓRICO

2.1 Diferentes tipos de instituições financeiras que operam no Brasil

 

Os intermediários financeiros são agentes (ou grupos de agentes) aos quais é delegada a autoridade para investir em ativos financeiros. Eles desempenham um papel crucial no sistema econômico, canalizando recursos dos poupadores para os investidores e facilitando a alocação eficiente de capital (PHILIPPON, 2015). Conforme exposto por Diamond (1984), os intermediários financeiros são divididos em dois grupos: os intermediários financeiros bancários e os intermediários financeiros não bancários. Primeiramente, há os intermediários financeiros bancários, que estão diretamente envolvidos na intermediação de dinheiro em espécie nos mercados financeiros. Em contrapartida, os intermediários financeiros não bancários atuam na intermediação de títulos de valores mobiliários, contribuindo para a liquidez desses títulos no mercado de capitais (DWUMFOUR, 2019).

No Brasil, o Sistema Financeiro Nacional (SFN) está estruturado em dois grandes segmentos. De um lado, estão as instituições financeiras, assim entendidas como o conjunto constituído por bancos comerciais, caixas econômicas, cooperativas de crédito e bancos múltiplos. De outro, estão agrupadas as instituições atuantes nas demais áreas do mercado financeiro, tais como bancos de desenvolvimento, bancos de investimento e sociedades de crédito (BCB, 2018b).

Embora todas essas instituições operem no mesmo mercado financeiro, suas especificidades permitem a atuação direcionada a nichos específicos, atendendo às necessidades variadas dos usuários (FREITAS; CARVALHO; BORSATTO, 2021). Para Abreu e Camargos (2022), cada tipo de instituição financeira apresenta características próprias que as distinguem umas das outras, moldando suas funções e alcance no sistema financeiro.

Os bancos comerciais, por exemplo, têm como objetivo primordial de fornecer recursos de curto e médio prazo para financiar atividades comerciais, industriais, prestadoras de serviços e individuais (BCB, 2018b). Sua atuação é limitada à carteira comercial, restringindo-se a operações desse âmbito. Em contraposição, os bancos múltiplos são mais abrangentes em suas operações. Eles executam atividades ativas, passivas e assessórias de diversas instituições financeiras, por meio de diferentes carteiras, como a comercial, de investimento, desenvolvimento, crédito imobiliário, arrendamento mercantil e financiamento (ASSAF NETO, 2003). Essa diversidade de carteiras os torna as maiores instituições financeiras do país, com uma ampla gama de serviços.

As cooperativas de crédito constituem outra categoria de instituições financeiras no Brasil. Elas são formadas por membros associados que utilizam exclusivamente os serviços financeiros da cooperativa. Esses associados são tanto proprietários quanto usuários, participando da governança da cooperativa e usufruindo de seus produtos (ABREU; CAMARGOS, 2022). As cooperativas de crédito oferecem serviços semelhantes aos bancos comerciais e múltiplos, mas sua estrutura menor em comparação as outras instituições e foco na maximização dos benefícios para os cooperados as diferenciam das demais (PINHEIRO, 2008).

É importante notar que as metas de rentabilidade variam entre esses diferentes tipos de instituições. Enquanto as cooperativas de crédito buscam maximizar os benefícios para seus associados, outras instituições como os bancos múltiplos e comerciais muitas vezes priorizam a maximização do retorno para os acionistas (BITTENCOURT et al., 2017). Essa diferença de objetivos influencia as estratégias de administração e a alocação de recursos em cada tipo de instituição financeira.

Conforme apresentado, os intermediários financeiros desempenham um papel crucial na economia ao facilitar a intermediação de recursos entre poupadores e investidores. No Brasil, as instituições financeiras são divididas em categorias distintas, como bancos comerciais, bancos múltiplos e cooperativas de crédito. Cada categoria tem seu próprio escopo de operações, metas de rentabilidade e formas de interação com seus membros. Compreender essas diferenças é fundamental para uma análise abrangente do sistema financeiro e de sua contribuição para o funcionamento da economia como um todo.

 

2.2 Fatores que influenciam a rentabilidade das instituições financeiras

 

Rentabilidade refere-se à capacidade da organização em gerar retornos a partir de seus recursos. O valor correspondente à rentabilidade dos bancos indica o sucesso da gestão e é um dos indicadores de desempenho mais importantes para os investidores (MENICUCCI; PAOLUCCI, 2016).

Os determinantes da rentabilidade bancária, segundo Curak, Poposki e Pepur (2012), podem ser agrupados em internos e externos. Determinantes internos (ou específicos) refletem características específicas do banco, como tamanho, capital, riscos e eficiência. Esses determinantes internos são geralmente influenciados pelas estratégias e decisões de gerenciamento do banco. Nesse sentido, revelam as diferenças em relação a fontes e usos da gestão de fundos (AKINKUNMI, 2017).

Já os determinantes externos, conforme Trujillo-Ponce (2013), são fatores que não estão relacionados à gestão do banco e que refletem o ambiente macroeconômico e as especificidades do setor que impactam o desempenho da instituição financeira. Os determinantes externos são variáveis que geralmente consideram o ambiente econômico e legal (tanto setorial como macroeconômico) que afeta a operação e o desempenho das instituições financeiras; dessa forma, envolvem o nível de crescimento econômico, a inflação e a capitalização de mercado, dentre outras características (MENICUCCI; PAOLUCCI, 2016).

Segundo Akinkunmi (2017), os estudos que investigam os fatores determinantes da rentabilidade bancária chegaram à conclusão de que os fatores internos explicam grande parte da rentabilidade do banco. Entretanto, os resultados variam entre os países, uma vez que os conjuntos de dados e que os fatores ambientais (externos) são diferentes. Trujillo‐Ponce (2013) aponta que os determinantes da rentabilidade oriundos das características operacionais das instituições financeiras são, em muitos casos, a capitalização, as operações de crédito, as despesas operacionais e a diversificação de receita. Esses quatro elementos são discutidos resumidamente a seguir.

 

  1. i. Capitalização

A capitalização é a capacidade que uma instituição possui de captar depósitos à vista. A instituição que capta um maior volume de depósitos à vista consegue ter um maior montante de capital para a operação de intermediação financeira, a um baixo custo (CARVALHO; RIBEIRO, 2016).

Trujillo Ponce (2013) aponta que a capitalização pode influenciar na rentabilidade das instituições financeiras, uma vez que ajudaria a instituição a financiar seus ativos a taxas de juros mais favoráveis, aumentando a rentabilidade esperada e compensando o custo do capital próprio. Akinkunmi (2017) afirma que instituições financeiras bem capitalizadas reduzem seus custos de intermediação. 

Nesse mesmo sentido, Hakenes e Schnabel (2011) argumentam sobre as razões para supor que um banco com maior capitalização deve apresentar maior rentabilidade. Segundo esses autores, um banco com baixo índice de capitalização (ou seja, baixa captação de recursos via depósitos à vista) tende a apresentar maiores custos com o processo de intermediação, uma vez que precisa captar recursos por meio de outras fontes que possuem taxas de juros mais altas do que as praticadas com os depósitos à vista. Assim, um aumento no índice de capitalização tende a reduzir as despesas com juros sobre dívidas, aumentando a rentabilidade.

 

  1. ii. Operações de crédito

As instituições financeiras são compensadas pelos serviços de intermediação prestados, ou seja, pelo volume de operações de crédito. Akinkunmi (2017) explica que o setor bancário tem um papel importante por ser protagonista na prestação de serviços de intermediação financeira.

A intermediação financeira é o processo que utiliza os recursos financeiros acumulados dos agentes poupadores e os coloca novamente na economia, em forma de empréstimos, para os agentes tomadores; como fruto dessa operação, os bancos recebem o spread (que consiste no ganho das instituições financeiras), uma vez que captam recursos a uma determinada taxa de juros e os emprestam a uma outra taxa que é superior à de captação (PHILIPPON, 2015).

Diante disso, quanto maior o volume das operações de crédito, maiores tendem a ser os resultados da intermediação financeira, os quais são mensurados por meio do total da receita de intermediação menos os custos agregados da operação de intermediação financeira. A receita de intermediação é a soma de todos os spreads oriundos das operações de crédito e taxas pagas por agentes não financeiros aos intermediários financeiros (ALMAZARI, 2014).

 

  1. iii. Diversificação

A globalização na indústria bancária tem trazido um novo formato na condução das atividades desempenhadas pelas instituições financeiras, refletindo em uma melhor maneira de gerir os negócios (SOUZA; MACEDO, 2009). A reestruturação no negócio bancário mundial alterou as fontes de receitas e o modelo de gestão das instituições financeiras bancárias. As instituições que tinham alta dependência dos ganhos de spread perderam muito desse ganho com a regulação do setor e a padronização das taxas.

Diante disso, para compensar a perda de receitas com o spread, a prestação de serviços (abertura e manutenção de contas, tarifas em geral, administração de fundos, entre outros) passou a ter maior relevância no total das receitas bancárias (PHILIPPON, 2015). Ao mesmo tempo, os bancos têm espalhado suas operações em vários países e regiões geográficas. As implicações de tais mudanças nas fontes de receitas dos bancos têm sido amplamente abordadas na literatura, embora ainda não exista um consenso sobre como os efeitos desse processo de diversificação atingem a rentabilidade das instituições financeiras (BRIGHI; VENTURELLI, 2015).

 

  1. iv. Despesa Operacional

É evidente que as instituições financeiras devem controlar os gastos operacionais para ter uma maior rentabilidade. Conforme afirma Trujillo Ponce (2013), quanto maiores forem os gastos operacionais relativamente ao porte da instituição financeira, menor será a rentabilidade.

A despesa operacional refere-se à despesa que a instituição possui para prestar os serviços de intermediação financeira (BORIO; GAMBACORTA; HOFMANN, 2017). A literatura tem identificado, empiricamente, que o maior o volume de despesas operacionais está associado à menor rentabilidade das instituições financeiras (KIRKWOOD; NAHM, 2006).

 

2.3 Estudos que investigaram os determinantes da rentabilidade das instituições financeiras

Dentre os trabalhos que investigaram os fatores que influenciam a rentabilidade bancária, destaca-se inicialmente o estudo de Sufian e Chong (2008). Essa pesquisa examinou os fatores determinantes da rentabilidade dos bancos nas Filipinas no período 1990 a 2005. Os achados empíricos sugerem que o risco de crédito e as despesas operacionais estão negativamente relacionados com a rentabilidade das instituições financeiras, enquanto a capitalização tem um impacto positivo.

Já Rover et al. (2011) estudaram quais fatores econômico-financeiros e macroeconômicos explicam a rentabilidade das instituições financeiras brasileiras, entre os anos de 1995 e 2009. Os resultados evidenciaram que as variáveis econômico-financeiras (referentes à liquidez, risco de crédito, despesa operacional, eficiência operacional e alavancagem) e as condições macroeconômicas (concernentes à atividade econômica, inflação e taxa Selic) são estatisticamente significativas para explicar a rentabilidade das instituições financeiras no Brasil.

Trujillo Ponce (2013) analisou quais os fatores que determinam a rentabilidade das instituições financeiras espanholas no período de 1999-2009. Os resultados demonstram que a rentabilidade durante esses anos esteve associada a uma alta proporção de depósitos à vista (capitalização) e à boa eficiência na gestão das despesas operacionais.

Almazari (2014) investigou os fatores oriundos das características operacionais que afetariam a rentabilidade das instituições financeiras. O principal objetivo foi comparar os níveis de rentabilidade dos bancos sauditas e jordanianos entre os anos de 2005 a 2011. Os resultados encontrados indicam a existência de uma correlação positiva da rentabilidade com a capitalização e a liquidez das instituições financeiras, nos dois países analisados.

Em outro contexto, Akinkunmi (2017) explorou os fatores determinantes da rentabilidade de instituições financeiras da Nigéria entre os anos 2001 e 2015. Os resultados mostraram que os fatores específicos do banco, como índice de eficiência, risco de crédito e capitalização, são os principais fatores determinantes da rentabilidade.

Adicionalmente, Bittencourt et al. (2017) investigaram os fatores determinantes para a rentabilidade em bancos múltiplos e cooperativas de crédito brasileiras no período de 2009 a 2013. Os resultados indicaram que a rentabilidade dessas instituições se mostrou afetada pelas variáveis empréstimos, eficiência, despesas operacionais, depósitos totais (capitalização), diversificação, taxa Selic e inflação.

O estudo de Mota, Silva e Silva (2019) investigou os determinantes da rentabilidade do setor bancário português, a partir de uma amostra constituída pelos onze maiores bancos portugueses no período 2006-2016. O risco de crédito, a eficiência operacional, a alavancagem financeira e o crescimento dos depósitos destacam-se como os determinantes internos dos bancos que melhor explicam a rentabilidade. Os resultados também enfatizam a influência das condições macroeconómicas no desempenho dos bancos.

Por fim, o estudo de Freitas, Carvalho, Borsatto (2021) analisou os fatores determinantes da rentabilidade dos bancos atuantes no Brasil, com foco específico nas variáveis macroeconômicas, contábeis e operacionais. Foram analisados os 50 maiores bancos, considerando o total de ativos, no período entre 2013 e 2016. Os resultados revelam que o tamanho das instituições em ativos tem uma relação positiva com a rentabilidade.

Nota-se que os resultados obtidos pelos estudos mencionados apontam diferentes determinantes da rentabilidade bancária, envolvendo fatores específicos para cada banco e/ou fatores macroeconômicos. Entretanto, existe uma lacuna quando se trata de investigar se a variação na rentabilidade bancária pode ser explicada por um fator referente à forma de estruturação do setor, havendo ainda a necessidade de investigar a influência dos tipos distintos de instituições que atuam no setor bancário brasileiro.

 

3. METODOLOGIA

3.1 Tipo de Pesquisa e Amostra

Este trabalho é caracterizado como um estudo quantitativo e descritivo. Uma pesquisa é considerada quantitativa quando possui uma perspectiva positivista, utilizando-se de uma análise estatística e/ou matemática e traduzindo em números as informações, para classificá-las e analisá-las (GIL, 2010). Já a pesquisa descritiva, conforme Martins (2002), tem como objetivo descrever as características de uma determinada população ou fenômeno, estabelecendo relações entre variáveis e fatos.

Para a seleção da amostra, foram identificadas, por meio dos registros do Banco Central do Brasil (BCB), todas as instituições financeiras com dados econômico-financeiros disponíveis, referentes a 31 de dezembro do ano de 2016. A pesquisa utilizou dados secundários, obtidos por meio do relatório anual intitulado “50 Maiores Bancos e o Consolidado do Sistema Financeiro Nacional”, o qual encontra-se disponível no website do Banco Central do Brasil (2018a). Esse relatório contém os dados consolidados referentes a todas as instituições que compõem o Sistema Financeiro brasileiro.

Considerando o critério de disponibilidade dos dados, a amostra final foi composta por 923 instituições financeiras, agrupadas conforme seus diferentes tipos. A quantidade de instituições e os respectivos tipos são demonstrados na Tabela 1.

 

Tabela 1 - Número de instituições financeiras agrupada por tipo

2229.png 

Fonte: Dos autores (2023).

Como exposto na Tabela 1, a amostra é composta por 5 diferentes tipos de instituições financeiras. O tipo 1 é formado por instituições classificadas como bancos múltiplos, enquanto o tipo 2 é composto pelos bancos comerciais. Os tipos 3, 4 e 5 são formados por cooperativas de crédito, segundo a classificação da Resolução nº 4.434/2015 do Banco Central do Brasil.

A classificação por tipo de instituição financeira demonstra a estrutura hierárquica dos dados. Apesar de atuarem em segmentos semelhantes do mercado, para cada tipo de instituição os objetivos em relação à rentabilidade são diferentes, gerando características distintas na forma de conduzir as atividades. Tais características são aquelas que variam de um tipo de instituição para o outro, mas que não apresentam variação em instituições bancárias do mesmo tipo.

 

3.2 Descrição das Variáveis

A variável dependente utilizada nesse estudo para representar a rentabilidade foi o Retorno sobre Ativos (ROA). O ROA foi calculado pela divisão do lucro líquido pelo ativo total e mede a capacidade de gestão dos ativos (indica quanto o lucro líquido obtido representa em relação ao montante total investido em ativos). Assim, esse indicador reflete a capacidade de o banco gerar lucro por meio da utilização do seu total de recursos aplicados (ASSAF NETO, 2012).

No modelo econométrico, também foram incluídas variáveis de controle. Tais variáveis são as que, conforme indicado pela literatura, poderiam afetar a variável dependente. Na Tabela 2, apresentam-se os detalhamentos sobre as variáveis de controle adotadas no estudo.

Tabela 2 - Variáveis de controle utilizadas no modelo de regressão hierárquico com dois níveis

2238.png 

Fonte: Dos autores (2023).

 

Dessa forma, as variáveis de controle refletem alguns fatores que são oriundos das características operacionais das instituições financeiras e que podem influenciar a rentabilidade bancária. Para a análise dos dados, adotou-se um modelo de regressão hierárquico com dois níveis, o qual permitiu avaliar o efeito das variáveis explicativas em instituições financeiras do mesmo tipo e os efeitos provenientes de tipos diferentes de instituições.

Os modelos de regressão hierárquicos, também conhecidos como modelos de efeito aleatório ou modelos multiníveis, são uma extensão dos modelos de regressão clássicos. Nos modelos hierárquicos, as variáveis explicativas são analisadas em vários níveis de agregação, considerando-se a natureza hierárquica dos dados (FÁVERO; BELFIORE, 2017).

 

3.3 Modelo de Regressão Hierárquico com Dois Níveis

No modelo de regressão hierárquico com dois níveis adotado nesse estudo, as instituições financeiras foram consideradas como a unidade do nível 1 e o tipo de instituição foi considerado como a unidade do nível 2. O primeiro passo na análise multinível é ajustar o modelo não condicional, que consiste em um modelo mais simples do que o modelo completo. No modelo não condicional, se assume que não há variáveis explicativas em nenhum dos níveis e que está presente o intercepto aleatório. Esse modelo é conhecido como modelo com apenas o intercepto aleatório com efeito aleatório (FÁVERO; BELFIORE, 2017).

A hipótese a ser testada é a de que existe uma parcela de variância significativa na rentabilidade de instituições financeiras de um mesmo tipo, bem como uma parcela de variância que é decorrente de serem tipos distintos de instituições. Para testar a hipótese de pesquisa, a princípio foi estimado um modelo totalmente incondicional, sem variáveis preditoras em qualquer nível. Esse modelo permite decompor a variabilidade da rentabilidade das instituições financeiras em parcelas para cada nível de hierarquia. O modelo não condicional é estimado conforme expresso na Equação 1:

 

2245.png Equação 1

Onde: ROA𝑖𝑗 representa a rentabilidade média das instituições financeiras da i-ésima instituição no j-ésimo tipo; 𝛽0𝑗 é a rentabilidade média do j-ésimo tipo de instituição; e rij é o efeito aleatório do tipo de instituição e representa o resíduo da medida da rentabilidade da instituição não explicado pela variável explicativa.

Como pode haver um efeito aleatório comum a toda as instituições financeiras de um mesmo tipo, introduziu-se no modelo um termo de erro aleatório no nível do tipo de instituição. Assim, a média do tipo de instituição varia em torno de uma média geral, conforme a equação (2):

 

2253.png Equação 2

Em que: 𝛽0𝑗 é a rentabilidade média do j-ésimo tipo de instituição; 𝛾00 é a rentabilidade média global; e 𝑢0𝑗 é o efeito aleatório associado ao tipo de instituição e representa o quanto a média do tipo de instituição desvia-se da média geral. Substituindo os termos da equação 2 na equação 1, é criada a equação 3:

2259.png Equação 3

A equação 1 representa o nível 1 (instituições financeiras) e a equação 2 o nível 2 (tipo de instituição). Dessa forma, o tipo de instituição j tem rentabilidade média igual a 1830.png, onde 𝛾00 e representa a ordenada na origem (intercepto) e rij e 𝑢oj são os resíduos do nível 1 e do nível 2, respectivamente. Já a equação 3 descreve um modelo em que a rentabilidade média de cada instituição e de cada tipo de instituição j (variável dependente) é expresso em termos da soma de três componentes: a rentabilidade média geral (𝛾00), o efeito aleatório no nível do tipo de instituição (𝑢0𝑗) e do efeito aleatório no nível da instituição financeira (rij).

Por fim, estimou-se o modelo hierárquico completo. Seguindo os mesmos princípios da equação 3, foram acrescentadas as variáveis explicativas que consistem nas variáveis que refletem alguns fatores que podem influenciar a rentabilidade bancária. O modelo completo é representado na equação 4.

2266.png Equação 4

Nos modelos hierárquicos, a centralização de variáveis explicativas na média geral é importante para que o intercepto 𝛽0𝑗 possa ser interpretado como média do j-ésimo tipo de instituição do nível 2 ajustado para a variável X no nível da instituição financeira. Quando mais de uma variável independente no nível 1 (instituição financeira) e no nível 2 (tipo de instituição) são incorporadas ao modelo não condicional, considera-se que Xij representa as p variáveis do nível 1 e Wj as q variáveis no nível 2.

A estimação dos modelos mencionado permite identificar diferentes aspectos sobre as variações na rentabilidade das instituições financeiras. O software utilizado para operacionalizar a análise dos dados e estimar os modelos estatísticos propostos nesse estudo foi o Stata®.

 

4. RESULTADOS E DISCUSSÕES

4.1 Estatísticas descritivas da variável dependente

Antes da aplicação do modelo hierárquico de regressão com dois níveis, é interessante observar as estatísticas descritivas da variável dependente ROA. Na Tabela 3, constam essas estatísticas para cada um dos tipos de instituição financeira analisados.

 

Tabela 3 - Estatísticas descritivas da variável dependente ROA (rentabilidade) por tipo de instituição financeira

2273.png 

Fonte: Dos autores (2023).

 

Por meio da Tabela 3, observa-se que as instituições da categoria banco múltiplo foram o único tipo que apresentou a rentabilidade média negativa, com um Retorno sobre os Ativos médio de -0,05%. Por outro lado, as cooperativas de crédito mútuo apresentaram a maior rentabilidade média, com um ROA médio de 1,67%. Os outros dois tipos de cooperativas de crédito (rural e livre admissão) apresentaram uma rentabilidade média similar, com ROA médio de 1,35% para as cooperativas de crédito rural e 1,34% para as cooperativas de livre admissão.

Em relação às instituições com rentabilidade média positiva, os bancos comerciais foram os que apresentaram o menor ROA médio (0,36%). Observa-se que as cooperativas de crédito apresentaram rentabilidade média superior aos bancos múltiplos e comerciais. Já quanto aos valores mínimos e máximos, a categoria dos bancos múltiplos apresentou o menor valor de rentabilidade, com um ROA de -29,30%. O tipo de instituição que apresentou o valor máximo de rentabilidade foi a cooperativa de crédito de livre admissão, com ROA de 29,50%.

Por fim, em relação à variação na rentabilidade dos tipos de instituições, as cooperativas de crédito mútuo apresentaram níveis de rentabilidade com maior homogeneidade, uma vez que esse tipo de instituição apresentou um desvio-padrão de 1,44%. Por outro lado, os bancos comerciais foram o tipo de instituição com a menor homogeneidade nos níveis de rentabilidade, o que é demonstrado pelo desvio-padrão de 5,32%.

Após a análise das estatísticas descritivas, as próximas duas sessões apresentam os resultados para o modelo hierárquico não condicional com dois níveis e para o modelo hierárquico com dois níveis completo.

 

4.2 Resultados do modelo hierárquico não condicional com dois níveis

 

Conforme já mencionado, ajustar o modelo não condicional é o primeiro passo da análise hierárquica. Como não envolve variáveis explicativas em nenhum dos níveis, esse ajuste proporciona a estimação pontual da média geral. O modelo não condicional considera apenas a existência de um intercepto e dos termos de erro. A aplicação desse modelo é uma etapa importante para embasar a escolha da modelagem hierárquica, em detrimento da modelagem de uma regressão tradicional feita pelo método de Mínimos Quadrados Ordinários (MQO).

De acordo com Fávero e Belfiore (2017), para comprovar se o modelo hierárquico é preferível em relação ao método MQO, deve-se observar o resultado do teste de razão de verossimilhança (LR test). Rejeitar a hipótese nula (de que os interceptos aleatórios são iguais a zero) faz com que a estimação de um modelo tradicional de regressão linear seja descartada, indicando que a estimação do modelo hierárquico é mais apropriada.

Os resultados para o modelo não condicional da presente pesquisa são apresentados na Tabela 4. Como o LR test apresentou significância de 1%, o que leva à rejeição da hipótese nula, identificou-se que a aplicação do modelo multinível é a mais adequada para o conjunto de dados analisados. Por meio do modelo não condicional, é possível identificar se os diferentes tipos de instituições influenciam na rentabilidade bancária, uma vez que esse modelo considera apenas o impacto dos níveis na variável dependente.

 

Tabela 4 - Resultados para o modelo não condicional de regressão hierárquica com dois níveis

2281.png 

Fonte: Dos autores (2023).

 

Conforme demonstrado na Tabela 4, o intercepto geral do modelo não condicional apresentou um coeficiente de 0,00989, com significância estatística a 1%. Na parte inferior dessa tabela, apresentam-se os parâmetros dos efeitos aleatórios, que sãos as estimações das variâncias nos termos de erro, representados pelo var(_cons) e var(Residual).

Com a aplicação do modelo não condicional, é possível utilizar a correlação intraclasse para testar a hipótese de pesquisa proposta nesse estudo. A correlação intraclasse (ICC) identifica a existência de uma variação na rentabilidade das instituições financeiras que é proveniente dos diferentes tipos de instituições. O resultado para essa estatística é apresentado na Tabela 5.

Tabela 5 – Resultado da correlação intraclasse no modelo não condicional

2288.png 

Fonte: Dos autores (2023).

 

A correlação intraclasse é obtida a partir da correlação dos valores das variâncias nos termos de erro. A partir da Tabela 5, observa-se que a correlação intraclasse apresentou um valor de 0,058141, indicando que aproximadamente 5,81% da variância total na rentabilidade das instituições financeiras são decorrentes dos tipos de instituição. Portanto, existe uma parcela significativa na variabilidade da rentabilidade de instituições financeiras brasileiras que pode ser explicada pelas diferenças entre os tipos de instituições.

Com esse resultado, é possível inferir que a rentabilidade de tais instituições podem ser explicada também pelas diferenças nos tipos de instituições que atuam no setor financeiro, o que confirma a hipótese de pesquisa.

 

 

4.2 Resultados do modelo hierárquico completo com dois níveis

Após a aplicação do modelo não condicional e a confirmação de que a abordagem multinível é adequada para a análise dos dados desse estudo, foi aplicado o modelo hierárquico completo. Esse modelo inclui as variáveis explicativas da rentabilidade bancária, oriundas das características operacionais das instituições (conforme apresentadas na Tabela 2). O modelo completo foi utilizado para verificar a variabilidade intraclasse com a inserção das variáveis explicativas. Os resultados para o modelo completo são apresentados na Tabela 6.

 

Tabela 6 - Resultados para o modelo completo de regressão hierárquica com dois níveis

2296.png 

Nota: Os asteriscos indicam o nível de significância dos coeficientes: ***(1%), **(5%) e *(10%)

Fonte: Dos autores (2023).

Por meio da análise do LR test (demonstrado na parte inferior da Tabela 6), nota-se que o resultado desse teste apresentou significância a 1%. Com isso, comprova-se que a aplicação do modelo multinível é a mais adequada para o conjunto de dados analisados, uma vez que a hipótese nula do teste é rejeitada e a estimação de um modelo MQO é descartada.

A variável de controle capitalização das instituições financeiras apresentou significância estatística de 5%, indicando que as variações no volume de capitalização das instituições (capacidade de receber depósito à vista) pode ser utilizada para explicar as variações na rentabilidade bancária. Foi encontrada uma relação positiva, ou seja, quanto maior for o volume de depósitos à vista recebidos pela instituição financeira, maior será a sua rentabilidade. Os estudos de Sufian e Chong (2008), Trujillo Ponce (2013), Almazari (2014) e Akinkunmi (2017) também relataram resultados semelhantes.

A diversificação das operações das instituições financeiras também apresentou significância estatística de 1%. Esse resultado indica que a variação no nível de diversificação (que representam fontes alternativas de receita, como, por exemplo, receitas com serviços e taxas) das instituições financeiras pode ser utilizada para explicar a variação na rentabilidade. Foi identificada uma relação direta, semelhante à encontrada nos estudos de Rover et al. (2011) e Bittencourt et al. (2017). Essa relação positiva indica que quanto maiores forem os níveis de fontes alternativas de receitas, maior será a rentabilidade.

Em relação às despesas operacionais, foi identificada uma relação indireta e estatisticamente significativa a 1%. Resultados semelhantes foram obtidos nos estudos de Sufian e Chong (2008), Rover et al. (2011), Trujillo‐Ponce (2013) e Bittencourt et al. (2017). Esse resultado indica que as variações nas despesas operacionais das instituições financeiras podem ser utilizadas para explicar a variação na rentabilidade. A relação indireta indica que quanto maiores forem as despesas operacionais (gastos operacionais das instituições financeiras), menor será a sua rentabilidade, evidenciando a importância do controle das despesas operacionais pelas instituições financeiras.

Nota-se, ainda, que a variável operações de crédito apresentou significância estatística a 1%. Esse resultado indica que variações nas operações de crédito das instituições financeiras também auxiliam a explicar as variações na rentabilidade, de forma semelhante ao que foi apontado no estudo de Almazari (2014). A relação identificada foi positiva, indicando que quanto maior for o volume de operações de crédito será gerada uma maior rentabilidade para a instituição financeira.

Por fim, a partir da análise dos resultados para o modelo completo, pode-se também verificar a correlação intraclasse com a inserção das variáveis explicativas no modelo. Na Tabela 7, consta resultado obtido para a correlação intraclasse (ICC), a qual identifica o quanto da variação na rentabilidade é explicado pelo fato de as instituições financeiras serem de tipos distintos.

 

Tabela 7 - Resultado da correlação intraclasse no modelo completo com dois níveis

2304.png 

Fonte: Dos autores (2023).

O resultado apresentado na Tabela 7 demonstra um incremento da proporção do componente de variância em relação ao modelo não condicional. Assim, a variação na rentabilidade das instituições financeiras é melhor explicada, pelos diferentes tipos de instituições, quando é efetuada a inclusão das variáveis de controle oriundas das características operacionais das instituições financeiras.

Observa-se que a correlação intraclasse para o modelo completo apresentou um valor de 0,0768933, indicando que aproximadamente 7,68% da variância total na rentabilidade das instituições financeiras são decorrentes dos tipos de instituição considerados no estudo. Esse achado evidencia a importância de considerar os diferentes tipos de instituições financeiras como um fator determinante para explicar a rentabilidade das instituições que atuam no setor financeiro brasileiro.

 

 

5. CONSIDERAÇÕES FINAIS

 

Esta pesquisa representa um avanço significativo na literatura que explora os determinantes da rentabilidade no setor bancário. Esse estudo se propôs a investigar como diferentes os tipos de instituições financeiras - bancos comerciais, cooperativas de crédito e bancos múltiplos - influenciam as variações de rentabilidade observadas no setor. Ao empregar a metodologia econométrica de regressão hierárquica com modelos de dois níveis, este estudo forneceu uma análise abrangente das interações entre os tipos de instituições financeiras e os fatores que influenciam a rentabilidade, utilizando dados de 923 instituições financeiras atuantes no mercado brasileiro em 2016.

Os resultados obtidos revelaram evidências substanciais de que a diferenciação entre os tipos de instituições financeiras contribui para explicar uma parcela considerável da variação na rentabilidade observada. De fato, mesmo quando nenhum fator explicativo é incluído no modelo, cerca de 5,81% da variabilidade total na rentabilidade das instituições financeiras pode ser atribuída às variações entre esses tipos de instituições. Esse valor aumenta para aproximadamente 7,68% quando as variáveis oriundas das características operacionais são introduzidas no modelo.

Essas descobertas são particularmente notáveis, uma vez que revelam a presença de fatores determinantes até então negligenciados nas pesquisas anteriores, inclusive levando em consideração as limitações das abordagens de regressão tradicionais. Essa nova compreensão dos determinantes da rentabilidade nas instituições financeiras é uma contribuição significativa para o campo, lançando luz sobre aspectos anteriormente subestimados ou não examinados.

Vale a pena destacar que todas as relações entre as variáveis bancárias e a rentabilidade, propostas com base na literatura, foram corroboradas por este estudo, indicando que essas relações são robustas e aplicáveis ao contexto brasileiro. Os resultados revelaram que variações na capitalização, nas operações de crédito e na diversificação de receitas têm um efeito positivo na rentabilidade, enquanto variações nas despesas operacionais exercem um efeito negativo. A confirmação dessas tendências por meio da modelagem hierárquica reforça ainda mais sua relevância no contexto brasileiro.

Como limitações da pesquisa, é preciso observar que as evidências apontadas nesse estudo se limitam à amostra utilizada e aos fatores que foram considerados nos modelos. Não foram incluídos no modelo os fatores macroeconômicos e de mercado que possam influenciar a rentabilidade das instituições financeiras, como as taxas de juros da economia e a concentração do mercado. Também não foram considerados outros períodos na análise, uma vez que os resultados se referem especificamente ao ano de 2016.

Para futuras investigações, recomenda-se estender o modelo hierárquico proposto incluindo variáveis que representem fatores macroeconômicos e de mercado, permitindo uma compreensão mais abrangente dos determinantes da rentabilidade. A exploração de modelos de três níveis poderia adicionar uma dimensão temporal, avaliando como a rentabilidade se altera ao longo do tempo em relação às mudanças nos tipos de instituições financeiras.

Por fim, este estudo ressalta a importância da aplicação da regressão hierárquica para investigar os fatores que moldam a rentabilidade das instituições financeiras. Os resultados não apenas contribuem para uma compreensão mais profunda do tópico, mas também estimulam discussões em níveis nacional e internacional, impulsionando o avanço da pesquisa no campo da economia financeira.

 

 

REFERÊNCIAS

ABREU, D. P. A. de; CAMARGOS, M. A. de. Aplicação do modelo CAMELS na avaliação da rentabilidade do setor bancário brasileiro. Revista Evidenciação Contábil & Finanças, v. 10, n. 3, 2022.

AKINKUNMI, M. A. Determinants of banks’ profitability in Nigeria: Does relative market power matter. Journal of Finance and Bank Management, v. 5, n. 1, p. 42-53, 2017.

ALMAZARI, A. A. Impact of internal factors on bank profitability: Comparative study between Saudi Arabia and Jordan. Journal of Applied Finance and Banking, v. 4, n. 1, p. 125, 2014.

ASSAF NETO, A. Estrutura e análise de balanços. 10. ed. São Paulo: Atlas, 2010

ASSAF NETO, A. Mercado Financeiro. 5. ed. São Paulo: Atlas, 2003.

AZUMAH, C. Y.; OWUSU-ANSAH, A.; AMEWU, G.; OHEMENG, W. The effect of banking sector reforms on interest rate spread: Evidence from Ghana. Cogent Economics & Finance, v. 11, n. 1, 2023.

BCB. 50 maiores bancos e o consolidado do Sistema Financeiro Nacional. Banco Central do Brasil, Brasília, 2018a. Disponível em http://www4.bcb.gov.br/top50/port/top50.asp.

BCB. Relatório de estabilidade financeira. Banco Central do Brasil, Brasília, 2018b. Disponível em http://www.bcb.gov.br/?RELESTAB.

BITTENCOURT, W. R.; BRESSAN, V. G. F.; GOULART, C. P.; BRESSAN, A. A.; COSTA, D. R. de M.; LAMOUNIER, W. M. Rentabilidade em bancos múltiplos e cooperativas de crédito brasileiros. Revista de Administração Contemporânea, v. 21, p. 22-40, 2017.

BORIO, C.; GAMBACORTA, L.; HOFMANN, B. The influence of monetary policy on bank profitability. International Finance, v. 20, n. 1, p. 48-63, 2017.

BRIGHI, P.; VENTURELLI, V. How functional and geographic diversification affect bank profitability during the crisis. Finance Research Letters, v. 16, p. 1-10, 2016.

CURAK, M.; POPOSKI, K.; PEPUR, S. Profitability determinants of the Macedonian banking sector in changing environment. Procedia-Social and Behavioral Sciences, v. 44, p. 406-416, 2012.

DIAMOND, D. W. Financial intermediation and delegated monitoring. The review of economic studies, v. 51, n. 3, p. 393-414, 1984.

DWUMFOUR, R. A. Explaining banking spread. Journal of Financial Economic Policy, Bingley, v. 11, n. 1, p. 139-156, 2019.

FÁVERO, L. P.; BELFIORE, P. Manual de análise de dados: Estatística e modelagem multivariada com Excel, SPSS e Stata. São Paulo: Elservier, 2017.

FREITAS, M. A.; CARVALHO, L.; BORSATTO, J. M. L. S. Determinantes da rentabilidade de instituições financeiras no brasil: uma análise das variáveis contábeis, operacionais e macroeconômicas em um período de crise (2013 a 2016). Revista de Administração, Contabilidade e Economia da Fundace, v. 12, n. 3, 2021.

GIL, A. Como elaborar projetos de pesquisa. 5. ed. São Paulo: Atlas, 2010.

HAKENES, H.; SCHNABEL, I. Bank size and risk-taking under Basel II. Journal of banking & Finance, v. 35, n. 6, p. 1436-1449, 2011.

KIRKWOOD, J., NAHM, D. Australian banking efficiency and its relation to stock returns. Economic Record, v. 82, n. 258, 253-267, 2006.

MARTINS, G. D. A. Manual para elaboração de monografias e dissertações. São Paulo: Atlas, 2002.

MENICUCCI, E.; PAOLUCCI, G. The determinants of bank profitability: empirical evidence from European banking sector. Journal of financial Reporting and Accounting, 2016.

MOTA, C.; SILVA, E. S.; SILVA, B. Determinantes da rentabilidade bancária: evidências para os maiores bancos portugueses. European Journal of Applied Business Management, v. 5, p. 78-96, 2019.

PHILIPPON, T. Has the US finance industry become less efficient? On the theory and measurement of financial intermediation. American Economic Review, v. 105, n. 4, p. 1408-38, 2015.

PINHEIRO, M. A. H. Cooperativas de crédito: história da evolução normativa no Brasil. 6. ed. Brasília: Banco Central do Brasil, 2008.

POGHOSYAN, T. Financial intermediation costs in low income countries: The role of regulatory, institutional, and macroeconomic factors. Economic Systems, Amsterdam, v. 37, n. 1, p. 92-110, 2013.

PRIMO, U. R.; DANTAS, J. A.; MEDEIROS, O. R.; CAPELLETTO, L. R. Determinantes da rentabilidade bancária no Brasil. BASE-Revista de Administração e Contabilidade da Unisinos, v. 10, n. 4, p. 308-323, 2013.

RIBEIRO, A.; CARVALHO, J. F. Fatores explicativos da rendibilidade do setor bancário: evidência empírica em Portugal. Estudos do ISCA, n. 13, 2016.

ROVER, S.; TOMAZZIA, E. C; FÁVERO, L. P. Determinantes econômico-financeiros e macroeconômicos da rentabilidade: evidências empíricas do setor bancário brasileiro. In: Encontro Nacional de Pós-graduação em Administração, Rio de Janeiro. Anais... Rio de Janeiro, 2011.

SOARES, T. M.; MENDONÇA, M. C. M. Construção de um modelo de regressão hierárquico para os dados do SIMAVE-2000. Pesquisa Operacional, v. 23, p. 421-441, 2003.

SOUZA, M. F. A.; MACEDO, M. A. da S. Análise de desempenho contábil-financeiro no setor bancário brasileiro por meio da aplicação da análise envoltória de dados (DEA). Revista Base de Administração e Contabilidade da Unisinos, v. 6, n. 2, p. 81-100, 2009.

SUFIAN, F.; CHONG, R. R. Determinants of bank profitability in a developing economy: empirical evidence from the Philippines. Asian Academy of Management Journal of Accounting & Finance, v. 4, n. 2, 2008.

TARUS, D. K.; MANYALA, P. O. What determines bank interest rate spread? Evidence from Sub-Saharan Africa. African Journal of Economic and Management Studies, Durbanville, v. 9, n. 3, p. 335-348, 2018.

TRUJILLO‐PONCE, A. What determines the profitability of banks? Evidence from Spain. Accounting & Finance, v. 53, n. 2, p. 561-586, 2013.



Direitos autorais 2023 Douglas José Mendonça, Júlia Alves e Souza

Revista Capital Científico – Eletrônica (RCCe) Rua: Padre Salvador, 875 – Bairro Santa Cruz CEP: 85015-430  Guarapuava-Paraná-Brasil Campus Santa Cruz – Editora UNICENTRO ISSN  2177-4153 (Online)

Creative Commons License
This work is licensed under a Creative Commons Attribution 3.0 Unported License.