RUF e a qualidade da educação superior: o caso dos cursos de

contabilidade no Brasil

 

 

RUF and the quality of higher education: the case of accounting courses in Brazil

 

 

Samuel Durso

1

 

1 Faculdade FIPECAFI, Brasil, Doutorado em Controladoria e Contabilidade, e-mail: sodurso@gmail.com

 

Recebido em: 02/07/2020 - Revisado em: 15/02/2021 - Aprovado em: 10/05/2021 - Disponível em: 01/07/2021

Resumo

O objetivo do artigo foi investigar a relação entre o Ranking Universitário Folha (RUF) e a qualidade da educação de cursos de graduação da área contábil no Brasil. Cada vez mais utilizados para classificar as Instituições de Ensino Superior (IES), os rankings têm influenciado as políticas educacionais estabelecidas por diversas universidades. Para atingir ao objetivo proposto pela pesquisa, criou-se um banco de dados formado pelos resultados de 2017 do Ranking Universitário Folha (RUF) para os cursos de Ciências Contábeis e pelo índice de aprovação da IES nos Exames de Suficiência de 2017 do Conselho Federal de Contabilidade (CFC). A partir da estimação de regressões lineares múltiplas foi possível constatar que a principal medida do RUF para explicar o índice de aprovação das IES no Exame de Suficiência do CFC foi a nota obtida pelos concluintes da instituição no Enade, uma medida oficial do governo brasileiro para apurar a qualidade da educação superior. Já critérios do RUF como a avaliação realizada pelo mercado e a nota utilizada pelo RUF para a qualidade dos professores das IES apresentou baixa ou nenhuma significância estatística nas estimações realizadas. Os resultados da pesquisa mostram-se úteis para as políticas públicas educacionais brasileiras, na medida em que evidenciam a necessidade de cautela para formas alternativas de avaliação do ensino superior.

Palavras-chave: Rankings Universitários. Qualidade da Educação. Ciências Contábeis. RUF. Exame de Suficiência.

 

Abstract

The aim of the research was to investigate the relationship between the Ranking Universitário Folha (RUF) and the quality of education in undergraduate accounting courses in Brazil. Increasingly used to classify Higher Education Institutions (HEI), rankings have been influencing the educational policies established by several universities. To achieve the objective proposed in this research, a database was created by the 2017 results of the Ranking Univeristário Folha (RUF) for the Accounting courses and by the IES approval index in the 2017 Sufficiency Exams of the Conselho Federal de Contabilidade (CFC). By the estimation of multiple linear regressions it was possible to verify that the main measure of the RUF to explain the approval index of the HEI in the CFC Sufficiency Exam was the score obtained by the institution’s graduates in Enade, an official measure of the Brazilian government for ascertain the quality of higher education. The RUF criteria, on the other hand, such as the evaluation carried out by the market and the grade used by the RUF for the quality of the teachers of the HEIs presented little or no statistical significance in the estimates made. The research results are useful for Brazilian educational public policies, as they highlight the need for caution in alternative forms of higher education assessment.

Keywords: University Rankings. Education Quality. Accounting. RUF. Sufficiency Exam.

 

1 INTRODUÇÃO

O ensino superior tem passado por diversas transformações nas últimas décadas, tanto no âmbito nacional quanto internacional (SEVERINO, 2008; BRENNAND; BRENNAND, 2012, O’CONNOR, 2014). Temas como novas metodologias de ensino-aprendizagem, expansão do ensino superior, internacionalização, acesso e permanência, financiamento de pesquisa e qualidade das Instituições de Ensino Superior (IES) fazem parte da agenda de investigação dos estudiosos da área.

Em meio a esse cenário, um tema que tem recebido destaque é o sistema de avaliação dos cursos de graduação. Conforme destaca Barreyro (2018), as políticas de aferição da qualidade do ensino superior tiveram início na década de 1980 e, desde então, diversas estratégias têm surgido para averiguar a capacidade das IES em formar indivíduos capacitados para atuarem nas mais diversas áreas do conhecimento. Nesse contexto, Moed (2017) destaca o fortalecimento da metodologia dos rankings nos anos 2000, os quais, além de características de produtividade das IES, levam em consideração a reputação das instituições no mercado.

Calderón, Poltronieri e Borges (2011) consideram que a avaliação das instituições brasileiras por meio de rankings passou a ser uma política de Estado, objetivando promover a concorrência entre as IES brasileiras. Apesar de existirem sistemas de rankings governamentais, tem ganhado cada vez mais importância os rankings produzidos por entidades não educacionais e não governamentais. Em nível internacional, destacam-se o ranking do jornal inglês The Times e o QS World’s University Ranking. Nacionalmente, o recente ranking da Folha de São Paulo aparece como um dos principais sistemas privados de análise da qualidade de ensino no país (BARREYRO, 2018).

Marginson (2007) destaca que o sistema global de ranking de universidades possui uma capacidade elevada de influenciar o desenvolvimento do ensino superior, na medida em que direciona, por meio de suas metodologias, os investimentos em educação. A partir de um sistema de incentivos, as IES passam a considerar a sua posição em tais rankings como uma estratégia de desenvolvimento. Ter boas colocações nos rankings universitários pode garantir reputação, influenciar o recebimento de recursos para o financiamento de pesquisas e, principalmente, atrair recursos humanos (estudantes e professores) mais capacitados (AFONSO, 2015; FRAUMANN, 2017; MENDES; DUTRA, 2019). No atual contexto, altamente globalizado e com um fluxo cada vez maior de indivíduos e recursos financeiros, manter boas colocações nos rankings universitários passa a ser, portanto, uma estratégia de sobrevivência para as instituições de ensino.

Dessa forma, a questão de pesquisa que direciona o presente estudo é: qual a relação entre o Ranking Universitário Folha (RUF) e a qualidade da educação das instituições ensino superior em Contabilidade? O objetivo da pesquisa é, portanto, investigar a relação entre o RUF, um dos rankings universitários nacionais mais utilizados para classificar as instituições de ensino superior no Brasil, e a qualidade dos cursos de graduação em Contabilidade. A delimitação para IES de Contabilidade deve-se ao fato de a área em questão apresentar o Exame de Suficiência organizado pelo Conselho Federal de Contabilidade (CFC). Essa prova é aplicada semestralmente e pode ser realizado pelos indivíduos que cursaram a graduação em Ciências Contábeis e almejam atuar como contadores.

A partir de 2017, o CFC passou a divulgar o índice de aprovação de todas as instituições brasileiras que tiveram candidatos que realizaram as avaliações. Sendo assim, a partir do índice de aprovação, considerado como uma proxy para qualidade do ensino, torna-se possível analisar a existência de sinergias entre o índice de aprovação no exame de suficiência da IES (uma forma de averiguar a qualidade de ensino das instituições) e os rankings que visam evidenciar a qualidade do ensino superior no país.

 

2 FUNDAMENTAÇÃO TEÓRICA

2.1 Regulação e Incentivos no Mercado Educacional Superior

O governo brasileiro possui uma estrutura definida de regulação da avaliação do ensino superior. Atualmente, o Sistema Nacional de Avaliação do Ensino Superior (Sinaes) tem como responsabilidade analisar o desempenho de estudantes, cursos e instituições de ensino no país. A avaliação governamental do ensino superior abrange múltiplos aspectos como ensino, pesquisa, extensão, responsabilidade social, gestão da instituição e corpo docente. As avaliações realizadas pelo Sinaes, dentre as quais destaca-se o Exame Nacional de Desempenho do Estudante (Enade), são coordenadas e supervisionadas pela Comissão Nacional de Avaliação da Educação Superior (Conaes) e operacionalizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).

Apesar da existência dessa estrutura formal de avaliação do ensino superior do governo brasileiro, os rankings estruturados por entidades independentes têm ganhado cada vez mais relevância no contexto internacional (AFONSO, 2015; BARREYRO, 2018). Há uma suposta neutralidade na metodologia dessas avaliações, o que gera uma maior popularidade e disseminação dos resultados das grandes avaliações internacionais como a THE e o QS World University Ranking.

No contexto brasileiro, também tem crescido o interesse pelos rankings de classificação das universidades. Barreyro (2018) destaca que o interesse no assunto surgiu no país com o ranking construído pela revista Playboy (sobre o tema, veja GONÇALVES, 2017). Posteriormente, diversos agentes da imprensa passaram a divulgar análises com base nos dados do Provão, realizado pelo Governo Federal. Atualmente, contudo, o destaque tem sido direcionado para o ranking produzido pela Folha de São Paulo (MENDES; DUTRA, 2019). Nesse cenário, as instituições de ensino que estão inseridas em um contexto cada vez mais competitivo e de recursos cada vez mais escassos, passam a direcionar suas ações institucionais, com o intuito de galgar melhores colocações nesses sistemas de avaliação tidas como independentes, realizados por entidades de direito privado.

Alguns pesquisadores têm manifestado preocupação em relação ao fato de que, ao responder aos incentivos gerados pela popularidade dos rankings, as IES não necessariamente estariam focando na melhoria do ensino ofertado aos seus discentes (MARGINSON, 2007; AFONSO, 2015; MOED, 2017; BARREYRO, 2018). Cabello et al. (2019) destacam que as atividades-fim das instituições acabam sendo impactadas pelas estratégias de melhoria ou manutenção dos resultados obtidos em rankings de classificação da qualidade do ensino superior. Isso ocorre porque muitos stakeholders que levam financiamento privado para as IES passaram a considerar a posição alcançada nos rankings para a tomada de decisão sobre a alocação de recursos.

Além disso, os próprios discentes, principalmente de pós-graduação, passaram a considerar esses resultados para escolher em qual IES estudar. Mendes e Dutra (2019) encontram evidências de que algumas IES utilizam o desempenho obtido em rankings como uma estratégia de comunicação para o mercado externo, visando a atração de discentes. Um último e importante agente desse sistema de incentivos que também passou a considerar essa forma de avaliação privada, foi o mercado de trabalho. Nos últimos anos, passou a ser comum a contratação de profissionais advindos de IES mais bem classificadas nos rankings universitários internacionais (CALDERÓN; FRANÇA, 2018; CABELLO et al., 2019).

Um outro problema que surge desse sistema de avaliação privada diz respeito às métricas utilizadas para a classificação das IES. Apesar de muitos rankings se dizerem internacionais, eles são estruturados seguindo os preceitos do modelo das universidades de pesquisa estadunidenses, o que não reflete a realidade de todas as IES, principalmente quando se considera o contexto dos países em desenvolvimento. Ao analisar o contexto do Japão, por exemplo, Yonezawa (2010) destaca especificidades das universidades japonesas que dificultam a sua entrada nos rankings internacionais. Também são comuns as críticas em relação à incompatibilidade de métricas entre os diversos rankings e à arbitrariedade dos pesos utilizados para cada um dos quesitos considerados (GANGA-CONTRERAS et al., 2020).

Adotar políticas de desenvolvimento institucional pautadas em atingir as metas dos rankings não oficiais do governo podem, ainda, representar um risco para as IES na medida em que são comuns as mudanças de metodologia desses sistemas de avaliação (RAUHVARGERS, 2014). Saisana, d’Hombres e Saltelli (2011) salientam que um dos fatores que traz volatilidade aos rankings universitários é justamente o fato da sua construção ser desprovida de um framework teórico que embase a avaliação. Ao se pautar apenas em escolhas metodológicas, cria-se a possibilidade de mudanças contínuas em função de novos entendimentos sobre o que é qualidade no contexto do ensino superior. Além disso, tais mudanças ainda prejudicam as instituições na medida em que impossibilitam comparações entre os períodos, dificultando a autoanálise sobre o seu próprio desenvolvimento.

 

2.2 Pesquisas Empíricas Anteriores

 

Dill e Soo (2005) buscaram, quando do surgimento dos rankings ao redor do mundo, realizar uma análise comparativa entre rankings universitários da Austrália, Canadá, Reino Unido e Estados Unidos. Entre os principais achados da pesquisa, os autores encontram evidências de haver uma convergência nas métricas, apesar de salientarem a limitação de apenas analisarem países de língua inglesa. Além disso, os autores consideraram uma que a divulgação das métricas consideradas pelos rankings analisados ajudam as instituições a se programarem para atender às políticas de avaliação, trazendo uma possível transparência. Contudo, o artigo destaca que nem todos os incentivos produzidos pelo sistema de avaliação por ranking possibilitam ações que beneficiam o interesse público.

Saisana, d’Hombres e Saltelli (2014) buscaram testar a validade dos rankings ARWU, produzido pela Shanghai Jiao Tong University e o THE ranking, produzido pelo jornal britânico The Times. Os procedimentos são realizados ao nível individual das universidades, no nível país e macrorregião. Por meio dos procedimentos quantitativos empregados pelo estudo, as autoras levantam indícios de que que, apesar das inferências estatísticas serem fracas para as análises ao nível de universidades e países, para o nível de macrorregião os rankings apresentam correlações robustas. O paper conclui que os rankings analisados visam mais refletir a perspectiva dos seus desenvolvedores do que a necessidade dos agentes (estudantes ou decisores políticos).

Valmorbida, Cardoso e Ensslin (2015) realizaram um levantamento bibliográfico sobre rankings universitários internacionais. Com base na pesquisa das autoras, ficou evidenciada a existência de 19 rankings, os quais utilizam diferentes metodologias de avaliação e, mesmo quando há convergência entre os rankings os pesos para cada metodologia difere. Dentre as métricas mais comuns estão as relacionadas à infraestrutura, reputação da IES e índices de publicação e citação.

Moed (2017) buscou analisar os limites dos rankings universitários. Para isso, o artigo analisa a estrutura de cinco diferentes rankings internacionais, a saber: ARWU, Leiden, THE, QS e U-Multirank. De acordo com os resultados da pesquisa, o autor encontra evidências de que os sistemas atuais ainda são unidimensionais e não fornecem um conjunto de dados que sejam eficazes para se entender as instituições de uma forma multifacetada. Além disso, o artigo demonstra como a metodologia utilizada em cada um dos rankings influencia diretamente na posição das instituições.

Cabello et al. (2019) analisaram a classificação de instituições brasileiras em dois dos principais rankings internacionais de universidades, o QS World University Ranking e o THE ranking. Para atingir ao objetivo proposto, o paper analisou as restrições metodológicas dos respectivos rankings, indicando como as suas formas de construção impactam na classifica de universidades nacionais. Entre os principais achados da pesquisa, os autores encontram indícios de que a proximidade da IES com o mercado de trabalho mais dinâmico representa um fator-chave para a posição nos rankings analisados. Além disso, pode-se observar que tanto maior o orçamento da IES melhor tende a ser a sua classificação nessas metodologias privadas de análise da qualidade do ensino superior.

3 METODOLOGIAS

3.1 Caracterização da Pesquisa

A presente pesquisa pode ser caracterizada como descritiva, quantitativa e documental, uma vez que utilizou dados secundários para responder a questão de pesquisa proposta (MARTINS; THEÓPHILO, 2009). Foram utilizadas duas bases de dados. A primeira refere-se à divulgação realizada pelo CFC sobre a lista de aprovação nos exames de suficiência do primeiro e segundo semestre de 2017 por instituição de ensino. A segunda refere-se ao Ranking Universitário Folha (RUF), divulgado pelo jornal Folha de São Paulo, também para o ano de 2017.

 

3.2. Construção da Base de Dados

A compatibilização entre as duas bases de dados usada pela pesquisa foi realizada a partir dos nomes das IES. Essa compatibilização foi realizada com o auxílio de planilhas eletrônicas. A partir desse procedimento foram identificadas 187 IES que apareciam na listagem do CFC de 2017/1 e no RUF de 2017 e 182 IES que apareciam na listagem do CFC de 2017/2 e no RUF de 2017. Essa dupla análise relacionada com os índices de aprovação do CFC mostrou-se útil para o processo de triangulação dos achados da investigação, contribuindo para uma maior robustez do estudo.

É necessário destacar, ainda, que a edição de 2017 do RUF estabelecia uma colocação exata até a 200ª IES. A partir deste marco, o RUF apresentava a colocação em grupos de 50, 100 e 200 IES. Nesta pesquisa foram consideradas apenas as IES que apareceram nas 200 primeiras colocações do ranking. Dessa forma, para a primeira edição do Exame de Suficiência de 2017 foi possível obter uma cobertura de 93,5% e, para a segunda edição, 91%. É importante frisar, ainda, que o Exame de Suficiência do CFC é aplicado semestralmente em todo o território nacional.

Nesse contexto, podem realizar a prova todos os estudantes de Ciências Contábeis a partir do 7º período ou já graduados na referida área. Para atuar em diversos ramos da Contabilidade no Brasil é necessário ter o registro no Conselho Regional de Contabilidade, o que se dá pela aprovação neste Exame de Suficiência. Atualmente, o exame possui 50 questões e para ser aprovado é necessário que o candidato acerte, pelo menos, 50% das questões.

Sendo assim, o índice de aprovação no Exame de Suficiência do CFC foi utilizado pelo estudo como uma proxy para qualidade do ensino da IES. Pesquisas anteriores também utilizaram resultados obtido neste tipo de avaliação com proxy para o construto da qualidade do ensino, tanto na área contábil (BUGARIM; RODRIGUES; PINHO; MACHADO, 2014; BARROSO, FREITAS OLIVEIRA, 2020) quanto em outras (CURI; MENEZES-FILHO, 2014).

Já o RUF representa um ranking nacional que visa classificar as IES brasileiras tanto de forma agregada (considerando todos os cursos) quanto por áreas de conhecimento. De acordo com Mendes e Dutra (2019), o RUF tem se destacado como o principal ranking nacional de avaliação de cursos de graduação. Conforme ponderam as autoras, algumas IES “já utilizam a sua colocação no ranking em estratégia de mídia para captar alunos” (MENDES; DUTRA, 2019, p. 205). Assim, nesta pesquisa foram utilizados os dados referentes ao RUF de cursos, mais especificamente para o curso de Ciências Contábeis, do ano de 2017.

A construção da pontuação final o RUF de cursos de 2017 utilizou a seguinte metodologia: a) peso de 64% para o critério Ensino, formado por quatro componentes, a saber: i) 40% para o critério “Avaliadores do MEC” (pesquisa feito pelo Datafolha com uma amostra de professores distribuídos pelo país para analisar a qualidade de cursos superiores; ii) 8% para o critério “Professores com Doutorado e Mestrado” (percentual de professores da instituição que têm doutorado ou mestrado); iii) 8% para o critério “Professores com Dedicação Integral e Parcial” (percentual de docentes que trabalham em regime de dedicação integral ou de dedicação parcial); e iv) 8% para o critério “Nota Enade” (que leva em conta a nota média da IES no Exame Nacional de Desempenho de Estudantes); b) peso de 36% para o critério “Mercado”, que considera a opinião de profissionais de RH consultados pelo Datafolha sobre preferências de contratação. A partir dessa metodologia, o RUF estabelece uma hierarquia para os cursos de graduação das diversas áreas, por IES (RUF, 2017). Nesta pesquisa, foram utilizadas as pontuações individuais das IES em cada um dos critérios acima mencionados.

O Quadro 1 contém a relação das variáveis utilizadas na pesquisa, assim como a explicação sobre a sua construção, de acordo com o CFC e o RUF.

 

Quadro 1 - Descrição das variáveis do estudo

 

Continua.....

 

Fonte: Elaborado pelos autores

Para a análise de resultados foram construídas análises descritivas para o banco de dados estruturado para a pesquisa, calculadas correlações e estimadas regressões lineares múltiplas. Buscou-se, assim, verificar a relação entre a qualidade do ensino em Ciências Contábeis, que teve como proxy o índice de aprovação no Exame de Suficiência do CFC por instituição, e cada um dos componentes utilizados pelo RUF para a classificação dos cursos de Contabilidade das IES.

 

4 RESULTADOS

Os dados da pesquisa foram analisados considerando as duas edições do Exame de Suficiências do CFC realizadas para o ano de 2017. Conforme mencionado no capítulo dos Procedimentos Metodológicos, os dados sobre a aprovação no Exame do CFC foram cruzados com os dados do RUF de 2017 para cada um dos exames. Ao repetir os procedimentos de análise de dados nessas duas edições, tem-se a possibilidade de triangulação dos achados da pesquisa, trazendo maior robustez para o estudo.

 

4.1 Análise de resultados para o Exame de Suficiência de 2017/1

A base de dados referente ao Exame de Suficiência de 2017/1 foi, inicialmente, segregada por região, conforme apresentado na Tabela 1. Como é possível perceber, a maior parte das instituições da amostra estão situadas na região sudeste (N=65), sul (N=46) e Nordeste (N=44). Em seguida aparecem as regiões Centro-Oeste e Norte, ambas com 16 observações. A Tabela 1 apresenta, ainda, a média de aprovação nos Exames de Suficiência do CFC, por região. A região com maior média é Sul (46,11%). Em seguida aparecem as regiões Sudeste (45,36%), Centro-Oeste (38,63%), Nordeste (36,71%) e Norte (20,90%).

Tabela 1: Análise descritiva da amostra por região para 2017/1

 

Fonte: Elaborado pelos autores

 

A Tabela 2 contém a análise descritiva do índice de aprovação no Exame de Suficiência do CFC por tipo de IES (pública ou privada). Conforme evidenciado, a base de dados é formada por 72,73% de IES privadas. Além disso, pode-se notar que a média de aprovação das IES públicas é maior do que que a média das IES privadas (57,89% contra 34,45%, respectivamente). Pelo teste não paramétrico de Mann-Whitney, pode-se rejeitar ao nível de significância de 1% a hipótese nula de que as médias dos dois grupos são iguais.

 

Tabela 2: Análise descritiva por tipo de IES para 2017/1

 

Fonte: Elaborado pelos autores

A Tabela 3 apresenta a correlação entre as variáveis do estudo. A variável de interesse (PerAprovados), referente ao percentual de aprovados no Exame de Suficiência do CFC de cada IES da amostra, apresentou uma correlação alta com as variáveis provenientes do RUF, exceto para NotaDedicaçãoProf e NotaMercado, que apresentaram correlação iguais a 0,17 e 0,19, respectivamente. É interessante observar que para todas variáveis do RUF a correlação apresentada com a variáveis de interesse foi positiva, indicando que quanto melhor a nota apresentada na categoria do referido ranking, maior tende a ser a taxa de aprovação no Exame de Suficiência do CFC.

 

Tabela 3: Correlação entre as variáveis do estudo para 2017/1

 

Fonte: Elaborado pelos autores

A análise da Tabela 3 indica que as variáveis relacionadas com as regiões geográficas do país também apresentaram baixa correlação com a variável de interesse do estudo. A correlação mais forte foi verificada para a região Sul e foi igual a 0,14. Por fim, é possível notar uma correlação alta e negativa entre a variável de interesse e a variável TipoIES (-0,49). O sinal apresentado por essa correlação indica que as IES particulares tendem a apresentar uma taxa de aprovação menor do que as instituições públicas, tendo em vista a metodologia de construção dessa dummy. Essa evidência corrobora com os resultados apresentados na Tabela 2.

A Tabela 4 contém o resultado obtida com a regressão linear múltipla estimada por meio da correção de White para heterocedasticidade a partir dos dados referentes ao Exame de Suficiência de 2017/1. Nessa regressão, a variável dependente utilizada foi a PerAprovados, obtida pela base de dados do CFC, e as variáveis independentes representaram os componentes do RUF, o tipo de IES (pública ou privada) e as regiões em que as IES se encontram. Como é possível notar, a estimação da regressão contou com 181 observações em função de dados faltantes (missing data) existentes para algumas variáveis utilizadas na pesquisa. O R² Ajustado da regressão indica que as variáveis do estudo ajudam a explicar 52,97% da variação do percentual de aprovados no exame de Suficiência do CFC (variável dependente “PerAprovados”).

Como é possível notar, de todas as variáveis utilizadas no estudo, apenas aquela referente ao critério de avaliação pelo mercado (NotaMercado) não apresentou significância estatística em conjunto com as demais ao nível de 1%, 5% ou 10%. A pesquisa realizada por Cabello et al. (2019) identificou que quanto mais próxima a IES está de um mercado dinâmico, mais bem classificada ela tende a estar nos dois rankings internacionais analisados pelos autores. De forma similar, o RUF, por levar em consideração a percepção do mercado dentre seus critérios de avaliação, pode penalizar as IES que estão localizadas em mercados não tão desenvolvidos. O fato da nota atribuída pelo mercado de trabalho no RUF não ter apresentado significância estatística no modelo reforça essa possibilidade. Instituições que estão fora do mercado de trabalho dinâmico do país, pode alcançar bons índices de aprovação no Exame de Suficiência do CFC, mas não serem consideradas pela perspectiva dos avaliadores do RUF como uma boa instituição de ensino.

Além disso, pode-se perceber que a variável NotaEnsino, significativa ao nível de 1%, apresentou o menor coeficiente, dentre as variáveis estatisticamente significativas do RUF. Em conjunto, as variáveis NotaMercado e NotaEnsino apresentam os maiores pesos para a estruturação da nota final do ranking RUF (34% e 40%, respectivamente). Tendo em vista a não significância da variável NotaMercado e o baixo coeficiente apresentado pela variável NotaEnsino para a explicação do índice de aprovados, os resultados obtidos pela ponderação do RUF podem estar enviesados sobre a qualidade dos cursos de Ciências Contábeis.

É importante notar que dentro dos critérios estipulados pelo RUF, tanto a NotaEnsino, que representa a nota dada por avaliadores do MEC, segundo a pesquisa realizadas quanto a nota dos concluintes do Enade (variável NotaConcluintes) podem captar um mesmo construto. Essa sobreposição, portanto, pode refletir no resultado obtido para o coeficiente da variável NotaEnsino, que apesar de ser estatisticamente significativo foi pequeno comparado com os demais. Apesar de o teste VIF indicar não haver problema de multicolinearidade entre as variáveis do modelo, pode-se notar pela análise da Tabela 3 que a correlação entre NotaEnsino e NotaConcluinte é significativa (igual a 0,40). Pesquisas anteriores que analisaram rankings internacionais também levantaram questionamentos sobre as metodologias empregadas pelas avaliações, as quais, muitas vezes, são incompletas e não mensuram os diversos fatores atrelados à qualidade educacional (SAISANA; d’HOMBRES; SALTELLI, 2014; MOED, 2017).

 

Tabela 4: Resultado da regressão linear múltipla 2017/1 (robusta)

 

Fonte: Elaborado pelos autores

 

Os dados da Tabela 4 evidenciam que o critério com maior força para explicar o resultado obtido no Exame de Suficiência pela IES é o da variável NotaConcluintes, que está relacionado com a nota obtida pelos estudantes da IES no Enade. É interessante notar que no modelo final o sinal da variável NotaDedicaçãoProf foi negativo, contrário ao resultado apresentado pela matriz de correlação da Tabela 3.

Esse resultado, apesar de significativo ao nível de 5% pode estar refletindo o impacto das demais variáveis utilizadas pelo estudo.

É interessante notar, ainda, que todas as variáveis relacionadas com as regiões do país (Sudeste, Sul, Centro-Oeste e Nordeste) mostraram significância estatística ao nível de 5% e sinal positivo. Esses resultados evidenciam que, para o Exame de Suficiência de 2017/1 as IES dessas regiões apresentaram, em média, um resultado melhor do que as IES da região de referência (que para a regressão foi utilizada a região Norte e que, portanto, não foi incluída no modelo).

Por fim, o sinal negativo do coeficiente da variável TipoIES, a qual foi estatisticamente significativa ao nível de 1%, mostra que as IES privadas tendem a apresentar menores taxas de aprovação no Exame de Suficiência.

 

4.2 Análise de resultados para o Exame de Suficiência de 2017/2

A Tabela 5 contém a análise descritiva da variável PerAprovados de 2017/2 por região do país. Assim como verificado para o período de 2017/1, na base de dados do estudo referente à segunda edição de 2017 do Exame de Suficiência do CFC, há uma maior participação de IES do Sudeste (N=65), Nordeste (N=45) e Sul (N=42) e uma pequena participação das IES do Norte (N=15) e Centro-Oeste (N=15). Além disso, ainda é possível notar um padrão similar nos índices de aprovação por região. Mais uma vez, as regiões Sul e Sudeste apresentaram melhores médias de aprovação em comparação com Nordeste, Centro-Oeste e Norte. Contudo, é notável que, ao nível Brasil, o índice de aprovação das IES na segunda edição de 2017 foi maior do que na primeira.

 

Tabela 5: Análise descritiva por região para 2017/2

 

Fonte: Elaborado pelos autores

A Tabela 6 contém a análise descritiva da variável PerAprovados de 2017/2 para os tipos de IES. Similarmente ao apresentado para o período de 2017/1, as IES públicas apresentaram um índice de aprovação do Exame de Suficiência do CFC, em média, maior do que as instituições privadas. Pelo teste de médias não paramétrico Mann-Whitney, ao nível de significância de 1%, foi possível rejeitar a hipótese nula de que as médias dos dois grupos são estatisticamente iguais. Em relação à formação da amostra para o período de 2017/2, é possível notar um maior predomínio das IES privadas (72,53%), igual ao verificado na base de dados de 2017/1.

 

Tabela 6: Análise descritiva por tipo de IES para 2017/2

 

Fonte: Elaborado pelos autores

Na Tabela 7 estão evidenciadas as correlações entre as variáveis do estudo, considerando o índice de aprovação no Exame de Suficiência de 2017/2. Como é possível notar, novamente as variáveis relacionadas aos critérios do RUF apresentaram uma correlação positiva com a variável PerAprovados.

 

Tabela 7: Correlação entre as variáveis do estudo para 2017/2

 

Fonte: Elaborado pelos autores

 

É interessante verificar, ainda pela análise da Tabela 7, que para essa edição do Exame de Suficiência a variável relacionada com a dedicação dos professores mostrou-se mais forte, quando se compara com a edição de 2017/1. Em contrapartida, a variável NotaMercado mostrou uma correlação ainda mais fraca que em 2017/1.

Também é possível notar que as regiões apresentaram correlações fracas com a variável PerAprovados, igual ao verificado para 2017/1. Adicionalmente, mais uma vez, a variável TipoIES apresentou sinal negativo em sua correlação com a PerAprovados, indicando que IES privadas tendem a apresentar, em média, um índice de aprovação no Exame de Suficiência do CFC inferior ao apresentado pelas instituições públicas (Federais, Estaduais e Municipais).

A Tabela 8 apresenta o resultado obtido pela regressão múltipla estimada com a correção de White para heterocedasticidade com os dados da edição do segundo semestre de 2017 do Exame de Suficiência do CFC.

Essa estimação seguiu a mesma lógica realizada para os dados de aprovação para a primeira edição do Exame de Suficiência do CFC de 2017. O número de observações indica que foram utilizados 176 dados da amostra para estimar a regressão, em função da presença de dados faltantes (missing data).

O R² Ajustado da regressão indica que, em seu conjunto, o modelo consegue explicar 58,12% da variação de PerAprovados.

 

Tabela 8: Resultado da regressão linear múltipla 2017/2 (robusta)

 

Fonte: Elaborado pelos autores

Os resultados da Tabela 8 mostram, ainda, uma similaridade com os resultados obtidos para a primeira edição do Exame de Suficiência do CFC. Como é possível perceber, novamente, a variável com o maior coeficiente foi NotaConcluintes, indicando que IES com maiores notas no Enade tendem a apresentar índices de aprovação maiores no CFC.

Outro achado que converge com o período de 2017/1 é o da variável relacionada com a dedicação dos professores que, mais uma vez, apresentou sinal negativo quando da estimação conjunta com as demais variáveis. A variável NotaMercado, que apresenta um peso de 36% no RUF de Cursos não apresentou significância estatística ao nível de 1%, 5% ou 10%, convergente com os achados de 2017/1. Dentre as variáveis do RUF com significância estatística, a NotaEnsino apresentou o menor coeficiente.

Um resultado que vai de encontro ao achado para 2017/1 é a não significância estatística encontrada para a NotaProfessores em 2017/2. Para a edição do primeiro semestre, essa variável apresentou significância estatística ao nível de 10% (já indicando uma correlação fraca), mas perdeu significância quando se analisa o Exame aplicado no segundo semestre de 2017.

Uma possível justificativa para o resultado está no fato das informações utilizadas pelo RUF para a construção dessa variável advir do censo de 2015 e, portanto, apresentar um gap com a avalição de 2017. É possível que várias IES tenham melhorado a formação do seu corpo docente isso não ter sido captado pelo RUF em decorrência da utilização de dados não atualizados.

 

4.3. Síntese dos achados da pesquisa

A triangulação dos achados da estimação de 2017/2 com 2017/1, portanto, permite inferir que dentre os fatores do RUF, o que apresenta maior importância para explicar a qualidade da educação dos cursos de Ciências Contábeis no Brasil representa uma avaliação governamental, o Enade. Barreyro (2018) e Calderón, Poltronieri e Borges (2011) levantam críticas em relação a utilização de avaliações privadas para o ensino superior quando são apresentadas estratégias governamentais para este fim.

De acordo com Barreyro (2018), na atual perspectiva do ensino superior mundial, os Estados Nacionais possuem cada vez menos autonomia de avaliação das universidades, perdendo espaço para outras entidades que compõe a governança global de educação, como é o caso instituições jornalísticas (nacionais e internacionais) que passaram a criar metodologias próprias de avaliação do ensino superior.

Ao ter a nota do Enade como o principal item, dentre os vários componentes do RUF, para explicação do índice de aprovação no Exame de Suficiência do CFC, a presente pesquisa corrobora com a crítica estabelecida pela autora.

Além disso, pelas duas estimações realizadas, foi possível notar que algumas métricas utilizada pelo RUF não mostram significância estatística para explicar o desempenho dos estudantes no Exame de Suficiência do CFC. Tanto a avaliação realizada pelo mercado para as IES quanto a nota para a qualidade dos professores foram exemplos de itens com nenhuma ou baixa significância para a explicação do índice de aprovação.

Além de poder enviesar os resultados da classificação dos cursos de Ciências Contábeis no país, esses resultados mostram-se ainda mais preocupantes pelo fato de um desses itens (NotaMercado) apresentar o maior peso para a construção final do ranking.

Conforme destacam Cabello et al. (2019), a proximidade com mercados de trabalho mais dinâmicos pode ser um fator a impactar na pontuação nessas sistemáticas de avaliação. Dessa forma, IES localizadas em mercados menos desenvolvidos podem ser negativamente impactadas no ranking, mesmo apresentando alta qualidade de ensino.

Outro ponto que fica nítido na análise dos componentes do RUF diz respeito à sobreposição de análise dos construtos. A crítica estabelecida por Moed (2017) refere-se justamente ao fato de os rankings não considerarem a qualidade educacional a partir de várias perspectivas, evidenciando a complexidade da análise. Apesar de o RUF possuir diferentes componentes para o estabelecimento da posição final da IES, muitas variáveis aparentam captar um mesmo fenômeno, o que pode, inclusive, ter impacto nos parâmetros encontrados pelas estimações da pesquisa.

As correlações observadas para algumas das variáveis do RUF mostraram-se altas, como é o caso da NotaEnsino com as variáveis NotaConcluintes, NotaProfessores e NotaDedicaçãoProf. Essa alta correlação pode indicar que o RUF está muito focado em uma única perspectiva de análise, não demonstrando uma abordagem completa sobre o fenômeno da qualidade do ensino superior.

Conforme ponderam pesquisas anteriores, apesar de presumir uma neutralidade de análise (Afonso, 2015), os rankings tendem a representar interesses de grupos específicos da sociedade (SAISANA; d’HOMBRES; SALTELLI, 2014)

 

5 CONSIDERAÇÕES FINAIS

O presente estudo teve como objetivo investigar a relação entre o RUF, um dos rankings nacionais mais utilizados para classificar as instituições de ensino superior no Brasil, e a qualidade da educação de cursos de graduação da área contábil. Para isso, a pesquisa utilizou informações de dois bancos de dados distintos. Um primeiro, formado pelo índice de aprovação por IES nas duas edições do Exame de Suficiência do CFC de 2017 (proxy utilizada pelo estudo para a qualidade de ensino) e, um segundo, formado pelos componentes do RUF de cursos referente ao mesmo período.

A partir dos resultados da pesquisa foi possível notar que alguns dos critérios que formam o RUF para o curso são estatisticamente significativos para explicar o índice de aprovação dos estudantes de Ciências Contábeis no Exame de Suficiência do CFC.

Contudo, foi possível notar que os principais critérios utilizados para formar o RUF de Cursos, que no presente estudo estão denominados como NotaEnsino (com peso de 40% no RUF de Cursos) e NotaMercado (com peso de 36% no RUF de Cursos), apresentaram pouco ou nenhum impacto no índice de aprovação das instituições que compuseram a amostra da pesquisa.

Em contrapartida, um dos critérios formais utilizados pelo governo brasileiro para avaliar as IES, o Enade, que é utilizado pelo RUF com peso de 8%, mostrou ser o fator mais forte na explicação da variação do índice de aprovação no Exame de Suficiência das IES da amostra, tanto para a primeira quanto segunda edições de 2017.

Os resultados deste estudo sinalizam para a importância de se repensar os sistemas privados de avaliação do ensino superior. Conforme destacado por pesquisas anteriores, a despeito de reivindicar uma certa neutralidade, diversos rankings tendem a utilizar medidas arbitrárias e incompletas para mensurar a qualidade das IES. A análise realizada pela pesquisa para o curso de Ciências Contábeis no RUF vai ao encontro das críticas realizadas pela literatura da área.

Apesar de existirem medidas governamentais formais para analisar a qualidade da educação superior brasileira, rankings universitários produzidos por instituições (muitas vezes) não especializadas no assunto, têm ganhado cada vez mais importância na construção de políticas e estabelecimento de diretrizes pelas próprias IES.

Nesse cenário, ao ter universidades que direcionam suas atenções para atingir bons resultados em rankings cujas métricas não refletem de forma completa o fenômeno da qualidade do ensino, corre-se o risco de comprometer a formação no ensino superior.

A principal limitação da pesquisa refere-se ao fato de a qualidade de ensino ter tido como proxy o Exame de Suficiência do CFC. Apesar de embasado pela literatura, a elaboração desse construto pode ter sido impactada por um viés de seleção. Existe a possibilidade dos indivíduos que não recebem uma boa formação ao longo do curso de Ciências Contábeis não se sentirem motivados a realizar a prova do CFC, o que poderia enviesar os resultados.

Contudo, é importante frisar que a exigência de aprovação no Exame de Suficiência para a atuação na área contábil minimiza a possibilidade de ocorrência desse viés. Para pesquisas futuras, sugere-se replicar a presente análise em outras áreas do conhecimento que também possuem formas externas de certificação da qualidade, possibilitando comparar os resultados alcançados.

 

REFERÊNCIAS

AFONSO, A. J. A educação superior na economia do conhecimento, a subalternização das ciências humanas e a formação de professores. Avaliação, v. 20, n. 2, p. 269-291, 2015. Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772015000200269&script=sci_abstract&tlng=pt

BARREYRO, G. B. Avaliação da educação superior em escala global: da acreditação aos rankings e os resultados de aprendizagem. Avaliação, v. 23, n. 2, p. 5-22, 2018. https://doi.org/10.1590/S1414-40772018000100002

BARROSO, D. V.; FREITAS, S. C.; OLIVEIRA, J. S. C. Exame do CFC e educação contábil: análise das características das IES e seus índices de aprovação. Revista de Educação e Pesquisa em Contabilidade, v. 14, n. 1, p. 100-117, 2020. http://dx.doi.org/10.17524/repec.v14i6.2470

BRENNAND, E. G.; BRENNAND, E. G. Inovações tecnológicas e a expansão do ensino superior no Brasil. Revista Lusófona de Educação, v. 21, p. 179-198, 2012. Disponível em: http://www.scielo.mec.pt/scielo.php?script=sci_arttext&pid=S1645-72502012000200010

BUGARIM, M. C. C.; RODRIGUES, L. L.; PINHO, J. C. C.; MACHADO, D. Q. O desempenho dos profissionais de contabilidade no exame de suficiência do CFC: uma análise de conglomerados regionais. Revista de Contabilidade e Organizações, v. 8, n. 22, p. 60-71, 2014. https://doi.org/10.11606/rco.v8i22.61176

CABELLO, A. F.; IMBROSI, D.; FALQUETO, J. M. Z.; FERREIRA, G. V.; ARRUDA, J. A. Rankings universitários internacionais: evidências de vieses geográficas e orçamentárias para instituições brasileiras. Avaliação, v. 24, n. 3, p. 637-657, 2019. https://doi.org/10.1590/s1414-40772019000300005

CALDERÓN, A. I.; FRANÇA, C. M. Rankings acadêmicos do ensino superior: tendências da literatura ibero-americana. Avaliação, v. 23, n. 2, p. 448-466, 2018. https://doi.org/10.1590/s1414-40772018000200010

CALDERÓN, A. I.; POLTRONIERI, H.; BORGES, R. M. Os rankings na educação superior brasileira: políticas de governo ou de Estado? Ensaio: Avaliação de Políticas Públicas Educacionais, v. 19, n. 73, p. 813-826, 2011. Disponível em: http://revistas.cesgranrio.org.br/index.php/ensaio/article/view/418

Conselho Federal de Contabilidade – CFC. Resultado oficial do exame de suficiência de 2017. 2018. Disponível em: https://cfc.org.br/registro/exame-de-suficiencia/relatorios-estatisticos-do-exame-de-suficiencia/. Acesso em 22 de jun. de 2020.

CURI, A. Z.; MENEZES-FILHO, N. The relationship between school performance and future wages in Brazil. EconomiA, v. 12, n. 3, p. 261-274, 2014. https://doi.org/10.1016/j.econ.2014.08.001

DILL, D. D.; SOO, M. Academic quality, league tables, and public policy: A cross-national analysis of universities ranking systems. Higher Education, v. 49, n. 4, p. 495-533, 2005. https://doi.org/10.1007/s10734-004-1746-8

FRAUMANN, G. Valuation of altmetrics in research founding. Thesis of Master’s Degree Program in Research and Innovation in Higher Education. University of Tampere, Faculty of Management, 2017. Available on: http://tampub.uta.fi/bitstream/handle/10024/101653/GRADU-1498478872.pdf?sequence=1&isAllowed=y

GANGA-CONTRERAS, F.; SÁEZ, W.; CALDERÓN, A., CALDERÓN, A. RODRÍGUEZ-PONCE, E. Principales rankings académicos internacionales: el caso de Chile. Ensaio: Avaliação de Políticas Educacionais, v. 28, n. 107, p. 407-434, 2020. https://doi.org/10.1590/s0104-40362019002701964

GONÇALVES, A. O ranking da revista Playboy “Melhores Faculdades do Brasil” na educação superior brasileira (1981-2000). 194 p. Dissertação (Mestrado em Educação). Pontifícia Universidade Católica de Campinas, Programa de Pós-graduação Stricto Sensu em Educação. Campinas, São Paulo, Brasil, 2017. Disponível em: http://tede.bibliotecadigital.puc-campinas.edu.br:8080/jspui/handle/tede/1149

MARGINSON, S. Global university rankings: implications in general and for Australia. Journal of Higher Education Policy and Management, v. 29, n. 2, p. 131-142, 2007. https://doi.org/10.1080/13600800701351660

MARTINS, G. A.; THEÓPHILO, C. R. Metodologia da Investigação Científica. Atlas: São Paulo, 2009.

MENDES, A. L. F.; DUTRA, N. L. L. Índice geral de cursos e qualidade na educação superior: o caso das IES do Estado da Bahia. Avaliação, v. 24, n. 1, p. 189-212, 2019. http://dx.doi.org/10.1590/S1414-407720190001000011

MOED, H. F. A critical comparative analysis of five world university rankings. Scientmetrics, v. 110, n. 2, p. 967-990, 2017. https://doi.org/10.1007/s11192-016-2212-y

O’CONNOR, K. MOOCs, institutional policy and change dynamics in higher education. Higher Education, v. 68, n. 5, p. 623-635, 2014. https://doi.org/10.1007/s10734-014-9735-z

Ranking Universitário Folha – RUF. Como é feito o ranking universitário folha?. 2017. Disponível em: http://ruf.folha.uol.com.br/2017/o-ruf/ranking-cursos/. Acesso em 20 de jun. de 2020.

RAUHVARGERS, A. Where are the global rankings leading us? An analysis of recent methodological changes and new developments. European Journal of Education, v. 49, n. 1, p. 29-44, 2014. https://doi.org/10.1111/ejed.12066

SAISANA, M.; d’HOMBRES, B.; SALTELLI, A. (Rickety numbers: volatility of university rankings and policy implications. Research Policy, v. 40, n. 1, p. 165-177, 2011. https://doi.org/10.1016/j.respol.2010.09.003

SEVERINO, A. J. O ensino superior brasileiro: novas configurações e velhos desafios. Educar, v. 31, p. 73-89, 2008. Disponível em: http://www.scielo.br/pdf/er/n31/n31a06

VALMORBIDA, S. M. I.; CARDOSO, T. L.; ENSSLIN, S. R. Rankings Universitários: análise dos indicadores utilizados. Sociedade, Contabilidade e Gestão, v. 10, n. 2, 88-102, 2015. Disponível em: http://www.atena.org.br/revista/ojs-2.2.3-08/index.php/ufrj/article/view/2554/2164

Yonezawa, A. Much ado about ranking: why can’t Japanese universities internationalize? Japan Forum, v. 22, n. 1-2, p. 121-137, 2010. https://doi.org/10.1080/09555803.2010.488948