Homem ou Máquina? Um estudo exploratório do desempenho do Chat GPT 3.5 no Exame de Suficiência do CFC

Man or machine? An exploratory study of GPT 3.5 chat performance in the CFC sufficiency exam

Jose Carlos Ramos de Oliveira Jr, Ahmed Sameer El Khatib

Resumo


Chat GPT é um chatbot (programa de computador que tenta simular um ser humano na conversação com as pessoas) de inteligência artificial desenvolvido pela OpenAI que é projetado para fornecer interações conversacionais semelhantes às humanas. Ele é construído em cima dos modelos GPT-3.5 e GPT-4 da OpenAI e funciona reunindo dados da internet escritos por pessoas e usando previsões de computação para responder a perguntas e consultas inseridas pelos usuários. Mas, afinal, seria a máquina capaz de superar o ser humano na resolução de testes ou exames de qualificação? Para responder essa questão, o presente artigo tem como objetivo explorar o nível de acerto do ChatGPT nos exames de Suficiência (1º Exame de Suficiência de 2022) e de Qualificação Técnica do CFC (edição de 2023). Os resultados mostram que o chatbot obteve aproveitamento superior a 50% em todos os testes aplicados, índice suficiente para aprovação de um candidato. Esta pesquisa complementa artigos anteriores e demonstra a aplicação da tecnologia de IA e Processamento de Linguagem Natural na área contábil e fornece evidências relevantes para o aperfeiçoamento do ensino em contabilidade, considerando a máquina aliada do ser humano no desenvolvimento de novas habilidades.


Palavras-chave


Inteligência Artificial. Contabilidade. Tecnologia. ChatGPT.

Texto completo:

PDF HTML

Referências


ALSHATER, M. Exploring the Role of Artificial Intelligence in Enhancing Academic Performance: A Case Study of ChatGPT. [s.l: s.n.]. Disponível em: .

ALSHURAFAT, C. H. The usefulness and challenges of chatbots for accounting professionals: application on. [s.l: s.n.]. Disponível em: .

AYDIN, Ö.; KARAARSLAN, E. Is ChatGPT Leading Generative AI? What is Beyond Expectations? [s.l.] APA, 2023. Disponível em: .

BAIDOO-ANU, D.; ANSAH, L. O. Education in the Era of Generative Artificial Intelligence (AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning. SSRN, 2023.

BOMMARITO, J. et al. GPT as Knowledge Worker: A Zero-Shot Evaluation of (AI)CPA Capabilities. 11 jan. 2023.

BOMMARITO, M. J.; KATZ, D. M. GPT Takes the Bar Exam. SSRN Electronic Journal, 29 dez. 2022.

CONSELHO FEDERAL DE CONTABILIDADE. Regulamenta o Exame de Suficiência como requisito para obtenção de Registro Profissional em Conselho Regional de Contabilidade (CRC). Brasília, 15 maio 2015. Disponível em: . Acesso em: 26 maio. 2023

CONSELHO FEDERAL DE CONTABILIDADE. NBC PA 13 (R3) – Exame de Qualificação Técnica Para Auditor. , 2020. Disponível em: . Acesso em: 30 abr. 2023

CONSELHO FEDERAL DE CONTABILIDADE. Edital EQT Auditoria e Perícia No 1/2023 - Exame de Qualificação Técnica Para Registro no Cadastro Nacional de Auditores Independentes (CNAI) e no Cadastro Nacional de Peritos Contábeis (CNPC) do Conselho Federal de Contabilidade. , 2023. Disponível em:

COPELAND, B. J. Artificial intelligence (AI) | Definition, Examples, Types, Applications, Companies, & Facts | Britannica, 2023. (Nota técnica).

DOWLING, M.; LUCEY, B. ChatGPT for (Finance) research: The Bananarama Conjecture. Finance Research Letters, v. 53, 1 maio 2023.

FARSEEV, A. Is Bigger Better? Why The ChatGPT Vs. GPT-3 Vs. GPT-4 “Battle” Is Just A Family Chat. Disponível em: . Acesso em: 26 maio. 2023.

FRANKENFIELD, J.; SCOTT, G. Artificial Intelligence: What It Is and How It Is Used. Disponível em: . Acesso em: 26 maio. 2023.

GARATTONI, B. O futuro da inteligência artificial – e o que vem depois do ChatGPT | Super. Disponível em: . Acesso em: 26 maio. 2023.

GEORGE, B. ST.; S. GILLIS, A. What is the Turing Test? | Definition from TechTarget. Disponível em: . Acesso em: 26 maio. 2023.

GIATTINO, C. et al. Artificial Intelligence. Our World in Data, 2022.

GUO, X. Research on the Transition from Financial Accounting to Management Accounting under the Background of Artificial Intelligence. Journal of Physics: Conference Series. Anais...Institute of Physics Publishing, 28 nov. 2019.

HEAVEN, W. D. ChatGPT is everywhere. Here’s where it came from | MIT Technology Review. Disponível em: . Acesso em: 26 maio. 2023.

HUTANU, A. How ChatGPT works and AI, ML & NLP Fundamentals | Pentalog. Disponível em: . Acesso em: 27 maio. 2023.

LOPES, A. ChatGPT: conheça a inteligência artificial capaz de escrever artigos, roteiros e músicas | Exame. Disponível em: . Acesso em: 26 maio. 2023.

MADHAVI, S.; KUMAR, V. QUALITATIVE REVIEW OF LITERATURE FOR ARTIFICIAL INTELLIGENCE IN TODAY’S BUSINESS SCENARIO. Perspectives on Business Management & Economics, v. IV, p. 66–76, 2021.

MASLEJ, N. et al. Artificial Intelligence Index Report 2023 Introduction to the AI Index Report 2023. [s.l: s.n.]. Disponível em: . Acesso em: 15 maio. 2023.

MELO, L. R. D. DE; PAGNAN, C. L. Prática de Texto: Leitura e redação. 3a Edição ed. São Paulo: A!, 2008.

MERTENS, F. THE USE OF ARTIFICIAL INTELLIGENCE IN CORPORATE DECISION-MAKING AT BOARD LEVEL: A PRELIMINARY LEGAL ANALYSIS WP 2023-01 Working Paper Series The use of artificial intelligence in corporate decision-making at board level: A preliminary legal analysis. [s.l: s.n.]. Disponível em: . Acesso em: 26 maio. 2023.

NUNES, D. et al. Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams. 29 mar. 2023.

OLIVEIRA JUNIOR, J. C. R. DE. ChatGPT: Desempenho do chatbot no exame de suficiência do Conselho Federal de Contabilidade. Revista Finanças Fecap, [s.d.].

PAVLIK, J. V. Collaborating With ChatGPT: Considering the Implications of Generative Artificial Intelligence for Journalism and Media Education. https://doi.org/10.1177/10776958221149577, v. 78, n. 1, p. 84–93, 7 jan. 2023.

PERLMAN, A. THE IMPLICATIONS OF CHATGPT FOR LEGAL SERVICES AND SOCIETY. 2022.

SCHROER, A. Artificial Intelligence (AI): What Is AI and How Does It Work? | Built In. Disponível em: . Acesso em: 26 maio. 2023.

SCIALOM, T.; CHAKRABARTY, T.; MURESAN, S. Fine-tuned Language Models are Continual Learners. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022, p. 6107–6122, 24 maio 2022.

THORP, H. H. ChatGPT is fun, but not an author. ScienceAmerican Association for the Advancement of Science, , 27 jan. 2023.

VIANNA, H. M. Flutuações de julgamentos em provas de redação. Cadernos de Pesquisa, v. 19, p. 5–9, 1976.

ZAREMBA, A.; DEMIR, E. ChatGPT: Unlocking the Future of NLP in Finance* ChatGPT, OpenAI. ‡. [s.l: s.n.]. Disponível em: .




Direitos autorais 2024 Jose Carlos Ramos de Oliveira Jr, Ahmed Sameer El Khatib

Revista Capital Científico – Eletrônica (RCCe) Rua: Padre Salvador, 875 – Bairro Santa Cruz CEP: 85015-430  Guarapuava-Paraná-Brasil Campus Santa Cruz – Editora UNICENTRO ISSN  2177-4153 (Online)

Creative Commons License
This work is licensed under a Creative Commons Attribution 3.0 Unported License.