Portal universitário: validação de modelo de satisfação de usuário com utilização de modelagem de equações estruturais

 

 

University portal: user satisfaction model validation with structural equation modeling use

 

André Luís Faria Duarte1, Paulo Roberto da Costa Vieira2

e Antonio Carlos Magalhães da Silva3

 

1 Universidade do Grande Rio, Brasil, Doutorado em Administração, e-mail: professor@andreluis.pro.br

2 Universidade Estácio de Sá, Brasil, Doutorado em Administração, e-mail: paulo.vieira@estacio.br

3 Universidade Estácio de Sá, Brasil, Doutorado em Engenharia de Produção, e-mail: antonio.magalhaes@bcb.gov.br

 

Recebido em: 08/10/2018 - Revisado em: 21/05/2019 - Aprovado em: 16/09/2019 - Disponível em: 02/01/2020

Resumo

Atualmente, sistemas de informação são utilizados e têm fundamental importância em todo tipo de organização, e a satisfação do usuário tem sido utilizada como fator chave para a avaliação desses sistemas. As instituições de ensino superior, assim como qualquer organização, também necessitam de tais sistemas para o gerenciamento de informações necessárias à gestão. Desta forma, a presente pesquisa teve como objetivo verificar se as dimensões “qualidade do sistema”, “qualidade da informação”, “qualidade do serviço” e “utilidade percebida” exercem impacto sobre a satisfação do usuário de sistema de informação acadêmica. O estudo teve abordagem quantitativa e foi realizado em uma instituição de ensino superior sediada no município de Duque de Caxias, no estado do Rio de Janeiro. Para tanto, foi conduzida pesquisa de survey, sendo utilizado questionário estruturado com cinco opções de resposta do tipo Likert, aplicado em alunos de graduação da referida instituição, selecionados por conveniência. Os dados foram tratados com a técnica de modelagem de equações estruturais com base em modelo de avaliação de sistema de informação encontrado na literatura. Como resultado, as hipóteses do estudo não foram confirmadas, pois apesar das estimativas dos parâmetros dos caminhos de cada construto em relação à satisfação do usuário apresentaram significância estatística, o ajustamento global do modelo não apresentou índices aceitáveis.

Palavras-Chave: Sistema de informação; Sistema de informação acadêmica; Avaliação; Modelagem de equações estruturais; Satisfação do usuário;

 

Abstract

Currently, information systems are used and are important in every kind of organization, and user satisfaction has been used as a key factor for evaluating these systems. Higher education institutions, as well as any organization, also require such systems for managing information necessary for management. Thus, the present study aimed to verify if the dimensions “system quality”, “information quality”, “service quality” and “perceived usefulness” have an impact on the academic information system user satisfaction. The study was a quantitative approach and was conducted in a higher education institution based in Duque de Caxias, in the state of Rio de Janeiro. Therefore, survey research was conducted, and used structured questionnaire with five answer options Likert, applied to undergraduate students of the institution, selected by convenience. Data were treated with the technique of structural equation modeling based on information system evaluation model found in the literature. As a result, the study hypotheses were not confirmed, because despite the parameter estimates of the paths of each construct in relation to user satisfaction statistically significant, the model of global adjustment did not show acceptable levels.

Keywords: Information system; Academic information system; Evaluation; Structural equation modeling; User satisfaction.

 

1. INTRODUÇÃO

A importância das tecnologias da informação e da comunicação (TIC) nos dias atuais é evidente. Tem se tornado cada vez mais importante nas organizações, seja como atividade principal, seja como apoio às atividades da empresa com a finalidade de tornar os processos mais ágeis (SCHEEREN; FONTES FILHO; TAVARES, 2013). As TIC abrangem uma vasta gama de tecnologias que são usadas na vida diária, a partir de tecnologias maduras, como telefones fixos, rádio e televisão, e de sistemas tecnológicos ainda em evolução, como a Internet, redes sociais, sensoriamento remoto e sistemas de informações geográficas, que se desenvolveram rapidamente devido ao seu custo continuamente decrescente (EAKIN et al., 2014).

O uso crescente de TIC tem alterado significativamente a configuração de empresas em diversos setores da economia mundial (COSTA; KLEIN; VIEIRA, 2014), representando um marco importante para a gestão (SOUZA et al., 2015) e sendo considerada uma ferramenta essencial para as organizações alcançarem seus objetivos (AL-MAMARY et al., 2016). Tanto do mundo acadêmico quanto empresarial, a utilização de ferramentas eficazes, capazes de tornar mais eficiente a gestão, tem crescido com o desenvolvimento da Internet, dos serviços associados e do desenvolvimento de novas tecnologias de rede (ALVES; MONTEIRO, 2013).

Um sistema de informação acadêmica (SIA) é fundamental para a gestão das atividades acadêmicas, já que auxiliam no controle de informações e consolidam informações relevantes sobre matrículas, frequência, evasão, dentre outras (SOUZA; MONTEIRO, 2015). Estes Sistemas de Informação (SI) facilitam o compartilhamento de dados e também permitem uma coordenação adequada entre os departamentos dentro da instituição de ensino (CAIPANG, 2013).

Queiroz et al. (2012) argumentam que sendo a universidade um ambiente no qual as pessoas têm pouco tempo para desenvolver atividades, o uso de ferramentas tecnológicas pode facilitar o cotidiano, promovendo o acesso à informação e contribuindo para a comunicação entre alunos e professores. No entanto, a adoção das novas tecnologias tem sido um dos maiores desafios das IES (REIS; PITASSI; BOUZADA (2012).

Atualmente, com a popularização da internet e da Word Wide Web (WWW), grande parte dos SI podem ser utilizados remotamente, bastando que o usuário tenha um computador com acesso à internet. Tais SI são considerados os portais institucionais. A WWW incorpora uma série de recursos e funções, deixando de ser apenas uma forma de acesso a um repositório de documentos eletrônicos para tornar-se uma rica interface de acesso a novos sistemas de informações dinâmicos (ZANETI JUNIOR; VIDAL, 2006), sendo a qualidade dos sistemas disponíveis na WWW estrategicamente importante para as organizações e para a satisfação dos seus clientes (LEITE, 2014). Neste sentido, Lee, Choi e Jo (2009) afirmam que o aumento do número de universidades que oferecem serviços via portal acadêmico ampliou a relevância, como tema de pesquisa, da avaliação da satisfação do usuário com esse tipo de serviço. Portanto, a relevância do presente estudo se baseia na importância de se investigar a satisfação do usuário de um SIA.

Considerando que a satisfação do usuário tem sido identificada como um dos principais meios de se mensurar sucesso de SI (ALSABAWY; CATER-STEEL; SOAR, 2013; CHEN, 2010), sendo também um “fator determinante para que o investimento realizado seja revertido em ganhos reais para a organização” (FERREIRA; FERREIRA, 2008, p. 3), a presente pesquisa tem como objetivo verificar o impacto da “qualidade do sistema”, “qualidade da informação”, “qualidade do serviço” e “utilidade percebida” na satisfação do usuário de portal.

Desta forma, as hipóteses do presente estudo são as seguintes:

Hipótese 1: A qualidade da informação exerce impacto direto sobre a satisfação dos usuários de um SIA.

Hipótese 2: A qualidade do sistema exerce impacto direto sobre a satisfação dos usuários de um SIA.

Hipótese 3: A qualidade do serviço exerce impacto direto sobre a satisfação dos usuários de um SIA.

Hipótese 4: A utilidade percebida exerce impacto direto sobre a satisfação dos usuários de um SIA.

 

 

2. REFERENCIAL TEÓRICO

Como toda e qualquer ferramenta gerencial, os SI precisam ser avaliados continuamente. No caso dos portais universitários baseados na WEB, essa necessidade é ainda maior, pois sua utilização gerou grandes avanços em relação à forma como as universidades comunicam, compartilham conhecimento e gerenciam informações (SAGHAPOUR et al., 2018). Os SIA também podem fornecer serviços acadêmicos que apoiem o processo de ensino-aprendizagem e organizar os processos de negócios da instituição, estando associado a muitos stakeholders e ao gerenciamento de dados vitais (PUSPANINGRUM; ROCHIMAH; AKBAR, 2017). É considerado por Carvalho et al. (2012), um instrumento de fundamental importância no controle dos processos e na gestão acadêmica.

Para Ababneh, Shrafat e Zeglat (2017), a avaliação pode ser considerada uma área de estudo multidisciplinar que utiliza múltiplas abordagens, critérios, conceitos, modelos, interesses e mensurações. Ao pesquisarem artigos que abordam a construção e validação de instrumentos de avaliação, Leite et al. (2018, p. 238-239) identificaram que a maioria dos autores apontam “ausência de indicadores de mensuração em determinadas áreas da avaliação e à existência de instrumentos avaliativos limitados, os quais abrangem apenas determinados aspectos dos objetos”.

Em relação à avaliação de SI, Souza et al. (2012) ressalta que não é trivial o estabelecimento de critérios e parâmetros, em função de aspectos comportamentais e à ocorrência de situações intangíveis. Para Fontes Filho e Naves (2014), a avaliação da efetividade dos SI foi reconhecida como desafio há mais de 30 anos.

Manzoor et al. (2019) afirmam que os critérios para avaliar sites universitários são muito vagos e geralmente são desconhecidos pela maioria dos desenvolvedores. De acordo com Almahamid, Tweiqat e Almanaseer (2016), embora a literatura sobre websites universitários esteja crescendo gradualmente, ainda há várias perguntas sem respostas, como, como sabemos se o site da universidade é bem-sucedido ou não? E por que alguns sites de universidades atraem mais usuários do que outros? O que deve ser feito para transformar um site mal-sucedido em um bem-sucedido? Quais são os fatores que determinam a intenção dos professores de usar um site da universidade? Essas e outras questões têm sido cada vez mais estudadas por diversos pesquisadores de todo o mundo, a partir de variadas abordagens.

Ramírez-Correa, Rondán-Cataluña e Arenas-Gaitán (2018) pesquisaram o papel da estética visual como chave para gerar satisfação em usuários de SIA, estudando, também, como o gênero afeta a percepção da estética visual na avaliação de um estudo de um SIA. Esses autores propuseram um modelo baseado em DeLone e McLean (2003) e o testaram em um estudo de campo transversal numa universidade chilena. Foi utilizada a técnica de Modelagem de Equações Estruturais (MEE) com base em Mínimos Quadrados Parciais (MQP). Como resultado, foi constatado que o modelo proposto explicava 67% da variância da satisfação do usuário; que a estética visual tem um efeito direto significativo na satisfação do usuário, mas o efeito indireto é maior, por meio de sua relação com a qualidade do sistema e a qualidade da informação; e que existem diferenças significativas entre homens e mulheres na relação direta entre a estética visual e a satisfação do usuário, sendo essa relação muito mais intensa no caso das mulheres.

Mursityo et al. (2018) conduziram pesquisa para descrever os fatores sobre a aceitação do usuário de SIA a partir de cinco variáveis, sendo duas do modelo TAM: utilidade percebida e facilidade de uso percebida (DAVIS, 1989), e outras 3: características do usuário; qualidade do sistema; e gerenciamento superior e suporte de TI. Os dados foram coletados a partir de questionário distribuído para 96 professores da Universitas Brawijaya, uma das maiores universidades da Indonésia. Os resultados mostraram que todas as cinco variáveis influenciam na aceitação do SIA, o que indica a percepção do usuário de que todas as cinco variáveis são boas para serem usadas como uma ferramenta de análise em relação ao uso real do sistema.

Saghapour et al. (2018) realizaram estudo no qual propuseram modelo baseado no modelo de DeLone e McLean (2003) e no Modelo TAM (DAVIS, 1989). Eles procuraram identificar o que gerava facilidade de uso percebida e utilidade percebida e sua influência no uso do portal acadêmico. A pesquisa foi realizada com 341 funcionários que trabalhavam na Universidade da Malásia e foram analisados usando MEE com base em MQP. Os resultados indicaram que a facilidade de encontrar e a facilidade de compreensão têm um impacto positivo na facilidade de uso percebida do portal do campus. Além disso, o estudo relatou efeito positivo significativo da qualidade do serviço, informação e processo sobre a utilidade percebida do portal. O estudo também sugere que a facilidade de uso e a utilidade percebida são vitais para melhorar a frequência e o volume de uso do portal.

Xu e Du (2018) buscaram identificar os fatores que podem afetar a satisfação do usuário e a lealdade do usuário às bibliotecas digitais. Para tal, utilizaram um modelo baseado em DeLone e McLean (2003) e no modelo TAM (DAVIS, 1989). Foram coletados 426 questionários respondidos por universitários chineses e utilizada a técnica de MEE. Como conclusão, tanto a afinidade com bibliotecas digitais como a utilidade percebida impactaram significativamente a satisfação do usuário, sendo o impacto maior gerado pela utilidade percebida.

Budiardjo et al. (2017) integraram o modelo de confirmação de expectativas (Bhattacherjee, 2001) com o modelo de DeLone e McLean (2003) para identificar os fatores que incentivam os usuários a usar continuamente um sistema de gestão do conhecimento. Para examinar o modelo desenvolvido, foi realizada uma pesquisa com 131 entrevistados de três empresas. Foi utilizada a técnica de MEE com base em MQP. Como resultados, os três construtos testados, confiança, utilidade percebida e satisfação, impactam positivamente na intenção de uso do sistema. Além disso, a utilidade percebida impacta a satisfação, a intenção de uso e a recomendação. A satisfação é impactada, em maior grau, pela qualidade do sistema, em patamar um pouco menor, pela utilidade percebida, e por último, pela qualidade da informação/conhecimento.

 

 

2.1. MODELO DA PESQUISA

São vários os modelos encontrados na literatura que buscam avaliar a qualidade dos SI. Baseados, principalmente, em observações na área de negócios e pesquisas em ciências sociais e psicologia cognitiva, pesquisadores de diferentes campos propuseram, ao longo do tempo, várias teorias e modelos para representar diferentes níveis de adoção de SI pelo usuário (HADJI; DEGOULET, 2016). O presente estudo foi realizado com base no modelo proposto por Ainin, Bahri e Ahmad (2012) em pesquisa sobre o desempenho do portal do Fundo Nacional de Educação Superior do governo da Malásia. Tal modelo, por sua vez, foi desenvolvido com base no modelo de DeLone e McLean (2003), utilizado na avaliação de sucesso de SI. O modelo de Ainin, Bahri e Ahmad (2012) incorpora três construtos - qualidade do sistema, qualidade da informação e qualidade do serviço - introduzidos por DeLone e McLean (2003) e considerados por Almaiah, Jalil e Man (2016) fatores críticos de sucesso de SI, bem como o construto utilidade percebida, utilizado pela primeira vez no modelo de aceitação da tecnologia (technology acceptance model - TAM) de Davis (1989). Esse modelo busca identificar o impacto desses quatro construtos no nível de Satisfação do Usuário (Figura 1).

No estudo de Ainin, Bahri e Ahmad (2012) os resultados da análise de correlação identificaram uma forte relação entre os construtos e a satisfação do usuário, bem como dos construtos entre si. A satisfação do usuário é correlacionada com a utilidade percebida em 0,809, seguida pela qualidade do serviço com 0,663, qualidade do sistema com 0,658 e qualidade da informação com 0,641. Foi realizada, também, a análise de regressão com o intuito de mensurar o poder das variáveis independentes na explicação da variância da variável dependente (satisfação do usuário). A análise indicou que a utilidade percebida é a variável mais importante na satisfação do usuário. Os resultados também mostraram que a utilidade percebida é significativa ao nível de 0,05, indicando que existe uma relação significativa entre a satisfação do usuário e a utilidade percebida. Surpreendentemente, qualidade da informação, qualidade do sistema e qualidade de serviço não mostraram significância estatística para explicar a variação na satisfação do usuário, apesar dos resultados da análise de correlação mostrarem relação positiva entre a satisfação do usuário e essas variáveis (AININ; BAHRI; AHMAD, 2012).

 

Figura 1 - Modelo teórico da pesquisa

 

Fonte: Ainin, Bahri e Ahmad (2012)

São descritos, a seguir, os construtos do modelo, utilizados na presente pesquisa:

Qualidade do Sistema: Esta dimensão tem foco nas especificações técnicas do próprio sistema (BALABAN; MU; DIVJAK, 2013) e suas dimensões podem ter importância relativa diferente em um site virtual (RIZAL et al., 2018). Refere-se às características intrínsecas do próprio sistema de processamento de informação. É baseada na produtividade, que avalia a extensão dos recursos do SI e a utilização do investimento (LEE; CHUNG, 2009). Em pesquisa realizada sobre comunidades virtuais, Zheng, Zhao e Stylianou (2013) sustentam que a qualidade do sistema está relacionada em como o sistema pode ser efetivamente planejado e gerenciado de forma a melhorar a experiência do usuário, sendo a navegabilidade do sistema seu indicador mais importante. Para Kim et al. (2009), refere-se à forma como o usuário identifica o desempenho do sistema.

Qualidade da Informação: De acordo com Alenezi, Tarhini, Masa’deh (2015) a questão da qualidade da informação tem sido estudada por muitos anos. Para esses autores, na literatura se encontra uma classificação detalhada das dimensões da qualidade dos dados, mas a maioria das dimensões contêm discrepâncias na sua definição em função da natureza contextual da qualidade (ALENEZI; TARHINI; MASA’DEH, 2015). Com o avanço das pesquisas sobre o assunto, diferentes sugestões de atributos, classes, categorias e dimensões têm surgido para atribuir qualidade à informação (VALENTE; FUJINO, 2016). Zadeh et al. (2017) ressaltam que a qualidade da informação é descrita e interpretada de diferentes maneiras por pesquisadores. Para McKnight et al. (2017), as dimensões da qualidade da informação podem ser intrínsecas ou contextuais, sendo intrínseca a concordância entre os valores de dados apresentados pelo sistema e os valores reais que os dados representam no mundo real, e a contextual a que mede o grau em que a informação é útil na conclusão de uma tarefa específica. Pode-se dizer que a qualidade da informação mede o grau com que as expectativas dos usuários são satisfeitas com a informação obtida (KIM et al., 2009). Desta forma, somente informações de alta qualidade podem levar a organização a tomar decisões corretas sobre a alocação de recursos e responsabilidades (SHAMALA et al., 2017).

Qualidade dos Serviços: Esta dimensão refere-se aos serviços necessários à utilização do sistema, como treinamento e suporte. Foi adicionado ao modelo original de Delone e McLean (1992) com base em estudos que identificaram a necessidades desse construto (DELONE; MCLEAN, 2003). Esses serviços podem ser ofertados pelo próprio SI ou por outros meios, como telefone, e-mail e pessoalmente. Segundo Gorla e Somers (2014) os sistemas são valorizados a partir da melhora na qualidade do serviço agregado, sendo, portanto, uma medida importante para o sucesso do SI e que é determinada pelo contexto, uma vez que a qualidade do serviço pode ser fundamental para se medir o sucesso de um departamento de SI (BALABAN; MU; DIVJAK, 2013). Desta forma, a avaliação de SI pode ficar comprometida se não incluir a qualidade do serviço em sua medida (LEE; YU, 2012).

Utilidade Percebida: O papel da utilidade percebida na utilização de SI tem sido estudado desde a década de 1970 (ALSABAWY; CATER-STEEL; SOAR, 2013). Este construto foi desenvolvido por Davis (1989) com o objetivo de investigar a aceitação de novas tecnologias da informação. É definido como o grau em que um indivíduo acredita que utilizar um determinado sistema aumentaria seu desempenho (DAVIS, 1989) e eventualmente, seu próprio nível de satisfação (AININ; BAHRI; AHMAD, 2012). É considerado o principal construto do modelo de aceitação de tecnologia (ALSABAWY; CATER-STEEL; SOAR, 2013). Para Li (2013), a utilidade percebida é uma percepção dos indivíduos durante a utilização de SI. Park et al. (2014) postulam que a Utilidade Percebida é o preditor direto de uso real ou intenção comportamental de uso da tecnologia de interesse do indivíduo. Já Shibchurn e Yan (2015) sustentam que a utilidade percebida oferece às pessoas uma razão para adotar e utilizar um SI.

Satisfação do Usuário: A satisfação do usuário na área de SI tem um grande corpo de pesquisa e sua aplicação mais importante tem sido avaliar o sucesso de SI (ALSABAWY; CATER-STEEL; SOAR, 2013). Chen (2010) afirma que esta dimensão é a medida mais utilizada em avaliação de SI. Já Al-Maskari e Sanderson (2010) sustentam que a satisfação do usuário é uma das principais funções de um SI e que pode ser influenciada por diversos fatores, sendo considerada uma variável subjetiva. É um construto muito útil, já que a satisfação pode levar a uma maior eficiência (BALABAN; MU; DIVJAK, 2013). A satisfação do usuário é uma construção crítica, pois está relacionada com outras variáveis importantes, como a análise de sistemas e design (LEE; CHUNG, 2009). De acordo com Ainin, Bahri e Ahmad (2012), a satisfação do usuário refere-se à interação bem-sucedida entre o próprio SI e seus usuários, já que estes, atualmente, estão mais diretamente envolvidos com o sistema, ao navegarem normalmente utilizando interface interativa, assumindo, desta forma, mais responsabilidade sobre suas ações. Para esses autores, a satisfação do usuário final serve como uma medida substituta tangível para determinar o desempenho de qualquer SI (AININ; BAHRI; AHMAD, 2012).

 

3. METODOLOGIA

A pesquisa foi realizada em uma instituição de ensino superior (IES) localizada no município de Duque de Caxias, no estado do Rio de Janeiro. Esta IES possui grande relevância econômica e social em toda a região da baixada fluminense e atualmente conta com cerca de 25 mil alunos em mais de 40 cursos de Graduação. Os alunos da instituição utilizam o portal para realizar uma série de ações relacionadas à sua vida acadêmica, como verificar notas e faltas; acessar materiais de aula disponibilizados pelos professores; ver histórico escolar; consultar a grade do curso; realizar matrícula em disciplinas e várias outras facilidades que, se não forem feitas por meio do portal, necessitam da presença física e contato pessoal em um departamento da instituição.

A condução da pesquisa foi feita a partir da abordagem quantitativa. Quanto ao delineamento, foi conduzida pesquisa do tipo survey. Quanto aos fins, a pesquisa insere-se no conjunto de pesquisas causais.

A população da presente pesquisa é de cerca de vinte e cinco mil indivíduos, que refere-se à totalidade dos alunos de graduação usuários do portal da IES estudada. A amostra da pesquisa, selecionada por conveniência, foi composta de 485 respondentes.

Os dados foram coletados por meio de questionário estruturado com escala do tipo Likert com cinco opções de resposta e foi elaborado com base no instrumento desenvolvido por Ainin, Bahri e Ahmad (2012) e na literatura referenciada no presente artigo.

Variáveis latentes, também chamadas de variáveis não observadas, são variáveis não mensuráveis, fatores ou construtos, são variáveis que não podem ser medidas diretamente, mas podem ser medidas ou representadas por uma ou mais variáveis observadas, também chamadas de variáveis manifestas ou indicadores (HAIR et al., 2009). O modelo utilizado no presente estudo contém cinco variáveis latentes: QSIST (qualidade do sistema); QINFO (qualidade da informação); QSERV (qualidade do serviço); UTILP (utilidade percebida) e SATIS (percepção de satisfação).

Variáveis observadas, manifestas ou indicadores referem-se ao valor observado ou medido de um item ou questão específica. São obtidas a partir de respostas a questões ou de alguma observação (HAIR et al., 2009). Segundo Hair et al. (2014), muito raramente a medição de variável latente por uma única variável observada apresenta bom resultado. Sempre que possível devem ser usados quatro indicadores (HAIR et al., 2009).

De acordo com Vieira e Ribas (2011), o modelo hipotético em MEE é subdividido em modelo de mensuração e modelo estrutural. Desta forma, torna-se necessário que as hipóteses de cada um desses modelos sejam descritas separadamente. O conjunto de hipóteses do modelo está resumido no diagrama de caminhos (Figura 2).

Figura 2 - Diagrama de caminho (Modelo teórico da pesquisa)

 

Fonte: Adaptado de Ainin, Bahri e Ahmad (2012).

No modelo MEE a seção de mensuração refere-se à análise fatorial e descreve a relação das variáveis latentes com as variáveis observadas (VIEIRA; RIBAS, 2011).

A seção estrutural refere-se à análise de caminho e representa os efeitos diretos e indiretos das variáveis latentes entre si (VIEIRA; RIBAS, 2011). A hipótese do modelo estrutural é a seguinte: Satis1 = f (QSERV, QINFO, QSIST, UTILP) + Res, onde Res é o termo residual.

Os dados da pesquisa foram analisados com uso da técnica de MEE. Segundo Vieira e Ribas (2011), a MEE pode ser entendida como a combinação da análise fatorial com a análise de caminho, já que a análise de caminho permite a especificação de relações causais de variáveis observadas e a análise fatorial investiga construtos (variáveis latentes), mas não estabelece relações causais entre eles. Essa técnica oferece ao pesquisador a flexibilidade para modelar as relações entre múltiplas variáveis latentes endógenas e exógenas, e construir simultaneamente as relações entre as variáveis latentes e manifestas (HSU; CHEN; HSIEH, 2006). Assim a MEE estima simultaneamente várias equações de regressão múltipla interdependentes.

De acordo com Matthews, Hair e Matthews (2018) as duas abordagens mais utilizadas em MEE são a baseada em covariância (CB-SEM) e a baseada em mínimos quadrados parciais (PLS-SEM). No presente estudo foi utilizada a abordagem baseada em covariância, que gera uma matriz de covariâncias previstas com base nos parâmetros do modelo.

 

4. ANÁLISE DOS RESULTADOS

Do total da amostra da pesquisa, 281 (57,9%) são do sexo masculino e 204 (42,1%) do sexo feminino. Em relação à faixa etária, houve predominância de respondentes com menos de 25 anos, que totalizaram 288 (59,4%), seguido por respondentes entre 25 e 35 anos (33,6%) e apenas 34 (7%) maiores de 35 anos.

A análise dos dados foi realizada, preliminarmente, na verificação da distribuição dos dados coletados, por meio dos testes Kolmogorov-Smirnov e Shapiro-Wilk. Para tal, foi utilizado o software SPSS na versão 17.0 Nesses testes, para todos os indicadores analisados, a hipótese nula (H0) de normalidade foi rejeitada, ou seja, os dados não possuem distribuição normal (Tabela 1).

Tabela 1 - Testes para verificação de normalidade

 

Fonte: dados da pesquisa

Posteriormente foi testada a confiabilidade do instrumento utilizado, por meio da aplicação do Alfa de Cronbach. Nesse teste, os quatro construtos da pesquisa apresentaram valor inferior ao limite considerado mínimo de 0,70 (Tabela 2), embora seja aceito o valor de 0,60 para pesquisa exploratória (HAIR et al., 2009). No entanto, este valor deve ser analisado com ressalvas, já que o Alfa de Cronbach apresenta limitações quando utilizado em MEE, pois desconsidera os erros nos indicadores (HAIR et al., 2009).

 

Tabela 2 - Teste Alpha de Cronbach

 

Fonte: dados da pesquisa

A confiabilidade das variáveis latentes também foi verificada por meio da confiabilidade composta e de variância extraída. A variância extraída é uma medida de validade convergente e refere-se ao grau em que um construto latente explica a variância de suas medidas. Já a confiabilidade composta (CR) é uma medida de confiabilidade da consistência interna (VANALLE et al., 2017). Em relação à confiabilidade composta, apenas o construto QSERV apresentou índice abaixo do mínimo exigido de 0,60. A variância extraída apresentou índices aquém do recomendado pela literatura em todos os construtos (Tabela 3).

Tabela 3 - Confiabilidade das variáveis latentes

 

Fonte: dados da pesquisa

 

3.1 AVALIAÇÃO DA ESCALA

Antes da análise do modelo proposto completo, foram feitas análises com vistas a verificar se os construtos constituintes do modelo do presente estudo constituem escala adequada. Considerando o modelo com indicadores reflexivos, os dados foram analisados por meio da técnica de Análise Fatorial Confirmatória (AFC), que é uma técnica cujo objetivo é verificar se as variáveis latentes definidas pelo pesquisador explicam as respectivas variáveis observadas, informando, ademais, se esses construtos estão correlacionados entre si.

As estimativas dos parâmetros dos caminhos de cada construto em relação às respectivas variáveis observadas são apresentadas e mostram que todos os parâmetros apresentam significância estatística ao nível de 5%, uma vez que as razões críticas estão em patamar superior ao valor absoluto de 1,96 (tabela 4).

 

Tabela 4 - Estimativa dos parâmetros da escala

 

Fonte: dados da pesquisa

Em relação às estimativas dos parâmetros da escala, algumas observações são pertinentes e evidenciam algumas características dos usuários do sistema.

Em relação ao construto QSIST (Qualidade do Sistema), a variável observada considerada mais importante foi Qsist2 (Informações necessárias são encontradas com o mínimo de cliques) já que a estimativa do seu peso de regressão foi a mais elevada, seguida pela variável Qsist3 (O acesso às páginas é feito de forma rápida). Nesse construto, pode-se notar a importância dada pelo usuário do portal à questão da praticidade, agilidade e economia de tempo.

O construto QINFO (Qualidade da Informação) teve como indicador mais importante Qinfo2 (As informações disponíveis no sistema são fáceis de entender), seguido por Qinfo1 (As informações disponíveis no sistema são completas). Dentre as quatro variáveis observadas do construto, Estas são as que mais se relacionam ao conceito de agilidade e otimização do tempo, já que as outras duas (Qinfo3 e Qinfo 4) referem-se à personalização e segurança da informação.

No construto QSERV (Qualidade do Serviço) a variável observada mais importante foi Qserv2 (O sistema está disponível 24 horas por dia), seguida pela Qserv1 (A equipe de suporte tem conhecimento para fazer seu trabalho de forma eficaz). Neste construto a variável observada relacionada ao tempo de resposta às consultas não foi considerada das mais importantes, ficando em último lugar em importância dentre os indicadores deste construto. Vale ressaltar que este foi o construto com os índices mais homogêneos, ou seja, com os pesos de regressão dos quatro indicadores mais próximos entre si, sendo o menor peso de regressão 1,000 (Qserv4) e o maior sendo 1,100 (Qserv2).

Por fim, no construto UTILP (Utilidade Percebida), as variáveis mais importantes foram Utilp3 (A sequência para realizar operações é clara), seguida por Utilp4 (O sistema facilita a minha vida). Como todos os indicadores neste construto apresentam, em maior ou menor grau, questões relacionadas à praticidade e agilidade, não se pode afirmar que os pesos destes indicadores evidenciam tal importância atribuída pelo usuário. Nesse construto os índices também se mostraram muito homogêneos, com os pesos de regressão dos quatro indicadores muito próximos entre si, com Utilp1 com o menos peso estimado em 1,000 e Utilp3 com o maior peso estimado em 1,108.

As estimativas das covariâncias entre construtos também apresentam significância estatística ao nível de 5%, já que também apresentaram razões críticas superiores ao valor absoluto de 1,96 (Tabela 5).

Tabela 5 - Estimativas das covariâncias da escala

 

Fonte: dados da pesquisa

 

Em relação às covariâncias entre as variáveis latentes, os maiores índices apresentados foram os entre as variáveis QINFO e UTILP (0,201), QSIST e QINFO (0,176) e QINFO e QSERV (0,176). Os dois menores índices foram entre os construtos UTILP e QSERV (0,129) e QSIST e QSERV (0,134).

No que diz respeito à qualidade do ajustamento global do modelo, os índices apresentados podem ser verificados adiante. De acordo com os parâmetros encontrados na literatura, os índices encontrados indicam que a escala tem um ajustamento global razoável (Tabela 6).

Tabela 6 - Ajustamento global da escala

 

Fonte: dados da pesquisa

Tendo em vista os dados apresentados, a escala foi considerada razoável, já que dos 8 índices avaliados, 5 indicaram um modelo adequado (CMIN/DF menor que 3, GFI maior que 0,9, AGFI maior que 0,9, CFI maior que 0,8 e RMSEA menor que 0,08) e 1 apresentou valor relativamente próximo ao limite (IFI menor que 0,9, porém maior que 0,86). Os índices NFI (0,811) e TLI (0,834) apresentaram valores abaixo do mínimo indicado na literatura, que é 0,9.

 

 

4. AVALIAÇÃO DO MODELO COMPLETO

 

A avaliação do modelo completo objetivou validar o modelo utilizado por Ainin, Bahri e Ahmad (2012) em sua pesquisa. As estimativas dos parâmetros dos caminhos de cada construto em relação às respectivas variáveis observadas e de cada construto em relação à satisfação do usuário mostram significância estatística ao nível de 5%, uma vez que as razões críticas estão em patamar superior a 1,96 (Tabela 7).

Tabela 7 - Estimativas dos parâmetros do modelo completo

 

Fonte: dados da pesquisa

Em relação aos pesos dos indicadores, as duas variáveis observadas mais importantes dos construtos QSIST, QINFO e QSERV foram as mesmas apresentadas na avaliação da escala, ou seja, no construto QSIST (Qualidade do Sistema) a variável observada mais importante foi Qsist2 (Informações necessárias são encontradas com o mínimo de cliques), seguida por Qsist3 (O acesso às páginas é feito de forma rápida). No construto QSERV (Qualidade do Serviço) a variável observada mais importante foi Qserv2 (O sistema está disponível 24 horas por dia), seguida por Qserv1 (A equipe de suporte tem conhecimento para fazer seu trabalho de forma eficaz). No construto QINFO (Qualidade da Informação) houve apenas inversão de posição das duas mais importantes. Qinfo1 (As informações disponíveis no sistema são completas) foi a mais importante, seguida por Qinfo2 (As informações disponíveis no sistema são fáceis de entender).

No construto UTILP (Utilidade Percebida) ocorreu uma inversão nos pesos dos indicadores, pois na avaliação do modelo completo as duas variáveis observadas com maiores pesos foram Utilp1 (É fácil acessar o sistema) e Utilp2 (A quantidade de informação exibida na tela é adequada), exatamente as duas variáveis que apresentaram os menores pesos na estimativa dos parâmetros da escala. Conforme já citado, as 4 variáveis observadas deste construto relacionam-se, de certa forma, à ideia de praticidade e agilidade.

Em relação às estimativas dos parâmetros dos caminhos de cada construto em relação à satisfação do usuário, é observado que UTILP é o que possui o maior peso estimado na influência sobre a satisfação do usuário, seguido por QSIST, QSERV e QINFO. Tal resultado é bem parecido com o achado por Ainin, Bahri e Ahmad (2012), na pesquisa em que propuseram o modelo utilizado no presente estudo. A única mudança é a troca de posição entre QSIST e QSERV.

Outros estudos já citados também acharam resultados parecidos. Ramírez-Correa, Rondán-Cataluña e Arenas-Gaitán (2018) também confirmaram que a qualidade do sistema e a qualidade da informação impactam sobre a satisfação do usuário. Mursityo et al. (2018) identificaram que, dentre outras, utilidade percebida e qualidade do sistema impactam na satisfação do usuário. A pesquisa de Saghapour et al. (2018) sugere que a utilidade percebida é fundamental para utilização do portal. Xu e Du (2018) também identificaram maior impacto gerado pela utilidade percebida na satisfação do usuário. Por fim, Budiardjo et al. (2017) também confirmaram que os construtos qualidade do sistema, utilidade percebida e qualidade da informação/conhecimento impactam na satisfação do usuário.

No que diz respeito à qualidade do ajustamento global do modelo, diferentemente do que ocorreu com a escala estudada, os índices apresentados indicam que o modelo não tem um bom ajuste, de acordo com os parâmetros encontrados na literatura (Tabela 8). CMIN/DF apresentou índice maior que 6, quando deveria estar abaixo de 3; o RMSEA ficou em 0,109, quando deveria estar abaixo de 0,08; e os outros índices deveriam apresentar valores idealmente acima de 0,90, mas apenas o GFI ficou acima de 0,80, caracterizando, portanto, ajuste ruim do modelo.

 

Tabela 8 - Ajustamento global do modelo

 

Fonte: dados da pesquisa

Apesar das estimativas dos parâmetros do modelo apresentarem significância estatística ao nível de 5%, o modelo adaptado de Ainin, Bahri e Ahmad (2012) não pode ser validado no contexto em que foi realizada a presente pesquisa.

São várias as suposições possíveis para que isso tenha ocorrido. Preliminarmente, deve-se lembrar que a amostra da presente pesquisa não foi aleatória, o que representa uma limitação ao estudo. Outra característica, que possivelmente seja consequência da primeira, refere-se ao fato dos dados coletados não apresentarem distribuição normal. Além disso, os índices Alfa de Cronbach, confiabilidade composta e variância média extraída evidenciaram que o grau de correlação dos indicadores de cada construto está em patamar próximo ao limite ou aquém do aceito para modelos de mensuração reflexivos.

Já em relação ao modelo utilizado, o construto Satisfação do Usuário é mensurado por meio de um único indicador, o que de acordo com Hair et al. (2014), reduz a qualidade de sua mensuração. Esta característica pode, portanto, ter influenciado negativamente a mensuração do construto SATIS e consequentemente o ajuste global do modelo completo.

 

5. CONCLUSÃO E RECOMENDAÇÕES

O presente estudo teve como objetivo verificar o impacto da “qualidade do sistema”, “qualidade da informação”, “qualidade do serviço” e “utilidade percebida” na satisfação do usuário de portal. Tal estudo se justifica, na medida em que a satisfação do usuário tem sido identificada como um dos principais meios de se mensurar sucesso de SI.

As hipóteses do estudo não foram confirmadas, ou seja, a partir dos dados coletados, não se pode afirmar que qualidade do sistema, qualidade da informação, qualidade do serviço e utilidade percebida, exercem impacto direto na satisfação do usuário de portal, já que, apesar das estimativas dos parâmetros dos caminhos de cada construto, em relação à satisfação do usuário, apresentarem significância estatística, o modelo completo não apresentou ajustamento global aceitável. Uma limitação do estudo pode ser atribuída ao fato da amostra ter sido selecionada por conveniência. Dados coletados a partir de uma amostra probabilística apresentam maior chance de exibir distribuição normal, gerando, consequentemente, melhores indicadores de ajustamento global do modelo. No entanto, apesar disso, algumas considerações relacionadas às características da pesquisa são pertinentes e objetivam ajudar o entendimento dos dados analisados, com vistas a esclarecer os possíveis motivos que geraram o ajustamento ruim do modelo.

A amostra utilizada apresentou faixa etária predominantemente jovem. Pouco menos de 60% da amostra possui menos de 25 anos e apenas 7% possui mais de 35 anos. Ou seja, 93% dos respondentes possuem 35 anos ou menos. São indivíduos considerados “nativos digitais”, que provavelmente já têm experiência com a utilização de SI. Esta característica é relevante ao se pesquisar a satisfação do usuário com SI.

Tanto na verificação da escala quanto na análise do modelo completo, o construto Qualidade do Sistema teve como principais indicadores as duas variáveis observadas relacionadas às questões de praticidade, agilidade e economia de tempo (“Informações necessárias são encontradas com o mínimo de cliques” e “O acesso às páginas é feito de forma rápida”). As outras duas variáveis observadas remetem a instruções sobre como usar o sistema e a facilidade em consertar erros causados pelo próprio usuário (“As instruções sobre como usar o sistema estão disponíveis” e “É fácil consertar os erros causados por mim quando utilizo o sistema”). Neste ponto, certamente a faixa etária da amostra teve impacto nas respostas, pois esses indivíduos, provavelmente, possuem familiaridade com SI, não precisando, em sua maioria, de instruções para usar o sistema e talvez não tenham causados erros que precisaram ser corrigidos. De acordo com a literatura, a dimensão qualidade do sistema engloba o desempenho na entrega da informação, incluindo a facilidade de uso e a performance do sistema. No entanto, é possível que quanto mais os usuários estejam familiarizados com os SI, mais importância seja dada à performance e agilidade, no lugar de instruções sobre como utilizá-lo.

Em relação ao construto Qualidade da Informação, esta dimensão também obteve, nas duas análises realizadas, as mesmas duas variáveis observadas mais importantes. Foram elas “As informações disponíveis no sistema são completas” e “As informações disponíveis no sistema são fáceis de entender”. Também nesse construto pode ser observado que as variáveis mais importantes estão relacionadas à ideia de praticidade e agilidade. As duas menos importantes relacionam-se à personalização e à segurança das informações (“As informações disponíveis no sistema são personalizadas” e “As informações disponíveis no sistema são seguras”). Estas duas, consideradas menos importantes, relacionam-se, possivelmente, a aspectos menos relevantes em um portal acadêmico. Ao contrário, por exemplo, de um sistema bancário, por meio do qual se realizam transações financeiras, um sistema acadêmico não tem a mesma sensibilidade à questão de segurança, já que opera com dados menos críticos. Em relação à personalização da informação, provavelmente essa característica seja entendida como algo óbvio, já que o aluno acessa o sistema para ver as suas notas, a sua frequência, as disciplinas nas quais está matriculado etc., e não teria sentido um sistema acadêmico que não oferecesse essas informações personalizadas.

O construto Qualidade do Serviço também apresentou, nas duas análises realizadas, as mesmas duas variáveis observadas mais importantes (“A equipe de suporte tem conhecimento para fazer seu trabalho de forma eficaz” e “O sistema está disponível 24 horas por dia”). Nesse construto os itens menos valorizados estão relacionados à agilidade e praticidade, ao contrário dos anteriores. O item que apareceu como o mais importante nas duas análises refere-se ao conhecimento do pessoal do suporte, indicando que em relação aos serviços, os usuários se preocupam mais com a eficácia do atendimento do que com a rapidez em resolver o problema. Uma possibilidade para isso é que os usuários não utilizem ou utilizem pouco os serviços de suporte, considerando mais importante o conhecimento da equipe de suporte para auxiliá-lo, em detrimento da rapidez com que isso ocorra.

Em relação à Utilidade Percebida, houve inversão nos indicadores mais importantes, já que na avaliação da escala, foram “A sequência para realizar operações é clara” e “O sistema facilita a minha vida” e na análise do modelo completo foram “É fácil acessar o sistema” e “A quantidade de informação exibida na tela é adequada”. Pode-se notar que todos os indicadores, de alguma forma, relacionam-se à ideia de agilidade e praticidade. Em relação a este construto, ressalta-se o fato de que, nas estimativas dos parâmetros do modelo completo, foi o que apresentou o maior peso estimado impactando a satisfação do usuário. Este resultado está em linha com a literatura, que identifica a utilidade percebida como um dos principais fatores para o uso da tecnologia, bem como, converge com os resultados do estudo que desenvolveu o modelo utilizado na presente pesquisa. Outro ponto importante é que o construto Utilidade Percebida foi o que apresentou os melhores índices nos testes de Alfa de Cronbach, Confiabilidade Composta e Variância Extraída.

Em relação ao quinto construto do modelo completo, Satisfação do Usuário, cujo impacto exercido pelos outros construtos foi o foco da presente pesquisa, vale ressaltar que sua mensuração foi feita a partir de um único indicador, “Estou satisfeito com o sistema” e em função disso pode ter sido inadequada. A utilização de indicador único para mensurar um construto não é recomendada na literatura e pode ter comprometido a qualidade da mensuração. Tal fato justificaria a diferença no ajuste da escala, que foi razoável, em relação ao ajuste do modelo completo, que foi ruim, pois é na análise do modelo completo que se considera o impacto dos construtos na satisfação do usuário.

Apesar do modelo completo não ter apresentado ajuste razoável, não se pretende invalidar o modelo utilizado. Para tal, são necessárias novas pesquisas que complementem os resultados do presente estudo.

Primeiramente, sugere-se pesquisa que busque validar o modelo utilizado a partir de dados coletados de uma amostra aleatória. Sugere-se também que estudos futuros apliquem o modelo utilizado na presente pesquisa, utilizando mais de um indicador para mensurar a satisfação do usuário. É importante que se realize estudo qualitativo com vistas ao refinamento do instrumento de coleta de dados, bem como à melhor caracterização da amostra utilizada, especificamente na região da Baixada Fluminense. Para finalizar, sugere-se que sejam realizadas pesquisas com o objetivo de confirmar a natureza dos indicadores dos construtos utilizados no âmbito dos estudos de SI.

 

BIBLIOGRAFIA

ABABNEH, H.; SHRAFAT, F.; ZEGLAT, D. Approaching information system evaluation methodology and techniques: a comprehensive review. International Journal of Business Information Systems, v. 24, n. 1, p. 1-30, 2017.

AININ, S.; BAHRI, S.; AHMAD, A. Evaluating portal performance: A study of the National Higher Education Fund Corporation (PTPTN) portal. Telematics and Informatics, v. 29, n. 3, p. 314–323, ago. 2012.

ALENEZI, H.; TARHINI, A.; MASA’DEH, R. Investigating the strategic relationship between information quality and E-government benefits: a literature review. International Review of Social Sciences and Humanities, v. 9, n. 1, p. 33-50, 2015.

ALMAHAMID, S. M.; TWEIQAT, A. F.; ALMANASEER, M. S. University website quality characteristics and success: lecturers’ perspective. International Journal of Business Information Systems, v. 22, n. 1, p. 41-61, 2016.

ALMAIAH, M. A.; M. A. JALIL; M. MAN. Empirical investigation to explore factors that achieve high quality of mobile learning system based on students’ perspectives. Engineering Science and Technology: An International Journal. v. 19, n. 3, p. 1314-1320, 2016.

AL-MAMARY, Y. H. et al. A Critical Review of Models and Theories in Field of Individual Acceptance of Technology. International Journal of Hybrid Information Technology, v. 9, n. 6, p. 143-158, 2016.

AL-MASKARI, A.; SANDERSON, M. A review of factors influencing user satisfaction in information retrieval. Journal of the American Society for Information Science and Technology, v. 61, n. 5, p. 859–868, maio 2010.

ALSABAWY, A. Y.; CATER-STEEL, A.; SOAR, J. IT infrastructure services as a requirement for e-learning system success. Computers & Education, v. 69, p. 431–451, nov. 2013.

ALVES, J. C.; MONTEIRO, J. A. Uma abordagem para a criação de um ERP académico suportado por tecnologias open source. Politécnica, n. 20, p. 112-122, dez. 2013.

BALABAN, I.; MU, E.; DIVJAK, B. Development of an electronic Portfolio system success model: An information systems approach. Computers & Education, v. 60, n. 1, p. 396–411, 2013.

BHATTACHERJEE, A. Understanding information systems continuance: an expectation-confirmation model. MIS quarterly, v. 25, n. 3, p. 351-370, 2001.

BUDIARDJO, E. K. et al. The impact of knowledge management system quality on the usage continuity and recommendation intention. Knowledge Management & E-Learning, v. 9, n. 2, p. 200-224, 2017.

CAIPANG, C. L. M. A. Development of a Computerized Enrolment System in a Rural-Based Higher Education System. Academic Research International. v. 4, n. 3, p. 142–148, maio 2013.

CARVALHO, R. S. et al. Integração entre o sistema de gestão acadêmica e o sistema de gestão da aprendizagem: identificando necessidades e prototipando requisites favoráveis a prática docente. Revista Brasileira de Computação Aplicada, v. 4, n. 1, p. 81-91, 2012.

CHEN, C. W. Impact of quality antecedents on taxpayer satisfaction with online tax-filing systems – An empirical study. Information & Management, v. 47, n. 5-6, p. 308–315, ago. 2010.

COSTA, E. G.; KLEIN, A. Z.; VIEIRA, L. M. Análise da utilização de Tecnologias da Informação Móveis e Sem Fio (TIMS) na cadeia bovina: um estudo de caso no estado de Goiás. REAd. Revista Eletrônica de Administração, Porto Alegre, v. 20, n. 1, p. 140–169, abr. 2014.

DAVIS, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, v. 13, n. 3, p. 319, set. 1989.

DELONE, W. H.; MCLEAN, E. R. Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, v. 3, n. 1, p. 60–95, mar. 1992.

DELONE, W. H.; MCLEAN, E. R. The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, v. 19, n. 4, p. 9–30, abr. 2003.

EAKIN, H. et al. Information and communication technologies and climate change adaptation in Latin America and the Caribbean: a framework for action. Climate and Development, v. 7, n. 3, p. 208-222, 2014.

FERREIRA, A. P. D.; FERREIRA, L. Medindo a Satisfação dos usuários de um Sistema Integrado de Gestão. In: SEGeT - Simpósio de Excelência em Gestão e Tecnologia, 5. 2008, Resende. Anais... Resende: AEDB, 2008.

FONTES FILHO, J. R.; NAVES, G. G. A Contribuição do Sistema Integrado de Administração Financeira do Governo Federal (SIAFI) para a Promoção da Accountability Horizontal: a Percepção dos Usuários. BBR-Brazilian Business Review, v. 11, n. 3, p. 1-28, 2014.

GORLA, N.; SOMERS, T. M. The impact of IT outsourcing on information systems success. Information & Management, v. 51, n. 3, p. 320–335, abr. 2014.

HADJI, B.; DEGOULET, P. Information system end-user satisfaction and continuance intention: A unified modeling approach. Journal of biomedical informatics, v. 61, p. 185-193, 2016.

HAIR, J. F. et al. Análise multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009.

HAIR, J. F.; GABRIEL, M. L. D. S.; PATEL, V. K. AMOS Covariance-Based Structural Equation Modeling (CB-SEM): Guidelines on its Application as a Marketing Research Tool. Revista Brasileira de Marketing, v. 13, n. 02, p. 44–55, maio 2014.

HAIR, J. F. et al. A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM). London: SAGE Publications, 2014.

HSU, S. H.; CHEN, W.; HSIEH, M. Robustness testing of PLS, LISREL, EQS and ANN-based SEM for measuring customer satisfaction. Total Quality Management & Business Excellence, v. 17, n. 3, p. 355–372, abr. 2006.

KIM C. et al. An empirical investigation of factors affecting ubiquitous computing use and U-business value. International Journal of Information Management, v. 29, n. 6, p. 436–448, dez. 2009.

LEE, H. S.; CHOI, Y. H.; JO, N. O. Determinants Affecting User Satisfaction with Campus Portal Services in Korea. Journal of Internet Banking & Commerce, v. 14, n. 1, 2009.

LEE, K. C.; CHUNG, N. Understanding factors affecting trust in and satisfaction with mobile banking in Korea: A modified DeLone and McLean’s model perspective. Interacting with Computers, v. 21, n. 5-6, p. 385–392, dez. 2009.

LEE, S. K.; YU, J. H. Success model of project management information system in construction. Automation in Construction, v. 25, p. 82–93, ago. 2012.

LEITE, L. S. et al. A Prática da Avaliação como Instrumento de Colaboração e Autoria dos Discentes. Meta: Avaliação, v. 10, n. 28, p. 235-246, 2018

LEITE, P. I. S. T. S. Modelo para avaliação da qualidade de conteúdos de sítios Web de Unidades de Saúde. 2014. Tese. (Doutorado em Ciências da Informação) - Faculdade de Ciência e Tecnologia, Universidade Fernando Pessoa. Porto, 2014. Disponível em < http://hdl.handle.net/10284/4545 >.

LI, C. Y. Persuasive messages on information system acceptance: A theoretical extension of elaboration likelihood model and social influence theory. Computers in Human Behavior, v. 29, n. 1, p. 264–275, jan. 2013.

MANZOOR, M. et al. Methodological investigation for enhancing the usability of university websites. Journal of Ambient Intelligence and Humanized Computing, v. 10, n. 2, p. 531-549, 2019.

MATTHEWS, L.; HAIR, J. F.; MATTHEWS, R. PLS-SEM: The holy grail for advanced analysis. Marketing Management Journal, v. 28, n. 1, 2018.

MCKNIGHT, D. H. et al. Distinguishing the effects of B2B information quality, system quality, and service outcome quality on trust and distrust. The Journal of Strategic Information Systems, v. 26, n. 2, p. 118-141, 2017.

MURSITYO, Y. T. et al. Analysis of Brawijaya University Academic Information Systems Acceptance on the User Characteristic, System Quality, Support of Top Management and Information Technology, Perceived Usefulness, and Perceived Ease of Use. Journal of Information Technology and Computer Science, v. 3, n. 2, p. 202-213, 2018.

PARK, N. et. al. Understanding the acceptance of teleconferencing systems among employees: An extension of the technology acceptance model. Computers in Human Behavior, v. 39, p. 118–127, out. 2014.

PUSPANINGRUM, A. S.; ROCHIMAH, S.; AKBAR, R. J. Functional Suitability Measurement using Goal-Oriented Approach based on ISO/IEC 25010 for Academics Information System. Journal of Information Systems Engineering and Business Intelligence, v. 3, n. 2, p. 68-74, 2017.

QUEIROZ, F. C. B. P. et al. Contribuição dos Sistemas Integrados de Gestão para as Práticas de Ensino e Aprendizagem. Augusto Guzzo Revista Acadêmica, v. 1, n. 9, p. 45-52, 2012.

RAMÍREZ-CORREA, P. E.; RONDÁN-CATALUÑA, F. J.; ARENAS-GAITÁN, J. Student information system satisfaction in higher education: the role of visual aesthetics. Kybernetes, v. 47, n. 8, p. 1604-1622, 2018.

REIS, P. N. C.; PITASSI, C.; BOUZADA, M. A. C. Os fatores que explicam o grau de aceitação de um sistema de informação acadêmica utilizado nos processos de apoio à gestão docente: um estudo de caso em uma IES privada. In: Simpósio de Administração da Produção, Logística e Operações Internacionais, 15, Anais.. São Paulo, 2012.

RIZAL, H. et al. EWOM towards homestays lodging: extending the information system success model. Journal of Hospitality and Tourism Technology, v. 9, n. 1, p. 94-108, 2018.

SAGHAPOUR, M. et al. An empirical investigation of campus portal usage. Education and Information Technologies, v. 23, n. 2, p. 777-795, 2018.

SCHEEREN, A. W.; FONTES FILHO, J. R.; TAVARES, E. Impacts of a Relationship Model on Informational Technology Governance: An Analysis of Managerial Perceptions in Brazil. JISTEM - Journal of Information Systems and Technology Management, v. 10, n. 3, p. 621–642, dez. 2013.

SHAMALA, P. et al. Integrating information quality dimensions into information security risk management (ISRM). Journal of Information Security and Applications, v. 36, p. 1-10, 2017.

SHIBCHURN, J.; YAN, X. Information disclosure on social networking sites: An intrinsic–extrinsic motivation perspective. Computers in Human Behavior, v. 44, p. 103–117, 2015.

SOUZA, A. A. et al. Avaliação de sistemas de informações com foco na satisfação dos usuários: um estudo desenvolvido na região metropolitana de Belo Horizonte - MG. Gepros: Gestão da Produção, Operações e Sistemas, v. 10, n. 4, p. 69-84, 2015.

SOUZA, A. A. et al. Avaliação de Sistemas de Informação: Um Estudo em Organizações Hospitalares. Sociedade, Contabilidade e Gestão, v. 7, n. 1, 2012.

SOUZA, M. N. A.; MONTEIRO, A. J. Os docentes da Universidade Federal do Ceará e a utilização de alguns dos recursos do sistema integrado de gestão de atividades acadêmica (SIGAA). Revista Ensaio: Avaliação e Políticas Públicas em Educação, v. 23, n. 88, p. 611-630, 2015.

VALENTE, N. T. Z.; FUJINO, A. Atributos e dimensões de qualidade da informação nas Ciências Contábeis e na Ciência da Informação: um estudo comparativo. Perspectivas em Ciência da Informação, v. 21, n. 2, p. 141-167, 2016.

VANALLE, R. M. et al. Green supply chain management: An investigation of pressures, practices, and performance within the Brazilian automotive supply chain. Journal of Cleaner Production, v. 151, p. 250-259, 2017.

VIEIRA, P. R. C.; RIBAS, J. R. Análise Multivariada com o Uso do SPSS. Rio de Janeiro: Ciência Moderna, 2011.

XU, F.; DU, J. T. Factors influencing users’ satisfaction and loyalty to digital libraries in Chinese universities. Computers in Human Behavior, v. 83, p. 64-72, 2018.

ZADEH, P. A. et al. Information quality assessment for facility management. Advanced Engineering Informatics, v. 33, p. 181-205, 2017.

ZANETI JUNIOR, L. A.; VIDAL, A. G. R. Construção de sistemas de informação baseados na tecnologia web. Revista de Administração, São Paulo, v. 41, n. 3, p. 232-244, jul./ago./set./2006.

ZHENG, Y.; ZHAO, K.; STYLIANOU, A. The impacts of information quality and system quality on users’ continuance intention in information-exchange virtual communities: An empirical investigation. Decision Support Systems, v. 56, p. 513–524, dez. 2013.