3.2 Procedimentos Metodológicos: Definição do quadro de especialistas

A definição do quadro de especialistas é vital para a execução do método Policy Delphi, de modo a assegurar que todas as opções relacionadas à temática investigada sejam exploradas (YAU; CHIU, 2015; HUMPHREY-MURTO et al., 2017). No que se refere à quantidade de participantes no painel, não há um padrão pré-definido que determine a representatividade do estudo. Alguns autores sugerem que quanto maior o painel, maior será a validade dos resultados (LINSTONE et al., 1975), enquanto outros enfatizam que o equilíbrio dos conhecimentos representados no painel é mais relevante para determinar a qualidade dos resultados da pesquisa do que o número de participantes (WHEELLER; HART; WHYSALL, 1990; FRANKLIN; HART, 2007). Além disto, deve-se ressaltar que a heterogeneidade é um fator estimulante, mas que a qualidade dos resultados depende essencialmente dos participantes do estudo (WRIGHT; GIOVINAZZO, 2000).

Neste sentido, a amostra utilizada na pesquisa sobre o processo de promoção do consumo sustentável foi não-probabilística por tipicidade ou intencional, que consiste em selecionar subgrupos da população que, com base nas informações disponíveis, possam ser considerados representativos de toda população, a qual é comumente usada em estudos de Policy Delphi (PARASKEVAS; SAUNDERS, 2012).

Assim, 135 (cento e trinta e cinco) especialistas com diferentes backgrounds sobre a temática foram convidados, através de e-mails, para participar do painel, dos quais 40 (quarenta) concordaram em participar da pesquisa, o que representou uma participação de 29,62% dos convidados. A amostra incluiu: 08 (oito) técnicos e pesquisadores que atuam em órgãos e entidades públicas na área de meio ambiente e de proteção ao consumidor, responsáveis pela atuação do governo; 16 (dezesseis) acadêmicos envolvidos com pesquisas ligadas ao tema em estudo; 08 (oito) profissionais com experiências em empresas que promovam ações voltadas para promoção do consumo sustentável; e 08 (oito) gestores de Organizações Não Governamentais com atuação diretamente ligada a área investigada.

A utilização de grupos heterogêneos de experts na temática visou evitar que os resultados fossem tendenciosos, permeados de vieses e favorecimento (KAYO; SECURATO, 1997). Os procedimentos adotados para a coleta de dados é detalhado a seguir.

A coleta de dados no Policy Delphi ocorre a partir da aplicação de questionários sequenciados, cuja elaboração da primeira versão necessita de uma ampla revisão da literatura que aborda o tema investigado. O questionário, portanto, é um resumo das pesquisas anteriores e teorias postuladas pelos estudiosos. A vantagem dessa estratégia é que o questionário inicial fornece aos participantes um ponto de origem para seus pensamentos e possibilita dirigir a coleta de dados de forma estruturada (FRANKLIN; HART, 2007).

O primeiro questionário aplicado ao conjunto de especialistas envolvidos com a temática “consumo sustentável” buscou identificar o grau de relevância atribuída por eles ao conjunto de papéis identificados na primeira fase da pesquisa. Para cada assertiva, foi solicitado aos participantes do painel que classificassem sua percepção da importância de cada afirmação usando uma escala de Likert de 5 pontos, com a seguinte indicação de níveis: (1) “não tem importância”; (2) “pouco importante”; (3) “neutro/indeciso”; (4) importante; (5) criticamente importante. Além de responder às declarações, os membros do painel tiveram a oportunidade de fazer comentários adicionais sobre cada declaração, bem como foi disponibilizado um espaço ao final de cada dimensão no qual eles poderiam propor novos papéis.

Esse questionário foi submetido a um pré-teste com três especialistas para detectar falhas no instrumento. Após os ajustes identificados no pré-teste serem incorporados no instrumento de coleta de dados, foi finalizada a versão do questionário da primeira rodada do Policy Delphi que foi disponibilizado para os especialistas em plataforma on-line (GoogleDocs) e o convite enviado para respondê-lo através de e-mail que informava o link.

Na segunda rodada do método Policy Delphi foi enviado aos especialistas um novo questionário com o sumário dos resultados obtidos na primeira rodada e o comparativo com as suas respostas, solicitando-lhes se posicionar novamente em relação às questões apresentadas. Como, nesta etapa, os questionários possuíam características individuais específicas para cada especialista investigado, eles foram desenvolvidos em arquivo do tipo *.doc e enviados por e-mail.

O interesse estava nas declarações que eram mais importantes ou mais controversas na opinião dos painelistas (FRANKLIN; HART, 2007). Os especialistas poderiam modificar suas respostas ou mantê-las considerando as respostas apresentadas pelos grupos investigados e os argumentos apresentados nos comentários adicionais. Na Figura 2, apresentam-se exemplos da forma como as questões foram apresentadas no segundo questionário para cada especialista.

 Figura 2. Exemplos de apresentações das questões na segunda rodada no Policy Delphi

Fonte: Elaboração dos autores (2017)

O período de coleta de dados entre as duas rodadas foi de setembro de 2013 a maio de 2014. Este interstício foi considerado o principal desafio enfrentado pela pesquisa para a execução do método, necessitando reforçar, em alguns casos, o convite aos especialistas que se comprometeram a participar do painel no contato inicial.

3.4 Procedimentos metodológicos: Tratamento e Análise dos Dados no Policy Delphi

Na pesquisa com especialistas através do Policy Delphi, após o retorno dos questionários na primeira rodada, foram feitos cálculos estatísticos de medidas centrais (média e mediana) e de medidas de dispersão (coeficiente de variação e quartis) para cada variável, segundo cada grupo de especialistas e o grupo total, com o propósito de verificar os níveis de convergência e divergência nas respostas dos especialistas. Além disto, fez-se um sumário dos comentários adicionais apresentados pelos respondentes. Os códigos utilizados para identificação dos comentários adicionais dos especialistas foram (ACAD), (GOV), (EMP) e (ONG) numerados de acordo com a sequência da participação de cada um deles na primeira rodada. O conjunto de informações obtido foi organizado e repassado novamente para os especialistas investigados através dos questionários elaborados para a segunda rodada, o que facilitou as suas análises quanto ao quadro de respostas obtido na rodada anterior e lhes possibilitou decidirem se mantinham ou não a sua posição inicial.

Para determinar quais os papéis que eram relevantes, comparou-se a média da pontuação de todos os fatores investigados usando um ponto de corte da média de 3,8 na escala de 5 pontos utilizada. Isto porque foram consideradas as médias das respostas próximas ao valor 4 (“importante”) até o 5 (“criticamente importante”) na escala utilizada. E, para identificar se haviam papéis que apresentavam controvérsias, foram avaliados se existiam papéis que apresentaram média inferior a 3,8 e que possuíam um alto coeficiente de variação, convencionalmente atribuído ao valor acima de 40% no resultado geral, cujo objetivo era expor os papéis para os quais a classificação indicaria uma distribuição de opiniões controversas (FRANKLIN; HART, 2007).

Apesar de não se ter obtido medidas de dispersão altas nas respostas, considerando a complexidade do tema investigado e o tipo de informação que se quis coletar, foram explorados os pontos de convergências e divergências expressos nas opiniões dos especialistas apresentados nos comentários adicionais, para que se pudessem apresentar opções e alternativas de promoção do consumo sustentável no contexto brasileiro, bem como estabelecer os argumentos favoráveis e desfavoráveis para as diferentes posições (FRANKLIN; HART, 2007).

A aplicação da técnica Policy Delphi foi encerrada na segunda rodada, considerando que os resultados obtidos nesta etapa confirmaram o nível de relevância atribuído pelos especialistas investigados, na primeira rodada, aos papéis de promoção do consumo sustentável para o contexto brasileiro. A operacionalização do método aplicada neste estudo é sintetizada na Figura 3.

Figura 3. Operacionalização do Método Policy Delphi

Fonte: Elaborado pelos autores, 2017.

Os resultados foram organizados de acordo com os papéis de cada ator, em níveis macro, meso e micro, com a finalidade de apresentar um framework que representasse a opinião dos especialistas sobre os papéis dos governos, das empresas e da sociedade civil para promover o consumo sustentável no contexto brasileiro. Vale ressaltar que 35 (trinta e cinco) papéis foram apontados como relevantes e 03 (três) foram não foram considerados importantes. O framework final apresentado é flexível e possibilita adaptações para temas e setores específicos de consumo no contexto brasileiro. O resultado final dos papéis avaliados é apresentado na Figura 4.

Figura 4. Framework final após aplicação do Método Policy Delphi

Fonte: Elaborado pelos autores, 2017.

Os papéis que não foram consideradas relevantes para a promoção do consumo sustentável no contexto brasileiro, na realização do Policy Delphi com especialistas, são:

a) a concessão de prêmios e acreditação como papel de governo no nível meso, o qual Jackson e Michaelis (2003) afirmam que podem incentivar a replicação de iniciativas bem sucedidas. Mas, o especialista (ACAD5), no seu comentário adicional, destaca os riscos associados às estratégias de governos em conceder prêmios e acreditação, principalmente no que se refere a quem irá se favorecer com isto: “Muitos cuidados deve-se ter com politicas e práticas de certificação, pois muitas delas podem funcionar como barreiras à operação e inclusão de pequenos e médios empreendimentos”. O especialista (ACAD14) afirmou “creio que os prêmios e acreditações devem ser promovidos por organismos independentes e não pelo Estado”, o que corrobora com a fala do especialista (EMP4) que declara que “os diferenciais de desempenho devem ser regulados pelo próprio mercado, para isso existem, por exemplo, as certificações voluntárias, premiações e acreditações. O papel do Estado é regular e garantir uma linha base para a atuação das organizações”;

b) a realização de lobby como papel das empresas no nível macro que é considerado como um processo de interação entre empresas-governos (MICHAELIS, 2003), no qual as empresas são proativas e têm a possibilidade de pressionar as práticas de governo em determinadas questões. Os resultados que demonstram a divergência entre os grupos de especialistas investigados sobre a relevância do papel supracitado são ressaltados nos comentários adicionais, no quais se observam algumas ressalvas e o ceticismo daqueles quanto ao desempenho efetivo da realização de lobby por parte das empresas em prol da sustentabilidade, principalmente porque, em alguns casos, isto pode ir de encontro aos seus interesses financeiros.

c) o carrotmob como papel da sociedade civil no nível meso que busca incentivar as empresas a adotarem práticas de responsabilidade socioambiental a partir de uma espécie de financiamento coletivo realizado através de um alto volume de compras. O especialista (ACAD5) comentou que “Apesar de importantes, os efeitos são episódicos e passageiros” e o (EMP7) ressaltou que considera “Importante, mas vejo com temeridade, pois as empresas podem buscar este caminho apenas para aumentar lucros e não apenas por ter isto como premissa da empresa, e num futuro estourar uma grande mentira”.

Além disto, o estudo possibilitou a identificação de argumentos prós e contra em relação a cada papel avaliado e considerado como relevante que devem ser considerados como aspectos a serem ponderados no planejamento e execução de ações por cada ator para desempenhá-los.

3.5 Validade e Confiabilidade

No desenvolvimento da ciência, não só o conhecimento deve ser questionado, assim como os métodos e técnicas utilizados na sua elaboração. A falta de controle aumenta consideravelmente as chances de se obter conclusões equivocadas (GEWANDSZNAJDER, 1989).

Assim, as questões de validade e confiabilidade de um estudo envolvem aspectos que possibilitem que o resultado alcançado seja o mais próximo possível da realidade investigada e que os métodos utilizados sejam passíveis de replicação.

Easterbt-Smith, Thorpe e Lowe (1999) enfatizam que a validade envolve a certeza de que um teste ou instrumento mede o atributo que supostamente deve medir e a confiabilidade é uma questão de estabilidade, o que significa que se um instrumento for administrado ao mesmo indivíduo em duas ocasiões diferentes, ele irá gerar o mesmo resultado.

Neste contexto, a execução do método Policy Delphi seguiu os critérios científicos de validade e confiabilidade estabelecidos pelo método para evitar vieses e favorecimentos, tais como: a utilização de grupos heterogêneos; o anonimato dos participantes do painel; o uso de questionários para evitar a possibilidade de debates face-a-face e a influência indevida de personalidades dominantes; o feedback entre os participantes com a checagem das informações em duas rodadas e o envio do relatório final.

4 Considerações Finais

A possibilidade de discutir um fenômeno social complexo junto a um conjunto de especialistas proporciona a troca de informações relevantes a partir de diferentes abordagens, o que amplia a visão do fenômeno investigado, além de contribuir para elaboração de proposições associadas a um tópico específico e com pouco contexto histórico. Assim, o objetivo deste artigo foi discutir como o método Policy Delphi pode ser utilizado para o desenvolvimento de um framework sobre os papéis de governo, empresas e sociedade civil para promoção do consumo sustentável no contexto brasileiro.

O estudo realizado demonstrou que o Policy Delphi é adequado para práticas de pesquisa que se propõem a realizar o planejamento prospectivo de questões pouco exploradas ou para estimular a criação de novas ideias. Isso porque o método avança na sua proposição inicial de buscar o consenso entre especialistas, ao explorar também as possíveis divergências identificadas entre os painelistas. Nesse sentido, a vantagem do uso desse método envolve aspectos relacionados ao número de opções apresentadas e a qualidade das ideias produzidas pelos especialistas, como pode ser observado no estudo realizado com especialistas sobre os papeis de promoção do consumo sustentável no contexto brasileiro.

Entretanto, a falta considerável de padronização nas definições, uso e relato desse método pode dificultar sua eficácia. Os principais pontos que devem ser considerados por pesquisadores que fizerem a escolha metodológica de adotar o Policy Delphi inclui: os critérios utilizados para a definição e escolha dos especialistas que participaram do painel; a elaboração do primeiro questionário a partir de uma ampla revisão teórica do tema que direcione a coleta de dados de forma estruturada e a garantia de que seja incluído um componente qualitativo para permitir comentários de especialistas relacionados a ideias atuais sobre o tema.

Por fim, ressalta-se a adequabilidade do Policy Delphi como um método propício à análise de fenômenos complexos e com pouco contexto histórico. Desse modo, buscou-se neste artigo apresentar de forma detalhada os procedimentos adotados na aplicação do método para proporcionar insights que poderão ser aperfeiçoados por pesquisadores em estudos futuros.

Referências

CARDOSO, Luiz Reynaldo de Azevedo et al. Prospecção de futuro e Método Delphi: uma aplicação para a cadeia produtiva da construção habitacional. Ambiente Construído, Porto Alegre, v. 5, n. 3, p. 63-78, 2005.

COSTA, Daniela Viegas da; TEODÓSIO, Armindo dos Santos de Sousa. Desenvolvimento Sustentável, Consumo e Cidadania: um estudo sobre a (des) articulação da comunicação de Organizações da Sociedade Civil, Estado e Empresas. RAM. Revista de Administração Mackenzie, v. 12, n. 3, 2011.

DUNN, William N. Public policy analysis. Routledge, 2015.

EASTERBY-SMITH, Mark; THORPE, Richard; LOWE, Andy. Pesquisa gerencial em administração: um guia para monografias, dissertações, pesquisas internas e trabalhos em consultoria. Pioneira, 1999.

FRANKLIN, Kathy K.; HART, Jan K. Idea generation and exploration: Benefits and limitations of the policy Delphi research method. Innovative Higher Education, v. 31, n. 4, p. 237-246, 2007.

GEWANDSZNAJDER, Fernando. O que é o método científico. Pioneira, 1989.

HAIR JR, Joseph F.; BABIN, Barry; MONEY, Arthur H.; SAMOUEL, Phillip. Fundamentos de Métodos de Pesquisa em Administração. Tradução Lene Belon Ribeiro. Porto Alegre: Bookman, 2005.

HUMPHREY-MURTO, Susan et al. Using consensus group methods such as Delphi and Nominal Group in medical education research. Medical teacher, v. 39, n. 1, p. 14-19, 2017.

JACKSON, Tim. Sustainable consumption. Handbook of sustainable development. Edited by Giles Atkinson, Simon Dietz, Eric Neumayer, 2006.

KAYO, Eduardo K.; SECURATO, José Roberto. Método Delphi: Fundamentos, Críticas e vieses. Caderno de Pesquisas em Administração. São Paulo, 1997.

KLENK, Nicole L.; HICKEY, Gordon M. A virtual and anonymous, deliberative and analytic participation process for planning and evaluation: The Concept Mapping Policy Delphi. International Journal of Forecasting, v. 27, n. 1, p. 152-165, 2011.

LEÃO, André Luiz Maranhão de Souza; MELLO, Sérgio Carvalho Benício; VIEIRA, Ricardo Sérgio Gomes. O papel da teoria no método de pesquisa em Administração. Revista Organizações em Contexto, v. 5, n. 10, p. 1-16, 2009.

LINSTONE, Harold A. et al. (Ed.). The Delphi method: Techniques and applications. Reading, MA: Addison-Wesley, 1975.

MICHAELIS, Laurie. The role of business in sustainable consumption. Journal of Cleaner Production, v. 11, n. 8, p. 915-921, 2003.

PARASKEVAS, Alexandros; SAUNDERS, Mark NK. Beyond consensus: an alternative use of Delphi enquiry in hospitality research. International Journal of Contemporary Hospitality Management, v. 24, n. 6, p. 907-924, 2012.

PORTILHO, Fátima. Sustentabilidade ambiental, consumo e cidadania. Cortez, 2005. Scarparo, SCARPARO, A. F. et al. Reflexões sobre o uso da Técnica Delphi em Pesquisas de Enfermagem. Rev Rene [Internet], 2012.

RAYENS, Mary Kay; HAHN, Ellen J. Building consensus using the Policy Delphi Method. Policy, Politics, & Nursing Practice, 2000, v. 1, n. 4, p. 308-315.

SILVA, Anielson Barbosa da; NETO, João Roman. Perspectiva multiparadigmática nos estudos organizacionais. Pesquisa qualitativa em estudos organizacionais: paradigmas, estratégias e métodos. São Paulo: Saraiva, p. 53-87, 2010.

THOGERSEN, John. Country differences in sustainable consumption: The case of organic food. Journal of Macromarketing, v. 30, n. 2, p. 171-185, 2010.

THOGERSEN, John; SCHRADER, Ulf. From knowledge to action—new paths towards sustainable consumption. Journal of Consumer Policy, v. 35, n. 1, p. 1-5, 2012.

TUROFF, Murray. The design of a policy Delphi. Technological forecasting and social change, v. 2, n. 2, p. 149-171, 1970.

WHEELLER, Brian; HART, Trevor; WHYSALL, Paul. Application of the Delphi technique: A reply to Green, Hunter and Moore. Tourism Management, v. 11, n. 2, p. 121-122, 1990.

WRIGHT, J. T. J.; GIOVINAZZO, R. A. Delphi – Uma ferramenta de apoio ao planejamento prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 01, nº 12, 2º trim. /2000.

YAU, Yung; CHIU, Shuk Man. Combating building illegality in Hong Kong: A policy Delphi study. Habitat International, v. 49, p. 349-356, 2015.