Condução do Estudo


Rodadas de Estudo Delphi

O nosso objetivo na condução do Estudo Delphi é dividido em três partes: em primeiro lugar, identificar as questões chave e desafios futuros da modelagem de processos, tal como percebido pelos diferentes painéis. Em segundo lugar, estabelecer consenso sobre as questões e desafios. Terceiro, obter e comparar os rankings das questões e desafios, com base em suas importâncias relativas percebidas. De acordo com os nossos três objetivos, o nosso estudo foi realizado em três rodadas, combinando as recomendações para que se tenha um estudo Delphi relativamente completo [16].

Na primeira rodada, cada participante foi convidado a listar cinco questões atuais e cinco desafios futuros da modelagem de processos, juntamente com uma breve descrição de cada questão/desafio. Em geral, recebemos 70 (participantes) x 2 (questões/desafios) x 5 (itens) = 700 itens de respostas individuais. Para superar os desafios relacionados com o número de itens de resposta, diferenças de terminologia, conotação do termo e estilos de escrita, nós codificamos cada item de resposta em categorias de nível superior. Por exemplo, recebemos dois itens de resposta separados sobre questão "Inexistência de padrão universal, e / desconhecimento sobre qual padrão utilizar, por exemplo, UML, BPMN, XPDL, etc." e "Falta de uma linguagem de modelagem padrão". Ambos os itens podem ser codificados para uma questão de mais alta hierarquia "padronização de notações, ferramentas e metodologias de modelagem".

Ao assegurar confiabilidade e validade desta codificação, o exercício foi realizado em várias rodadas. Em primeiro lugar, três pesquisadores codificaram de forma independente cada um dos 700 itens de resposta em um nível de categoria mais elevado. Em uma segunda fase, dois pesquisadores foram expostos de forma independente às três codificações da 1ª rodada de codificação, e criaram, individualmente, os esboços de codificação revisadas da 2ª rodada. Em uma terceira rodada, o quarto membro do grupo de pesquisadores consolidou as codificações revisadas e resolveu eventuais conflitos de classificação. Acreditamos que através desta abordagem em várias fases, nós asseguramos a confiabilidade e validade do exercício de codificação.

A segunda rodada do estudo foi desenhada para obter consenso entre os participantes sobre as questões e desafios codificados, bem como sobre as definições de novas categorias de mais alta hierarquia. A comunicação para esta rodada consistiu em um e-mail personalizado a cada participante contendo as suas respostas iniciais, as classificações acordadas por item de resposta, e uma descrição das classificações. Os participantes foram convidados a indicar o seu nível de satisfação com a classificação das suas respostas e as definições dessas classificações, e a fornecer informações adicionais ou sugestões, caso não estivessem satisfeitos com a classificação. Recebemos muitas respostas positivas sobre a nossa codificação (por exemplo, "A sua categorização está quase no ponto."), bem como um pequeno número de sugestões de melhoria de codificação e/ou definição (por exemplo, "Suporte da ferramenta é dúbio. Acho que algo como complexidade da ferramenta seria mais adequado.").

Foi reconhecido que, algumas vezes, o consenso entre os participantes não é possível [12]. Além disso, existe falta de referência na literatura quanto às possíveis métricas para se determinar um consenso. Um recente estudo Delphi [17] utilizou um índice de satisfação de 7,5 (em 10). Em nosso estudo, pedimos aos participantes para classificar a sua satisfação em uma escala de 1 a 10 (10 sendo a mais alta) e assumimos um consenso em nível de satisfação média de 8 e um desvio padrão inferior a 2,0. Conforme mostrado na Tabela 2, a pontuação da satisfação média variou desde 8,338 (Questões, Acadêmicos) até 9,000 (Questões, Vendedores), com desvio padrão variando desde 1,853 (Questões, Acadêmicos) até 1,143 (Questões, Profissionais).

Tabela 2 - Índice de satisfação para as codificações de respostas



Embora o nosso plano de estudos inicial permitisse várias rodadas para se chegar a um consenso durante a 2ª etapa do estudo, os resultados obtidos indicam que a nossa abordagem de múltiplas codificações para a classificação dos dados resultou no alcance dos níveis de consenso exigidos na primeira iteração da segunda rodada, permitindo-nos parar o processo de construção de consenso nesse momento. Ao final da segunda rodada, e depois de fazermos as mudanças necessárias nas categorias e / ou definições, onde apropriado, todos os itens de resposta foram classificados em ordem decrescente de "freqüência de ocorrência", com itens como o valor da modelagem de processos (15 vezes), treinamento (13 vezes), padronização (11 vezes) e execução de processos a partir de modelos (9 vezes) sendo os mencionados mais freqüentemente.

Reconhecemos que a freqüência de ocorrência não é uma medida exata da criticidade, importância ou prioridade. Assim, na terceira rodada do estudo Delphi, os especialistas foram convidados a atribuir aos itens de resposta um peso que refletisse a importância relativa de um item específico para cada um. Nessa rodada, a coleta de dados foi realizada através de um website do estudo, com log-ins separados para os diferentes painéis de especialistas. Foi dada aos participantes uma lista de questões freqüentemente mencionadas e uma lista separada de desafios freqüentemente mencionados (definimos “freqüentemente mencionados" cada item mencionado mais de uma vez nas duas primeiras rodadas), juntamente com suas definições. No geral, os profissionais receberam uma lista de 14 questões e 13 desafios, enquanto os acadêmicos receberam listas de 21 e 16 itens e os vendedores receberam listas com 13 e 10 itens. A cada participante foram dados 100 pontos ao todo para atribuir a quaisquer questões da modelagem de processos, e 100 pontos para atribuir a quaisquer dos desafios da modelagem de processos. Os participantes tinham a liberdade de atribuir os 100 pontos em qualquer distribuição, com a única condição de que exatamente 100 pontos fossem atribuídos em cada uma das listas. Esta condição foi assegurada com os scripts implementados no website do estudo.

Os dados coletados foram então analisados, e as ponderações médias de cada questão e desafio foram calculados. A partir destes cálculos, fomos capazes de gerar listas de 10 prioridades (Top 10), com base nas ponderações médias, para as questões e desafios da modelagem de processos para cada um dos três grupos do estudo Delphi. Os resultados estão listados no Apêndice.

Classificação de Resultados

Para melhor compreender a natureza e implicações das questões e desafios, nós estávamos interessados em identificar a área de capacitação-chave à qual se aplica uma dada questão ou desafio. Por exemplo, um desafio "suporte da ferramenta" claramente se refere à disponibilidade (ou falta de) de soluções de TI apropriadas para se apoiar o ato de modelar, enquanto um desafio "governança" diz respeito ao estabelecimento de papéis, deveres e responsabilidades organizacionais apropriados para a modelagem de processos.

A fim de identificar a qual área de capacitação as questões e desafios se referem, adotamos um modelo bem-estabelecido e empiricamente testado de áreas de capacitação necessárias a estabelecer e progredir a Gestão de Processos de Negócio (BPM - Business Process Management) em uma organização [por exemplo, 17, 18]. Este modelo informa seis diferentes áreas de capacitação, a saber; alinhamento estratégico, governança, método, TI, pessoas e cultura, que são necessários ao estabelecimento, progresso e maturidade de BPM nas organizações. Sendo a modelagem de processos um componente essencial do BPM, nós trouxemos a definição das áreas de capacitação para seu contexto específico, como segue (modificações de escopo destacadas em itálico):

• Alinhamento Estratégico é a ligação íntima e contínua da modelagem de processos às prioridades e processos organizacionais, permitindo o alcance dos objetivos do negócio.

• Governança estabelece responsabilidades transparentes e relevantes e processos de tomada de decisão para alinhar recompensas e orientar ações em modelagem de processos.

• Métodos são abordagens e técnicas que apóiam e permitem ações e resultados consistentes em modelagem de processos.

• Tecnologia da Informação são os sistemas de software, hardware e gestão da informação que permitem e apóiam as atividades de modelagem de processos.

• Pessoas são os indivíduos e grupos que continuamente aumentam e aplicam seus conhecimentos relacionados à modelagem de processos.

• Cultura é o conjunto de valores e crenças que moldam as atitudes e comportamentos relacionados à modelagem de processos.

Este modelo nos permitiu mapear cada uma das dez principais questões e desafios para uma das seis áreas de capacitação e ainda, fornecer uma representação clara de quais aspectos da modelagem de processos são considerados pelos respectivos grupos participantes. De forma similar ao exercício de codificação relatado acima, o mapeamento das listas Top 10 de questões e desafios para as áreas de capacitação utilizou uma abordagem de multi-codificação, a fim de reduzir o viés na classificação. Três membros do grupo de pesquisa classificaram, separadamente, as listas de questões e desafios para cada um dos três grupos de estudo. As classificações foram consolidadas e estatísticas foram calculadas. Nós calculamos uma concordância entre avaliações utilizando Cohen’s Kappa [19] e alcançamos Kappas médios de 0,809 para questões e 0,872 para desafios, indicando excelente concordância entre avaliações [20].