A importância da análise de energia na concepção de estudos psicológicos confiáveis

Compreendendo a Análise de Poder: Uma Fundação para Pesquisa Psicológica Rigorosa

No campo da psicologia, a realização de estudos confiáveis e válidos é essencial para o avanço do conhecimento e da prática informativa, sendo imprescindível a realização de testes de hipótese com poder estatístico adequado, que permitam aos pesquisadores determinar o tamanho adequado da amostra para detectar o efeito que existe, garantindo que os achados do estudo sejam confiáveis e contribuam para a credibilidade da ciência psicológica.

A importância da análise do poder tem se tornado cada vez mais evidente nos últimos anos, particularmente à luz da crise de replicação que afetou a psicologia e outras ciências comportamentais.A prevalência da análise do poder em diferentes domínios da psicologia tem aumentado ao longo do tempo (de 9,5% para 30%), permanece insuficiente em geral.Esta crescente consciência reflete um movimento mais amplo em direção a práticas de pesquisa mais rigorosas e transparentes que podem produzir achados capazes de suportar tentativas de escrutínio e replicação.

Compreender e implementar adequadamente a análise de poder não é apenas uma formalidade estatística, representa um compromisso fundamental com a integridade científica.Quando os pesquisadores não realizam análises de poder adequadas, eles arriscam desperdiçar recursos valiosos, tirar conclusões incorretas e contribuir para uma literatura repleta de achados não confiáveis.Este guia abrangente explora o papel essencial da análise de poder na concepção de estudos psicológicos, proporcionando aos pesquisadores os conhecimentos e ferramentas necessários para planejar estudos que sejam cientificamente sólidos e eticamente responsáveis.

O que é a Análise de Energia?

A análise de potência é um método estatístico utilizado para estimar o tamanho mínimo da amostra necessário para um estudo. No seu núcleo, o poder estatístico refere-se à probabilidade de que um teste de hipótese detectará corretamente um efeito quando existe realmente na população. O poder estatístico é a probabilidade de que um teste de hipótese deva inferir corretamente que existe um efeito amostral na população.

O conceito de poder está intimamente ligado aos tipos de erros que podem ocorrer no teste de hipóteses estatísticas. Ao conduzir a pesquisa, existem dois tipos primários de erros a considerar: erros tipo I (falsos positivos) e erros tipo II (falsos negativos). No coração do viés de publicação e da crise de reprodutibilidade está a ocorrência de erros tipo I (falsos positivos) e erros tipo II (falsos negativos). Utilizamos métodos estatísticos na ciência, na tentativa de evitar fazer afirmações de que, na realidade, pode ser um erro tipo I ou tipo II.

O poder estatístico é matematicamente definido como 1 menos beta (β), onde o beta representa a probabilidade de cometer um erro Tipo II. Beta está diretamente relacionado com o poder de estudo (Power = 1 - β). Convencionalmente, os pesquisadores visam um nível de potência de 0,80 ou 80%, o que significa que existe uma probabilidade de 80% de detectar um efeito verdadeiro e apenas 20% de chance de perdê-lo. Um poder de 0,8 (ou 80%) é tipicamente considerado adequado, indicando que há uma chance de 20% de ignorar um efeito real.

A realização de uma análise de poder antes da coleta de dados ajuda a prevenir estudos pouco potentes que possam não detectar efeitos significativos ou estudos superpotentes que desperdicem recursos.O processo envolve considerar cuidadosamente vários fatores interligados que determinam coletivamente se um estudo terá sensibilidade suficiente para detectar efeitos de interesse.

Componentes-chave da análise de energia

O cálculo do tamanho da amostra e a análise do poder são determinados pelos seguintes factores: tamanho do efeito, potência (1-β), nível de significância (α) e tipo de análise estatística. Compreender cada um destes componentes é essencial para a realização de análises significativas do poder:

Tamanho do Efeito: Isto representa a magnitude da diferença ou relação que você espera encontrar. Tamanhos do efeito quantificam o tamanho do impacto que sua variável independente tem sobre sua variável dependente. Medidas comuns incluem o d de Cohen para comparar médias, coeficientes de correlação para relacionamentos e odds ratios para desfechos categóricos.
Nível de significância (Alpha): O valor do erro tipo I é predeterminado pelos pesquisadores e geralmente definido em 0,05 ou 0,01. Se os autores definem erro tipo I como 0,05 e se o resultado é encontrado como nenhuma diferença, isso é 95% verdadeiro. Isto representa o limiar para a determinação da significância estatística e a probabilidade de cometer um erro tipo I.
Poder Estatístico (1-Beta): Erro Tipo II é definido como o poder do estudo. Ele é geralmente definido em 0.20, às vezes 0.10. Se for definido em 0.20, o poder do estudo é de 80%. Isto indica a probabilidade de detectar corretamente um efeito verdadeiro.
Tamanho da Amostra: O número de participantes ou observações necessárias para alcançar o poder desejado dado os outros parâmetros. Isto é tipicamente o que os pesquisadores resolvem para quando se realiza a análise de potência a priori.

A significância estatística de qualquer efeito depende coletivamente do tamanho do efeito, do tamanho da amostra e da variabilidade presente nos dados da amostra. Consequentemente, não é possível determinar um bom tamanho da amostra em vácuo, pois os três fatores estão interligados. Essa interconexão significa que as mudanças em um parâmetro necessariamente afetam os outros, exigindo que os pesquisadores pensem holísticamente sobre o desenho do estudo.

Por que a análise de energia é crítica para pesquisa psicológica

A importância da análise do poder vai muito além de simples considerações estatísticas, que aborda questões fundamentais de validade científica, alocação de recursos, a conduta ética de pesquisa e a credibilidade global da ciência psicológica. Entender por que a análise do poder ajuda os pesquisadores a apreciar seu papel no ecossistema de pesquisa mais amplo.

Garantir resultados válidos e confiáveis

O poder estatístico adequado é essencial para a produção de achados válidos de pesquisa, quando os estudos são pouco potentes, eles têm uma probabilidade reduzida de detectar efeitos verdadeiros, levando a um aumento do risco de erros do Tipo II onde os efeitos reais não são detectados. Um estudo com baixo poder tem uma alta probabilidade de cometer erros do Tipo II. Isso não só desperdiça tempo e esforço investidos na pesquisa, como também pode levar a conclusões incorretas sobre a ausência de efeitos.

As consequências do baixo poder estatístico se estendem além de estudos individuais, pois, na presença de viés de publicação, realizar sistematicamente estudos que não têm o poder de detectar tamanhos de efeito de interesse resulta em uma prevalência de achados falso-positivos na literatura.Quando estudos pouco desenvolvidos ocasionalmente produzem resultados significativos, esses achados são mais propensos a representar tamanhos de efeito inflado ou falsos positivos, em vez de estimativas precisas de efeitos verdadeiros.

Abordar a Crise de Replicação

A crise de replicação na psicologia tem destacado a importância crítica de um poder estatístico adequado. Um dos principais culpados pela dificuldade em replicar alguns resultados foi que os estudos originais eram frequentemente pouco potentes para começar.Quando os pesquisadores tentam replicar estudos subpotentes, eles muitas vezes não reproduzem os achados originais, não necessariamente porque o efeito original era falso, mas porque nenhum dos estudos tinha poder suficiente para detectar de forma confiável o efeito.

O problema da replicação é preocupante, pois o Open Collaboration Project tentou recentemente replicações de 100 estudos publicados em três grandes periódicos de psicologia em 2008. Noventa e sete por cento dos estudos originais relataram achados significativos, em comparação com apenas 36% dos estudos de replicação. Os tamanhos médios de efeito nas replicações também foram metade da magnitude dos encontrados nos estudos originais, ressaltando a necessidade urgente de estudos mais potentes em pesquisas psicológicas.

Em resposta a vários projetos de replicação em larga escala após a crise de replicação, as preocupações sobre as causas profundas desta crise – como práticas de pesquisa questionáveis (PQ) – têm crescido. Embora os esforços iniciais tenham abordado principalmente a inflação da taxa de erro tipo I de pesquisa devido a PQ, a atenção recente mudou para as consequências adversas do baixo poder estatístico. Esta mudança reflete um reconhecimento crescente de que melhorar o poder estatístico é essencial para aumentar a reprodutibilidade e credibilidade da pesquisa psicológica.

Otimizar a Alocação de Recursos

A análise de energia ajuda os pesquisadores a evitar coletar mais dados do que o necessário, economizando tempo, dinheiro e outros recursos valiosos. Nem você quer um estudo pouco potente que tenha uma baixa probabilidade de detectar um efeito importante. Seu objetivo é coletar uma amostra grande o suficiente para ter poder suficiente para detectar um efeito significativo, mas não muito grande para ser desperdiçado. Essa otimização é particularmente importante na psicologia, onde o recrutamento de participantes pode ser demorado e caro.

A realização de estudos com tamanhos amostrais adequados, determinados por meio de análise de energia, garante que os esforços de pesquisa sejam eficientes e produtivos. Estudos superalimentados de resíduos que poderiam ser alocados em outras questões de pesquisa, enquanto estudos subalimentados de resíduos de recursos por produzir resultados inconclusivos que não avançam no conhecimento.

Aumentar a credibilidade científica e a reprodutibilidade

Estudos bem-propulsionados são mais propensos a produzir resultados replicáveis, reforçando a credibilidade da ciência psicológica.Um dos principais benefícios da análise de poder ao planejar estudos é que os pesquisadores se tornam conscientes de suas chances de encontrar um efeito de interesse.Se essas chances forem insuficientes, eles devem considerar mudanças que possam aumentar a probabilidade de observar um efeito significativo.Essa consciência promove um desenho de estudo mais pensativo e ajuda os pesquisadores a tomar decisões informadas sobre se devem prosseguir com um estudo como planejado ou modificar sua abordagem.

Para interpretar corretamente os achados e adaptá-los ao diagnóstico ou tratamento dos pacientes, é muito importante realizar análises de poder em pesquisas científicas, pois, ao determinar o número de amostras a serem incluídas no estudo por meio de análise de poder, pode-se demonstrar que os resultados obtidos são realmente significativos ou não, o que é particularmente crucial na psicologia aplicada, onde os achados de pesquisa podem informar diretamente a prática clínica ou as decisões políticas.

Requisitos de Financiamento e de Jornal de Reunião

Cada vez mais, periódicos e agências de fomento exigem que pesquisadores justifiquem seus tamanhos de amostra por meio de análise de poder.O Journal of Personality and Social Psychology agora exige que autores abordem "consideração de poder justificável", enquanto outros periódicos como Personality and Social Psychology Bulletin, Social and Personality Psychology Science e Journal of Experimental Social Psychology têm solicitado aos autores que discutam a determinação do tamanho da amostra há alguns anos, o que reflete o crescente comprometimento do campo com o rigor metodológico e a transparência.

Pesquisadores que não realizam e relatam análises de poder podem encontrar seu trabalho rejeitado por periódicos ou suas aplicações de concessão não financiadas. Além de atenderem aos requisitos formais, entretanto, realizar análise de poder demonstra sofisticação metodológica e um compromisso em produzir pesquisas de alta qualidade e reprodutível que possam resistir ao escrutínio por pares.

Compreender os Tamanhos do Efeito na Análise de Energia

O tamanho do efeito é, sem dúvida, o componente mais desafiador da análise de poder, pois requer que os pesquisadores especifiquem a magnitude do efeito que esperam detectar antes de coletar qualquer dado. O tamanho do efeito é a diferença no parâmetro de interesse que representa uma diferença clinicamente significativa. Semelhante à margem de erro nas aplicações de intervalo de confiança, o tamanho do efeito é determinado com base em critérios clínicos ou práticos e não critérios estatísticos.

Medidas comuns de tamanho do efeito

Os diferentes tipos de perguntas de pesquisa e análises estatísticas requerem medidas de tamanho de efeito diferentes. Compreender qual medida de tamanho de efeito usar é essencial para uma análise de poder precisa:

Cohen's d:] Usado para comparar médias entre os grupos.D de Cohen: comparação entre duas médias, d = m1 – m2 / pooled SD. Small d=0,2; Médio d=0,5; Grande d=0,8.Esta medida padronizada expressa a diferença entre os grupos em termos de unidades de desvio padrão.
Coeficientes de Correlação: Usado para examinar relações entre variáveis contínuas. Os valores variam de -1 a +1, com benchmarks convencionais de 0,1 (pequeno), 0,3 (médio) e 0,5 (grande) para a força das relações.
Razões de Odds e Razões de Risco: Usado em estudos com desfechos categóricos, particularmente em pesquisas de psicologia clínica e de saúde.
Eta Parcial Squared e Omega Squared: Usado em projetos de análise de variância (ANOVA) para quantificar a proporção de variância explicada por fatores.

Determinação dos Tamanhos Apropriados do Efeito

Um dos aspectos mais desafiadores da análise de poder é determinar qual o tamanho do efeito a usar em cálculos. Os pesquisadores às vezes mostram confusão ou discordância sobre o tamanho do efeito inicial necessário para tomar decisões a priori análise de poder. Várias abordagens podem ajudar os pesquisadores a tomar decisões informadas sobre tamanhos de efeito:

Usando Pesquisa Anterior e Meta-Análise: Poder depende crucialmente do tamanho do efeito populacional, que é tipicamente desconhecido. Ao realizar análise de poder, um pesquisador deve sempre usar a melhor suposição disponível do tamanho do efeito populacional. Se a pesquisa anterior estiver disponível, especialmente as meta-análises, pode-se estimar o tamanho do efeito populacional usando índices de tamanho de efeito baseados em amostra. Meta-análises fornecem informações particularmente valiosas, pois agregam resultados em vários estudos, oferecendo estimativas mais estáveis de tamanhos de efeito do que estudos individuais.

Considerando Significado Prático: Para novas questões de pesquisa, defendemos que os pesquisadores baseiam tamanhos amostrais em efeitos que são susceptíveis de ser custo-efetivo para outras pessoas implementar (em configurações aplicadas) ou estudar (em configurações básicas de pesquisa), dadas as limitações de mínimos baseados em interesse ou tamanhos de efeito em todo o campo. Esta abordagem foca no menor tamanho de efeito que seria significativo de um ponto de vista prático ou teórico, em vez de simplesmente detectar qualquer efeito estatisticamente significativo.

Contagem para o tamanho do efeito Bias: Estimativas de amostra diferentes do tamanho do efeito estão frequentemente disponíveis para a mesma quantidade populacional, cada índice com diferentes graus de viés. Muitas estimativas de amostra de tamanho do efeito são tendenciosas: usando esses índices, em comparação com estimativas imparcial, tende a afetar a análise de poder para sugerir amostras menores ou maior poder. É evidente que se deve tentar introduzir o índice menos imparcial disponível. Os pesquisadores devem estar cientes de que tamanhos de efeito publicados, particularmente de pequenos estudos, podem superestimar os efeitos da população real.

Tamanhos Realistas do Efeito em Psicologia

Dado que o tamanho de efeito d = 0,4 é uma boa primeira estimativa do menor tamanho de efeito de interesse em pesquisas psicológicas, já precisamos de mais de 50 participantes para uma comparação simples de duas condições internas dos participantes se quisermos realizar um estudo com 80% de poder, o que é mais do que a prática atual. Além disso, assim que uma variável entre grupos ou uma interação está envolvida, são necessários números de 100, 200 e ainda mais participantes, muitas vezes excedem o que os pesquisadores tradicionalmente consideram adequado, destacando o desfasamento entre a prática atual e a pesquisa metodologicamente sólida.

A realidade é que muitos efeitos psicológicos são menores do que os pesquisadores podem esperar ou esperar. Confiar em benchmarks convencionais de "pequeno", "médio" e "grande" tamanho do efeito sem considerar o contexto específico de pesquisa pode levar a estudos pouco desenvolvidos. Os pesquisadores devem considerar cuidadosamente quais tamanhos de efeito são realistas e significativos em sua área particular de investigação.

Como conduzir a análise de energia: um guia passo a passo

A realização de uma análise de poder requer um planejamento cuidadoso e consideração de múltiplos fatores, sendo o processo de estimação amostral o estabelecimento de metas e hipóteses de pesquisa, a escolha de testes estatísticos adequados, a escolha de um dos cinco métodos possíveis de análise de poder, a inserção das variáveis necessárias para análise e a seleção do botão "calcular" e a realização de uma análise de poder para a pesquisa psicológica.

Passo 1: Formular hipóteses claras

Uma hipótese é uma afirmação testável do que os pesquisadores predizem será o resultado de um ensaio. Existem dois tipos básicos de hipóteses: a hipótese nula e a hipótese alternativa. H0: A hipótese nula é uma afirmação de que não há diferença entre os grupos em termos de média ou proporção. É evidente que articular suas hipóteses nulas e alternativas é a base da análise de poder, uma vez que essas hipóteses determinam qual teste estatístico você irá usar e quais parâmetros você precisa especificar.

Passo 2: Selecione o teste estatístico apropriado

O teste estatístico que você planeja usar determina a abordagem específica de análise de poder que você precisa. Testes estatísticos comuns em psicologia incluem testes t para comparar médias, ANOVA para comparar múltiplos grupos, análises de correlação e regressão para examinar relações, e testes qui-quadrado para dados categóricos. Cada teste tem seus próprios requisitos de análise de poder e fórmulas.

A determinação do tamanho da amostra envolve trabalho em equipe; os bioestatísticos devem trabalhar em estreita colaboração com investigadores clínicos para determinar o tamanho da amostra que irá abordar a questão de interesse com precisão ou poder adequado para produzir resultados clinicamente significativos. Não hesite em consultar com estatísticos ou metodologistas ao planejar sua análise de poder, especialmente para projetos de estudo complexos.

Passo 3: Especifique seus parâmetros

Uma vez que você tenha identificado suas hipóteses e teste estatístico, você precisa especificar os parâmetros para sua análise de poder:

Nível de Significação (Alpha): Normalmente definido em 0,05 para testes bicaudal, embora alguns contextos de pesquisa possam justificar diferentes níveis
Poder desejado: Convencionalmente fixado em 0,80 (80%), embora potência superior (por exemplo, 0,90) pode ser apropriado para questões de investigação particularmente importantes
Tamanho esperado do efeito: Baseado em pesquisas anteriores, dados piloto, meta-análises ou considerações teóricas sobre o menor efeito significativo
Características do Design do Estudo: Incluindo se as comparações são entre indivíduos ou indivíduos internos, o número de grupos ou condições, e quaisquer variáveis de covariáveis ou de bloqueio

Passo 4: Use Software ou Ferramentas Apropriados

Os pesquisadores podem realizar análises de energia usando vários pacotes de software estatísticos e ferramentas online. G-Power, R e Piface se destacam entre os softwares listados em termos de uso livre. G-Power é uma ferramenta de uso livre que é usada para calcular o poder estatístico para muitos testes t diferentes, testes F, testes χ2, testes z e alguns testes exatos. Essas ferramentas tornam a análise de energia acessível aos pesquisadores sem exigir conhecimento de programação extensivo.

O software G*Power suporta o tamanho da amostra e o cálculo do poder para vários métodos estatísticos (F, t, χ2, z e testes exatos). Este software é útil para os pesquisadores estimarem o tamanho da amostra e realizarem análises de poder. G*Power é particularmente popular na psicologia porque é gratuito, fácil de usar e cobre os testes estatísticos mais comuns usados na pesquisa psicológica. Você pode baixar G*Power de Heinrich Heine University Düsseldorf.

Outras opções incluem:

R: R é uma linguagem de programação de código aberto que pode ser adaptada para atender às necessidades estatísticas individuais, adicionando módulos de programa específicos chamados pacotes em um programa de base específico. Pacotes como pwr, pwrss e simr fornecem capacidades de análise de energia extensas.
SPSS: Software estatístico comercial com funções de análise de potência incorporadas para testes comuns
SAS: Oferece PROC PODER para cálculos de potência e tamanho de amostra abrangentes
Calculadoras on-line: Vários sites oferecem calculadoras de potência livre para testes estatísticos específicos, embora estes podem ser menos flexíveis do que o software dedicado

Etapa 5: Interpretação e Resultados do Documento

O Comitê Internacional de Editores de Revistas Médicas recomenda que os autores descrevam métodos estatísticos com detalhes suficientes para permitir que um leitor conhecedor com acesso aos dados originais verifique os resultados relatados, e que o mesmo princípio seja seguido para a descrição do cálculo do tamanho da amostra ou análise de potência, sendo assim, os seguintes fatores devem ser descritos no cálculo do tamanho ou poder da amostra.

Ao relatar sua análise de energia, inclua:

O teste estatístico que pretende utilizar
A dimensão esperada do efeito e a sua justificação
O nível de significância (alfa)
O nível de potência desejado
O tamanho da amostra calculada é necessário
Quaisquer pressupostos apresentados nos cálculos
O software ou método utilizado para cálculos

Considerações Especiais na Análise de Energia

Embora os princípios básicos da análise de poder se apliquem em contextos de pesquisa, várias considerações especiais podem afetar a forma como os pesquisadores abordam cálculos de poder em estudos psicológicos.

Tamanho do efeito e relações de tamanho da amostra

A relação entre tamanho de efeito e tamanho da amostra necessária não é linear. Efeitos menores requerem amostras desproporcionalmente maiores para detectar de forma confiável. Observe que há muito mais poder quando há uma diferença maior entre a média em H0 em comparação com H1. Um teste estatístico é muito mais provável de rejeitar a hipótese nula em favor da alternativa se a verdadeira média for 98 do que se a verdadeira média for 94. Isso significa que estudos que investigam fenômenos psicológicos sutis podem exigir amostras substancialmente maiores do que os pesquisadores inicialmente antecipam.

Desenhos complexos de estudos

Experiências fatoriais, modelos multinível e outros desenhos complexos requerem abordagens de análise de potência diferentes das comparações simples de dois grupos. Dado um determinado valor de contraste, o tamanho de efeito esperado correspondente pode mudar drasticamente dependendo do desenho que se está a planear analisar. Estas propriedades da análise de contraste tornam mais fácil usar o software de análise de poder, quando um tamanho de efeito é correctamente previsto, porque os comandos de software e a interpretação dos resultados serão sempre os mesmos dado um determinado tamanho de efeito. Contudo, adaptar o tamanho de efeito correcto de um valor de contraste ao desenho de pesquisa planeado pode ser um desafio. Este problema é particularmente importante quando os resultados de um desenho são usados para calcular os parâmetros de potência de diferentes e maiores desenhos.

Para projetos complexos, os pesquisadores podem precisar realizar análises de potência separadas para diferentes efeitos de interesse (efeitos principais, interações, efeitos simples) e basear seu tamanho de amostra no efeito que requer a maior amostra. Alternativamente, abordagens baseadas em simulação podem fornecer estimativas de potência mais precisas para modelos complexos.

Restrições práticas e viabilidade

Limitações orçamentárias, disponibilidade dos participantes e restrições de tempo podem influenciar tamanhos de amostra viáveis. Quando a análise de poder indica que uma amostra muito grande é necessária, mas restrições práticas tornam isso impossível, os pesquisadores enfrentam decisões difíceis. As opções incluem:

Modificando a questão de pesquisa para focar em efeitos maiores e mais detectáveis
Usando instrumentos de medição mais sensíveis para reduzir a variabilidade
Empregar projetos dentro de sujeitos quando apropriado, uma vez que estes normalmente requerem amostras menores
Colaboração com outros investigadores ou instituições para reunir recursos
Reconhecer as limitações e interpretar os resultados com cautela

Analisamos controvérsias atuais nesta área, incluindo a escolha de tamanhos de efeito, por que e se as análises de poder devem ser realizadas em dados já coletados, como mitigar os efeitos negativos dos critérios de tamanho amostral em tipos específicos de pesquisa e que critério de poder usar, considerações essas particularmente importantes para pesquisadores que trabalham com populações de difícil acesso ou que estudam fenômenos raros.

Análise de Potência Priori vs. Pós-Hoc

A presente revisão mostra que a maioria das análises de poder relatadas foi a priori e não post hoc, o que é positivo, uma vez que as análises de poder post hoc são problemáticas.Quando os pesquisadores calculam o poder estatístico usando o tamanho da amostra e o tamanho do efeito obtido, esse 'poder observado' é isomórfico ao valor de p observado, e, como tal, não acrescenta novas informações.

A análise de poder a priori, realizada antes da coleta de dados, é o uso adequado da análise de poder para estudos de planejamento. A análise de poder post hoc, calculada após a coleta de dados utilizando tamanhos de efeito observados, geralmente é desencorajada, pois não fornece informações adicionais além do que o valor p já nos diz. É absolutamente inútil calcular o poder pós-hoc para um teste que resultou em um efeito estatisticamente significativo sendo encontrado. Se o efeito é significativo, então o teste teve poder suficiente para detectá-lo. Na verdade, existe uma relação inversa entre poder observado e significância estatística, portanto, não se ganha nada do cálculo do poder pós-hoc.

Comparações Múltiplas e Erro de Sentido Familiar

Quando os estudos envolvem múltiplos testes estatísticos ou comparações, os pesquisadores devem explicar o risco aumentado de erros de Tipo I. Isto normalmente requer ajuste do nível de significância (por exemplo, usando a correção de Bonferroni) ou usando abordagens alternativas para controlar a taxa de erro familiar. Esses ajustes afetam os cálculos de potência, geralmente exigindo tamanhos de amostra maiores para manter o poder adequado em todas as comparações.

As propostas de subvenção incluem várias hipóteses dependendo do número de objetivos. Os cálculos para o tamanho da amostra ou poder são baseados na hipótese primária. Você pode incluir um cálculo do tamanho da amostra ou análise de poder para hipóteses secundárias. Os pesquisadores devem identificar claramente sua hipótese primária e basear sua análise de poder principal sobre isso, embora reconheça que análises secundárias podem ser exploratórias ou subpotentes.

Alternativas e Complementos à Análise Tradicional de Energia

Embora a análise tradicional de potência continue sendo a abordagem padrão para a determinação do tamanho da amostra, os pesquisadores devem estar cientes de métodos alternativos e complementares que possam ser apropriados em determinados contextos.

Análise de Precisão

Discutimos duas alternativas para análise de poder, análise de precisão e análise sequencial, e terminamos com recomendações para melhorar as práticas de pesquisadores, revisores e editores de periódicos em psicologia da social-personalidade.A análise de precisão foca na largura dos intervalos de confiança e não na probabilidade de detectar efeitos.Essa abordagem é particularmente útil quando o objetivo é estimar com precisão os tamanhos de efeito, em vez de simplesmente detectar se os efeitos existem.

A análise de precisão pergunta: "Como podemos estimar exatamente nosso parâmetro de interesse?" em vez de "Podemos detectar um efeito?" Essa mudança de foco pode ser valiosa para pesquisas que visam construir conhecimento cumulativo sobre tamanhos de efeito em vez de simplesmente testar se os efeitos são não-zero.

Análise Sequencial

A análise sequencial envolve a coleta de dados em etapas e a realização de análises interinas para determinar se deve continuar a coleta de dados, sendo mais eficiente do que os desenhos de amostras fixas, principalmente quando os efeitos são maiores do que o esperado. Entretanto, os desenhos sequenciais requerem planejamento cuidadoso para controlar as taxas de erro tipo I e devem ser pré-registrados para evitar práticas de pesquisa questionáveis.

Análise de energia baseada em simulação

Para modelos estatísticos complexos onde os cálculos analíticos de potência são difíceis ou impossíveis, as abordagens baseadas em simulação oferecem uma alternativa flexível. Estes métodos envolvem gerar muitos conjuntos de dados simulados com propriedades conhecidas e analisá-los usando a abordagem estatística planejada para estimar o poder empiricamente. Embora a análise computacional de potência baseada em simulação possa lidar com praticamente qualquer projeto de estudo e modelo estatístico.

Pistas comuns e como evitá - las

Mesmo pesquisadores bem intencionados podem cometer erros ao realizar análises de poder. Estar ciente de armadilhas comuns pode ajudá-lo a evitá-los em sua própria pesquisa.

Sobreconfiança em Benchmarks Convencionais

Usando os benchmarks de tamanho de efeito convencionais de Cohen (pequeno = 0,2, médio = 0,5, grande = 0,8) sem considerar o contexto específico da pesquisa pode levar a estudos mal planejados. Esses benchmarks foram destinados como diretrizes gerais, não padrões universais. Os pesquisadores devem basear estimativas de tamanho de efeito em pesquisas anteriores em sua área específica, considerações teóricas ou limiares de significância prática, em vez de cegamente aplicar benchmarks convencionais.

Tratando a Análise de Poder como um requisito burocrático

Os esforços de reforma devem evitar a mera demanda por análises de poder, e antes incentivar a reflexão através de aplicações dela. Caso contrário, existe a possibilidade de que a análise estatística de poder se torne apenas mais um obstáculo burocrático, uma caixa a ser marcada se alguém quiser publicar; parte de uma nova economia moral do que "boa ciência" deve parecer, não o que deve ser. As consequências serão taxas falsas positivas mais altas, menos ou sustentadas baixa replicabilidade, desperdício de recursos em curso e a continuação indefinida do estado de crise da psicologia.

A análise de poder deve ser um exercício de reflexão que realmente informa o desenho do estudo, não apenas uma formalidade para satisfazer os revisores. Os pesquisadores devem se envolver seriamente com as suposições subjacentes aos seus cálculos de poder e estar preparados para justificar suas escolhas.

Ignorando Considerações Específicas de Design

Diferentes projetos de estudo têm características de potência diferentes. Os projetos de indivíduos internos normalmente requerem amostras menores do que os projetos entre sujeitos para o mesmo tamanho de efeito. Os projetos com covariáveis podem ter maior poder se as covariáveis explicarem variância substancial no resultado. Falhar em explicar essas características específicas de projeto pode levar a estimativas de potência imprecisas.

Negligenciando o Atrição e os Dados Desaparecidos

As análises de potência geralmente assumem dados completos de todos os participantes. Na realidade, estudos longitudinais experimentam atrito e estudos transversais podem ter dados ausentes sobre algumas variáveis. Os pesquisadores devem antecipar níveis realistas de dados em falta e inflar seus tamanhos de amostra alvo de acordo com a manutenção de poder adequado na amostra final analisada.

Usando estimativas de tamanho de efeito biased

Os tamanhos de efeitos de estudos pequenos e pouco potentes são susceptíveis de ser inflados devido ao viés de publicação e ao fenômeno "maldição do vencedor". Ao basear análises de poder em pesquisas anteriores, os pesquisadores devem ser céticos de tamanhos de efeito de estudos pequenos e devem preferir estimativas de grandes estudos, pesquisa pré-registrada ou meta-análises. Quando em dúvida, é melhor ser conservador e planejar tamanhos de efeito menores do que basear cálculos em estimativas potencialmente infladas.

O Futuro da Análise de Poder em Psicologia

A análise do panorama do poder na pesquisa psicológica continua a evoluir. O aumento da prevalência de relato é bom em termos de quantidade. No entanto, análises de poder devem ser realizadas de forma qualitativa, bem como para que um aumento quantitativo seja significativo e indicativo de verdadeiro progresso. Avançando, o campo deve se concentrar não apenas no aumento da prevalência de análises de poder, mas na melhoria de sua qualidade e aplicação pensativa.

Normas e Orientações para a comunicação de informações

Há uma clara necessidade de padronização no que diz respeito à forma como as análises estatísticas de poder são relatadas.Desenvolver e adotar diretrizes padronizadas de relatórios para análises de poder ajudaria a garantir que os pesquisadores forneçam detalhes suficientes para que os leitores avaliem e reproduzam seus cálculos.Essas diretrizes podem especificar quais informações devem ser relatadas, como justificar escolhas de tamanho de efeito e como documentar pressupostos.

Integração com as Práticas de Ciência Aberta

A análise de poder se encaixa naturalmente no movimento mais amplo da ciência aberta. Pré-registo de estudos, incluindo análises detalhadas de poder, ajuda a prevenir práticas de pesquisa questionáveis e aumenta a transparência. Compartilhando código e pressupostos de análise de poder permite que outros pesquisadores verifiquem cálculos e entendam o raciocínio por trás das decisões de tamanho amostral. À medida que as práticas de ciência aberta se tornam mais difundidas, a análise de poder provavelmente se tornará mais rigorosa e transparente.

Ferramentas e recursos melhorados

À medida que o software estatístico continua a desenvolver, as ferramentas de análise de energia estão a tornar-se mais acessíveis e fáceis de utilizar. Calculadoras baseadas na Web, tutoriais interactivos e documentação melhorada estão a facilitar aos investigadores a realização de análises de energia apropriadas sem formação estatística extensiva.

Educação e formação

A abordagem da questão requer uma mudança na forma como a pesquisa é avaliada por supervisores, examinadores, revisores e editores.O presente artigo descreve números de referência necessários para os desenhos mais utilizados pelos psicólogos.A melhoria das práticas de análise de poder requer uma melhor educação e treinamento em todos os níveis.Os programas de pós-graduação devem fornecer uma instrução abrangente em análise de poder, incluindo práticas práticas práticas práticas práticas práticas práticas práticas com cenários reais de pesquisa.

Exemplos práticos de análise de poder em psicologia

Para ilustrar como a análise de poder funciona na prática, vamos considerar vários exemplos de diferentes áreas de pesquisa psicológica.

Exemplo 1: Comparando dois grupos independentes

Suponha que você queira comparar os escores de depressão entre um grupo de tratamento que recebe terapia cognitivo-comportamental e um grupo controle que recebe tratamento como de costume. Com base em metanálises anteriores, você espera um tamanho de efeito médio de Cohen d = 0,5. Você estabeleceu alfa em 0,05 (duas caudas) e desejo de poder 80%.

Usando G*Power ou software semelhante, você descobriria que você precisa de aproximadamente 64 participantes por grupo (128 total) para alcançar o poder adequado. Se você antecipar 15% de atrito, você deve recrutar aproximadamente 75 participantes por grupo (150 total) para garantir que você tenha poder suficiente na sua amostra final analisada.

Exemplo 2: Análise de Correlação

Imagine que você está investigando a relação entre atenção plena e níveis de estresse. Você hipotetiza uma correlação moderada de r = 0,30 com base em pesquisas anteriores. Com alfa = 0,05 (duas caudas) e poder desejado de 0,80, você precisaria de aproximadamente 84 participantes para detectar essa correlação de forma confiável.

Se você não está certo sobre a correlação esperada e quer ser conservador, você pode planejar um efeito menor (r = 0,20), que exigiria aproximadamente 193 participantes. Isto ilustra como a incerteza sobre tamanhos de efeito pode afetar substancialmente os requisitos de tamanho da amostra.

Exemplo 3: Desenho Fatorial

Considere um experimento fatorial 2×2 examinando os efeitos do tipo de feedback (positivo vs. negativo) e dificuldade de tarefa (fácil vs. difícil) no desempenho. Você está particularmente interessado no efeito de interação, que você espera ser de tamanho médio (f = 0,25). Com alfa = 0,05 e poder = 0,80, você precisaria de aproximadamente 45 participantes por célula (180 total) para detectar esse efeito de interação.

Este exemplo demonstra como os desenhos fatorials muitas vezes requerem amostras substancialmente maiores do que comparações simples de dois grupos, particularmente quando o interesse primário é em efeitos de interação.

Recursos para a realização de análises de energia

Os pesquisadores têm acesso a inúmeros recursos para aprender e realizar análises de poder. Aqui estão algumas ferramentas e referências valiosas:

Software e ferramentas online

G*Power: Software gratuito e abrangente para análise de energia em muitos testes estatísticos
] Pacotes R: pwr, pwrss, simr e WebPower oferecem capacidades de análise de energia extensivas
Calculadoras on-line: Vários sites oferecem calculadoras gratuitas para testes específicos, úteis para cálculos rápidos
SPSS e SAS: Software comercial com funções de análise de potência incorporadas

Recursos Educativos

Livros didáticos estatísticos com capítulos dedicados à análise de poder
Tutoriais online e guias de vídeo para uso de software de análise de energia
Oficinas e webinars oferecidos por universidades e organizações profissionais
Consulta com estaticistas institucionais ou metodologistas

Referências-chave

Vários trabalhos fundacionais e contemporâneos fornecem orientações essenciais sobre análise de poder. O trabalho pioneiro de Jacob Cohen sobre análise de poder estatístico permanece relevante hoje, enquanto publicações recentes abordam questões e controvérsias contemporâneas. Os pesquisadores devem se familiarizar com a literatura clássica e atual para desenvolver uma compreensão abrangente dos princípios de análise de poder e das melhores práticas.

Para orientação adicional sobre métodos estatísticos e desenho de pesquisa, os recursos da Associação Americana de Psicologia sobre métodos estatísticos fornecem informações valiosas para pesquisadores psicológicos.

Implementação de Análise de Energia em Seu Fluxo de Trabalho de Pesquisa

A incorporação bem-sucedida de análise de poder em sua prática de pesquisa requer o desenvolvimento de hábitos sistemáticos e fluxos de trabalho. Aqui estão estratégias práticas para fazer da análise de poder uma parte rotineira do seu processo de pesquisa:

Planejamento Precoce

Faça análises de poder durante as fases iniciais de planejamento de sua pesquisa, não como uma reflexão posterior. Isso permite que você tome decisões informadas sobre viabilidade de estudo e modificações de projeto antes de investir recursos substanciais. Se os cálculos iniciais de potência sugerirem que você precisa de uma amostra impraticávelmente grande, você pode reconsiderar sua pergunta de pesquisa, abordagem de medição ou projeto antes de se comprometer com o estudo.

Documentação e Transparência

Documente todos os aspectos da sua análise de poder, incluindo o software usado, parâmetros de entrada, suposições feitas e justificativas para suas escolhas. Esta documentação serve para vários propósitos: ajuda você a lembrar seu raciocínio, permite que outros verifiquem seus cálculos e fornece material para a seção de métodos de seu manuscrito. Considere compartilhar seu código de análise de poder ou cálculos em materiais suplementares ou em plataformas como o Open Science Framework.

Análise de Sensibilidade

Em vez de realizar uma análise de potência única com parâmetros fixos, considere realizar análises de sensibilidade que analisem como os requisitos de tamanho da amostra mudam sob diferentes pressupostos. Por exemplo, calcular tamanhos de amostra necessários para uma gama de tamanhos de efeito plausíveis (por exemplo, pequeno, médio e grande) para entender como a incerteza sobre o tamanho do efeito real afeta seu planejamento. Esta abordagem fornece uma compreensão mais nuanceada das características de poder de seu estudo.

Colaboração e consulta

Não hesite em procurar ajuda com análise de energia, especialmente para projetos complexos ou métodos estatísticos desconhecidos. Muitas instituições têm serviços de consultoria estatística, e colaborar com metodologistas pode melhorar a qualidade de sua análise de poder e ajudá-lo a evitar armadilhas comuns. Essas colaborações muitas vezes levam a um melhor design de estudo geral, não apenas melhores cálculos de potência.

Considerações éticas na análise de energia

A análise de poder tem importantes dimensões éticas que os pesquisadores devem considerar, pois realizar estudos pouco desenvolvidos desperdiça o tempo dos participantes e potencialmente os expõe a riscos sem perspectiva suficiente de geração de conhecimento útil, o que é particularmente preocupante em pesquisas clínicas, onde os participantes podem ser submetidos a procedimentos invasivos ou a tratamentos alternativos.

Por outro lado, estudos superpoderosos podem expor mais participantes do que o necessário aos procedimentos de pesquisa, o que suscita preocupações éticas quanto ao uso eficiente dos recursos e minimiza a sobrecarga dos participantes.

Pesquisadores que trabalham com populações vulneráveis ou estudam temas sensíveis têm obrigações éticas adicionais para garantir que seus estudos sejam adequadamente alimentados.O potencial dano da realização de pesquisas inconclusivas pode ser maior nesses contextos, tornando a análise rigorosa do poder especialmente importante.

Conclusão: Análise de energia como uma pedra angular de pesquisas rígidas

A análise de poder é um passo vital na concepção de estudos psicológicos confiáveis, que garante que os esforços de pesquisa sejam eficientes, válidos e capazes de produzir insights significativos que possam resistir a tentativas de replicação e contribuir para o conhecimento científico cumulativo. Ao incorporarem a análise de poder em sua metodologia, os psicólogos podem contribuir para uma literatura científica mais robusta e credível.

Enquanto não aceitarmos esses fatos, continuaremos a realizar estudos pouco poderosos com resultados obscuros. Enquanto não aceitarmos esses fatos, continuaremos a realizar estudos pouco poderosos com resultados pouco claros. O campo da psicologia tem feito progressos significativos no reconhecimento da importância do poder estatístico, mas o trabalho substancial permanece para traduzir essa consciência em prática consistente.

A comunidade de pesquisa psicológica deve continuar a enfatizar não apenas a prevalência de análises de poder, mas sua qualidade e aplicação pensativa, o que requer educação permanente, melhorias de ferramentas e recursos, práticas padronizadas de notificação e uma mudança cultural para a valorização do rigor metodológico sobre a expediência.

Em última análise, a análise de poder representa mais do que uma técnica estatística – ela incorpora um compromisso na realização de pesquisas que respeitem as contribuições dos participantes, usem recursos com sabedoria e gerem conhecimentos que possam informar de forma confiável a teoria e a prática. À medida que a psicologia continua a amadurecer como ciência, a análise de poder rigorosa continuará sendo uma ferramenta essencial para pesquisadores dedicados a produzir achados confiáveis e replicáveis que promovam nossa compreensão do comportamento humano e dos processos mentais.

Ao fazer da análise de poder uma parte rotineira e pensativa do processo de planejamento da pesquisa, psicólogos podem ajudar a garantir que seus estudos contribuam significativamente para o progresso científico, em vez de adicionar ao ruído de descobertas pouco confiáveis e pouco potentes.O investimento na aprendizagem e aplicação de princípios de análise de poder paga dividendos na forma de pesquisa mais credível, uso mais eficiente de recursos e, em última análise, uma base mais forte para a ciência psicológica.