O poder do teste é a capacidade de um desenho experimental rejeitar a hipótese nula quando ela de fato deveria ser rejeitada. Ou seja, o quanto o teste, associado ao nosso desenho experimental, consegue detectar efeitos existentes. O poder do teste é expresso pela proporção de vezes que o teste rejeita corretamente a hipótese nula, caso reproduzíssemos o experimento muitas vezes. O poder do teste pode ser também definido como o complemento do erro tipo II. Erro tipo II é a probabilidade de não rejeitar a H₀ quando ela deveria ser rejeitada. O poder do teste está associado a três componentes importantes do nosso desenho experimental:

• (1) tamanho do efeito mínimo que se quer diagnosticar
• (2) tamanho amostral
• (3) erro tipo I (nível de significância)

A simulação abaixo foi desenvolvida pelo doutorando em psicologia Kristoffer Magnusson no seu site R←Psychologist, para exemplificar o poder do teste e sua relação aos três componentes acima. Nessa simulação o tamanho do efeito é calculado como a diferença padronizada (escala de desvio padrão) entre duas médias.

Em Settings solve for: selecione a estimativa do “Power”, mude os outros parâmetros para ver como o poder do teste varia. Assim como o nível de significância, o poder do teste não tem um valor padrão, mas há uma cultura científica de fixar o valor do erro tipo II em 20% e consequentemente o valor do poder to teste em 80% (0.8). Caso esteja com dificuldade para visualizar a simulação, vá ao site original RPsychologist.

1) Utilizando a simulação acima, calcule o poder do teste para o tamanho das pessoas da turma supondo um tamanho de efeito igual ao estimado na amostragem. Veja como calcular o tamanho do efeito padronizado na caixa amarela abaixo.

2) Suponha que o tamanho de efeito na população fosse de 5 cm de diferença, qual o poder do teste nesse cenário?

3) Agora calcule o poder do teste para o tamanho de efeito com diferença de apenas 1 cm na população.

4) Calcule o tamanho de efeito mínimo detectável no teste de altura entre homens e mulheres de Planeco. Considere o poder do teste de 80% e alfa de 5%. O valor encontrado de tamanho de efeito corresponde a quantos centímetros de diferença entre homens e mulheres?

5) Calcule o tamanho amostral necessário para detectar um tamanho de efeito de 5 cm de diferença com um poder do teste de 95% e um alfa de 5%. Faça o mesmo para um alfa de 1%.

6) Que tamanho amostral seria necessário para um poder do teste igual a 99% no cenário definido no tópico 3?