P değeri biyoloji, psikoloji, sosyoloji, ekonomi, kriminoloji gibi alanlardaki bilimsel makaleleri takip eden ve okuduğuna hakim olmak isteyen herkesin bilmesi gereken kavramdır. Bilimsel makalelerde p > 0.05, p < 0.05 gibi ifadeler sık sık görülür. Bu ifadelerin nasıl bir temele dayandığını anlamak isteyen bir kişi öncelikle hipotez testlerini ve bu testlerden çıkarılması olası olan hatalı sonuçları kavramalıdır.

Hipotezlerin nasıl test edildiklerine dair bir fikir sahibi olabilmek için de atılacak olan temel adım null hypothesis ve alternative hypothesis nedir ne değildir öğrenmektir. Null hypothesis araştırmacıların reddetmek için ortaya attıkları hipotezlere verilen genel addır. H0 ile ifade edilir.

Peki bu araştırmacılar manyak mıdır, mazoşist midir? Neden reddetmek istedikleri hipotezleri ortaya atarlar?

Çünkü mantıkta, reductio ad absurdum adı verilen bir teknik vardır. Bu yöntem Aristoteles'in Analytica Priora'sı kadar eskidir. Türkçede bunu "olmayana ergi" olarak biliriz. Olmayana ergi, kanıtlamak istediğimiz bir yargının zıttını ortaya atarak onun yanlışlığını kanıtlamaktır.

Bilim felsefesinde yanlışlama ilkesi üzerinden ilerlemenin daha makul olduğu geçtiğimiz yüzyılda da kabul görmüştür. Doğrulanabilirlik prensibini merkezine alan düşünce biçiminin eleştirisi Popper ve Quine gibi düşünürler tarafından yapıldıktan sonra epistemoloji dünyası yeniden şekillenmiş ve pozitivizme bakış açısı değişmiştir.

İki değişken arasında istatistiksel bir anlam ifade eden türde bir ilişki aranıyorsa bu tür bir hiç ilişkinin olmadığını öne sürüp bunu yanlışlamak daha basittir. Null hypothesis yanlışlanmak için ortaya atılır lakin yanlışlanması başarı ile de sonuçlansa, başarısızlık ile de sonuçlansa tam bir kanıttan söz edilmez. Yalnızca null reddedilebilmiştir veya reddedilememiştir. Kanıtlanmak istenen hipotez ise "ha" şeklinde kısaltılan alternative hypothesistir.

Bizim p-value dediğimiz değer; en basit tanımı ile, null hypthesis doğru olduğu takdirde elde ettiğimiz sonucun matematiksel olarak ne kadar mümkün olduğunun bir ölçüsüdür. Elde ettiğimiz sonuç ne kadar küçük olursa, null hypthesise karşı gelecek olan kanıt da o kadar güçlenir.

Yani okuduğunuz makalelerde, p < 0.05 ifadesini gördüğünüzde orada bir ilişkinin istatistiksel olarak anlamlı kabul edildiğini anlayabilirsiniz.

Somut uygulamasını görebileceğiniz önemli bir istatistik deneyi Lady Tasting Tea'dir.

Deney, genetikçi, biyolog ve istatistikçi Ronald Fisher'ın eseri The Design of Experiments'ta ele aldığı bir deney tasarımıdır. Detaylı açıklaması kitabın ikinci bölümü olan The Principles of Experimentation: Illustrated by a Psycho-physical Experiment'ın başlangıcında okunabilir.

Deneyde bir kadın bir fincan sütlü çayı tadarak sütün mü yoksa çayın mı ilk önce bardağa koyulduğunu anlayabileceğini beyan eder. amaç, 4 tane sütün ilk önce koyulduğu, 4 tane çayın önce koyulduğu fincanı kullanarak kadının sadece şans ile doğru tahmin edebileceği fincan sayısını hesaplamak ve iddianın doğruluğu üzerinde bir çıkarım yapmaktır. kadının görevi fincanları 4'erli olarak, çay ve sütün koyulma sırasına göre iki gruba ayırmaktır, bunun için de aynı gruptan 4 fincanı doğru sınıflandırarak seçmesi gerekir.

Burada null hypothesis kadının böyle bir yeteneğinin olmadığıdır ve deneyde istatistikteki p değeri üzerinden akıl yürütülerek bir çıkarım yapılabilir. bunun için, kadının bu tür bir yeteneğinin olmadığını varsayıp tamamen rastgele bir biçimde ortaya çıkabilecek olan olası başarıların tüm olasılıklara oranını hesaplamak gerekir. Toplamda 8 olmak üzere doğru seçilmesi gereken 4 bardağın olduğu düşünülürse, kombinasyon hesabı: 8!/ (4! x 4!) = 70 sonucunu verir. Matematiksel olarak kadının 4 fincanın hepsini de yanlış gruba koyma olasılığı 1/70, 3 fincanı yanlış gruba koyma olasılığı 16/70, yarısını yanlış gruba koyma olasılığı 36/70, yalnızca 1 hata yapma olasılığı 16/70 ve hepsini doğru sınıflandırma olasılığı 1/70'tir. Elde edilen hipergeometrik dağılımda önem arz eden olasılıklar: Kadının hiç hata yapmaması -> 1/70 = 0.01428 4 bardaktan en az 3'ünü tutturması -> (16+1)/70 = 0.2428 şeklinde görülür.

P değerine göre:

0.01428 < 0.05 iken, 0.2428 > 0.05 olduğundan kadının 4 bardaktan 3'ünü tutturması istatistiksel olarak önemsiz kabul edilir. bu da kadının yapacağı tek bir hatanın performansını anlamlılık seviyesinin altına düşüreceği mânâsına gelir. Peki kadın bu durumda "yine de çoğunu doğru bildim." diyemez mi?

Diyebilir.

Böyle bir durumda da deney ya tekrar edilir ya da elemanlar genişletilir.