Araştırma Anketlerinde Geçerlilik ve Güvenilirlik: Bir Kılavuz

Bir anket oluşturduğunuzda topladığınız her yanıt, ancak onu üreten aracın güvenilir olduğu ölçüde güvenilirdir. Bu güvenilirliği iki özellik belirler: geçerlilik (ölçmek istediğinizi ölçüyor musunuz?) ve güvenilirlik (aracınız bunu tutarlı biçimde ölçüyor mu?). Bir soru formu güvenilir olmadan geçerli olamaz; ancak önce güvenilir olmadan gerçek anlamda geçerli de olamaz. Her ikisini anlamak; bulguları hakemler önünde savunabileceğiniz veriler ile sonuçlarınızı sessizce zayıflatan veriler arasındaki farkı belirler.

Geçerliliğin Gerçek Anlamı

Geçerlilik, anlam doğruluğuyla ilgilidir. Puanlardan çıkardığınız çıkarımların belirli bir amaç ve popülasyon için haklı olup olmadığını sorgular. Geçerlilik, bir kez hesaplanan tek bir sayı değildir; birçok kanıt türünden derlenen bir argümandır.

Kapsam Geçerliliği

Kapsam geçerliliği, maddelerinizin yapının tam kavramsal alanını kapsayıp kapsamadığıyla ilgilidir. "İş tatmini" ölçüyorsanız ama her madde ücretle ilgiliyse, meslektaşlarla ilişkileri, özerkliği, tanınmayı ve iş yükünü görmezden geliyorsunuz demektir. Kapsam geçerliliği genellikle veri toplamadan önce, alan uzmanlarının her maddeyi uygunluk ve temsil açısından incelemesiyle oluşturulur. Yaygın bir nicel yardımcı Kapsam Geçerlilik İndeksi'dir (KGİ); uzmanlar madde uygunluğunu puanlar ve siz ilgili bulunanların oranını hesaplarsınız.

Yapı Geçerliliği

Yapı geçerliliği, aracınızın gerçekte ölçmeyi iddia ettiği soyut teorik kavramı — kaygı, motivasyon veya marka sadakati gibi — ne ölçüde yakaladığıyla ilgilidir. İki tamamlayıcı kanıt biçimiyle desteklenir:

• Yakınsak geçerlilik: puanların aynı veya ilgili yapıların diğer ölçümleriyle güçlü biçimde ilişkilendiği.
• Iraksak geçerlilik: puanların ilgisiz yapıların ölçümleriyle güçlü şekilde ilişkilenmediği.

Araştırmacılar, maddelerin teorinin öngördüğü boyutlara gruplandığını doğrulamak için çoğunlukla faktör analizi (keşifsel veya doğrulayıcı) aracılığıyla yapı geçerliliğini inceler.

Ölçüt Geçerliliği

Ölçüt geçerliliği, puanların ölçüt adı verilen dışsal ve gözlemlenebilir bir sonuçla ne kadar ilişkili olduğunu değerlendirir. İki biçimde gelir: anket ile ölçütün eş zamanlı ölçüldüğü eş zamanlı geçerlilik (örneğin bir stres ölçeğinin bir klinisyenin anlık değerlendirmesiyle karşılaştırılması) ve anketin gelecekteki bir sonucu öngördüğü yordayıcı geçerlilik (örneğin bir yetenek testinin sonraki iş performansını tahmin etmesi). Güçlü ölçüt geçerliliği, araç ile ölçüt arasında anlamlı bir korelasyonla gösterilir.

Güvenilirliğin Gerçek Anlamı

Güvenilirlik tutarlılıkla ilgilidir. Aynı kişiler benzer koşullarda anketinizi tekrar yanıtlasaydı benzer puanlar alır mıydı? Tasarımınıza bağlı olarak birkaç tür önem taşır:

• İç tutarlılık: aynı yapıyı ölçmesi amaçlanan maddelerin birbirleriyle uyumu.
• Test-tekrar test güvenilirliği: aynı katılımcılar için iki farklı zamandaki puanların kararlılığı.
• Değerlendiriciler arası güvenilirlik: aynı yanıtları puanlayan farklı gözlemciler arasındaki uyum.

Cronbach Alfa: Ne Olduğu ve Olmadığı

Cronbach alfası, iç tutarlılığın en yaygın raporlanan göstergesidir. Kavramsal olarak, madde sayısına ve ortalama maddeler arası korelasyona dayanarak bir madde grubunun ne kadar yakından ilişkili olduğunu tahmin eder. Pratikte 0 ile 1 arasında değer alır.

Yaygın olarak atıfta bulunulan eşikler, 0,70 veya üzeri değerleri kabul edilebilir, 0,80 ve üzerini iyi, 0,90 ve üzerini mükemmel olarak değerlendirir. Ancak bunlar kural, kanun değildir. İki önemli uyarı:

• Alfa, madde eklemekle basitçe artar; bu nedenle yüksek bir alfa, zayıf bireysel maddeleri maskeleyebilir.
• Çok yüksek alfa (yaklaşık 0,95'in üzeri), birçok maddenin özünde aynı soruyu sorduğuna işaret eden fazlalığa işaret edebilir.

Önemli bir not: alfa tutarlılığı ölçer, geçerliliği değil. Bir ölçeğin alfası 0,90 olabilir ve yine de yanlış şeyi ölçüyor olabilir. Alfayı, birden fazla yapıyı kapsayan bir anketin tamamı için değil, her alt ölçek için ayrı ayrı raporlayın.

Geçerlilik ve Güvenilirliği Nasıl İyileştirilir

Her iki özellik de analizden çok önce tasarımınıza entegre edilir. Pratik adımlar şunlardır:

• Yapıyı kesin biçimde tanımlayın ve doğrudan bu tanımla örtüşen maddeler yazın.
• Başlatmadan önce kapsam geçerliliği ve netlik için uzman incelemesi yaptırın.
• Muğlak ifadeleri tespit etmek ve ön güvenilirliği hesaplamak için küçük bir örneklemle pilot test uygulayın.
• Çift yönlü ve yönlendirici dili önleyerek açık, tek fikirli maddeler yazın.
• Güvenilirliğin kararlı kalması için yapı başına yeterli sayıda madde kullanın (genellikle birkaç tane).
• Olumlu ve olumsuz ifadeli maddeleri dikkatli dengeleyin ve ters puanlamayı unutmayın.
• Madde-toplam korelasyonlarını inceleyin ve ölçeği zayıflatan maddeleri kaldırın.

Bu özellikleri test etmeye hazır olduğunuzda MSN Forms, anket oluşturmanıza, altı dilde tam sağdan sola destekle pilot uygulamanıza ve madde düzeyindeki sonuçlarınızı yerleşik analitik ile güvenilirlik ve geçerlilik raporlamanızda dışa aktarabileceğiniz akademik sonuç tabloları aracılığıyla keşfetmenize olanak tanır. Amaç basit: okuyucularınızın ve hakemlerinizin güvenebileceği araçlar oluşturmak.