İçerik analizinde Krippendorff alfa 0,62 çıktı, kodlayıcılar arası güvenirliği nasıl yükseltirim?

Baştan kodlamadan önce ayrışmanın nerede olduğunu teşhis edin; 0,62'lik genel alfa çoğu zaman iki-üç sorunlu kategorinin eseridir. Krippendorff'un kendi önerisi 0,80 üzerinin güvenilir, 0,667-0,80 arasının ancak ihtiyatlı çıkarımlar için kabul edilebilir olduğu yönündedir; 0,62 bu eşiğin de altında, dolayısıyla mevcut kodlamayla sonuç raporlayamazsınız. Yapılacak iş sırasıyla şu: uyuşmazlık matrisini çıkarıp hangi kategori çiftlerinin karıştığına bakın. Genellikle sorun, kavramsal olarak örtüşen kategorilerdedir; iki kategori sürekli birbirine karışıyorsa ya birleştirilmeli ya da kod kitabındaki tanımlara ayırt edici karar kuralları ve sınır örnekleri eklenmelidir. Kod kitabını revize ettikten sonra kodlayıcınızla uyuşmazlık örneklerini tek tek tartışın, ancak nihai kararları müzakereyle değil kurala bağlayın; müzakere edilmiş mutabakat güvenirlik katsayısını yapay şişirir. Sonra daha önce kullanılmamış yeni bir alt örneklemde (yine yüzde 10-15) pilot kodlamayı tekrarlayın ve alfayı yeniden hesaplayın. Eşik aşıldığında ana kodlamaya geçersiniz; revizyon öncesi kodlanan haberler yeni şemayla yeniden kodlanmalıdır. Tezde her kategori için ayrı alfa raporlamak, genel katsayının maskeleyebileceği zayıflıkları şeffaflaştırdığı için jüride güven yaratır.