Bildiri: Matematik Eğitiminde Ölçek Geliştirme Çalışmalarının Psikometrik Raporlama Pratikleri Açısından Sistematik Değerlendirmesi

Özet

Matematik eğitimi alanında geliştirilen ölçme araçlarının kalitesi, bu araçlardan elde edilen kanıtların
güvenirliğini ve eğitim politikalarının sağlamlığını doğrudan etkilemektedir. Ancak ölçek geliştirme
süreçlerinde benimsenen psikometrik yöntem tercihlerinin ve raporlama uygulamalarının uluslararası
standartları ne ölçüde karşıladığı, Türkçe alanyazında sistematik biçimde ele alınmamıştır. Bu
çalışmanın amacı, matematik eğitimi alanında 2015-2025 yılları arasında Türkçe alanyazında
yayımlanmış ölçek geliştirme ve uyarlama çalışmalarını psikometrik raporlama pratikleri açısından
sistematik olarak değerlendirmektir. Araştırma, nitel araştırma yaklaşımı çerçevesinde metodolojik
sistematik değerlendirme deseniyle kurgulanmıştır. Çalışmanın yürütme süreci, sistematik derlemeler
için uluslararası alanda kabul görmüş raporlama standardı olan PRISMA 2020 (Preferred Reporting
Items for Systematic Reviews and Meta-Analyses) protokolü esas alınarak tasarlanmıştır. Bu
doğrultuda dahil etme ve dışlama kriterleri önceden belirlenmiş, tarama ve eleme aşamaları şeffaf
biçimde raporlanmıştır. Çalışmanın verileri, TOAD ve TR Dizin veri tabanları üzerinden söz konusu
kriterler doğrultusunda seçilen özgün ölçek geliştirme ve uyarlama çalışmalarından elde edilmiştir.
Veri toplama aracı olarak araştırmacılar tarafından geliştirilen Psikometrik Raporlama Değerlendirme
Formu kullanılmıştır. Form, geçerlik kanıtlarına ilişkin raporlama uygulamaları ile güvenirlik
kanıtlarına ilişkin raporlama uygulamaları olmak üzere iki temel başlık ve bu başlıklara ait alt
içeriklerden oluşmaktadır. Formun kapsam geçerliği uzman görüşüyle sağlanmıştır. Kodlayıcılar arası
güvenirlik Krippendorff’s Alpha katsayısı ile hesaplanmış ve birinci kodlama turunda güçlü uyum
düzeyine ulaşıldığı görülmüştür (α = .94). Anlaşmazlık tespit edilen maddeler araştırmacılar tarafından
müzakere edilerek ikinci turda tam uzlaşı sağlanmıştır. Ön incelemeler ve alanyazın ışığında,
incelenen çalışmaların büyük çoğunluğunda geçerlik kanıtı toplama süreçlerinin açımlayıcı faktör
analizi ile sınırlı kaldığı, doğrulayıcı faktör analizi bulgularının eksik ya da yetersiz raporlandığı ve
yakınsak ile ayrışma geçerliğine ilişkin kanıtların (AVE, HTMT, CR) büyük ölçüde sunulmadığı
görülmektedir. Güvenirlik raporlamalarında ise Cronbach Alfa katsayısının neredeyse tek gösterge
olarak kullanıldığı, tau-denkliği varsayımının test edilmediği, birden fazla alt boyutu olan ve boyutlar
arası varyansların farklılaştığı çok boyutlu ölçeklerde bütüne ilişkin güvenirlik katsayısının tabakalı
alfa tekniğiyle hesaplanması gerekirken bu uygulamaya yer verilmediği ve McDonald’s Omega gibi
modern alternatif katsayılara başvurulmadığı anlaşılmaktadır. Paralel Analiz ve Polikorik Korelasyon
gibi çağdaş psikometrik tekniklerin ise yalnızca sınırlı sayıda çalışmada yer aldığı dikkat çekmektedir.
Araştırmanın, matematik eğitimi araştırmacılarında istatistik paket programlarının varsayılan
ayarlarına dayalı analiz pratiklerinin ötesine geçilmesi yönünde bir farkındalık oluşturması ve
psikometrik raporlama standartlarının geliştirilmesine katkı sağlaması beklenmektedir. Bununla
birlikte bulgular, yalnızca TOAD ve TR Dizin veri tabanları ile belirlenen zaman aralığı kapsamında
değerlendirilmelidir. Kapsam dışında kalan ulusal ve uluslararası veri tabanlarındaki çalışmaların bu
sınırlılık çerçevesinde göz önünde bulundurulması önerilmektedir

Burhan SAY, Dr. Öğr. Üyesi Atilla ÖZDEMİR