Ders Değerlendirme Ölçeği (DDÖ): Geçerlik ve Güvenirlik Çalışması


Creative Commons License

Koç A., Bulut İ.

DİNİ ARAŞTIRMALAR, cilt.25, sa.63, ss.501-528, 2022 (Hakemli Dergi)

  • Yayın Türü: Makale / Tam Makale
  • Cilt numarası: 25 Sayı: 63
  • Basım Tarihi: 2022
  • Doi Numarası: 10.15745/da.1159706
  • Dergi Adı: DİNİ ARAŞTIRMALAR
  • Derginin Tarandığı İndeksler: TR DİZİN (ULAKBİM)
  • Sayfa Sayıları: ss.501-528
  • İstanbul Üniversitesi Adresli: Hayır

Özet

Günümüzde hemen her alanda yaşanan değişim ve yenileşme beraberinde rekabeti ve ürün/faaliyetlerin niteliğini artırmayı getirmektedir. Niteliğin artırılması ve sürdürülmesi ise kalite olgusu ile gerçekleştirilmektedir. Her geçen yılda sayıları artan üniversitelerin ve bunlara bağlı programların başta eğitim-öğretim olmak üzere diğer faaliyetlerin kalite süreçlerini yürütmeye çalıştıkları görülmektedir. Özellikle Yükseköğretim Kalite Kurulu (YÖKAK) tarafından sürdürülen değerlendirme programları kurumlarda kalite kültürünün yerleşmesine ve sürdürülmesine önemli katkı sağlamaktadır. Diğer yandan akreditasyon kuruluşlarının sayısının artığı ve akredite olmak için birçok programın akreditasyon çalışmalarını sürdürdükleri bilinmektedir. Kurumun vizyon, misyon, stratejik hedefler ve amaçlar doğrultusunda belirli bir standartta planlanan ve uygulanan faaliyetlerin planlamadan ürün/çıktı aşamasına kadar tüm süreçleri kapsayan kalite sürecinde planlama, uygulama, kontrol etme ve önlem alma (PUKÖ) döngüsü kalitenin temel unsurlarından birisidir. PUKÖ döngüsünde aksayan veya çalışmayan unsurlar belirlenir, önlem alınarak gerekli iyileştirmeler yapılır ve bu döngü tamamlanır. PUKÖ döngüsünün tamamlanabilmesi ve sürdürülebilir olması için sürekli iyileştirme sistematiğinin çalıştırılması önemlidir. Kalite sürecinde yürütülen faaliyetlerin iyileştirilmeye açık yönlerinin tespit edilebilmesi için paydaş görüşlerine başvurulması kaçınılmazdır. Eğitim-öğretim faaliyetlerinin temel öznesi konumunda olan öğrenci görüşleri sürekli iyileştirmede en önemli veri kaynaklarının başında gelmektedir. Eğitim programlarının temel taşı olan derslerin planlamadan çıktılarına kadar tüm süreçlerinde öğrenci görüşlerine başvurulması ise oldukça değerlidir. Bu çalışmada öğretim sürecinin tüm boyutları için öğrenci görüşlerinin önemi üzerinde durulmaktadır Literatür incelendiğinde derslerin niteliğinin değerlendirilmesine yönelik öğrenci görüşlerine başvurulan çalışmaların oldukça sınırlı olduğu görülmüştür. Planlamadan ölçme değerlendirme aşamasına kadar tüm süreçlerde etkili bir ders nasıl tasarlamalıdır, temel problemi üzerine kurgulanan bu çalışma bir ölçek geliştirmesi çalışmasıdır. Öğrenci görüşlerine dayanarak elde edilen verilerle tasarlanacak bir ders planının dersin niteliğini artırdığı düşünülmektedir. Kalite ve akreditasyon sürecini yürüten programların sürekli iyileştirme mekanizmasında derslerin niteliğini ölçmek için farklı anketler kullanıldığı bilinmektedir. Bu anketlerin hem geçerlik ve güvenirlik analizleri yapılmaması hem de derslerin sadece bazı yönlerini ölçebilmesi sebebiyle ders değerlendirme başlıklı bir ölçek geliştirilmesine ihtiyaç olduğu düşünülmüştür. Bu çalışmada eğitim öğretim faaliyetlerinin niteliğini artırmaya çalışan ve kalite ve akreditasyon sürecini yürüten kurumlar için geçerliği ve güvenirliği sağlanmış ve dersin farklı boyutlarını ölçen bir veri toplama aracı geliştirilmesi amaçlanmıştır. Nicel araştırma yöntemiyle gerçekleştirilen bu çalışma, tarama yolu ile durum tespiti yapmak amacıyla 2022 yılında Hitit Üniversitesindeki 636 öğrenci ile yürütülmüştür. Birinci uygulamanın neticesinde yapılan açımlayıcı faktör analizi neticesinde ölçeğin 24 maddeden oluşan dört faktörlü bir yapıda olduğu belirlenmiş, bu faktörlere ders, öğretim elemanı, yöntem-teknik ve sınav isimleri verilmiştir. Ölçeğin toplam varyansın %69,3’ünü açıkladığı tespit edilmiştir. Promax eğik döndürme metoduyla gerçekleştirilen analiz neticesinde faktör yük değerlerinin 0,47-0,98 arasında değiştiği belirlenmiştir. Buna göre ölçeğin aralarında yüksek seviyede ilişki bulunan maddelerden oluştuğu ve yapı geçerliğini sağlayabilecek nitelikte bir ölçek olduğu söylenebilir. Farklı bir örneklem üzerinde yapılan ikinci uygulamanın ardından yapılan doğrulayıcı faktör analizi neticesinde uyum indekslerinin kabul edilebilir düzeyde olduğu saptanmıştır. DFA’ya göre, X2=1,98 ve RMSEA= 0,063 olduğu tespit edilmiştir. Bu sonuçlar X2 ve RMSEA değerlerinin iyi uyum sağladığını ortaya koymaktadır. Diğer uyum indeksleri olan NFI=0,90, GFI= 0,86, CFI=0,94, IFI=0,98 ve TLI=0,94 olduğu görülmüştür. Bu değerler, AFA’da meydana gelen yapının ikinci ana uygulamada da iyi düzeyde uyum sağladığını göstermektedir. AFA ve DFA neticelerine göre ölçeğin geçerli bir ölçme aracı olduğunu söylemek mümkündür. Güvenirlik analizi neticesinde ise ölçeğin tümü için iç tutarlık (Cronbach’nın Alfa) katsayısı 0,94; faktörleri için ise sırasıyla 0,93, 0,91, 0,86 ve 0,93 olduğu tespit edilmiştir. Bu netice, ölçeği oluşturan maddeler arasında yüksek düzeyde bir iç tutarlılığının bulunduğunu ve ölçeğin aralarında güçlü ilişki olan maddelerden oluştuğunu göstermektedir. Korelasyon analizinde ölçekteki bütün faktörler arasında pozitif ve anlamlı bir ilişki olduğu belirlenmiştir. 24 olumlu maddeden oluşan bu ölçekten elde edilecek en düşük puan 24 ve en yüksek puan 120’dir. Dolayısıyla ölçekten 24 puan alınmasının dersin niteliğinin “Hiç katılmıyorum” düzeyine; 120 puan alınmasının ise “Tamamen katılıyorum” düzeyine karşılık geldiği söylenebilir. Tüm bu analizlerin sonucunda “Ders Değerlendirme Ölçeği (DDÖ)”nin yükseköğretim programlarında yürütülen bir dersin niteliğini  belirlemeyi sağlayan geçerli ve güvenilir bir ölçme aracı olduğu söylenebilir.

Today, change and innovation in almost every field bring competition and increase the quality of products/activities. Improving and maintaining quality is carried out with the concept of quality. It is seen that the increasing number of universities and their affiliated programs are trying to carry out the quality processes of other activities, especially education and training. In particular, the evaluation programs by the Higher Education Quality Board (YÖKAK) are essential to establishing and maintaining a quality culture in institutions. On the other hand, it is known that the number of accreditation institutions has increased, and many programs continue their accreditation studies to be accredited. The planning, doing, checking and acting precautions (PDCA) cycle are one of the essential elements of quality in the quality process, which covers all functions from the planning of the activities planned and implemented in a certain standard in line with the vision, mission, strategic goals and objectives of the institution to the product/output stage. Faulty or non-working elements in the PDCA cycle are determined, necessary improvements are made by taking precautions, and this cycle is completed. It is essential to run a continuous improvement system for the PDCA cycle to be completed and sustainable. It is inevitable to consult stakeholder opinions to determine the aspects open to progress in the activities carried out in the quality process. Student opinions, the main subject of educational activities, are one of the most critical data sources for continuous improvement. It is precious to consult students’ views in all processes, from the planning to the output of the courses, which are the cornerstones of the education programs. When the literature is examined, it has been seen that the studies in which students' opinions are used to evaluate the quality of the courses are pretty limited. Based on the fundamental problem of designing a practical lesson in all functions, from planning to assessment and evaluation, this study is a scale development study. It is thought that a lesson plan that will be designed with the data obtained based on student opinions increases the quality of the lesson. It is known that different questionnaires are used to measure the quality of the courses in the continuous improvement mechanism of the programs that carry out the quality and accreditation process. It was thought that there was a need to develop a scale titled course evaluation since these questionnaires were not analysed for validity and reliability and could only measure some aspects of the courses. This study aims to develop a data collection tool that provides validity and reliability and measures different dimensions of the course for institutions that try to increase the quality of education and training activities and carry out the quality and accreditation process. This study, carried out with the quantitative research method, was carried out with 636 students at Hitit University in 2022 to determine the situation by scanning. As a result of the exploratory factor analysis (EFA) made as a result of the first application, it was determined that the scale had a four-factor structure consisting of 24 items. These factors were named course, instructor, method-technique and exam. It was determined that the scale explained 69.3% of the total variance. As a result of the analysis performed with the Promax oblique rotation method, it was determined that the factor loading values ​​ranged between 0.47-0.98. Accordingly, it can be said that the scale consists of items that have a high level of correlation between them and that it is a scale that can provide construct validity. As a result of the confirmatory factor analysis (CFA) performed after the second application on a different sample, it was determined that the fit indices were at an acceptable level. According to CFA, it was determined that X2=1.98 and RMSEA=0.063. These results reveal that the X2 and RMSEA values ​​are in good agreement. Other fit indices were NFI=0.90, GFI=0.86, CFI=0.94, IFI=0.98 and TLI=0.94. These values ​​show that the structure formed in the EFA also fits well in the second main application. According to the results of EFA and CFA, it is possible to say that the scale is a valid measurement tool. As a result of the reliability analysis, the internal consistency (Cronbach’s Alpha) coefficient for the whole scale was 0.94; For the factors, it was determined that they were 0.93, 0.91, 0.86 and 0.93, respectively. This result shows a high level of internal consistency among the items that make up the scale and that the scale consists of things with a strong relationship between them. The correlation analysis determined a positive and significant relationship between all the factors in the ranking. The lowest score from this scale, which consists of 24 positive items, is 24, and the highest score is 120. Therefore, getting 24 points on the scale indicates that the course quality is at the level of “I strongly disagree”; It can be said that getting 120 points corresponds to the level of “I strongly agree”. As a result of all these analyses, it can be said that the “Course Evaluation Scale (CES)” is a valid and reliable measurement tool that enables one to determine the quality of a course conducted in higher education programs.