Research Information System
Hasan Ali Yücel Eğitim Fakültesi Dergisi, vol.13, no.3, pp.165-179, 2016 (Scopus)
The aim of this study is to prepare a module and to test the effectiveness of the module which categorizes the questions with respect to the cognitive levels, determines the difficulty levels by calculating the related data of item difficulty and item discrimination, automatically tunes the difficulty levels of the questions with reference to the answers given in the process of the exam, and provides person-specific exams both in the classroom and digital environment. The Web-Based Expert Examination System developed within the scope of this study makes it possible to prepare questions compatible with the assessment and evaluation criteria in education enabling the measurement of the level of actual learning of the students. By utilizing the prepared questions, it would be possible to generate exam forms. This system records the data belonging to the students and the data as a result of the student-system interaction, and can determine the operation order of the system and the questions to be used to evaluate the knowledge level of the student in the light of the information obtained from the records. In addition, this system can improve itself according to the changing needs and student characteristics in due course and adapt itself to the current situation. A questionnaire form was developed by taking the measurement and evaluation criteria in education and qualities which testing tool was required to have into consideration. Quantitative analysis of the research was completed by utilizing the packet program “SPSS 21 for MacOS X” and items were examined via dependent sample variant analysis. The results of the study indicate that there was a significant difference between the referee evaluation scores in favor of the exam form, which was prepared by using the Intelligent Exam System in which Expert Agent and individuals interact, comparing the other exam forms according to the qualities that a testing tool is required to include.
Keywords: expert exam system, measurement and evaluation, online exam, expert system, expert agent
Bu çalışmanın amacı;soruların bilişsel düzeylere göre kategorize edildiği, madde güçlük ve madde ayırt ediciliklerinin otomatik olarak hesaplanarak zorluk düzeylerinin yapıldığı, sınav esnasında kişinin soruları cevaplama durumuna göre soru düzeylerinin otomatik belirlendiği, hem sınıf ortamında hem de dijital ortamda kişiye özgü sınav yapabilecek bir modülün hazırlanması ve etkinliğinin sınanmasıdır. Bu araştırma kapsamında geliştirilen Web Tabanlı Uzman Sınav Sistemi sayesinde öğrencilerin öğrenmelerinin etkili bir şekilde ölçülebilmesini sağlayan, eğitimde ölçme ve değerlendirme kriterlerine uygun sorular hazırlanabilmektedir. Hazırlanan bu sorular kullanılarak sınav formlarının oluşturulması mümkün olabilmektedir. Bu sistem, öğrenciye ait veriler ile öğrencinin sistemle olan etkileşimi sonucundaki verileri kayıt altında tutmakta ve buradan elde edilen bilgiler doğrultusunda, öğrencinin bilgi seviyesini ölçmede kullanılacak soruları ve sistemin çalışma sırasını belirlemektedir. Ayrıca, zaman içinde değişen ihtiyaçlara ve öğrenci özelliklerine göre kendini geliştirebilmekte ve güncel duruma göre kendini uyarlayabilmektedir. Eğitimde ölçme ve değerlendirme kriterleri ve ölçme aracında bulunması gereken nitelikler baz alınarak bir anket formu geliştirilmiştir. Araştırmanın nicel analizi “SPSS 21 for MacOS X” paket programı ile yapılmış ve maddeler bağımlı örneklem varyans analizi ile incelenmiştir. Araştırmanın bulguları; ölçme aracında bulunması gereken nitelikler açısından diğer sınav formlarına göre Uzman Ajan ve bireylerin etkileşimde olduğu Uzman Sınav Sistemi kullanılarak hazırlanan sınav formu lehine hakem değerlendirme puanları arasındaki farkın anlamlı olduğunu göstermiştir.
Anahtar Kelimeler: uzman sınav sistemi, ölçme ve değerlendirme, çevrimiçi sınav, uzman sistem, uzman ajan