Document

Developing a bayesian knowledge tracing AI model to predict the performance of students in computer programming courses at the undergraduate level in Oman.

Source
Master's thesis
Other titles
تطوير نموذج ذكاء اصطناعي (ATAP-BKT) لتتبع المعرفة البايزية والتنبؤ بأداء الطلاب في مقرر البرمجة الحاسوبية على مستوى المرحلة الجامعية بسلطنة عمان
Country
Oman
City
Muscat
Publisher
Sultan Qaboos University.
Gregorian
2024
Language
English
Thesis Type
Master's thesis
English abstract
This thesis aims to develop an ATAP-BKT (Absence rate, Time response, AI detection, and Performance) AI model to predict the students’ performance in Computer programming courses at the undergraduate level in Oman. It employs a quantitative research method with a descriptive design incorporating universal literature to suggest design and develop the ATAP-BKT model to answer the thesis questions. The ATAP-BKT model was developed to enhance the existing Bayesian Knowledge Tracing (BKT) algorithm, designed to address specific challenges in tracking and predicting student performance in computer programming courses. The development process involved adapting and extending the BKT algorithm by introducing new parameters that reflect crucial factors influencing student learning. The final model comprises five phases: the initial assessment phase, ATAP-BKT monitoring phase, Adaptive practice phase, final assessment phase, and analysis phase. Also, it introduces five new parameters: (1) time response P(dt), (2) the structure of questions P(Q), (3) use of AI tools to answer P(Ai), (4) Attendance P(At), and (5) Activities P(Ac). The sample consisted of 29 ILT undergraduate students in the Education college at Sultan Qaboos University (SQU) who enrolled in Computer programming courses. Accordingly, data were collected using four instruments: initial and final tests, Learner experience questionnaire, classroom settings, and ATAP-BKT data. Logistics metrics (Root Mean Square Error (RMSE), Area Under the Curve (AUC), and Accuracy) were used to analyze data. The main finding of this thesis indicated that the ATAP-BKT model tracked academic performance by identifying students' skills, calculating factors influencing the learning process, and predicting future performance with 89% accuracy. This is considered reasonable compared to previous studies where BKT models typically achieved 75% to 85% accuracy. This result was validated using cross-validation techniques to ensure the model robustness and generalizability to new data. The result also illustrates that developing new parameters on the ATAP-BKT model has enhanced prediction accuracy. The thesis recommended integrating the ATAP-BKT model with emerging educational technologies. Further, it suggested that future research areas use ATAP-BKT in international studies, such as TIMSS, PIRLS, and STEM.
Arabic abstract
تهدف هذه الرسالة إلى تطوير نموذج ذكاء اصطناعي ATAP-BKT (معدل الغياب، زمن الاستجابة، اكتشاف الذكاء الاصطناعي، والأداء) للتنبؤ بأداء الطلاب في مقررات البرمجة الحاسوبية على مستوى المرحلة الجامعية في سلطنة عمان. استخدمت الدراسة منهجًا بحثيًا كميًا بتصميم وصفي يتضمن الأدبيات العالمية بهدف تصميم وتطوير نموذج ATAP-BKT للإجابة على أسئلة الرسالة.
تم تطوير نموذج ATAP-BKT لتعزيز خوارزمية تتبع المعرفة البايزية (BKT) الحالية، التي صُممت لمعالجة تحديات تتبع وتوقع أداء الطلاب في مقررات برمجة الحاسوب. اشتملت عملية التطوير على تكييف وتوسيع الخوارزمية بإدخال معايير جديدة تعكس عوامل هامة تؤثر في تعلم الطلاب. يتألف النموذج النهائي من خمس مراحل: مرحلة التقييم الأولي، مرحلة مراقبة ATAP-BKT، مرحلة الممارسة التكيفية، مرحلة التقييم النهائي، ومرحلة التحليل. كما يتضمن إدخال خمسة معايير جديدة وهي: (1) زمن الاستجابة P(dt)، (2) هيكل الأسئلة P(Q)، (3) استخدام أدوات الذكاء الاصطناعي للإجابة P(Ai)، (4) الحضور P(At)، و(5) الأنشطة P(Ac).
تكونت العينة من 29 طالبًا وطالبة من طلاب تقنية التعلم التعليمي (ILT) في كلية التربية بجامعة السلطان قابوس ممن التحقوا بمقررات برمجة الحاسوب. بناءً على ذلك، تم جمع البيانات باستخدام أربعة أدوات: الاختبارات الأولية والنهائية، استبيان تجربة المتعلم، إعدادات الفصول الدراسية، وبيانات ATAP-BKT. وتم استخدام مؤشرات لوجستية لتحليل البيانات مثل متوسط الجذر التربيعي للخطأ (RMSE)، والمساحة تحت المنحنى (AUC)، والدقة.
أظهرت النتيجة الرئيسية لهذه الرسالة أن نموذج ATAP-BKT تتبع الأداء الأكاديمي من خلال تحديد مهارات الطلاب، وحساب العوامل المؤثرة في عملية التعلم، والتنبؤ بالأداء المستقبلي بدقة بلغت 89%. وتعُتبر هذه النتيجة معقولة مقارنة بالدراسات السابقة التي حققت فيها نماذج BKT عادة دقة تتراوح بين 75% إلى 85%. تم التحقق من هذه النتيجة باستخدام تقنيات التحقق المتقاطع لضمان قوة النموذج وإمكانية تعميمه على بيانات جديدة. كما توضح النتيجة أن تطوير معايير جديدة في نموذج ATAP-BKT قد عزز من دقة التنبؤ. وأوصت الرسالة بدمج نموذج ATAP-BKT مع التقنيات التعليمية الناشئة. كما اقترحت إجراء دراسات مستقبلية تستخدم نموذج ATAP-BKT في الدراسات الدولية مثل TIMSS، PIRLS، و.STEM.

Category
Theses and Dissertations

Same Subject

Theses and Dissertations
3
0
Al-Nabhaniyah, Iman Nabhan Suleiman.
Sultan Qaboos University
2024
Theses and Dissertations
3
0
Abdullah, Nawaf.
Sultan Qaboos University
2024
Theses and Dissertations
3
0
Al-Aghbriyah, Azza.
Sultan Qaboos University
2024
Theses and Dissertations
5
0
Al-Naabiyah, Fatma Mohammed Hamdan.
Sultan Qaboos University
2024
Journal articles
4
0
Khriji, Lazhar.
Science and Information Organization.
2020-01-01