JURNAL MATEMATIKA β€œMANTIK” Edisi: Mei 2018. Vol. 04 No. 01 ISSN: 2527-3159 E-ISSN: 2527-3167 Aplikasi Jaringan Bayes pada Pembuatan Butir Soal Tes Wahyu Hartono1, Tonah2 1Universitas Swadaya Gunung Jati, wahyuhartono@unswagati.ac.id 2Universitas Swadaya Gunung Jati, tonahlabibah@gmail.com DOI:https://doi.org/10.15642/mantik.2018.4.1.49-52 Abstrak Mata kuliah Kalkulus Diferensial merupakan mata kuliah yang penting karena merupakan materi prasyarat pada sebagian besar mata kuliah pada tingkat berikutnya. Dari pengalaman peneliti, sebagian besar mahasiswa belum dapat menguasai materi- materi prasyarat dari mata kuliah tersebut. Kondisi tersebut akan menghambat proses belajar mengajar. Pengetahuan terhadap kemampuan awal mahasiswa akan berguna untuk menerapkan model pembelajaran yang sesuai. Penelitian ini memaparkan aplikasi jaringan bayes pada pembuatan butir soal fixed test dan adaptive test terkait mata kuliah kalkulus diferensial. Metode penelitian yang digunakan adalah metode eksperimen. Sampel yang digunakan adalah mahasiswa program studi pendidikan matematika sebanyak 98 mahasiswa yang pernah mendapatkan materi Kalkulus Diferensial. Hasil penelitian menunjukkan bahwa kinerja desain adaptive test dalam memprediksi kemampuan mahasiswa lebih baik daripada desain fixed test terutama setelah soal kelima. Kinerja dari fixed test yg soalnya diurutkan dari mudah ke sukar lebih baik daripada desain fixed test lainnya. Hasil penelitian ini akan dijadikan input dalam membuat soal tes diagnosa yang berguna untuk memetakan/memprediksi kemampuan awal serta mengevaluasi kemampuan mahasiswa pada mata kuliah Kalkulus Diferensial. Saran untuk pengembangan penelitian selanjutnya adalah membuat desain soal fixed test yang kemampuan diagnosanya setara dengan desain adaptive test. Kata kunci: fixed test, adaptive test, jaringan bayes Abstract The course of differential calculus is essential because it is a prerequisite material in most classes at the next level. From experience, most of the students have not been able to master the prerequisite topic. These conditions will disrupt the teaching and learning process. Information about the students' initial knowledge will be useful for applying appropriate learning models. This research describes Bayes network application on the manufacture of items about the fixed and adaptive test related to differential calculus courses. The research method is an experiment. The sample used is the students of mathematics education program as many as 98 students who already finish differential calculus course. The results showed that the performance of adaptive test design in predicting student ability is better than fixed test design, especially after the fifth question. The performance of the fixed test items sorted from easy to difficult is better than other fixed test designs. This study is useful for making diagnostic test questions in mapping/predicting students' initial knowledge as well as evaluating their abilities. The suggestion for further research is to make the performance of fixed test design is equivalent to adaptive test in diagnostic capability. Keywords: fixed test, adaptive test, Bayes network 1. Pendahuluan Mata kuliah Kalkulus Diferensial yang diajarkan pada tahun pertama perkuliahan merupakan mata kuliah yang penting untuk mahasiswa program studi pendidikan matematika karena merupakan materi prasyarat pada sebagian besar mata kuliah ditingkat JURNAL MATEMATIKA β€œMANTIK” Edisi: Mei 2018. Vol. 04 No. 01 ISSN: 2527-3159 E-ISSN: 2527-3167 50 berikutnya. Untuk menguasai Kalkulus Diferensial juga diperlukan penguasaan keahlian/skill materi tertentu sehingga perlu dibuat suatu alat diagnosa yang dapat memetakan kemampuan mahasiswa secara cepat dan tepat. Hasil dari pemetaan tersebut dapat dijadikan acuan pembuatan bahan ajar ataupun program belajar yang unik untuk setiap mahasiswa. Menurut Vomlel [7], dalam merancang suatu tes, biasanya dibentuk sebuah himpunan yang terdiri dari keahlian (skill), kemampuan (ability), miskonsepsi, dan lain-lain serta sebuah himpunan yang berisi bank soal, tugas, dan lain-lain. Misalkan 𝑆 = {𝑆1, 𝑆2,β‹― ,π‘†π‘˜} menotasikan skill, ability, miskonsepsi, dan lain-lain serta πœ’ = {𝑋1,𝑋2,β‹― ,π‘‹π‘š} menotasikan bank soal, tugas, dan lain-lain. Untuk mempermudah selanjutnya 𝑆 disebut skills dan πœ’ disebut pertanyaan. Perancang tes harus menentukan skill mana yang secara langsung berhubungan dengan setiap pertanyaan. Hubungan tersebut seringkali bersifat probabilitas, khususnya pada soal tes berbentuk pilihan ganda. Salah satu pendekatan dalam merancang suatu tes adalah menyusun serangkaian pertanyaan yang mengakomodasi seluruh skills yang akan diuji. Pendekatan tersebut sering disebut sebagai fixed test. Pendekatan lainnya adalah menyusun soal tes yang optimal untuk masing-masing peserta tes. Setelah suatu pertanyaan dijawab oleh peserta tes, sistem akan memilih pertanyaan selanjutnya berdasarkan jawaban dari pertanyaan sebelumnya. Karena pendekatan tersebut menggunakan komputer dalam penyajian tes nya, maka sering disebut Computer Adaptive Testing (CAT), Mislevy [6]. Tes yang secara otomatis menyajikan pertanyaan berdasarkan jawaban dari pertanyaan sebelumnya disebut sebagai adaptive tests. Jaringan Bayes (Bayesian Networks) adalah model yang populer dari keluarga model berbentuk grafik, Lauritzen [4]. Beberapa peneliti telah mengaplikasikan Jaringan Bayes untuk tes pendidikan dan pelatihan. Millan et al. [5] menggunakan Jaringan Bayes untuk memodelkan siswa pada computerized adaptive tests. Mislevy et al. [6] meneliti bagaimana parameter numerik dari model probabilitas dapat ditaksir. Almond et al. [1] meneliti model untuk tabel-tabel probabilitas bersyarat pada penilaian pendidikan. Dalam karya ilmiah yang ditulis oleh Conati et al. [2] aplikasi menarik dari Jaringan Bayes untuk memodelkan siswa dalam melatih kemampuan pemecahan masalah telah disajikan. Berdasarkan uraian pada paparan di atas, rumusan masalah penelitian ini adalah sebagai berikut. Bagaimana membuat adaptive dan fixed test dari materi Kalkulus Diferensial menggunakan Bayesian Network? Bagaimana tingkat ketelitian dari adaptive dan fixed test dalam menduga skill mahasiswa terkait materi Kalkulus Diferensial? Berdasarkan masalah penelitian yang telah dirumuskan, maka tujuan penelitian ini secara khusus adalah untuk membuat adaptive test dan fixed test dari materi Kalkulus Diferensial menggunakan Bayesian Network serta membandingkan tingkat ketelitiannya dalam menduga skills mahasiswa. 2. Metode Penelitian Penelitian ini merupakan penelitian eksperimen dengan empat tahapan. Penelitian diawali dengan penyusunan soal tes Kalkulus Diferensial berbentuk essay berdasarkan skill yang diukur kemudian dilakukan validasi. Setelah soal tes yang dibuat valid, selanjutnya dilakukan pelaksanaan tes terhadap 150 orang mahasiswa yang pernah mendapatkan mata kuliah Kalkulus Diferensial. Hasil tes selanjutnya dinilai/diteliti learning obstacle nya untuk kemudian dikodekan sebagai dasar membangun model siswa. Dari 150 sampel, kemudian kami hilangkan sampel yang tidak memiliki skill dan jawabannya salah semua sehingga tersisa 98 sampel. Pada tahap kedua, kami membangun model yang menggambarkan hubungan antara skill siswa dan soal tes. Akan digunakan model probabilistik 𝑃(𝑺, 𝑿) yang direpresentasikan oleh Jaringan Bayes untuk memodelkan masalah tersebut. Selanjutnya kami memasukan nilai-nilai peluang bersyarat yang diperoleh dari data sampel sebanyak 98 mahasiswa ke Software Hugin Explorer untuk menghitung peluang bayesnya. Nilai peluang bayes yang diperoleh kami gunakan untuk mengklasifikasikan soal tes menjadi mudah, sedang, dan sukar. Pengkategorian tersebut berguna untuk mendesain fixed test dan JURNAL MATEMATIKA β€œMANTIK” Edisi: Mei 2018. Vol. 04 No. 01 ISSN: 2527-3159 E-ISSN: 2527-3167 51 adaptive test. Pada tahap ketiga, dari model yang telah dibangun, akan digunakan untuk membandingkan empat metode desain tes menurut: a. fixed test dimana pertanyaannya pada urutan sesuai dengan saat tes awal diberikan. b. fixed test dimana pertanyaannya diberikan dengan urutan yang terbalik dari tes awal. c. adaptive test dimana pertanyaan yang diberikan sesuai dengan jawaban dari pertanyaan sebelumnya. Soal pertama dipilih pada posisi tengah setelah seluruh soal diurutkan dari yang mudah ke yang sukar. d. fixed test dimana pertanyaannya diberikan dengan urutan dari yang mudah ke yang sukar. Kesimpulan yang akan diperoleh adalah berupa desain tes yang paling optimal dan akurat untuk memprediksi skill siswa. 3. Hasil dan Pembahasan Gambar 1 berikut ini adalah nilai-nilai peluang bayes yang diperoleh setelah nilai-nilai peluang bersyarat dari hasil MS. Excel diinput ke Software Hugin Explorer [3]. Nilai peluang bayes tersebut akan digunakan untuk mendesain tes diagnosa berdasarkan tingkat kesukaran soal. Semakin besar nilai tingkat kesukaran, maka semakin mudah soal tersebut. Berdasarkan nilai tingkat kesukaran tersebut akan disusun fixed test dan adaptive test. Gambar 1 Nilai Peluang Bayes dari Setiap Node Pada tahap memeriksa hasil jawaban mahasiswa, kami telah mengidentifikasi skill/kemampuan matematis yang dimiliki oleh setiap siswa yang dijadikan sebagai sampel penelitian, sehingga kami bisa memprediksi skill yang dimiliki siswa dengan cara membandingkannya dengan jawaban setiap pertanyaan tes. Kami menggunakan Software Mathematica 11 untuk mempercepat proses perbandingan tersebut. Jika semua prediksi skill dari desain fixed test dan adaptive test di plotkan kedalam satu bidang, maka akan diperoleh hasil seperti pada Gambar 2. Pada Gambar 2 terlihat bahwa kinerja adaptive test lebih baik daripada semua metode desain soal fixed test terutama setelah soal kelima. Metode fixed test yang urutan soalnya dari mudah ke sukar lebih baik daripada metode desain soal fixed test lainnya. Desain soal fixed test yang kami rancang hanya mampu memprediksi sekitar 80% skill yang dimiliki siswa, lebih kecil jika dibandingkan dengan desain adaptive test dengan kemempuan memprediksi di atas 90%. Untuk memprediksi sekitar 80% skill siswa, desain adaptive test hanya memerlukan 6 butir soal, jauh lebih sedikit dibandingkan desain soal fixed test yang memerlukan 12 butir soal. Prosedur desain fixed test yang kemampuan prediksinya dapat menyamai kemampuan prediksi desain adaptive test sangatlah menarik untuk ditemukan. Berbagai temuan dari penelitian ini akan digunakan untuk mencari prosedur desain fixed test tersebut. Dalam penelitian ini juga terungkap bahwa soal diagnosa yang kami buat memiliki tingkat kesukaran dari sedang ke sukar. Saat mendesain tes diagnosa sebaiknya diperhatikan sebarannya agar soal diagnosa dapat mewakili semua level kemampuan siswa. Banyaknya soal diagnosa juga perlu ditambah agar keseluruhan soal diagnosa dapat memprediksi sebesar mungkin skill siswa. Gambar 2 Perbandingan Metode Desain Tes 4. Kesimpulan Temuan penelitian ini menunjukkan bahwa kinerja adaptive test lebih baik daripada JURNAL MATEMATIKA β€œMANTIK” Edisi: Mei 2018. Vol. 04 No. 01 ISSN: 2527-3159 E-ISSN: 2527-3167 52 semua metode desain soal fixed test terutama setelah soal kelima. Metode fixed test yang urutan soalnya dari mudah ke sukar lebih baik daripada metode desain soal fixed test lainnya. Desain soal fixed test mampu memprediksi sekitar 80% skill yang dimiliki siswa, lebih kecil dibandingkan dengan desain adaptive test dengan nilai di atas 90%. Referensi [1] Almond et al., Models for conditional probability tables in educational assessment, In Proc. of the 2001 Conference on AI and Statistics. Society for AI and Statistics. [2] Conati, Cristina et al., On-line student modeling for coached problem solving using Bayesian networks. In Anthony Jameson, Cecile Paris, and Carlo Tasso, editors, Proc. of the Sixth Int. Conf. on User Modeling (UM97), Chia Laguna, Sardinia, Italy (1997) pages 231–242. Springer Verlag. [3] Hugin Explorer. 2017. ver. 6.0. Computer Software. http://www.hugin.com. [4] Lauritzen, SteffenL,Graphical Models. Clarendon Press, Oxford. (1996) [5] Millan, Eva d an Pérez-de-la-Cruz, José Luis, A Bayesian diagnostic algorithm for student modeling and its evaluation. User modeling and User- Adapted Interaction,12 (2–3): (2002) 281–330. [6] Mislevy, Robert J et al., Computerized Adaptive Testing: A Primer. Mahwah, N. J., Lawrence Erlbaum Associates, second edition. (2000) [7] Vomlel, Jiri, Bayesian Networks in Educational Testing. International Journal of Uncertainty, Fuzziness and Knowledge Based Systems, Vol. 12, Supplementary Issue 12(004) pp. 83-100. A draft version. http://www.hugin.com/ http://staff.utia.cas.cz/vomlel/ijufks-draft.pdf