JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 ISSN: 2656-1743 43 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. OPTIMASI NAÏVE BAYES DENGAN PARTICLE SWARM OPTIMIZATION DAN STRATIFIED UNTUK PREDIKSI KREDIT MACET PADA KOPERASI Tati Mardiana Sistem Informasi Universitas Bina Sarana Informatika tati.ttm@bsi.ac.id Abstract In business, cooperatives have an important role in improving the national economy. The Inability of member to pay installments of credit is a major problem that occurs in cooperatives. Consequently, it was occurred non-performing loan. Cooperatives can avoid non-performing loan by making predictions of cooperative members who are potentially late in paying credit. In several studies have used Naive Bayes for classification problems because of the efficient calculation and the high accuracy. But Naive Bayes assumes all the attributes of the class are independent of other attributes. Making it especially suitable for the classification problems with large attributes. However, this assumption is often untenable in the real classification problem. So in several documents, Naive Bayes performance is not perfect. The aim of this study is to optimize the Naive Bayes method using Particle Swarm Optimization (PSO) and Sample Stratified to improve accuracy in predicting non-performing loan in cooperatives. This study uses data from Pusat Data Koperasi (PUSKOPDIT) DKI Jakarta. The credit set data obtained were 565 records with 15 predictor attributes and 1 class attribute. The test results with confusion matrix and ROC curve obtained an accuracy value of 86% and an AUC value of 0.867 with a diagnosis of good classification. This study shows that the use PSO on NBC to predict non-performing loan in cooperatives increases the accuracy of 21.03% and AUC by 0.069. The results of the T-Test and ANOVA test showed that the two classification methods tested had significant (significant) differences in the AUC values. Keywords: particle swarm optimization, sample stratified, Naive Bayes , cooperatives, bad credit. Abstrak Dalam bisnis, koperasi memiliki peranan penting dalam meningkatkan perekonomian nasional. Ketidakmampuan anggota untuk membayar angsuran kredit merupakan masalah utama yang terjadi pada koperasi. Akibatnya, terjadi kredit macet. Koperasi dapat menghindari kredit macet dengan membuat prediksi dari anggota koperasi yang berpotensi terlambat membayar kredit. Dalam beberapa penelitian telah menggunakan Naive Bayes untuk masalah klasifikasi karena perhitungan yang efisien, dan akurasi tinggi. Tetapi Naive Bayes mengasumsikan bahwa semua atribut kelas tidak tergantung pada atribut lainnya. Naive Bayes sesuai untuk masalah klasifikasi dengan atribut besar. Namun, asumsi ini sering tidak dapat dipertahankan dalam masalah klasifikasi nyata. Dalam beberapa dokumen, kinerja Naive Bayes tidak sempurna. Tujuan dari penelitian ini adalah untuk mengoptimalkan metode Naive Bayes menggunakan Particle Swarm Optimization (PSO) dan untuk meningkatkan akurasi dalam memprediksi kredit macet di koperasi. Penelitian ini menggunakan data dari Pusat Data Koperasi (PUSKOPDIT) DKI Jakarta. Data set kredit yang diperoleh sebanyak 565 record dengan 15 prediktor atribut dan 1 atribut kelas. Hasil pengujian dengan confusion matrix dan kurva ROC diperoleh dari nilai akurasi sebesar 86% dan nilai sebesar 0,867 dengan diagnosis klasifikasi baik. Penelitian ini menunjukkan bahwa penggunaan PSO pada NBC untuk memprediksi kredit macet meningkatkan akurasi 21,03% dan AUC sebesar 0,069. Hasil uji T-Test dan Anova menunjukkan bahwa pada dua metode klasifikasi yang diuji memiliki perbedaan yang nyata (signifikan) dalam nilai AUC. Kata kunci : Particle Swarm Optimization, Sample Stratified, Naive Bayes , Kredit Macet, Koperasi. PENDAHULUAN Koperasi memiliki peranan yang sangat penting dalam meningkatkan perekonomian nasional melalui kegiatan menghimpun dana masyarakat dan menyalurkan kepada masyarakat dalam bentuk kredit atau bentuk-bentuk usaha lainnya. Berdasarkan laporan Kementerian Koperasi dan Usaha Kecil dan Menengah, Jumlah koperasi pada tahun 2014 tercatat sebesar http://creativecommons.org/licenses/by-nc/4.0/ ISSN: 2656-1743 JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 44 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. 209.488 unit. Kondisi ini meningkat 19% dibandingkan tahun 2009 yang tercatat sebanyak 170.411 unit. Pertumbuhan anggota koperasi selama periode tahun 2009-2014 mengalami peningkatan sebesar 19,76% menjadi 7.203.682 orang. Seiring dengan peningkatan jumlah unit dan anggota koperasi, sisa hasil usaha yang dibagikan kepada anggota koperasi pada tahun 2014 juga mengalami peningkatan menjadi 64,18% menjadi Rp9,5 triliun(Kementerian Koperasi dan Usaha Kecil Menengah Republik Indonesia, 2015). Saat ini koperasi di Indonesia didominasi oleh koperasi kredit yang menguasai antara 55- 60% dari keseluruhan aset koperasi (Ikhsan Saputro & Mardiana, 2015). Koperasi dalam melaksanakan kegiatan usaha kredit harus memperhatikan asas-asas perekreditan yang sehat karena mengandung risiko yang tinggi. Analisis terhadap data permohonan kredit anggota dilakukan secara akurat untuk meminimalisasi anggota yang tidak mampu membayar kredit sesuai dengan perjanjian antara kedua belah pihak. Namun demikian, permasalahan yang sering terjadi adalah anggota yang telah memenuhi kualifikasi kredit memiliki potensi terlambat membayar kredit (Melissa & Oetama, 2013) yang pada akhirnya terjadi kredit macet. Kredit macet dapat dihindari dengan cara memprediksi anggota koperasi yang berpotensi terlambat membayar kredit (Rifqo & Wijaya, 2017). Prediksi tersebut menggunakan data historis kredit anggota koperasi yang telah disetujui untuk menemukan keteraturan hubungan atau pola tingkat kelancaran pembayaran kredit anggota koperasi. Proses ini disebut dengan data mining (Antaristi & Kurniawan, 2017). Proses prediksi tersebut menggunakan teknik klasifikasi (Menarianti, 2015). Naive bayes telah banyak digunakan untuk membangun classifier karena perhitungannya efisien, memiliki akurasi yang tinggi dan landasan teori yang kuat (Li, Ding, & Li, 2014). Naïve Bayes merupakan algoritma yang didasarkan pada teorema atau aturan bayes untuk memprediksi probabilitas keanggotaan suatu kelas dengan asumsi nilai dari atribut pada kelas tertentu tidak bergantung (independence) pada nilai atribut lainnya (Muhamad et al., 2017). Pada metode ini semua atribut akan memberikan kontribusinya dalam pengambilan keputusan, dengan bobot atribut yang sama penting dan setiap atribut saling bebas satu sama lain(Fitri Cahyanti, Saptono, & Widya Sihwi, 2015). Hal ini menyebabkan parameter setiap atribut dapat diperkirakan secara terpisah sehingga lebih tepat diterapkan untuk masalah klasifikasi dengan jumlah atribut yang besar(Hasan, 2017). Namun, asumsi ini sering tidak dapat dipertahankan sehingga performa Naive bayes tidak optimal (Li et al., 2014). Oleh karena itu, diperlukan metode untuk meningkatkan hasil akurasi Naïve Bayes pada data dengan jumlah atribut yang besar. Beberapa peneliti telah melakukan penelitian terkait optimasi Naïve Bayes pada data dengan jumlah atribut yang besar. Hasan mengusulkan optimasi seleksi atribut pada Naïve Bayes menggunakan Forward Selection untuk meningkatkan akurasi Naïve Bayes untuk memprediksi tingkat kelancaran pembayaran kredit (Hasan, 2017). Hasil penelitian menunjukkan nilai akurasi Naive Bayes berbasis Forward Selection mencapai nilai akurasi sebesar 71,97%. Sedangkan Rinawati mengusulkan optimasi bobot atribut pada Naïve Bayes Classifier menggunakan Particle Swarm Optimization untuk memprediksi penilaian kredit. Hasil penelitian menunjukkan nilai akurasi yang lebih tinggi yaitu sebesar 75,90% dan nilai AUC sebesar 0,773. Sehingga dicapai peningkatan akurasi sebesar 3,5%, dan peningkatan AUC sebesar 0,008 (Rinawati, 2017). Berdasarkan penelitian sebelumnya, penelitian ini menggunakan pendekatan hybrid yang mengkombinasikan antara algoritma Particle Swarm Optimization dan Naïve Bayes (PSO-NB). Metode menerapkan Particle Swarm Optimization untuk optimasi bobot atribut pada data historis pembayaran kredit anggota koperasi kemudian membangun model klasifikasi dengan Naïve Bayes. Dalam penelitian ini digunakan metode Sample Stratified untuk pengacakan data sehingga menghasilkan data pelatihan dan pengujian yang proposional. Tujuan penelitian ini adalah mengoptimasikan algoritma Naïve Bayes menggunakan Particle Swarm Optimization (PSO) dan Sample Stratified agar lebih akurat kinerjanya dalam memprediksi kredit macet pada koperasi. BAHAN DAN METODE Objek penelitian ini adalah Pusat Koperasi Kredit (PUSKOPDIT) DKI Jakarta. PUSKOPDIT DKI Jakarta bertujuan membina dan mendampingi penyelenggaraan koperasi kredit primer yang ada di Jakarta. Saat ini PUSKOPDIT DKI Jakarta beranggotakan 134 koperasi kredit primer. Fokus penelitian ini adalah mengoptimasi metode Naïve Bayes sehingga kinerjanya lebih akurat dalam memprediksi kredit macet pada koperasi. Jenis penelitian yang dilakukan merupakan penelitian eksperimen yang melibatkan penyelidikan tentang http://creativecommons.org/licenses/by-nc/4.0/ JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 ISSN: 2656-1743 45 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. perlakuan pada parameter atau variabel tergantung dari penelitinya dan menggunakan tes yang dikendalikan oleh si peneliti itu sendiri. Data yang mendukung dalam melakukan penelitian ini, sebagai berikut : a. Data Primer Data Primer adalah data yang diperoleh secara langsung dari sumber, misalnya data- data hasil wawancara dan diskusi langsung dan pengamatan langsung dengan PUSKOPDIT DKI Jakarta. b. Data Sekunder Merupakan data yang diperoleh secara tidak langsung, misalnya dari dokumentasi, literatur, buku, jurnal, dan informasi lainnya yang ada hubungannya dengan masalah yang diteliti. Adapun teknik pengumpulan data yang dilakukan dalam penelitian ini, sebagai berikut : a. Observasi Observasi dilakukan dengan mengumpulkan data dengan melakukan pengamatan secara langung dan sistematis terhadap proses penyaluran kredit kepada anggota. b. Wawancara Wawancara dilakukan kepada Ketua PUSKOPDIT DKI Jakarta dan bagian analis kredit untuk mmeperoleh informasi lebih mendalam terkait proses penyaluran kredit kepada anggota. c. Studi Pustaka Studi pustaka dilakukan dengan mengumpulkan dan mempelajari literatur yang berkaitan dengan pemecahan masalah kredit macet menggunakan metode Naïve Bayes. Sumber literatur berupa buku teks, karya ilmiah,dan situs-situs penunjang. Kegunaan metode ini diharapkan dapat mempertegas teori serta keperluan analisis dan mendapatkan data yang sesungguhnya. Tahapan yang dilakukan dalam eksperimen menggunakan metodologi Cross- Standard Industry Process for Data Mining atau CRISP-DM (Fadillah, 2015), sebagai berikut : 1. Pemahaman Bisnis (Business Understanding) Pada tahap ini diperlukan pemahaman tentang latar belakang dan tujuan pada proses bisnis yang berhubungan dengan penyaluran kredit, antara lain : a. Menentukan tujuan bisnis (determine business objectives) Tujuan bisnis yang ingin dicapai PUSKOPDIT DKI Jakarta adalah meminimalkan risiko terjadinya kredit macet. b. Menilai situasi (asses the situation) Penyaluran kredit kepada anggota koperasi melibatkan data anggota koperasi, data permohonan kredit, data pembayaran kredit dan data partisipasi anggota. c. Tujuan data ming Tujuan dilakukannya data mining adalah mengoptimasi metode Naïve Bayes sehingga kinerjanya lebih akurat dalam memprediksi kredit macet pada koperasi. 2. Pemahaman Data (Data Understanding) Pada tahapan pemahaman data, ada beberapa hal yang dilakukan antara lain, mengumpulkan data awal, mendeskripsikan data, mengeksplorasi data, dan memverifikasi kualitas data terkait proses bisnis. 3. Persiapan Data (Data Preparation) Pada tahapan persiapan data, ada beberapa hal yang dilakukan antara lain, deskripsi data set, memilih data, membangun data, mengintegrasikan data dan membersihkan data. Data pembayaran kredit yang diperoleh sebanyak 565 record dengan 15 atribut prediktor dan 1 atribut kelas. Atribut prediktor pada dataset koperasi kredit terdiri dari usia, jumlah pinjaman, jangka waktu pinjaman, angsuran, jenis pekerjaan, masa kerja, penghasilan, status rumah, lama tinggal, jumlah tanggungan, nilai agunan, tujuan pinjaman, jumlah simpanan, prestasi pengembalian kredit sebelumnya, dan partisipasi mengembangkan koperasi kredit, sedangkan atribut kelas adalah status pembayaran kredit. 4. Pemodelan (Modeling) Pada tahapan pemodelan dilakukan pemilihan metode klasifikasi dan membangun model klasifikasi untuk memprediksi kredit macet pada koperasi. Adapun metode yang digunakan untuk membangun model klasifikasi adalah Particle Swarm Optimization (PSO) untuk meningkatkan bobot atribut (attribute wighting), Sample Stratified untuk pengacakan data sehingga menghasilkan data pelatihan dan pengujian yang proposional dan Naïve Bayes untuk memprediksi probabilitas keanggotaan suatu kelas. Pada gambar. 1 menunjukkan proses klasifikasi dengan Naïve Bayes kemudian dioptimasi dengan menggunakan metode PSO-NB dengan Sample Stratified. Pengujian model klasifikasi yang diusulkan menggunakan aplikasi rapidminer. Model klasifikasi yang terbentuk diuji untuk mengukur tingkat akurasi dan area under curve (AUC) dengan http://creativecommons.org/licenses/by-nc/4.0/ ISSN: 2656-1743 JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 46 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. data yang secara acak dipisahkan dengan k- folds cross validation dengan k=10. Akurasi diukur dengan menggunakan confusion matrix dan nilai AUC akan diukur dengan menggunakan ROC Curve. 5. Evaluasi (Evaluation) Evaluasi dilakukan untuk memvaliditas model yang terbentuk. Evaluasi dilakukan dengan membandingkan nilai akurasi dan nilai AUC serta menguji signifikan perbedaan antara sebelum dan sesudah dilakukan optimasi pembobotan atribut dengan PSO dan sample stratified pada klasifikasi Naïve Bayes menggunakan metode T-Test dan Anova. Hasil uji T-Test dan anova didapatkan suatu model yang signifikan lebih akurat kinerjanya dalam memprediksi kredit macet pada koperasi. Dataset Pembayaran Kredit Anggota Koperasi PSO Sample Stratified Sampling Optimasi bobot atribut Label 1 (Lancar) Naïve Bayes Label 2 (Macet) 10 Folds X- Validation Pengujian Confusion Matrix dan ROC Curve Evaluasi Label 1 (Lancar) Naïve Bayes Label 2 (Macet) 10 Folds X- Validation Pengujian Confusion Matrix dan ROC Curve Evaluasi T-Test dan Anova Komparasi Model Klasifikasi Naïve Bayes Model Klasifikasi PSO-NB Hasil Naïve Bayes yang dioptimasi dengan PSO dan Stratified signifikan lebih akurat untuk prediksi kredit macet pada koperasi Sumber: (Mardiana, 2018) Gambar 1. Model yang diusulkan HASIL DAN PEMBAHASAN Model yang telah dikembangkan diuji keakuratannya dengan memasukkan sejumlah data ke dalam model. Eksperimen yang dilakukan dalam penelitian ini menggunakan aplikasi rapidminer. Data uji diambil dari histori pembayaran kredit anggota koperasi pada tahun 2012-2014. Data pembayaran kredit yang diperoleh sebanyak 565 record dengan 15 atribut prediktor dan 1 atribut kelas. Atribut prediktor pada dataset koperasi kredit terdiri dari usia, jumlah pinjaman, jangka waktu pinjaman, angsuran, jenis pekerjaan, masa kerja, penghasilan, status rumah, lama tinggal, jumlah tanggungan, nilai agunan, tujuan pinjaman, jumlah simpanan, prestasi pengembalian kredit sebelumnya, dan partisipasi mengembangkan koperasi kredit, sedangkan atribut kelas adalah status pembayaran kredit. Eksperimen pertama dilakukan pengujian model klasifikasi menggunakan metode Naïve Bayes. Desain pengujian model klasifikasi dengan metode Naïve Bayes disajikan pada gambar 2. Sumber: (Mardiana, 2018) Gambar 2. Pengujian Model Klasifikasi Dengan Metode Naïve Bayes Pada Tabel 1 dijelaskan hasil pengujian model klasifikasi dengan metode Naive Bayes pada confusion matrix didapatkan hasil dari 565 data, 294 diklasifikasikan LANCAR sesuai dengan prediksi yang dilakukan dengan metode Naive Bayes, lalu 114 data diprediksi LANCAR tetapi ternyata hasilnya MACET, 67 data diprediksi MACET ternyata hasil nya LANCAR dan 90 diklasifikasikan MACET sesuai dengan prediksinya. Hasil perhitungan divisualisasikan http://creativecommons.org/licenses/by-nc/4.0/ JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 ISSN: 2656-1743 47 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. dengan kurva ROC. Perbandingan kedua class disajikan pada Gambar 3 yang merupakan kurva ROC untuk algoritma Naïve Bayes. Kurva ROC pada gambar 2 menunjukkan confusion matrix dari tabel 1. Garis horizontal adalah false positives dan garis vertikal true positives. Menghasilkan nilai AUC sebesar 0.747 dengan diagnosa klasifikasi cukup (fair classification). Tabel 1. Hasil Confusion Matrix Model Klasifikasi Dengan Metode Naïve Bayes Accuracy : 67.97% +/- 4.635(mikro: 67.96%) true LANCAR true MACET Class Precisio n pred. LANCAR 294 114 72,06% Pred. MACET 67 90 57,32% Class recall 81,44% 44,12% Accuracy : 67.97% +/- 4.635(mikro: 67.96%) true LANCAR true MACET Class Precision pred. LANCAR 294 114 72,06% Pred. MACET 67 90 57,32% Class recall 81,44% 44,12% Sumber: (Mardiana, 2018) Sumber: (Mardiana, 2018) Gambar 3. Kurva ROC Dengan Metode Naïve Bayes Pada ekperimen kedua, akan dilakukan uji coba dengan memberi nilai pada parameter population size antara 10-100 dan maximum number of generation antara 60-100. Dalam pengacakan data pelatihan dan pengujian ini ada kemungkinan akan menghasilkan data yang tidak proporsional dalam tiap klasifikasi. Oleh karena itu digunakan metode sample stratified untuk pengacakan data sehingga menghasilkan data pelatihan dan pengujian yang proposional. Desain pengujian model klasifikasi dengan metode PSO- NB disajikan pada gambar 4. Sumber: (Mardiana, 2018) Gambar 4. Pengujian Model Klasifikasi Dengan Metode PSO-NB Hasil pengujian pada eksperimen kedua disajikan pada Tabel 2. Berdasarkan hasil pengujian diperoleh akurasi tertinggi terjadi pada saat population size bernilai 50 dan maximum number of generation bernilai 100 dengan nilai akurasi sebesar 89,00%, AUC 0,879 dalam waktu 35 detik. Hasil pembobotan atribut dengan PSO seperti yang disajikan pada tabel 3 menunjukkan bahwa hanya 11 atribut variabel predictor yang berpengaruh terhadap prediksi kredit macet, antara lain : usia, jangka waktu pinjaman, angsuran, jenis pekerjaan, penghasilan, lama tinggal, jumlah tanggungan, nilai agunan, tujuan pinjaman, simpanan, dan prestasi pengembalian kredit yang lalu. Tabel 2. Hasil Akurasi Model Klasifikasi Dengan Metode PSO-NB Populat ion Size Maximum Number of Generation 60 70 80 90 100 10 80.00 80.00 84.00 80.00 80.0 0 20 84.00 84.00 84.00 84.00 84.0 0 30 82.00 82.00 82.00 81.00 82.0 0 http://creativecommons.org/licenses/by-nc/4.0/ ISSN: 2656-1743 JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 48 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. 40 84.00 86.00 88.00 85.00 84.0 0 50 87.00 87.00 87.00 87.00 89.0 0 60 85.00 87.00 88.00 83.00 83.0 0 70 84.00 83.00 83.00 84.00 84.0 0 80 84.00 86.00 86.00 85.00 84.0 0 90 85.00 84.00 83.00 86.00 85.0 0 100 84.00 83.00 86.00 84.00 86.0 0 Sumber: (Mardiana, 2018) Tabel 3. Hasil Pembobotan Atribut Atribut Bobot Usia 0.216 Jumlah pinjaman 0 Jangka waktu pinjaman 0.429 Angsuran 1 Jenis pekerjaan 0.150 Masa kerja/usaha 0 Penghasilan 0.037 Status rumah 0 Lama tinggal 1 Jumlah tanggungan 0.303 Nilai agunan 0.664 Tujuan pinjaman 0.267 Simpanan 1 Prestasi pengembalian kredit yang lalu 0.365 Partisipasi mengembangkan koperasi kredit 0 Sumber: (Mardiana, 2018) Tabel 4 menjelaskan dari 100 data yang proposional untuk digunakan dalam klasifikasi dengan Naïve Bayes, 60 diklasifikasikan LANCAR sesuai dengan prediksi, lalu 7 data diprediksi LANCAR tetapi ternyata hasilnya MACET, 4 data diprediksi MACET ternyata hasilnya LANCAR, 29 diklasifikasikan MACET sesuai dengan prediksi. Dari hasil perhitungan tersebut, kemudian divisualisasikan dengan kurva ROC. Garis horizontal adalah false positives dan garis vertikal true positives. Dari Gambar 5 disajikan grafik ROC dengan nilai AUC sebesar 0.879 dengan diagnosa klasifikasi baik (good classification). Tabel 4. Hasil Confusion Matrix Model Klasifikasi Dengan Metode PSO-NB Accuracy : 89.00% +/- 11.36(mikro: 89.00%) true LANCAR true MACET Class Precisio n pred. LANCAR 60 7 89.55% Pred. MACET 4 29 87.88% Class recall 93.75% 80.56% Sumber: (Mardiana, 2018) Sumber : (Mardiana, 2018) Gambar 5. Kurva ROC Dengan Metode PSO-NB Berdasarkan hasil pengujian, dilakukan evaluasi dengan mengamati perbandingan nilai akurasi dan AUC dari setiap metode seperti yang disajikan pada tabel 5. Hasil evaluasi menunjukkan bahwa nilai akurasi dan PSO-NB lebih tinggi dibandingkan Naïve Bayes tunggal. Penggunaan PSO untuk optimasi bobot atribut dan sample stratified pada klasifikasi Naïve Bayes menghasilkan peningkatan akurasi sebesar 21,03% dan AUC sebesar 0,069. Tabel 5. Perbandingan Hasil Metode NB Dengan PSO-NB Metode Akurasi AUC Naïve Bayes 67.97% 0.747 PSO-NB 89% 0.879 Sumber: (Mardiana, 2018) Evaluasi lebih lanjut dilakukan untuk menguji validitas performansi model klasifikasi menggunakan uji T-Test dan Anova. Desain uji T- Test dan Anova pada aplikasi rapidminer disajikan pada gambar 6. http://creativecommons.org/licenses/by-nc/4.0/ JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 ISSN: 2656-1743 49 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. Sumber: (Mardiana, 2018) Gambar 6. Uji T-Test dan Anova Model Klasifikasi Naïve Bayes Dengan PSO-NB Hasil uji Te-Test disajikan pada gambar 7 yang menunjukkan bahwa metode PSO-NB memiliki perbedaan nilai yang sangat baik atau signifikan karena memiliki probabilitas < 0.05 yaitu 0.000 terhadap metode Naive Bayes. Sumber: (Mardiana, 2018) Gambar 7. Hasil Uji T-Test Model Klasifikasi Naïve Bayes Dengan PSO-NB Hasil uji anova pada gambar 8 menunjukkan bahwa dkantar kelompok(pembanding) = 1, dkdalam residual (penyebut) = 18, pada alfa=0.05 maka nilai F tabelnya adalah F0,05(1,18) = 4,41. Sedang F hitung = 27.485. Nilai Fhitung > Ftabel, 27.485> 4,41, maka pada dua metode klasifikasi yang diuji memiliki perbedaan yang nyata (signifikan) dalam nilai AUC. Sumber: (Mardiana, 2018) Gambar 8. Hasil Uji Anova Model Klasifikasi Naïve Bayes Dengan PSO-NB Hasil evaluasi menunjukkan bahwa PSO-NB dengan Sample Stratified merupakan kombinasi metode yang cukup baik dalam pengklasifikasian data. Penggunaan PSO untuk optimasi pembobotan atribut mampu menunjukkan atribut yang berpengaruh terhadap prediksi kredit macet. Dengan demikian metode PSO-NB dengan Sample Stratified menjadi solusi pemecahan permasalahan dalam memprediksi kredit macet pada koperasi. KESIMPULAN Penggunaan PSO sangat efektif untuk metode Naïve Bayes yang mengasumsikan nilai dari atribut pada kelas tertentu tidak bergantung (independence) pada nilai atribut lainnya. Hasil pembobotan atribut dengan PSO seperti yang disajikan pada tabel 3 menunjukkan bahwa hanya 11 atribut variabel predictor yang berpengaruh terhadap prediksi kredit macet, antara lain : usia, jangka waktu pinjaman, angsuran, jenis pekerjaan, penghasilan, lama tinggal, jumlah tanggungan, nilai agunan, tujuan pinjaman, simpanan, dan prestasi pengembalian kredit yang lalu. Optimasi metode Naïve Bayes menggunakan PSO dan Sample Stratified memberikan nilai akurasi sebesar 89% 21,03% dan nilai AUC sebesar 0.879 dengan diagnosa klasifikasi baik (good classification). Performansi kinerja metode PSO-Naïve Bayes dengan Sample Stratified menghasilkan peningkatan akurasi sebesar 21,03% dan AUC sebesar 0,069 dibandingkan dengan metode Naïve Bayes tunggal. Hasil uji T-Test dan Anova menunjukkan pada dua metode klasifikasi yang diuji memiliki perbedaan yang nyata (signifikan) dalam nilai AUC. Dengan demikian metode PSO-NB dengan Sample Stratified menjadi solusi pemecahan permasalahan dalam memprediksi kredit macet pada koperasi. Penelitian lanjutan dapat dikembangkan pendekatan hybrid untuk optimasi bobot atribut http://creativecommons.org/licenses/by-nc/4.0/ ISSN: 2656-1743 JURNAL RISET INFORMATIKA Vol. 1, No. 1 Desember 2018 50 Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional. sehingga kinerja Naïve Bayes lebih akurat dalam memprediksi kredit macet pada koperasi. REFERENSI Antaristi, M., & Kurniawan, I. (2017). Aplikasi Klasifikasi Penentuan Pengajuan Kartu Kredit Menggunakan Metode Naive Bayes di Bank BNI Syariah Surabaya. Jurnal Teknik Elektro, 9(2), 45–52. Fadillah, A. P. (2015). Penerapan Metode CRISP- DM untuk Prediksi Kelulusan Studi Mahasiswa Menempuh Mata Kuliah ( Studi Kasus Universitas XYZ ). Jurnal Teknik Informatika Dan Sistem Informasi, 1, 260– 270. https://doi.org/10.1016/S2214- 109X(14)70029-4 Fitri Cahyanti, A., Saptono, R., & Widya Sihwi, S. (2015). Penentuan Model Terbaik pada Metode Naive Bayes Classifier dalam Menentukan Status Gizi Balita dengan Mempertimbangkan Independensi Parameter. Jurnal Teknologi & Informasi ITSmart, 4(1, Juni), 28. https://doi.org/10.20961/its.v4i1.1754 Hasan, M. (2017). Prediksi Tingkat Kelancaran Pembayaran Kredit Bank Menggunakan Algoritma Naive Bayes Berbasis, 9, 317–324. Ikhsan Saputro, M., & Mardiana, T. (2015). Agen cerdas untuk penentuan kelayakan pemberian kredit koperasi simpan pinjam, I(2), 245–252. Kementerian Koperasi dan Usaha Kecil Menengah Republik Indonesia. (2015). Building cooperatives and SMEs as National Economic Resilience. Jakarta. Li, J., Ding, L., & Li, B. (2014). A Novel Naive Bayes Classification Algorithm Based on Particle Swarm Optimization. The Open Automation and Control Systems Journal, 6(1), 747–753. https://doi.org/10.2174/187444430140601 0747 Mardiana, T. (2018). Laporan Penelitian Penelitian Mandiri Model Klasifikasi Prediksi Kredit Macet Menggunakan PSO-Naïve Bayes Pada Koperasi. Jakarta. Melissa, I., & Oetama, R. S. (2013). Analisis Data Pembayaran Kredit Nasabah Bank Menggunakan Metode Data Mining. ULTIMA InfoSys, IV(1), 18–27. Menarianti, I. (2015). Klasifikasi data mining dalam menentukan pemberian kredit bagi nasabah koperasi. Jurnal Ilmiah Teknosains, 1(1), 1–10. Muhamad, H., Prasojo, C. A., Sugianto, N. A., Surtiningsih, L., Cholissodin, I., Ilmu, F., … Optimization, P. S. (2017). Optimasi Naive Bayes Classifier dengan Menggunakan Particle Swarm Optimization pada Data Iris. Teknologi Informasi Dan Pendidikan, 4(3), 180–184. Rifqo, M. H., & Wijaya, A. (2017). Implementasi Algoritma Naive Bayes Dalam Penentuan Pemberian Kredit. Jurnal Pseudocode, 4(2), 120–128. Rinawati. (2017). Penentuan Penilaian Kredit Menggunakan Metode Naive Bayes Berbasis Particle Swarm Optimization. Jurnal Sains Komputer & Informatika, 1(1), 58–58. https://doi.org/10.30645/j-sakti.v1i1.28 http://creativecommons.org/licenses/by-nc/4.0/