Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 9797 Evaluasi Implementasi Perangkat Lunak e-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) Amy Aisya1, Debbie Amalina2 1Magister Management, Universitas Airlangga 2Departement of Management Technology, Institut Teknologi Sepuluh Nopember e-mail: amy.aisya@gmail.com, debbie.amalina@gmail.com Abstract: e-Invoice considered as one of the most implemented financial information systems these recent years. e-Invoice had grown from a system that brings convenience, into a part of the strategy to fulfil corporate expectation. However, it’s uncertain whether e-Invoice implementation indeed successfully brings proven benefits into the company business, especially in mandatory environ- ment. Therefore, the aim of this study is to identify the indicators that affect the success of e-Invoice implementation in a particular state-owned company, based upon DeLone & McLean IS Success Model which adjusted to fit mandatory environment. In terms of evaluation, previous research regarding e-Invoice mostly discussed about the key factors that influence the adoption of e-Invoice. Therefore, most of the evaluation using DeLone & McLean IS Success Model did not consider the environment of the system. This research also examining whether the mandatory-environment- adjusted DeLone & McLean IS Success Model is valid for evaluating IS success. According to DeLone & McLean IS Success Model, there are six variables used as basic measurement, namely informa- tion quality, system quality, service quality, user satisfaction, intention to use, and net benefits. Following that, a set of structured questionnaire arranged and distributed to 34 users of an e-Invoice system provided by a state-owned enterprise headquartered in Rembang, Indonesia, which are vendors. The data then will be processed using Partial Least Square (PLS) method. The result showed that information quality and system quality gave significant impact to eser satisfaction and user satisfaction has the most impact towards net benefits. Keywords: DeLone & McLean IS Success Model; e-invoice; financial information system; informa- tion system evaluation; partial least square PENDAHULUAN Sistem informasi keuangan merupakan tek- nologi yang menyediakan informasi kepada sese- orang atau kelompok mengenai pergerakan arus keuangan, transaksi keuangan, dan informasi lainnya terkait permasalahan keuangan perusaha- an. Dalam satu dekade terakhir, perusahaan skala menengah hingga atas menerapkan sistem informasi keuangan sebagai salah satu sistem pendukung proses bisnis perusahaan terkait ber- bagai prosedur keuangan. Kesadaran untuk mengganti sistem manual ke sistem informasi keuangan dipicu atas kebutuhan perusahaan akan ketersediaan informasi keuangan secara oto- matis, terfasilitasinya pengiriman dokumen seca- ra elektronik, proses administrasi prosedur yang terekam dengan baik, serta proses transaksi keuangan yang bersifat digital. Seluruhnya dike- lola sesuai dengan kebijakan yang berlaku di masing-masing perusahaan. Salah satu perusahaan yang terus mengem- bangkan sistem informasi keuangan sesuai de- ngan perkembangan zaman adalah PT XYZ. Di perusahaan ini, sistem informasi keuangan se- hari-hari digunakan untuk membantu kinerja unit akuntansi dan keuangan yang bertanggung Business and Finance Journal, Volume 6, No. 2, October 2021 98 jawab dalam hal pengawasan dan pengelolaan proses transaksi keuangan, yaitu transaksi pene- rimaan piutang dan pembayaran utang. Dalam hal ini termasuk juga pengelolaan proses verifi- kasi dokumen untuk keperluan penerimaan dan pembayaran yang dilakukan oleh dan untuk perusahaan. Prioritas utama dari penerapan sistem infor- masi adalah untuk memadukan teknologi dengan tujuan bisnis dan kebutuhan pengguna sehingga mampu memberikan banyak manfaat bagi per- usahaan, termasuk keuntungan strategis (Peterson dan Kim, 2000). Proses administrasi pembayaran tagihan dengan pihak luar perusahaan seringkali lebih rumit karena terkendala oleh jarak maupun kebijakan masing-masing perusahaan. Oleh kare- na itu, salah satu manfaat yang diharapkan oleh unit akuntansi dan keuangan dengan adanya solusi sistem informasi keuangan adalah kelan- caran dan efektivitas proses administrasi pemba- yaran tagihan utang perusahaan, terutama yang berhubungan dengan pihak luar perusahaan atau vendor yang bekerjasama dengan PT XYZ. Kinerja sebuah perusahaan tergantung pada kinerja sistem informasi yang mendukung kinerja perusahaan tersebut (Fieschi, 2018). Kinerja e- Invoice diharapkan selalu berada dalam kondisi baik dan prima. Dalam praktiknya penerapan sistem informasi belum tentu sesuai dengan ekspektasi. Perusahaan belum tentu mendapat- kan sistem yang berkualitas dan sesuai dengan kebutuhan untuk mencapai target. Menurut Chaos Survey, pada rentang tahun 1994–2000, hanya sekitar 30% dari penerapan sistem informasi di dunia bisnis yang benar- benar memenuhi kebutuhan penggunanya (Has- tie, 2006). Emam dan Koru (2008) dalam hasil penelitiannya mengungkapkan bahwa pada tahun 2007 terdapat sekitar 11,54% penerapan sistem informasi di perusahaan mengalami kegagalan setelah diteliti dengan menggunakan faktor ke- puasan pengguna, ketepatan waktu, biaya, kua- litas produk dan informasi yang dicapai atas penggunaan sistem informasi. Bahkan dalam survei yang dilakukan Deloitte Consulting atas 64 perusahaan yang masuk dalam urutan For- tune 500, sekitar 25% perusahaan mengalami penurunan kinerja yang cukup tajam setelah menerapkan sistem informasi (Hall dan Single- ton, 2007). Tidak semua penerapan sistem informasi sesuai dengan harapan, karena sistem informasi bukan sekadar bentuk terkomputeri- sasi dari proses manual, namun juga melibatkan proses bisnis dan sumber daya perusahaan. Untuk menghindari faktor-faktor yang ber- potensi memicu kegagalan penerapan e-Invoice, dibutuhkan evaluasi untuk mengetahui kesuk- sesan e-Invoice dalam memenuhi kebutuhan pengguna dan perusahaan. Evaluasi kesuksesan sistem informasi merupakan salah satu topik yang sering dibahas oleh banyak peneliti. DeLone dan McLean (2016) mengutip pernyataan Keen (1980) bahwa evaluasi kesuksesan sistem infor- masi merupakan hal yang sangat penting, baik untuk kepentingan penelitian maupun praktikal, karena penerapan teknologi informasi yang suk- ses didukung oleh desain, penyampaian, keber- manfaatan, dan pengaruh yang efektif. Dalam merancang konsep evaluasi sistem informasi, ada banyak hal yang harus diperhati- kan. Salah satunya adalah sifat penerapan sistem informasi yang akan dievaluasi, apakah sistem tersebut bersifat mandatory atau voluntary. E- Invoice tergolong sistem mandatory. Perbedaan yang cukup mendasar dari penerapan sistem yang bersifat mandatory dengan yang bersifat voluntary atau sukarela terdapat pada dimensi penggunaan dan konsekuensi dari penggunaan sistem tersebut (Koh et al., 2010). Berbeda dengan sistem yang bersifat voluntary, penggu- Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 99 Oleh karena itu, dalam penelitian ini akan dilakukan evaluasi sistem e-Invoice untuk menge- tahui faktor apa saja yang paling berpengaruh terhadap kesuksesan penerapan sistem e-Invoice. Akan tetapi, pengukuran variabel mengacu pada usulan dan teori yang diungkapkan oleh beberapa peneliti sebelumnya mengenai karakteristik sistem mandatory, di mana sistem mandatory lebih baik diukur berdasarkan kebermanfaatan sistem sebagai penunjang pekerjaan. Evaluasi dilakukan menggunakan DeLone & McLean IS Success Model, yang menekankan pengamatan dari aspek perilaku pengguna dalam memanfaat- kan sistem informasi. Melalui penelitian ini juga diuji apakah model kesuksesan DeLone & Mc- Lean yang telah disesuaikan dengan lingkungan mandatory dapat digunakan dalam evaluasi ke- suksesan sistem informasi perusahaan. Sehingga apabila di masa yang akan datang perusahaan ingin menerapkan sistem lainnya yang melibatkan pihak luar seperti vendor, penelitian ini dapat dijadikan acuan untuk melakukan evaluasi dan pengembangan lanjutan. Model dari DeLone & McLean dapat dilihat pada Gambar 1. Pengumpulan data pendukung penelitian dilakukan melalui kuesioner yang ditujukan ke- pada seluruh pengguna e-Invoice, baik dari sisi internal maupun sisi eksternal. Data-data hasil kuesioner yang telah dijawab oleh responden kemudian dianalisis dengan menggunakan metode Structural Equation Modelling: Partial Least Square (SEM-PLS). Metode SEM-PLS dapat digunakan untuk prediksi hubungan antar varia- bel yang terdapat dalam sebuah model konsep- tual. Selain karena metode ini memungkinkan untuk analisis data dengan jumlah sampel kecil, dalam penelitian ini berjumlah sekitar 34 res- ponden, PLS dapat berbasis pada asumsi atau teori. Hal tersebut diperkirakan lebih sesuai dan cocok dengan penelitian yang dilakukan. naan sistem dapat diukur dari seberapa sering sistem tersebut dipakai dan berhubungan dengan keinginan pengguna untuk secara kontinu meng- gunakan sistem (Mardiana et al., 2015). Sedang- kan untuk sistem mandatory, indikator-indikator seperti frekuensi penggunaan maupun niat peng- gunaan kurang tepat digunakan untuk mengukur kesuksesan karena pengguna sudah dipastikan akan tetap menggunakan sistem tersebut untuk menyelesaikan pekerjaan. Dari banyaknya penelitian mengenai evalua- si kesuksesan sistem informasi menggunakan model kesuksesan DeLone & McLean, tidak sedikit yang mendapati hasil bahwa aspek peng- gunaan sistem tidak berpengaruh pada kesuk- sesan sistem informasi. Hal ini disimpulkan oleh Petter (2008), rendahnya hubungan antara penggunaan sistem dengan variabel lain disebab- kan karena peneliti terlalu menyederhanakan konteks penelitian, seperti mengabaikan di ling- kungan seperti apa sistem diterapkan, apakah voluntary atau mandatory. Iivari (2005) yang mengevaluasi sistem infor- masi akuntansi dengan model DeLone & Mc- Lean berasumsi bahwa semakin baik kualitas sistem, semakin tinggi tingkat penggunaan sis- tem. Indikator daily use dan frequency of use digunakan untuk mengukur penggunaan sistem. Akan tetapi, penelitian ini menemukan bahwa variabel actual use secara relatif tidak memiliki peranan yang signifikan di dalam model. Disimp- ulkan bahwa hal ini diakibatkan oleh penggunaan sistem yang bersifat mandatory. Penelitian serupa juga dilakukan oleh Budiyanto (2009). Hasil penelitian yang didapatkan pun tidak jauh berbe- da, di mana variabel actual use tidak tepat dijadikan pengukuran penggunaan nyata, walau- pun diterapkan pada aplikasi dengan objek, waktu, dan tempat berbeda. Business and Finance Journal, Volume 6, No. 2, October 2021 100 Gambar 1 DeLone & McLean IS Success Model 2002 METODOLOGI PENELITIAN Metodologi Penelitian Terdapat empat tahap dalam menyusun penelitian ini. (1) Tahap persiapan, (2) tahap pengumpulan data, (3) tahap analisis data, dan (4) tahap pembahasan hasil. Detail dari masing- masing tahap dapat dilihat pada Gambar 2-a. batasan penelitian, identifikasi masalah, dan seluruh informasi awal yang dibutuhkan. Stu- di lapangan dilakukan untuk menganalisis kondisi terkini implementasi e-Invoice terkait hasil yang diharapkan oleh manajemen terha- dap penerapan sistem, tantangan yang diha- dapi, dan permasalahan yang terjadi. Selanjut- nya, sampel penelitian ditentukan. Studi lite- ratur dilakukan seiring dengan studi lapangan. Dari informasi yang terkumpul pada tahap ini, model penelitian dapat ditentukan dan kuesioner penelitian siap untuk disusun. Kue- sioner yang disusun disesuaikan dengan De- Lone & McLean IS Success Model. Masing- masing konstruk dijelaskan oleh indikator yang menentukan arah kuesioner. Tabel 1 menunjukkan konstruk dan serta sumber lite- ratur yang digunakan sebagai acuan penentuan indikator. Tabel 1 Indikator untuk Kuesioner Gambar 2 a Metodologi Penelitian 1. Tahap persiapan Tahap yang paling awal ini merupakan per- siapan untuk menyusun tujuan penelitian, Konstruk Indikator Sources Information Quality IQ1 Konten Gable et. al (2008), McKinney et. al (2009), Iivari (2005) IQ2 Format IQ3 Akurasi IQ4 Ketepatan Waktu System Quality SQ1 Reliabilitas Gable et. al (2008), Bailey & Pearson (2008), Hamilton & Chervany (1981) SQ2 Kemudahan Penggunaan SQ3 Kemudahan Pemahaman SQ4 Fitur SQ5 Waktu Respons Service Quality SV1 Reliabilitas Pitt et. al (1995) SV2 Responsivitas SV3 Jaminan SV4 Empati Use U1 & U2 Kebermanfaatan Sistem DeLone & McLean (2016) User Satisfaction US1 Kepuasan keseluruhan Gable et. al (2008) US2 Kepuasan Informasi US3 Kepuasan Sistem Net Benefits NB1 Pencapaian Target DeLone & McLean (2016) NB2 Peningkatan Efektivitas Penyesuaian terhadap kondisi mandatory ter- lihat pada konstruk use, di mana indikator Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 101 yang digunakan adalah kebermanfaatan sis- tem. Sesuai dengan pendapat DeLone & McLean (2016) mengenai kebermanfaatan sistem sebagai indikator pengukuran yang dianjurkan. 2. Tahap pengumpulan data Pada tahap ini, kuesioner disusun dan didistri- busikan kepada responden. Responden pada penelitian ini adalah pengguna e-Invoice, khu- susnya pihak vendor. Setelah kuesioner yang telah dijawab terkumpul, kuesioner diuji un- tuk memeriksa validitas dan reliabilitas hasil kuesioner. 3. Tahap analisis data Pada tahap ini, hasil kuesioner yang telah dibagikan dan dijawab oleh responden akan dianalisis. Analisis data kuantitatif mengguna- kan metode Partial Least Square. a. Menilai model pengukuran Model pengukuran, atau outer model me- rupakan proses evaluasi validitas dan relia- bilitas konstruk atau dapat diartikan se- bagai pengujian korelasi antar indikator dan konstruknya. Terdapat tiga kriteria dalam menilai model pengukuran, antara lain: � convergent validity � discriminant validity � composite reliability b. Menilai model struktural Model struktural dinilai untuk memastikan hubungan antara satu konstruk dengan konstruk lainnya. Penilaian dilakukan de- ngan cara mencari nilai R-Square atau menganalisis koefisien jalur. Stabilitas dari estimasi ini diperiksa melalui uji-T dengan prosedur bootstrapping. 4. Tahap pembahasan hasil Terakhir, setelah analisis selesai dilakukan, hasil analisis diinterpretasikan dan didiskusi- kan untuk mencapai kesimpulan. Kesimpulan ini akan menjadi acuan rekomendasi terhadap pengembangan e-Invoice di masa yang akan datang. Populasi dan Sampel Penelitian ini dilakukan di Unit Akuntansi dan Keuangan PT XYZ. Populasi keseluruhan adalah seluruh pengguna e-Invoice, baik dari sisi internal maupun sisi eksternal yaitu vendor. Persyaratan yang harus dipenuhi oleh sampel, yaitu telah berpengalaman menggunakan e-In- voice minimal selama enam bulan. Dari sekitar 50 kuesioner yang dibagikan, hanya 34 kue- sioner yang berlanjut ke tahapan analisis. Model Penelitian dan Hipotesis Model penelitian diadaptasi dari DeLone & McLean IS Success Model, di mana terdapat enam konstruk yang dibagi menjadi tiga variabel independen dan tiga variabel dependen. Model penelitian dapat dilihat pada Gambar 2-b. Model penelitian ini memiliki hubungan reciprocal atau hubungan mutual antara variabel use dengan variabel user satisfaction. Untuk itu, model pene- litian akan diuji dua kali dengan cara mengurai- kan menjadi dua model, yaitu model penelitian 1 (Gambar 2-c) dan model penelitian 2 (Gambar 2-d). Gambar 2 b Model Penelitian Business and Finance Journal, Volume 6, No. 2, October 2021 102 Gambar 2 c Model Penelitian 1 HASIL DAN PEMBAHASAN Analisis Data: Menguji Outer Model atau Model Pengukuran Pertama-tama, model pengukuran dinilai dengan cara menghitung korelasi antara indikator dan konstruknya. Kemudian validitas dan reliabi- litas dari model dapat diketahui. Metode yang dilakukan dalam pengukuran model pengukuran antara lain convergent validity, discriminant va- lidity, dan construct reliability (Ghozali, 2018). 1. Convergent validity Convergent validity merupakan validitas hu- bungan antara indikator dengan konstruknya. Validitas ini dapat diperhatikan melalui nilai Loading factor dari masing-masing indikator. Indikator dianggap valid apabila nilai loading factor ≥ 0.7 (Ghozali, 2018). Pada program PLS, loading factor dapat ditemukan pada bagian outer loading. Tabel 3 menunjukkan outer loading dari masing-masing indikator. Tabel 3 Outer Loading Indikator Gambar 2 d Model Penelitian 2 Berdasarkan model penelitian di atas, disus- un sembilan hipotesis seperti yang bisa dilihat pada Tabel 2 berikut ini. Tabel 2 Hipotesis Penelitian Hypothesis H1 Information quality berpengaruh terha- dap use H2 Information quality berpengaruh terha- dap user satisfaction H3 System quality berpengaruh terhadap use H4 System quality berpengaruh terhadap user satisfaction H5 Service quality berpengaruh terhadap use H6 Service quality berpengaruh terhadap user satisfaction H7 User satisfaction berpengaruh terhadap use H8 User satisfaction berpengaruh terhadap net benefits H9 Use berpengaruh terhadap net benefits Constructs Indicators Loading Factors Model 1 Model 2 Information quality IQ1 0.859 0.859 IQ2 0.718 0.718 IQ3 0.925 0.925 IQ4 0.907 0.907 System quality SQ1 0.542* 0.542* SQ2 0.917 0.917 SQ3 0.806 0.806 SQ4 0.881 0.881 SQ5 0.807 0.807 Service quality SV1 0.891 0.891 SV2 0.969 0.969 SV3 0.941 0.941 SV4 0.918 0.918 Use USE1 0.774 0.774 USE2 0.704 0.704 USE3 0.699* 0.699* User satisfaction US1 0.932 0.933 US2 0.904 0.902 US3 0.930 0.930 Net benefits NB1 0.932 0.932 NB2 0.925 0.925 Keterangan: * = Tidak valid Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 103 Dari Tabel 3, seluruh indikator telah valid ke- cuali indikator SQ1 dan USE3. Hal ini artinya kedua indikator tersebut tidak valid dan harus dikeluarkan dari model. Setelah indikator ter- sebut dikeluarkan dari model, dilakukan peng- ujian ulang discriminant validity. Hasil penguji- an ulang dapat dilihat pada Tabel 4. Tabel 4 Outer Loading Indikator Re-Estimasi Discriminant validity dikatakan baik apa- bila akar kuadrat dari AVE untuk masing- masing konstruk lebih besar daripada ko- relasi konstruk tersebut dengan konstruk lain. Tabel 5 dan Tabel 6 menunjukkan discriminant validity dari model penelitian 1 dan model penelitian 2 berdasarkan nilai cross loading. Tabel 5 Discriminant Validity Model Penelitian 1 Dari hasil pengujian ulang, diketahui bahwa seluruh indikator telah valid. 2. Discriminant validity Discriminant validity memiliki prinsip bahwa indikator sebuah konstruk tidak boleh berko- relasi lebih tinggi dengan konstruk lainnya. Terdapat dua cara untuk menguji discrimi- nant validity sebagai berikut. a. Cross loading Idealnya nilai cross loading antara konstruk dan indikatornya lebih tinggi dibandingkan dengan nilai cross loading indikator-indi- kator tersebut dengan konstruk lainnya. b. Akar kuadrat average variance extracted (AVE) Constructs Indicators Loading Factors Model 1 Model 2 Information quality IQ1 0.859 0.859 IQ2 0.718 0.718 IQ3 0.925 0.925 IQ4 0.907 0.907 System quality SQ2 0.917 0.917 SQ3 0.806 0.806 SQ4 0.881 0.881 SQ5 0.807 0.807 Service quality SV1 0.891 0.891 SV2 0.969 0.969 SV3 0.941 0.941 SV4 0.918 0.918 Use USE1 0.774 0.774 USE2 0.704 0.704 User satisfaction US1 0.932 0.933 US2 0.904 0.902 US3 0.930 0.930 Net benefits NB1 0.932 0.932 NB2 0.925 0.925 Indikator Constructs IQ SQ SV USE US NB IQ1 0.862 0.573 0.424 0.526 0.683 0.628 IQ2 0.713 0.563 0.422 0.500 0.553 0.679 IQ3 0.926 0.601 0.307 0.396 0.610 0.548 IQ4 0.908 0.629 0.285 0.389 0.643 0.548 SQ2 0.689 0.903 0.446 0.463 0.702 0.630 SQ3 0.497 0.843 0.484 0.486 0.518 0.620 SQ4 0.570 0.902 0.549 0.608 0.781 0.762 SQ5 0.645 0.817 0.511 0.497 0.622 0.529 SV1 0.386 0.576 0.890 0.597 0.551 0.545 SV2 0.457 0.566 0.968 0.604 0.534 0.535 SV3 0.360 0.483 0.939 0.619 0.506 0.562 SV4 0.378 0.515 0.921 0.689 0.541 0.582 USE1 0.400 0.595 0.736 0.864 0.636 0.632 USE2 0.490 0.358 0.319 0.769 0.505 0.638 US1 0.614 0.804 0.635 0.705 0.932 0.825 US2 0.705 0.661 0.466 0.595 0.904 0.861 US3 0.713 0.652 0.481 0.644 0.930 0.744 NB1 0.603 0.650 0.574 0.697 0.862 0.933 NB2 0.711 0.726 0.537 0.739 0.770 0.924 Tabel 6 Cross Loading Model Penelitian 2 Indikator Constructs IQ SQ SV USE US NB IQ1 0.862 0.573 0.424 0.526 0.683 0.628 IQ2 0.713 0.563 0.422 0.500 0.553 0.679 IQ3 0.926 0.601 0.307 0.396 0.610 0.548 IQ4 0.908 0.629 0.285 0.389 0.643 0.548 SQ2 0.689 0.903 0.446 0.463 0.702 0.630 SQ3 0.497 0.843 0.484 0.486 0.518 0.620 SQ4 0.570 0.902 0.549 0.608 0.781 0.762 SQ5 0.645 0.817 0.511 0.497 0.622 0.529 SV1 0.386 0.576 0.890 0.597 0.551 0.545 SV2 0.457 0.566 0.968 0.604 0.534 0.535 SV3 0.360 0.483 0.939 0.619 0.506 0.562 SV4 0.378 0.515 0.921 0.689 0.541 0.582 USE1 0.400 0.595 0.736 0.864 0.636 0.632 USE2 0.490 0.358 0.319 0.769 0.505 0.638 US1 0.614 0.804 0.635 0.705 0.932 0.825 US2 0.705 0.661 0.466 0.595 0.904 0.861 US3 0.713 0.652 0.481 0.644 0.930 0.744 NB1 0.603 0.650 0.574 0.697 0.862 0.933 NB2 0.711 0.726 0.537 0.739 0.770 0.924 Business and Finance Journal, Volume 6, No. 2, October 2021 104 Hasil pengujian di atas menunjukkan bahwa seluruh korelasi antara indikator dan kon- struknya memenuhi persyaratan cross load- ing ≥ 0.7. 3. Composite reliability Analisis model pengukuran juga dilakukan untuk menguji reliabilitas model. Sebuah konstruk dianggap reliabel apabila nilai com- posite reliability ≥ 0.70. Tabel 7 menghimpun composite reliability dari kedua model. Tabel 7 Composite Reliability Model 1 dan Model 2 Tabel 8 R-Square Konstruk Model 1 Model 2 Composite Reliability Reliabilitas Composite Reliability Reliabilitas IQ 0.916 Reliabel 0.916 Reliabel SQ 0.924 Reliabel 0.924 Reliabel SV 0.962 Reliabel 0.962 Reliabel USE 0.801 Reliabel 0.801 Reliabel US 0.945 Reliabel 0.945 Reliabel NB 0.926 Reliabel 0.926 Reliabel Dari keenam konstruk dalam model, seluruh- nya memiliki nilai composite reliability ≥ 0.70 sehingga seluruh konstruk dinyatakan reliabel. Analisis Data: Menguji Inner Model atau Model Struktural Pemeriksaan model struktural bertujuan untuk menguji hipotesis yang telah disusun sebe- lumnya. Terdapat dua hal yang harus dilakukan untuk memeriksa model struktural, yaitu R- Square dan estimasi koefisien jalur (T-Test). 1. R-Square R-Square digunakan untuk mengukur kekuat- an prediksi dari model struktural. Nilai R- Square sekitar 0,75 dikategorikan sebagai kuat, sekitar 0,5 dikategorikan moderat, dan nilai sekitar 0,25 dikategorikan lemah (Hair et al., 2011). Konstruk R Square Model 1 Keterangan Model 2 Keterangan USE 0.54 Moderat 0.60 Moderat US 0.73 Moderat 0.69 Moderat NB 0.82 Kuat 0.82 Kuat Informasi pada Tabel 8 dapat dirangkum sebagai berikut. a. Nilai R-Square sebesar 0.540 pada model 1 menjelaskan pengaruh variabel informa- tion quality (IQ), system quality (SQ), dan service quality (SV) terhadap variabel en- dogen USE sebesar 54% dan nilai R- Square 0.602. Sedangkan pada model 2 menjelaskan pengaruh variabel IQ, SQ, SV dan US terhadap variabel endogen USE sekitar 60%. b. Nilai R-Square sebesar 0.731 pada model 1 menjelaskan pengaruh variabel IQ, SQ, SV dan USE terhadap variabel endogen US sebesar 73% dan nilai R-Square 0.691 pada model 2 menjelaskan pengaruh varia- bel IQ, SQ, dan SV terhadap variabel endogen US sebesar 69%. c. Nilai R-Square sebesar 0.821 pada model 1 dan model 2 menjelaskan pengaruh varia- bel USE dan US terhadap variabel endogen NB sebesar 82%. 2. Estimasi koefisien jalur (T-Statistic) Tahap ini dilakukan dengan menggunakan metode bootstrapping melalui software Smart- PLS. Besar number of bootstrap sample yang digunakan adalah sebanyak 5000 sampel, de- ngan tingkat signifikansi 5%. Untuk tingkat signifikansi 5%, koefisien jalur dinilai signi- fikan apabila T-Statistic lebih dari 1,96 (Hair et al., 2011). Hasil bootstrapping untuk mo- del 1 dan model 2 dapat dilihat pada Tabel 9 dan Tabel 10. Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 105 Tabel 9 T-Statistic untuk Model 1 faktor lain di luar dari variabel yang diteliti. Hal ini pernah dinyatakan oleh Seddon dan Kiew (1996) dalam penelitiannya bah- wa apabila sebuah sistem memberikan du- kungan yang besar terhadap pekerjaan pengguna, bagaimanapun kualitasnya tidak akan jadi masalah selagi sistem tersebut dirasa bermanfaat. b. Variabel eksogen service quality justru memiliki hubungan positif yang signifikan dengan variabel Use. Dapat diartikan bah- wa semakin baik kualitas layanan sistem informasi yang diberikan oleh tenaga teknis IT, semakin besar pula manfaat e-Invoice dapat dirasakan. Hasil serupa pernah di- ungkapkan oleh Fitzgerald dan Russo (2005), di mana peranan tenaga teknis yang efektif memengaruhi kelancaran penggunaan sistem. c. Variabel information quality dan system quality memiliki hubungan positif yang signifikan dengan variabel user satisfac- tion. dapat diindikasikan bahwa kualitas informasi dan kualitas sistem memengaruhi baik tidaknya pengalaman yang didapatkan pengguna saat memanfaatkan e-Invoice. Hubungan antara kedua variabel kualitas ini dengan user satisfaction juga ditemukan pada penelitian oleh Iivari (2005) dan Wu dan Wang (2006). d. Variabel Use berpengaruh signifikan terha- dap variabel user satisfaction. Semakin tinggi kebermanfaatan yang dirasakan oleh pengguna, semakin tinggi pula kepuasan yang dirasakan oleh pengguna. e. Variabel user satisfaction berpengaruh ter- hadap variabel use. Oleh karena pengalam- an yang baik saat memanfaatkan sistem, pengguna menjadi lebih percaya diri dan yakin akan kebermanfaatan e-Invoice da- Tabel 10 T-Statistic untuk Model 2 Dari hasil pengujian hipotesis menggunakan kedua model di atas, terdapat beberapa hal yang dapat diamati. Untuk model 1, seluruh koefisien jalur bernilai positif, namun hanya enam yang signifikan dan masing-masing men- dukung hipotesis H 2 , H 4 , H 5 , H 7 , H 8 , H 9 . Sedangkan pada model 2, seluruh koefisien jalur bernilai positif kecuali untuk H 3 . Terda- pat tujuh hipotesis yang diterima dan masing- masing mendukung hipotesis, H 2 , H 4 , H 5 , H 6 , H 8 , H 9 , H 10 . Berikut ini beberapa kesim- pulan yang dapat diambil dari hasil uji hipo- tesis. a. Pada model 1 dan 2, variabel information quality dan system quality memiliki hu- bungan yang tidak signifikan dengan varia- bel Use. Hasil ini dapat dimaknai bahwa hal yang memicu pengguna untuk merasa- kan kebermanfaatan e-Invoice bukan hanya terkait permasalahan kualitas informasi maupun kualitas sistem, namun ada faktor- Koefisien Jalur T- Statistic P-Value Signifikansi IQ � USE 0.208 0.932 0.176* Tidak signifikan IQ � US 0.315 1.807 0.035 Signifikan SQ � USE 0.175 0.774 0.219* Tidak signifikan SQ � US 0.347 2.119 0.017 Signifikan SV � USE 0.482 3.941 0.000 Signifikan SV � US 0.037 0.360 0.359* Tidak signifikan US � USE 0.303 2.446 0.007 Signifikan US � NB 0.667 5.369 0.000 Signifikan USE � NB 0.303 2.292 0.011 Signifikan Koefisien Jalur T- Statistic P-Value Signifikansi IQ � USE 0.041 0.181 0.428* Tidak Signifikan IQ � US 0.376 2.141 0.016 Signifikan SQ � USE -0.007 0.027 0.489* Tidak Signifikan SQ � US 0.402 2.541 0.006 Signifikan SV � USE 0.398 2.909 0.002 Signifikan SV � US 0.184 1.855 0.032 Signifikan USE � US 0.450 2.084 0.019 Signifikan US � NB 0.665 5.286 0.000 Signifikan USE � NB 0.305 2.265 0.012 Signifikan Business and Finance Journal, Volume 6, No. 2, October 2021 106 lam menyelesaikan pekerjaan terkait ad- ministrasi dokumen tagihan. Hubungan yang signifikan antara kedua variabel ini juga pernah ditemukan pada penelitian mengenai penerapan enterprise system oleh Hsieh dan Wang (2007). f. Variabel use memiliki hubungan yang sig- nifikan dengan net benefits. Hal ini dapat diartikan, semakin optimal pemanfaatan e-Invoice, semakin baik kontribusinya da- lam peningkatan efektivitas penyelesaian administrasi dokumen tagihan. g. Variabel user satisfaction memiliki hubung- an yang signifikan dengan net benefits. Perasaan puas yang ditimbulkan atas terpe- nuhinya kebutuhan akan penyelesaian pe- kerjaan membawa keyakinan pada peng- guna bahwa kinerja e-Invoice membawa pengaruh baik pada peningkatan efektivitas penyelesaian pekerjaan. Hasil penelitian ini sesuai dengan yang dilaporkan oleh Rai et al. (2002) bahwa pengalaman yang baik akan manfaat sebuah sistem akan memengaruhi peningkatan produktivitas dan efektivitas kinerja pengguna. KESIMPULAN DAN SARAN Kesimpulan Dari analisis yang telah dilakukan, dapat disimpulkan bahwa variabel yang paling meme- ngaruhi kesuksesan penerapan e-Invoice adalah user satisfaction. User satisfaction dipengaruhi paling dominan oleh information quality dan system quality, yang artinya pihak perusahaan harus menjaga dan meningkatkan kualitas infor- masi dan kualitas sistem e-Invoice agar pengguna puas dengan manfaat yang didapatkan dari peng- gunaan sistem e-Invoice. Dari hasil pengolahan data yang dilakukan, model DeLone & McLean yang disesuaikan dengan keadaan sistem mandatory dapat diguna- kan untuk mengukur kesuksesan sistem manda- tory. Akan tetapi ada beberapa hal yang harus diperhatikan sebagai berikut. 1. Pengujian sebaiknya dilakukan menggunakan sampel data yang lebih besar. Oleh karena penelitian ini hanya mencakup 34 responden, ada kemungkinan hasil yang didapatkan akan lebih valid apabila melibatkan lebih banyak responden. 2. Penggabungan antara model DeLone & Mc- Lean dengan variabel dari model lain atau variabel lain yang relevan sangat mungkin dilakukan, apabila ingin melakukan penelitian di lingkungan mandatory dengan mempertim- bangkan lebih banyak aspek. Saran untuk Penelitian Berikutnya Evaluasi ini menitikberatkan pada persepsi pengguna terhadap kualitas sistem informasi. Untuk penelitian berikutnya, dapat dilakukan pengamatan dari segi behavioral intention menggunakan metode lain seperti UTAUT atau UTAUT 2 untuk melihat aspek-aspek lain yang memengaruhi penggunaan sistem, misalkan aspek sosial maupun kebiasaan (habit). Selain itu, dari hasil penelitian ini diketahui bahwa sifat sistem mandatory membawa cukup pengaruh dalam pengambilan kesimpulan menge- nai faktor-faktor yang memengaruhi kesuksesan sistem. Untuk penelitian berikutnya, peneliti dapat melakukan penggabungan antara model DeLone & McLean dengan model lain atau variabel lain untuk memperluas sudut pandang. Sebisa mungkin dilakukan dengan jumlah sampel yang lebih banyak agar dapat memberikan gam- baran yang lebih relevan. Amy Aisya, Debbie Amalina, Evaluasi Implementasi Perangkat Lunak E-Invoice pada Divisi Finansial Menggunakan Delone & Mclean is Success Model (Studi Kasus: PT XYZ) 107 DAFTAR PUSTAKA Budiyanto. 2009. Evaluasi Kesuksesan Sistem Informasi dengan Pendekatan Model De- Lone dan McLean (Studi Kasus Implemen- tasi Billing System di RSUD Kabupaten Sragen). Thesis Magister. Surakarta: Uni- versitas Sebelas Maret. DeLone, W. H. & McLean, E. R. 2016. Infor- mation Systems Success Measurement. Foundation and Trends in Information System, Vol. 2, No. 1, pp 1–116. Emam, K. & Koru, A. 2008. A Replicated Survey of IT Software Project Failures. Software. IEEE, 25. 84–90. 10.1109/MS. 2008.107. Fieschi, M. 2018. Health Data Processing: Sys- temic Approaches. London: ISTE Press Ltd. Fitzgerald, G. & Russo, N. L. 2005. The Turn- around of the London Ambulance Service Computer-aided Dispatch System (LAS- CAD). European Journal of Information Systems, 14(3), 244–257. Ghozali, I. 2008. Structural Equation Modelling Edisi II. Semarang: Badan Penerbit Uni- versitas Diponegoro. Hair, J. F., et al. 2011. PLS-SEM: Indeed a Silver Bullet. Journal of Marketing Theory and Practice, 19(2), pp 138–150. Hall, J. A. & Singleton, T. 2007. Information Technology Auditing and Assurance. 2nd edition. Thomson Learning. Hastie, S. 2006. “What Makes Information Systems Projects Successful?” Software Education Associates Ltd. (Available at: https://www.academia.edu/5208529/What_ Makes_Information_Systems_Projects_Suc- cessful).4. Hsieh, J. J. P. A. & Wang. W. 2007. Explaining Employees’ Extended Use of Complex Information Systems. European Journal of Information Systems, 16(3), 216–227. Iivari, J. 2005. An Empirical Test of the DeLone & McLean Model of Information System Success. The DATABASE for Advances in Information Systems, Vol. 36, No.2. Keen, P. 1980. MIS Research: Current Status, Trends, and Needs. In R. Buckingham, R. Hirschheim, F. Land, and C. Tully, Edi- tors. Information Systems Education: Rec- ommendations and Implementation. Cam- bridge: Cambridge University Press. Koh, C. E., et al. 2010. A Model for Mandatory Use Software Technologies: An Integra- tive Approach by Applying Multiple Lev- els of Abstraction of Informing Science, eds. T. G. Gill. Informing Science: The International Journal of an Emerging Transdiscipline, Vol. 13 Mardiana, S., et al. 2015. DeLone-McLean In- formation System Success Model Revis- ited: The Separation of Intention-to-use – Use and the Integration of Technology Acceptance Model. International Journal of Economic and Financial Issues, 5 (Spe- cial Issue), 172–182. Available at: www. econjournals.com. Peterson, D. K & Kim, C. S. 2000. Information Systems Objectives: Effects of Experi- ence, Position Level, and Education on Developers. Journal of Information Tech- nology Management, Volume XI, Num- bers 3–4. Petter, S., et al. 2008. Measuring Information Systems Success: Models, Dimensions, Measures, and Interrelationships. Euro- pean Journal of Information Systems, 17(3), pp 236–263. Business and Finance Journal, Volume 6, No. 2, October 2021 108 Rai, A., et al. 2002. Assessing the Validity of IS Success Models: An Empirical Test and Theoretical Analysis. Information Systems Research, 13(1):50–69. Wu, J. H. & Wang, Y. M. 2006. Measuring KMS Success: A Respecification of the DeLone and McLean’s Model. Journal of Information & Management, 43, 728–739.