Evaluasi prorgram, bagaimana mengetahui apakah program optimal

Apakah diskon yang anda berikan meningkatkan penjualan dari prodak yang anda jual? Apakah bonus berupa penambahan berat prodak sebesar 25% meningkatkan minat masyarakat untuk membeli prodak anda? Untuk bisa menjawab pertanyaan ini diperlukan evaluasi program yang sedang dijalankan. Apakah itu evaluasi program, bagaimana cara melakukan evaluasi program, dan bagaimana menilai apakah program sudah baik atau belum. Pada kesempatan ini, saya akan membahasnya

Evaluasi program merupakan usaha secara sistematik yang mencakup pengumpulan data dan analisis data yang bertujuan untuk menilai efektivitas, efesiensi, dan dampak dari sebuah program. Tujuan utamanya adalah memberi informasi kepada stakeholder untuk memparbaiki program dan memastikan bahwa tujuannya bisa tercapai.

Bagaimana cara melakukan evaluasi program?

Bagaimana cara melakukan evaluasi program? Secara umum ada empat cara yang umum digunakan dalam mengevaluasi program. yaitu randomized controlled experiment, natural experiment, nonequivalent control, dan difference in differences. keempat cara ini memiliki kelebihan dan kekurangannya masing – masing yang akan saya bahasa pada kesempatan ini.

Randomized, controlled experiment

Evaluasi program yang pertama dan yang paling akurat adalah randomized, controlled experiment. Pada metode ini sebuah kelompok akan di pecah menjadi 2 bagian dan diberikan perlakuan yang berbeda. Terdapat dua tantangan utama dalam melaksaakan metode ini.

Yang pertama adalah ada banyak sekali eksperimen yang tidak bisa dilakukan secara langsung terhadap manusia. Akibatnya kita hanya bisa melakukan penelitian ke manusia dengan sebuah eksperimen dengan ekspektasi hasil yang positif. Contoh dari eksperimen yang tidak bisa dilakukan ke manusia adalah. Anda ingin meneliti pengaruh positif dari perceraian, lalu uji coba obat baru langsung ke manusia. Oleh karena itu dibutuhkan strategi khusus untuk menggunakan metode ini.

Kelemahan yang kedua adalah terlalu banyak variasi di manusia dibandingkan dengan tikus uji coba dilaboratorium. Variasi pada manusia begitu beragam, dari tinggi badan, jenis kelamin, ras, orang dengan pekerjaan guru memiliki kebiasaan yang berbeda dengan orang dengan pekerjaan sebagai wirausaha. Bagaimana cara kita bisa memastikan bahwa dengan semua perbedaan ini tidak mengacaukan penelitian ini? Cara terbaik yang digunakan adalah dengan membagi kelompok menjadi dua secara acak. Seni dari mengacak adalah ketika kita melakukannya dan membagi menjadi 2 kelompok, variasi akan terbagi secara merata.

Pada bidang kedokteran merupakan bidang yang paling sering menggunakan metode evaluasi randomized, controlled experiment. Hal ini bertujuan untuk mengetahui apakah treatmen atau obat yang diberikan oleh dokter memberikan efek nyata atau hanya sebuah placebo efek (perasaan pasien mengalami perbaikan kesehatan setelah meminum obat semu). Salah satu penerapannya adalah, ketika peneliti ingin mengetahui apakah oprasi pengurangan rasa sakit pada kaki berpengaruh signifikan. Kelompok pertama diberikan oprasi sungguhan dikaki mereka, dan pada kelompok kedua mereka diberikan “oprasi palsu” dokter memberikan sayatan di kaki mereka dan berprilaku seolah-olah sedang melaksanakan oprasi. Dan hasilnya ternyata oprasi sungguhan tidak memberikan penurangan rasa sakit yang signifikan dikaki mereka.

Natural experiment

Program evaluasi selanjutnya adalah natural experiment, ada kalanya peneliti tidak mampu melakukan randomized, controlled experiment dikarenakan keterbatasan biaya dan sumber daya. Cara yang bisa dilakukan adalah dengan menggunakan natural experiment. Natural experiment adalah sebuah penelitian yang terjadi ketika peneliti tidak mengendalikan sebuah variable secara langsung, tetapi ada sebuah kejadian alamiah, faktor kebijakan, dan faktor eksternal yang mempengaruhi sebuah kelompok sehingga dapat dibandingkan sebelum dan sesudahnya untuk dicari hubungan sebab akibatnya.

Contoh dari natural experiment yang ada disekitar kita Indonesia adalah pada jaman dulu wajib belajar 9 tahun tetapi sekarang wajib belajar menjadi 12 tahun. Lalu peneliti mencari hubungan antara lama pendidikan dengan tingkat pendapatan. Setelah dilakukan penelitian didapatkan hasil bahwa orang dengan lama pendidikan 12 tahun memiliki penghasilan yang lebih banyak dibandingkan dengan orang dengan lama pendidikan 9 tahun. Hal ini dikarenakan, orang dengan lama pendidikan 12 tahun memiliki keterampilan yang lebih banyak dan memiliki akses ke pekerjaan yang lebih baik. Sehingga pada usia yang sama mereka memiliki pendapatan yang lebih banyak.

Nonequivalent control

Evaluasi program selanjutnya adalah nonequivalent control, ada beberapa kondisi tekadang peneliti tidak bisa menggunakan sample secara random untuk melakukan penelitian. Harapanya setelah dilakukan penelitian menggunakan metode ini supaya dari kedua kelompok ini tidak memiliki perbedaan yang terlampau berbeda. Kabar baiknya adalah kita masih bisa menggunakan kelompok treatment dan kelompok kontrol. Kabar buruknya adalah bias yang dimiliki bisa sangat besar dikarenakan kelompok yang kita teliti bukan dipilih secara random.

Salah satu contoh penerapannya adalah, misalnya ada seorang peneliti yang ingin mengamati “Pengaruh Program Senam Pagi terhadap Tingkat Kebugaran Fisik Lansia di Panti Jompo“. Peneliti melakukan pengamatan di dua panti jompo yang berbeda yaitu panti jompo A dan panti jompo B. Sebelum dilakukan penelitian semua lansia di tes kesehatannya, untuk panti jompo A dilakukan senam sebanyak 3 kali seminggu, sedangkan untuk panti jompo B tidak dilakukan senam sama sekali. Setelah tiga bulan, didapatkan hasil bahwa lansia dari panti jompo A mengalami peningkatan kesehatan yang lebih baik dibandingkan dengan panti jompo B.

Bagi beberapa orang yang sedang belajar mungkin akan sulit membedakan antara natural experiment dan nonequivalent control, tetapi keduanya memiliki perbedaan yang sangat mendasar. Pada natural experiment peneliti tidak melakukan campur tangan, dikarenakan kejadian yang terjadi merupakan hal yang alami dan melalui kebijakan publik. Sedangkan nonequivalent control peneliti dapat melakukan experimen dengan berbagai perlakuan yang berbeda. Tetapi peneliti tidak bisa mengacak sample yang mereka teliti.

Difference in differences

Salah satu cara terbaik dalam mempelajari sesuatu adalah dengan mencobanya lalu melihat apa yang terjadi dan kita bisa mengambil sikap dari hal ini. Seperti anak kecil yang belajar bahwa dengan dia menangis maka dia akan mendapatkan permen. Hal ini terkadang juga dilakukan oleh kita, sebagai orang dewasa. Bagaimana jika aku selama satu minggu hanya minum air putih saja. Bagaimana jika aku memberikan potongan harga setiap hari jumat. Dan melihat dampak yang terjadi. Apakah terjadi penurunan berat badan setelah satu minggu mengkonsumsi air putih? Apakah pembelian meningkat setelah pemberian potongan harga?

Metode difference in difference bekerja dengan cara membandingkan perubahan sebelum dan sesudah dari sebuah kelompok yang terkena perlakuan (treatment group) dan sebuah kelompok yang tidak terkena perlakuan (control group). Dengan ini maka dapat dituliskan rumus dari difference in difference adalah sebagai berikut:

DiD=(Ytreatment,after​−Ytreatment,before​)−(Ycontrol,after​−Ycontrol,before​)

Kita akan mempelajari sebuah contoh kasus dari difference in difference misalnya kebijakan menaikan UMR dengan peningkatan tingkat pengangguran. Misal ada kebijakan menaikan UMR di kota A (treatment) sementara pada kota B tidak ada kenaikan UMR (kontrol). kita mau mengetahui dampak tingkat penganggurannya:

Jika hanya melihat perubahan dari kota A saja maka ada perbahan kenaikan sebesar 2%. Tetapi DiD menghitung selisih perubahan tingkat pengagguran antara kota A dan kota B

DiD = ( 7 − 5​ )−( 6.5 − 6 ) = 2 − 0.5 = 1.5%

Artinya perkiraan efek murni (net impact) dari kebijakan terhadap kota A yaitu peningkatan penggangguran sebesar 1.5%. Artinya jika kebijakan ini tidak dilaksanakan, kemungkinan tingkat pengangguran akan meningkat 0.5% sesuai dengan tren nasional.

Baca juga: Kesalahan umum analisis regresi