Betulkah Pemilu Legislatif 2009 Gagal?

Sudah lewat waktu pelaksanaan tabulasi suara nasional (real count) yang tadinya direncanakan selama 10 hari setelah pemilu. Berbagai polemik muncul di berbagai media baik televisi maupun di internet. Persoalan yang dijadikan topik polemik diantaranya pemilihan ICR sebagai teknologi ujung tombak penghitungan suara di KPUD, dan adanya pihak (yang mengaku sebagai hacker) yang berusaha masuk tanpa izin ke server tabulasi suara dan sempat berusaha mengubah data perolehan suara.

Sebelum menjustifikasi apakah pemilu legislatif ini gagal atau tidak dan menjustifikasi siapa dan apa yang salah ada baiknya kita memilah dulu masalah-masalah yang ada. Polemik pemilu kali ini membahas aspek organisasi dan aspek teknologi. Sebagai blog yang membahas teknologi maka saya tidak akan ikut-ikutan mengurusi aspek organisasi walaupun sebagaimana kita ketahui bahwa keputusan atas pemilihan teknologi memang adalah kewenangan organisasi yang dalam hal ini adalah KPU. Adapun peran pihak lain (BPPT dan vendor produk teknologi baik ICR, sistem tabulasi, maupun aspek teknis IT lainnya) yang terlibat dalam teknologi yang digunakan pada pemilu kali ini tidak lain hanyalah sebagai perealisasi atas keputusan yang dibuat oleh KPU.

1. Teknologi ICR

   Teknologi ini merupakan topik yang sedikit banyak terkait dengan isi dari blog ini. oleh sebab itu akan segera dibahas terlebih dahulu. Pada berbagai situs dan blog di negeri ini ([1], [2], [3]) sudah ramai dibahas mengenai apa itu teknologi ICR dan bagaimana kelebihan dan kekurangannya.

   Saya akan membahas hal-hal apa saja yang ada di dalam produk ICR yang perlu diketahui oleh publik. Selama ini yang sering disebut baik di televisi maupun di situs internet hanyalah bagaimana mengenali gambar dalam bentuk berikut (contoh didapat dari database MNIST):
   

   

   contoh gambar berisi angka

   menjadi teks berupa angka “9”.

   Kalau kita hanya berpikir bagaimana mengkonversi gambar tersebut menjadi angka maka akurasi yang didapat cukup tinggi (99.6 % dari 50000 gambar. pada situs Yang Le Cun yang sering disebut di situs [2]). Pengujian yang dilakukan pada waktu standarisasi produk ICR tidak sampai 50000 (maksimal hanya 500 dari satu paket form C1-IT yang ditulis oleh penguji), walaupun demikian pencapaian angka 98% sebagaimana yang diklaim oleh salah satu vendor yang disalah artikan sebagai pernyataan dari BPPT sebagai tim reviewer tidak mustahil.

   Pertanyaannya adalah apakah jumlah data mempengaruhi keakuratan produk di lapangan? jawabannya tentu tidak. Hal yang lebih penting adalah cakupan variasi pada kasus latih dan uji. Dalam hal ini terdapat jurang antara dunia akademik dengan dunia nyata. Di dunia akademik, validasi sebuah pengujian dengan model distribusi statistik tertentu dan ambang batas jumlah pengujian dapat dinyatakan cukup valid karena ada asumsi bahwa peneliti boleh salah tetapi tidak boleh bohong (kejujuran ilmiah) dan hal yang menjadi fokus adalah seberapa besar kapabilitas metode komputasi yang diuji (lewat partisi antara distribusi data yang digunakan untuk pelatihan dan distribusi data yang digunakan untuk pengujian). Lain halnya dalam dunia nyata yang cenderung pragmatis yaitu jika memungkinkan maka akurasi yang diharapkan adalah 100% tak peduli apakah cara (pengembangan metode) untuk mendapat 100% itu valid atau tidak secara akademik(terlihat pada logika pembantahan yang ditulis oleh publik di sini).

   Hal penting yang menjadi kebutuhan pada penghitungan menggunakan teknologi ICR tidak hanya apakah teknologi tersebut akurat mengenali gambar di atas menjadi angka 9 (tidak tertukar dengan 5, 3, atau 8) melainkan lebih umum lagi yaitu :

   • cepat
   • akurat dan dapat dipertanggung-jawabkan

   kriteria cepat merupakan isu utama mengingat jumlah dokumen yang diproses luar biasa banyak dan tersebar secara geografis. Pemeriksaan ini dapat dikomposisi menjadi proses yang atomik yaitu pemindaian per TPS yang dilakukan oleh operator ICR di KPUD. Adapun proses pemeriksaan setiap dokumen form C1-IT yang terdiri dari 8 lembar ini akan melalui subproses berikut:

   • pemindaian untuk mengubah dokumen kertas menjadi dokumen elektronik (citra digital).
   • pembacaan angka-angka (nomor partai dan perolehan suara) di tiap lembar oleh teknik ICR
   • verifikasi untuk menjamin data yang dikirimkan ke pusat adalah benar biarpun terjadi kesalahan pembacaan
   • penyimpanan paket yang berisi citra yang sudah dibubuhi cap watermark dan hasil pembacaan dan log verifikasi yang sudah dienkripsi dan dibubuhi watermark.

   kriteria akurat dan dapat dipertanggung jawabkan sudah dicakup lewat adanya proses verifikasi, dilampirkannya citra hasil scan, dan perlindungan terhadap paket yang dikirimkan. Paket yang diterima oleh sistem tabulasi di pusat akan diperiksa kembali untuk memeriksa kemungkinan terjadinya pengubahan selama paket tersebut dibuat hingga diterima oleh pusat sebelum data perolehan tersebut digabung ke dalam perolehan yang bisa dilihat oleh publik. Berdasarkan simulasi penghitungan yang dilakukan di sini dapat diketahui bahwa proses verifikasi di pusat telah berjalan dan ditolaknya paket kiriman dari daerah.

   Proses pemindaian, pembacaan, penyimpanan paket, dan verifikasi di pusat merupakan proses yang waktu pengerjaannya dapat dianggap konstan. Proses yang waktunya bervariasi terletak pada verifikasi dan hal ini dipengaruhi oleh keberhasilan perangkat lunak ICR dalam melakukan pembacaan. Demi keberpercayaan terhadap data yang dibaca maka diasumsikan bahwa pasti akan terjadi kesalahan pada pembacaan, pertanyaannya adalah seberapa besar, dimana penyebab kesalahannya, dan bagaimana mengatasinya.

   1. seberapa besar kesalahan pembacaannya?.
      rentang kesalahan yang mungkin terjadi mulai dari dokumen tidak berhasil dibaca sama sekali, hingga kesalahan pengenalan angka (perolehan suara)
   2. dimana penyebab kesalahannya?
      Kesalahan pengenalan angka terletak dari kapasitas teknik pengenalan pola yang digunakan dan kesalahan dalam melokalisasi objek yang dicurigai berisi angka. Kesalahan ini bisa bervariasi dan sangat bergantung pada variasi masukan. Sedangkan kesalahan dokumen tidak terbaca bisa terjadi disebabkan beberapa hal : kertas terlalu tipis sehingga gagal dipindai oleh perangkat pemindai, terjadi kerusakan fisik pada kertas pada saat kertas dicetak maupun setelah kertas diterima di KPUD. Hal terakhir berhubungan dengan pola (marker) yang ditambahkan pada kertas untuk menjadi referensi posisi oleh program untuk mengantisipasi transformasi affine(rotasi, geser, skala) yang mungkin terjadi pada citra hasil pemindaian (sebagaimana yang pernah saya jabarkan untuk kasus UASBN). Persoalan pemilihan pola marker yang ditambahkan pada kertas dan pola yang digunakan pada program ICR merupakan kuncinya. Tiap jenis pola memiliki kelebihan dan resikonya masing-masing.
   3. Bagaimana mengatasinya? Hal ini akan saya bahas lebih lanjut di bawah.

   Terkait kesalahan pengenalan angka yang persoalannya terletak pada kesalahan lokalisasi atau segmentasi objek yang dicurigai sebagai objek angka akan lebih mudah dipahami jika diberikan contoh berikut.
   

   

   adanya objek yang bukan angka diisi pada kotak untuk angka

   
   
   

   pembatalan yang hanya dimengerti manusia

   
   
   

   angka 8 keluar area isian

   

   angka 6 keluar area, angka 0 atau 8

   Itu baru dari pemisahan antara objek angka dengan objek lainnya. kalaupun angka berhasil dilokalisasi, namun ambiguitas akibat pengisi pun dapat terjadi seperti berikut.
   

   

   angka 1 atau angka 0?

   Pola marker yang digunakan pada form C1-IT adalah penggunaan kotak hitam yang terletak pada sudut-sudut kertas. Entah berdasarkan alasan apa KPU memutuskan untuk menggunakan pola tersebut. Tetapi pola tersebut sejauh yang saya ketahui merupakan pola marker yang memiliki resiko paling tinggi dari berbagai pola marker lainnya.

   Pola tersebut terdiri dari 4 buah kotak hitam pada tiap sudut kertas dengan tambahan satu kotak di kiri atas untuk menjadi informasi tambahan orientasi (biasanya kiri atas). Resiko yang dapat terjadi adalah seperti yang sekarang terjadi yaitu jika dokumen C1-IT yang terdiri dari 8 lembar tersebut di-staples dan ketika dibuka, kertas tersobek. Ketika dipindai, maka hasilnya mungkin menjadi seperti berikut :

   

   sobek akibat staples

   Apa yang terjadi? secara otomatis dua buah marker hilang dan kertas langsung tidak dapat dibaca karena posisinya tidak tepat. Hal ini bisa diatasi dengan penentuan posisi marker secara manual, tetapi waktu yang diperlukan akan menjadi lama karena proses trial and error.

   Kembali ke proses verifikasi, karena proses yang terjadi pada verifikasi sudah tetap maka variasi waktu sangat dipengaruhi oleh bagaimana teknik interaksi yang digunakan. Spesifikasi yang diberikan oleh tim reviewer IT KPU (dalam hal ini BPPT) hanyalah bahwa perangkat lunak ICR harus menampilkan hasil pembacaan disertai citra hasil pindai secara bersamaan (agar operator hanya melihat ke monitor tanpa perlu memegang kertas untuk verifikasi sebagaimana halnya jika dilakukan dengan data entry secara manual/diketik) dan tidak mencantumkan bagaimana proses interaksi berlangsung. Sebagai gambaran, operator ICR yang ada di KPUD diasumsikan mempunyai kemampuan operasi yang kurang (khususnya kemampuan mengetik menggunakan keyboard komputer dan mengoperasikan mouse untuk memanipulasi objek di layar). Oleh sebab itu, sebaiknya untuk melakukan verifikasi perangkat masukan yang perlu digunakan pun dikurangi (misalkan cukup menggunakan mouse saja). Visualisasi hasil pembacaan pun sebaiknya menjadi perhatian untuk mengurangi kerja otot leher dan otot mata. Teknik yang optimal adalah menampilkan tiap angka pembacaan yang terletak di samping objek yang dikenali serta memungkinkannya dilakukan penyuntingan di tempat (in-place editing).

   Namun kenyataannya, hanya satu vendor yang memperhatikan efisiensi dari interaksi. Vendor lainnya sepertinya lebih menonjolkan fungsi (akurasi pembacaannya) yang waktu pengenalannya bisa diprediksi sejak awal dan bisa dianggap konstan. Hal ini mencerminkan seberapa matang vendor tersebut dalam menyediakan produk IT.

   Kebanyakan vendor ICR mengimplementasi proses verifikasi dengan membagi area layar menjadi 2 yaitu sebelah kiri untuk hasil pembacaan (baik dalam bentuk tabel ataupun formulir isian), dan area layar sebelah kanan untuk menampilkan citra hasil pemindaian. Hal ini memiliki mekanisme yang sama seperti entry manual dengan kertas yang mengharuskan operator menggerakkan otot leher dan otot mata secara ekstrim (dari kertas ke monitor atau dari monitor sebelah kiri dan sebelah kanan). Walaupun gerakan tersebut bisa dibilang sedikit, namun karena dilakukan secara berulang-ulang dan bolak-balik(akibat data yang banyak dan operator yang sedikit) akan lebih cepat mengakibatkan kelelahan karena otot yang lelah dekat dengan otak. Hal ini sudah terjadi dan tidak dapat dihindari lagi.

2. Adanya penyusup di server KPU

   Saya tidak akan pernah menyebut penyusup tersebut sebagai hacker. Hal ini menjadi polemik dengan adanya provokasi bahwa jika KPU melaporkan penyusup tersebut ke aparat, maka KPU dianggap menyulut perang dengan komunitas underground. Padahal sebelum pemilu, pihak representatif dari komunitas underground sudah memberikan himbauan agar anggota komunitas tersebut jika menemukan lubang kesalahan pada sistem TI KPU supaya segera melaporkan sehingga dapat diperbaiki bukan malahan mengorek-ngorek lubang tersebut lalu masuk dan mengacak-acak seperti tikus. Walaupun sang penyusup berhasil masuk dan berusaha mengacak-acak (mengubah data), namun pihak TI KPU berhasil mencegah terjadinya perubahan dan mengidentifikasi pelakunya. Lucunya, muncul opini bahwa tindakan pelaporan pelaku penyusupan ke aparat kepolisian menyulut perang yang mengancam keberjalanan pemilihan presiden mendatang. Hal ini jelas-jelas menunjukkan sikap kekanak-kanakan yang tidak bertanggung jawab. Apakah mentang-mentang berhasil masuk lalu tidak mau disalahkan. Padahal sebelumnya sudah ada himbauan/peringatan larangan.

   Hal inilah yang kurang baik, seperti yang sudah saya nyatakan sebelumnya bahwa saya tidak akan memberi gelar hacker pada penyusup tersebut. alasannya sederhana secara bahasa. istilah hacker mengandung arti bahwa orang tersebut melakukan kegiatan hacking secara rutin sebagai profesi bukan karena melakukan sekali (tentu berbeda makna istilah ‘pelaku pembunuhan’ dengan ‘pembunuh’).

Kesimpulannya, teknologi ICR tidak dapat dibilang gagal namun yang salah adalah pemilihan teknologi ICR dalam penyelenggaraan pemilu lah yang gagal (banyak aspek yang terkait dengan faktor keberhasilan penerapan teknologi ICR yang diabaikan) sehingga yang perlu dirunut adalah bagaimana keputusan tersebut dibuat bukan pada teknologinya. (jangan malah buruk muka cermin dibelah)

Disclaimer
Tulisan di atas merupakan pendapat pribadi penulis dan tidak merepresentasikan perusahaan tempat penulis bekerja.