Attention Check Item dalam Survei : Apakah berguna?

 

Hasil riset dari Shamon & Berning, tahun 2020, menarik untuk dicermati lebih lanjut. Artikel ini berjudul Attention Check Items and Instructions in Online Surveys with Incentivized and Non-Incentivized Samples: Boon or Bane for Data Quality?

Artikel ini membahas careless responding (jawaban asal-asalan atau kurang perhatian) dalam survei online, serta efektivitas attention checks (item atau instruksi untuk menguji perhatian responden). Penulis membandingkan dua jenis sampel:

1. Quota sample dengan insentif uang (n = 613, insentif €1).

2. Volunteer opt-in panel tanpa insentif (n = 424).

Tujuannya adalah menilai apakah insentif meningkatkan kemungkinan jawaban ceroboh, serta apakah attention checks lebih banyak memberi efek positif (memotivasi) atau negatif (mendemotivasi).

Konsep Kunci

Ada beberapa konsep yang dibahas di dalam artikel ini, yaitu:

• Careless responding: responden menjawab tanpa membaca/memahami item dengan benar. Bisa berupa random responding, inattentive responding, atau insufficient effort responding.

• Metode deteksi:

  • Ex ante (attention checks): misalnya item palsu (bogus items), instruksi eksplisit untuk memilih jawaban tertentu, atau skala self-report.

  • Post hoc: analisis konsistensi, kecepatan menjawab (speeding), straightlining, dsb.

• Hipotesis utama:

1. Incentive careless-response hypothesis → insentif menambah partisipasi responden dengan motivasi rendah → lebih banyak jawaban ceroboh.

2. Incentive-breakoff hypothesis → insentif mengurangi kemungkinan responden keluar di tengah survei.

3. Motivation vs Demotivation hypothesis → attention checks bisa membuat responden lebih termotivasi atau justru tersinggung/demotivasi.

Desain Penelitian

Untuk pembuktian hipotesisnya mereka merancang desain penelitian seperti berikut.

• Metode: eksperimen split-ballot dengan setting berbeda:

  • Tanpa attention checks.

  • Dengan attention checks + penjelasan.

  • Dengan attention checks tanpa penjelasan.

• Instrumen deteksi yang digunakan:

  • Instruksi "facility manager" (harus jawab 0).

  • Item “I was born before 1920” (hanya satu jawaban benar).

  • Item eksplisit “mark applies completely.”

  • Instruksi “unjustified too high” (di akhir vignette).

• Indikator reaksi responden:

• Break-off (berhenti isi survei).

• Item nonresponse.

• Measurement quality (true-score model, MTMM).

• Skala self-report tentang seberapa hati-hati mereka membaca.

Hasil Riset

Dari hasil riset, mereka menemukan:

1. Perbedaan antara sampel dengan insentif vs tanpa insentif:

   • Tingkat careless responding lebih tinggi pada sampel dengan insentif.

   • Tetapi break-off justru lebih rendah pada sampel dengan insentif → insentif mencegah responden berhenti di tengah jalan.

2. Efektivitas attention checks:

   • Instruksi (misalnya facility manager, unjustified too high) relatif tidak efektif → >50% responden tetap gagal.

   • Item eksplisit (“born before 1920”, “mark applies completely”) lebih efektif → hampir semua responden menyadari.

   • Pada sampel tanpa insentif, hampir tidak ada responden yang gagal → attention checks kurang diperlukan di kelompok intrinsik termotivasi.

3. Dampak pada kualitas data:

• Tidak ada bukti kuat bahwa attention checks mendemotivasi.

• Di beberapa kondisi (tanpa insentif), attention checks justru meningkatkan motivasi responden untuk tetap menyelesaikan survei.

Kesimpulan

Kesimpulan yang mereka cantumkan adalah:

• Careless responding adalah masalah umum di survei online, khususnya pada sampel dengan insentif.

• Attention checks berguna untuk mendeteksi respon ceroboh dan cenderung lebih bersifat memotivasi daripada merusak kualitas data.

• Namun, efektivitasnya tergantung pada konteks:

  • Pada sampel dengan motivasi intrinsik tinggi, attention checks hampir tidak diperlukan.

  • Pada sampel berinsentif, attention checks penting untuk menjaga kualitas data.

• Secara praktis, penempatan attention checks di item lebih baik daripada di instruksi, karena lebih banyak responden yang memperhatikannya.

Referensi:

Shamon, H., & Berning, C. (2020). Attention check items and instructions in online surveys with incentivized and non-incentivized samples: Boon or bane for data quality? Survey Research Methods, 14(1), 55–77. https://doi.org/10.18148/srm/2020.v14i1.7374