CAWI
Iată câteva dintre riscurile la care trebuie să fii atent și modul în care le evităm:
Risc:
Respondentul nu există, iar răspunsurile sunt fictive.
Există riscul ca studiile să fie completate de boți, nu de persoane reale.
Soluție:
Validăm fiecare membru al panelului prin mai multe metode: fiecare persoană trebuie să aibă un nume, un număr de telefon, o adresă de email și, cel mai important, un cont bancar românesc valid. Fără un cont bancar, persoana nu poate primi nicio recompensă, ceea ce contribuie la confirmarea faptului că fiecare chestionar completat este trimis de o persoană reală.
Criteriu de calitate în etapa RFQ:
Întreabă cum verifică furnizorul că fiecare membru al panelului este o persoană reală.
Risc:
Respondenții sunt reali, dar răspund de mai multe ori la același studiu.
Dacă au ocazia, unii respondenți ar completa de mai multe ori același chestionar doar pentru a primi recompensa de mai multe ori.
Soluție:
Ne asigurăm că fiecare link de invitație este unic și poate fi completat o singură dată; dacă respondentul finalizează chestionarul sau este eliminat la screening, linkul devine inaccesibil pentru o nouă completare.
Verificăm că fiecare cont din panelul nostru are un număr de telefon, o adresă de email și un cont bancar diferite.
Desigur, există în continuare posibilitatea ca o persoană să creeze două conturi folosind numere de telefon, conturi bancare și adrese de email diferite. Pentru astfel de situații monitorizăm permanent interviurile care au adrese IP similare și caracteristici demografice similare și invalidăm acele interviuri.
Criteriu de calitate în etapa RFQ:
Întreabă dacă linkurile au un URL unic, transmis unui membru al panelului cu un ID unic, și dacă fiecare link poate fi completat o singură dată. Întreabă furnizorul și cum verifică faptul că un membru al panelului nu deține mai multe conturi.
Risc:
Respondenții urmăresc în principal recompensele și nu sunt interesați să ofere răspunsuri și opinii atent formulate.
Acest risc nu poate fi eliminat complet. Vor exista întotdeauna membri ai panelului care doresc pur și simplu să acumuleze cât mai multe recompense într-un timp cât mai scurt, unii dintre ei transformând aproape această activitate într-o ocupație: caută permanent paneluri, răspund foarte repede la chestionare și mint pentru a se califica la cât mai multe studii.
Obiectivul este reducerea acestui risc cât mai mult posibil, iar una dintre soluții ține de modul în care sunt recrutați acești membri ai panelului.
Soluție:
Din experiența acumulată de-a lungul anilor cu membrii panelurilor am învățat că recrutarea prin reclame online atrage în principal persoane interesate de recompense.
Din acest motiv, în ultimii ani am renunțat complet la reclamele online și recrutăm activ doar prin CATI (Computer Assisted Telephone Interviews). Este vorba despre persoane care acceptă să participe la interviuri CATI fără să primească o recompensă și pe care ulterior le invităm să se alăture panelului nostru. Acești respondenți doresc în mod sincer să își exprime opinia despre diferite subiecte și nu caută surse suplimentare de venit înscriindu-se în toate panelurile disponibile pe piață, ceea ce contribuie la o calitate mai bună a datelor pentru fiecare studiu. Avem avantajul unui sistem de intervievare telefonică foarte eficient și de calitate și realizăm numeroase studii prin Random Digit Dialing, de exemplu studiul de audiență radio și studiul lunar al consumatorilor pentru UE, ceea ce ne oferă o sursă constantă de membri ai panelului proveniți exclusiv din această metodă. Practic, vorbim direct cu membrii panelului înainte de a-i invita să ni se alăture – cu greu poate exista o dovadă mai bună că sunt persoane reale 😊
Criteriu de calitate în etapa RFQ:
Întreabă prin ce metodă își recrutează furnizorul, în principal, membrii panelului.
Risc:
Respondenții mint pentru a se califica la studiu și pentru a primi recompensa.
Unii membri ai panelului mint în secțiunea de screening a chestionarului doar pentru a se califica la studiu și a primi recompensa. Acest lucru se poate întâmpla deoarece unii respondenți încearcă pur și simplu să câștige cât mai mulți bani de pe aceste platforme sau pentru că devin frustrați după ce primesc invitații și sunt descalificați în mod repetat. Este într-o anumită măsură de înțeles: imaginează-ți că ești invitat la mai multe studii, dedici câteva minute secțiunii de screening pentru fiecare, iar de fiecare dată ești eliminat fără să primești nimic pentru timpul pierdut.
Soluție:
Există în principal două soluții pentru această problemă:
- Introducerea unor întrebări-capcană în secțiunea de screening a chestionarului:
- Adăugarea unor întrebări care nu au legătură directă cu tema studiului, astfel încât respondentul să nu își dea seama prea devreme care este subiectul și, implicit, în ce direcție ar trebui să mintă pentru a se califica.
- Adăugarea unor variante de răspuns contradictorii sau a unor opțiuni foarte puțin probabil să fie selectate împreună și descalificarea celor care le selectează.
- Adăugarea unor variante de răspuns fictive, de exemplu mărci inexistente, și descalificarea celor care le selectează.
Folosim permanent astfel de capcane și, de multe ori, acestea sunt eficiente. Totuși, această abordare implică și anumite riscuri: în primul rând, membrii panelului vor învăța aceste trucuri și vor încerca să le evite, iar în al doilea rând, se pot sătura și pot părăsi panelul. În timp, există riscul să rămână tocmai cei care își doresc cu disperare recompensele și sunt dispuși să depună orice efort pentru a le obține. Din start, această abordare are limite, deoarece se bazează în principal pe sancțiuni și pe construirea de obstacole.
- Recompensarea membrilor panelului și pentru chestionarele în care sunt eliminați la screening sau în care cota este deja completă:
- Această soluție este mai bună din mai multe puncte de vedere: se bazează pe respect reciproc, nu pe sancțiuni, contribuie la construirea unei relații pe termen lung cu membrii panelului și descurajează minciuna, deoarece aceștia știu că vor primi o recompensă pentru timpul acordat indiferent de rezultatul chestionarului. Într-un studiu repetat după un an, am obținut 58% din astfel de paneluri, comparativ cu aproximativ 15% din partea marilor furnizori internaționali de paneluri. Diferența este remarcabilă!
- Credem cu tărie în această abordare, implementată, desigur, împreună cu prima metodă, pentru o protecție generală mai bună împotriva acestui risc.
Criteriu de calitate în etapa RFQ:
Solicită furnizorului să ofere stimulente și pentru respondenții eliminați la screening și să implementeze întrebări și variante-capcană în secțiunea de screening a chestionarului.
Risc:
Toți respondenții sunt interesați în principal de recompense și, prin urmare, nu reprezintă populația vizată.
Acest risc este strâns legat de cel de mai sus și ține de valoarea stimulentului oferit. Dacă stimulentele sunt prea mici, chiar jignitor de mici, orice persoană obișnuită va părăsi panelul. Iar dacă practica stimulentelor extrem de mici continuă, în cele din urmă nu vor mai rămâne persoane obișnuite în panel.
Soluție:
Întreabă furnizorul panelului cât plătește ca stimulent și evaluează dacă valoarea respectivă este suficientă pentru a menține în panel persoane obișnuite, nu doar persoane interesate exclusiv de recompense.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să fie transparent în privința valorii stimulentului plătit respondenților.
Risc:
Membrii panelului sunt instruiți să mintă.
Sperăm că acest lucru se întâmplă rar, însă am întâlnit cazuri reale. Situația apare în principal în studiile cu incidență redusă, în care membrii panelului primesc un chestionar de precalificare ce le permite să observe ce caracteristici sunt necesare, deoarece sunt disponibile numai anumite variante de răspuns, sau primesc pur și simplu instrucțiuni despre ceea ce este necesar pentru a se califica. Ulterior sunt direcționați către chestionarul propriu-zis, unde, dacă își amintesc corect ce au selectat anterior, se pot califica la studiu chiar dacă nu aparțin grupului țintă vizat.
Soluție:
Soluția este simplă: să nu fie implementat niciun chestionar de precalificare. În plus, clientului îi este livrată întreaga bază de date, inclusiv respondenții eliminați la screening, astfel încât să fie clar că recrutarea nu a fost forțată.
Criteriu de calitate în etapa RFQ:
Furnizorul nu ar trebui să implementeze niciun chestionar de preselecție, să nu informeze respondenții despre criteriile de calificare și să nu permită niciunui subcontractor să facă acest lucru. Astfel de practici pot fi descoperite dacă sunt investigate, deoarece membrii panelurilor primesc numeroase invitații, uneori zeci de mii, iar unii dintre ei pot cunoaște beneficiarul studiului.
Solicită baza de date completă a răspunsurilor, inclusiv respondenții eliminați la screening. Dacă, de exemplu, estimezi o incidență de 5% pentru grupul țintă, atunci interviurile finalizate cu succes ar trebui să reprezinte doar aproximativ 5% din întreaga bază de date, atunci când sunt incluse și screen-out-urile.
Risc:
Răspunsuri superficiale și neglijente din cauza unui stimulent prea mic.
De obicei, clienții nu se gândesc la stimulentele pe care le vor primi membrii panelului pentru completarea studiului. Lasă această decizie în întregime furnizorului, fără să realizeze cât de important este stimulentul pentru obținerea unor date pe care se pot baza cu adevărat.
Nu presupune că totul este în regulă doar pentru că respondentul acceptă să completeze studiul cunoscând de la început valoarea stimulentului.
În primul rând, un stimulent mic descurajează încă de la început anumite persoane, iar eșantionul va deveni distorsionat. În al doilea rând, cei care acceptă sunt mai puțin predispuși să depună un efort maxim: imaginează-ți că cineva îți cere să acorzi toată atenția unei sarcini timp de 10 minute pentru doar 10 bani.
Prin urmare, acceptând un preț mai mic pentru studiu și neîntrebând care este stimulentul planificat pentru acesta, riști să obții date de slabă calitate.
În mod similar, există un risc atunci când membrii panelului nu sunt recompensați pentru fiecare studiu, ci participă doar la tombole sau loterii – această abordare reduce disponibilitatea lor de a oferi răspunsuri serioase.
Soluție:
Suntem transparenți în privința sumei pe care o plătim respondenților pentru fiecare studiu, iar această plată nu este negociabilă. Nu reducem stimulentul în funcție de bugetul clientului; preferăm să reducem dimensiunea eșantionului sau lungimea chestionarului pentru a ne încadra în buget. Nu reducem stimulentul deoarece credem cu tărie în necesitatea menținerii unui panel sănătos, capabil să producă date de încredere.
Un stimulent echitabil și rezonabil diferă de la o țară la alta. Pentru România considerăm că 0,5 lei pe minut reprezintă un stimulent rezonabil.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să recompenseze membrii panelului pentru fiecare studiu, nu prin tombole. Întreabă care este nivelul stimulentului plătit pentru studiul tău.
Risc:
Răspunsuri superficiale și neglijente, indiferent de valoarea stimulentului.
Uneori, membrii panelului vor trata chestionarele cu indiferență chiar dacă stimulentul este echitabil. Pot parcurge chestionarul prea repede, fără să citească atent întrebările și răspunsurile, fără să acorde suficientă atenție întrebărilor deschise sau oferind răspunsuri contradictorii.
Soluție:
Soluția este verificarea bazei de date pe baza mai multor indicatori-cheie și anularea interviurilor problematice. De exemplu, anulăm:
- Interviurile completate prea repede, de regulă în mai puțin de jumătate din timpul median. Uneori, dacă avem întrebări care necesită răspunsuri mai aprofundate, măsurăm și durata specifică petrecută la întrebarea respectivă sau împiedicăm respondentul să treacă la următoarea întrebare până când nu a trecut un timp minim.
- Răspunsurile contradictorii: fie prin selectarea mecanică a aceleiași poziții pe o scală care conține afirmații antitetice, fie prin contradicția cu un răspuns oferit anterior în chestionar.
- Situațiile în care respondenții selectează opțiuni-capcană introduse în chestionar, de exemplu mărci inexistente.
- Testele de atenție eșuate pe parcursul chestionarului, de exemplu solicitarea de a selecta o anumită variantă de răspuns pentru a verifica dacă respondentul este atent și nu face clic aleatoriu.
- Răspunsurile neserioase la întrebările deschise: texte fără sens sau răspunsuri care nu au legătură cu întrebarea.
Criteriu de calitate în etapa RFQ:
Întreabă furnizorul ce validări privind calitatea datelor efectuează și solicită ca baza de date finală să includă și interviurile descalificate, precum și motivul descalificării fiecăruia.
Risc:
Date de slabă calitate din cauza lipsei de transparență privind panelurile utilizate și modul în care este verificată calitatea datelor.
Dacă furnizorul nu este transparent în privința panelurilor pe care intenționează să le utilizeze și a modului în care acestea asigură membri și răspunsuri de calitate, riscul de a obține date de slabă calitate este ridicat.
Soluție:
Dezvăluim complet, încă de la început, sursele panelurilor, modul în care membrii sunt recompensați și modul în care sunt recrutați. Astfel, ai o imagine clară asupra modului în care fiecare sursă de panel reduce riscurile asociate datelor de slabă calitate.
Criteriu de calitate în etapa RFQ:
Solicită informații despre sursele panelurilor, modul în care sunt recrutați respondenții și modul în care sunt recompensați.
Pe scurt, poți evita aceste riscuri solicitând furnizorului transparență totală și următoarele informații:
- Cum se asigură că respondenții sunt persoane reale.
- Cum se asigură că respondenții nu răspund de mai multe ori.
- Cum sunt recrutați respondenții.
- Care este valoarea stimulentului și dacă respondenții sunt recompensați și pentru screen-out și quota full.
- Ce verificări privind calitatea datelor sunt efectuate.
- Dacă este utilizat vreun chestionar de pre-screening.
- Cu ce paneluri lucrează și cum își recrutează și recompensează respectivele paneluri membrii.
- Livrarea întregii baze de date la finalul studiului, inclusiv screen-out-urile, cazurile de quota full, interviurile anulate și motivele anulării fiecărui interviu.