Studiile CAPI sunt probabil cele care prezintă cel mai mare risc de fraudă. Chiar dacă trecerea de la completarea interviurilor pe hârtie la utilizarea tabletelor a îmbunătățit calitatea datelor, principalele probleme au rămas.
Atunci când, cu mulți ani în urmă, am fost prima companie care a introdus în România înregistrarea audio a interviurilor Face-to-Face, dintr-o rețea de 300 de intervievatori au rămas doar 17 care au acceptat această formă de verificare.
Un alt exemplu, mai recent, este din 2021, când a trebuit să lucrăm cu o rețea nouă de intervievatori într-un anumit oraș din România și am fost nevoiți să invalidăm 25% dintre interviuri din motive de calitate.
Prin urmare, studiile CAPI realizate corect sunt costisitoare.
Iată câteva dintre riscurile la care trebuie să fii atent și modul în care le evităm:
Risc:
Eșantion neuniform din cauza nerespectării locației sau traseului de intervievare.
Unii intervievatori nu respectă traseul planificat pentru interviurile la domiciliu sau locațiile fixe stabilite. Acest lucru conduce la un eșantion neuniform, care poate distorsiona datele în moduri greu de anticipat.
Soluție:
Înregistrăm locația GPS pentru fiecare interviu și folosim soluții prin care putem detecta dacă intervievatorul a încercat să utilizeze aplicații de tip fake GPS.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să fie dispus să furnizeze coordonatele GPS pentru fiecare interviu, precum și detalii despre soluția utilizată pentru detectarea sau prevenirea folosirii aplicațiilor fake GPS.
Risc:
Respondentul nu există, iar răspunsurile sunt fictive.
Unii intervievatori pot încerca să desfășoare sau să finalizeze interviuri fără existența unui respondent real. Pot face acest lucru pentru că reprezintă o modalitate ușoară de a câștiga bani, pentru că devin frustrați atunci când incidența grupului țintă și rata de răspuns sunt scăzute, pentru că respondentul abandonează interviul la jumătate și timpul investit pare pierdut sau pentru că sunt presați să finalizeze colectarea datelor mai repede. Cine nu a încercat măcar o dată să realizeze un interviu telefonic nu știe cât de dificil poate deveni uneori.
Soluție:
Înregistrăm audio toate interviurile și comparăm înregistrările cu informațiile din baza de date.
Verificăm că același respondent este prezent atât la începutul, cât și la finalul chestionarului. Punem la dispoziția clientului toate înregistrările audio.
De asemenea, înregistrăm locația GPS, precum și ora de început și de final pentru fiecare interviu. Astfel, putem valida că interviul a avut loc în locația desemnată sau pe traseul stabilit și că interviurile nu au fost realizate la ore neobișnuite sau într-o succesiune neobișnuit de rapidă.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să înregistreze toate interviurile și să fie dispus să îți transmită toate înregistrările. GDPR nu ar trebui folosit ca justificare generală pentru refuzul de a furniza înregistrările, deoarece acestea reprezintă o practică legitimă de control al calității.
Furnizorul ar trebui, de asemenea, să furnizeze locația GPS a fiecărui interviu, precum și ora de început, ora de final și durata acestuia.
Risc:
Respondenții există, dar nu fac parte din grupul țintă.
Acest risc apare mai ales în studiile cu incidență redusă, unde poate fi mai ușor să „pregătești” prieteni sau cunoștințe să joace rolul respondenților decât să găsești persoane care îndeplinesc cu adevărat criteriile de selecție. Intervievatorii își pot suna prietenii sau cunoștințele și pot realiza interviurile telefonic, ca și cum ar fi fost Face-to-Face. Sau se pot deplasa la prieteni sau membri ai familiei și pot realiza mai multe interviuri în persoană.
Soluție:
Înregistrăm locația GPS a fiecărui interviu pentru a verifica dacă intervievatorii respectă locația stabilită în cazul interviurilor realizate în locație centrală și al exit interview-urilor și dacă urmează traseul prescris în cazul interviurilor la domiciliu. Pentru a proteja integritatea datelor, utilizăm și funcționalități Android de detectare a Mock Location, pentru a preveni utilizarea aplicațiilor de tip fake GPS.
Analizăm durata și momentul realizării fiecărui interviu și identificăm interviurile potențial suspecte, inclusiv cele realizate consecutiv la intervale neobișnuit de scurte sau la ore atipice. Aceste verificări ajută la detectarea situațiilor în care respondenții ar fi putut fi pregătiți sau recrutați în avans.
De asemenea, furnizăm înregistrările audio pentru toate interviurile nefinalizate (refuzuri, cotă completă, respondenți eliminați la screening), precum și baza de date completă care include aceste interviuri nefinalizate.
Numărul respondenților eliminați la screening ar trebui să fie aproximativ în linie cu estimările inițiale. De exemplu, dacă grupul țintă are o rată estimată de incidență de 20%, ar trebui să existe aproximativ de patru ori mai multe interviuri eliminate la screening decât interviuri finalizate.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să îți ofere și înregistrările audio ale tuturor interviurilor nefinalizate, baza de date care include toate aceste interviuri, locația GPS a fiecărui interviu și ora de început și de final a fiecăruia.
Risc:
Intervievatori insuficient instruiți.
Chiar dacă traseul a fost respectat, respondentul există și a fost selectat corect, un intervievator insuficient instruit poate adresa întrebările într-un mod greșit și, în consecință, poate obține răspunsuri nerelevante sau poate avea o rată mai mare de refuzuri.
Soluție:
Fiecare intervievator parcurge un training general și un training specific pentru fiecare studiu. Le solicităm tuturor intervievatorilor să realizeze mai multe interviuri de test pentru fiecare studiu împreună cu supervizorii noștri. Supervizorii joacă rolul respondentului, simulează scenarii mai complexe pentru a testa modul în care intervievatorii le gestionează și oferă feedback în timp real cu privire la aspectele care trebuie îmbunătățite. Înregistrăm atât trainingul general, cât și interviurile de test pentru fiecare studiu.
Criteriu de calitate în etapa RFQ:
Solicită să vezi trainingul general al intervievatorilor și trainingul specific pentru studiul tău, precum și dovada că fiecare intervievator care lucrează în cadrul studiului a parcurs cu succes instruirea.
Risc:
Fraude sau greșeli ale intervievatorilor.
Fără o verificare eficientă, toate criteriile de calitate rămân doar cuvinte, iar orice tip de fraudă poate trece neobservat dacă nimeni nu verifică. Există aproape nelimitate situații în care pot apărea fraude sau greșeli:
- necitirea tuturor întrebărilor,
- reformularea întrebărilor și, implicit, schimbarea sensului acestora,
- nerespectarea instrucțiunilor pentru intervievator (de exemplu, obligația de a citi sau nu variantele de răspuns, de a face sau nu o pauză după fiecare variantă și de a aștepta un răspuns de tip da/nu),
- neclarificarea răspunsurilor oferite de respondenți – de exemplu, respondentul spune „mulțumit”, iar variantele de răspuns sunt „Foarte mulțumit” și „Oarecum mulțumit”,
- înregistrarea unui alt răspuns decât cel oferit de respondent, fie din greșeală, fie intenționat.
Soluție:
Verificăm 10% dintre interviurile realizate de fiecare intervievator și le comparăm cu informațiile înregistrate în baza de date. Dacă sunt identificate greșeli, sunt verificate toate interviurile realizate de intervievatorul respectiv, iar feedbackul este transmis rapid, astfel încât greșelile să fie evitate în interviurile următoare.
Corectăm în baza de date greșelile care nu afectează restul datelor. Dacă greșelile afectează datele, interviul este anulat.
Cele 10% dintre interviuri nu sunt selectate aleatoriu. Sunt alese interviurile cu cea mai mare probabilitate de a prezenta probleme, de exemplu cele mai scurte sau cele cu caracteristici demografice neobișnuite. Prin urmare, este mai probabil să identificăm majoritatea problemelor în acele 10% dintre interviuri, și nu doar 10% dintre probleme.
Intervievatorii care nu fac nicio greșeală într-o lună primesc un bonus suplimentar de 10% pentru luna respectivă. Deoarece chiar și o singură minciună într-un singur interviu poate duce la pierderea a 10% din venitul lunar, motivația de a respecta regulile de calitate impuse de Mercury Research este ridicată.
Putem pune la dispoziția clienților toate verificările efectuate, toate greșelile identificate și tot feedbackul transmis intervievatorilor.
Criteriu de calitate în etapa RFQ:
Solicită informații despre procesul de verificare: câte interviuri sunt verificate, cum sunt selectate și care este procedura atunci când se identifică o greșeală. Solicită un document care să includă toate verificările efectuate, toate problemele identificate, deciziile privind acceptarea sau respingerea interviurilor sau intervievatorilor în proiect și feedbackul transmis intervievatorilor.
Risc:
Lipsa transparenței privind subcontractorii și diluarea responsabilităților.
Dacă furnizorul lucrează cu subcontractori pentru colectarea datelor, responsabilitățile privind controlul calității pot deveni neclare: furnizorul verifică el însuși calitatea datelor sau o face subcontractorul? Dacă verificarea este realizată de subcontractor, ai acces la verificările efectuate?
Soluție:
Dacă lucrăm cu subcontractori, suntem transparenți încă din etapa de ofertare cu privire la numele subcontractorului. De asemenea, realizăm noi toate verificările privind calitatea datelor pentru interviurile subcontractorului, aplicând aceleași standarde pe care le folosim pentru propriii intervievatori.
Criteriu de calitate în etapa RFQ:
Solicită numele subcontractorilor și informații clare despre cine este responsabil pentru verificarea datelor.
Pe scurt, poți evita aceste riscuri solicitând furnizorului transparență totală și următoarele dovezi:
- Dovada instruirii:
- Înregistrările audio complete ale tuturor interviurilor de test realizate de intervievatori în perioada de training pentru fiecare studiu.
- Tot feedbackul oferit intervievatorilor pentru aceste interviuri de test.
- Dovada că interviurile au fost realizate în locația corectă / pe traseul corect:
- Poziția GPS pentru fiecare interviu.
- Dovada realizării interviului:
- Înregistrările audio complete ale tuturor conversațiilor realizate în cadrul studiului, indiferent dacă interviurile au fost finalizate sau nu (screen-out, refuzuri, interviuri întrerupte).
- Baza de date completă, inclusiv interviurile nefinalizate și respondenții descalificați.
- Dovada verificării:
- Lista tuturor interviurilor verificate, descrierea verificării, neconformitățile observate și acțiunile luate (validare, invalidare, corectare).
- Emailurile care conțin feedbackul transmis fiecărui intervievator.
- Dovada responsabilităților:
Dacă furnizorul lucrează cu subcontractori, trebuie să fie clar modul în care este împărțită responsabilitatea pentru verificări.