CATI
Iată câteva dintre riscurile la care trebuie să fii atent și modul în care le evităm:
Risc:
Eșantionul nu reprezintă populația studiată.
Unii furnizori dispun de numere de telefon provenite de la prieteni, cunoștințe și participanți la studii anterioare, persoane care au o probabilitate mai mare de a participa la sondaje și sunt, prin urmare, mai ieftin de recrutat, dar care nu reprezintă suficient de bine populația investigată.
Soluție:
Apelăm numere de telefon generate complet aleatoriu. Pentru transparență totală, îți putem arăta cum să generezi numerele în Excel, iar noi vom apela exclusiv numerele primite de la tine.
Pentru a demonstra acest lucru, la finalul studiului îți furnizăm jurnalul apelurilor de la operatorul de telefonie, care conține toate apelurile, cu ora și durata acestora, informații care pot fi corelate cu cele din baza de date.
Deoarece acest proces presupune apelarea unui număr mare de numere inactive, folosim și un software care validează numerele active și transmite către intervievatori doar aceste numere.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să fie dispus să lucreze cu numere generate aleatoriu și preselectate de tine și să poată demonstra că a apelat exclusiv acele numere.
Risc:
Respondentul nu există, iar răspunsurile sunt fictive.
Unii intervievatori pot încerca să realizeze sau să finalizeze interviuri fără existența unui respondent real. Pot face acest lucru pentru că reprezintă o modalitate ușoară de a câștiga bani, pentru că devin frustrați atunci când incidența grupului țintă și rata de răspuns sunt scăzute, pentru că respondentul abandonează interviul la jumătate și timpul investit pare pierdut sau pentru că sunt presați să finalizeze mai repede colectarea datelor. Cine nu a încercat măcar o dată să realizeze un interviu telefonic nu știe cât de dificil poate deveni uneori.
Soluție:
Înregistrăm audio toate interviurile și comparăm înregistrările cu informațiile din baza de date.
Verificăm că același respondent este prezent atât la începutul, cât și la finalul chestionarului. Punem la dispoziția clientului toate înregistrările audio.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să înregistreze toate interviurile și să fie dispus să îți transmită toate înregistrările. GDPR nu ar trebui folosit ca justificare generală pentru refuzul de a furniza înregistrările, deoarece acestea reprezintă o practică legitimă de control al calității.
Risc:
Respondenții există, dar nu fac parte din grupul țintă.
Acest risc apare mai ales în studiile cu incidență redusă, unde poate fi mai ușor să „pregătești” prieteni sau cunoștințe să joace rolul respondenților decât să găsești persoane care îndeplinesc cu adevărat criteriile de selecție.
Soluție:
Apelăm numere generate aleatoriu de tine și demonstrăm acest lucru prin jurnalul apelurilor, așa cum am descris mai sus.
De asemenea, furnizăm înregistrările audio pentru toate interviurile nefinalizate (refuzuri, cotă completă, screen-out), precum și baza de date completă care include aceste interviuri nefinalizate.
Numărul respondenților eliminați la screening ar trebui să fie aproximativ în linie cu estimările inițiale. De exemplu, dacă ai un grup țintă cu o rată estimată de incidență de 20%, ar trebui să existe aproximativ de patru ori mai multe interviuri eliminate la screening decât interviuri finalizate.
Criteriu de calitate în etapa RFQ:
Furnizorul ar trebui să îți ofere și înregistrările audio ale tuturor interviurilor nefinalizate, precum și baza de date care include toate aceste interviuri.
Risc:
Intervievatori insuficient instruiți.
Chiar dacă eșantionul este corect, respondentul există și a fost selectat corespunzător, un intervievator insuficient instruit poate adresa întrebările într-un mod greșit și, în consecință, poate obține răspunsuri nerelevante sau poate avea o rată mai mare de refuzuri.
Soluție:
Fiecare intervievator parcurge un training general și un training specific pentru fiecare studiu. Le solicităm tuturor intervievatorilor să realizeze mai multe interviuri de test pentru fiecare studiu împreună cu supervizorii noștri. Supervizorii joacă rolul respondentului, simulează scenarii mai complexe pentru a testa modul în care intervievatorii le gestionează și oferă feedback în timp real privind aspectele care trebuie îmbunătățite. Înregistrăm atât trainingul general, cât și interviurile de test pentru fiecare studiu.
Criteriu de calitate în etapa RFQ:
Solicită să vezi trainingul general al intervievatorilor și trainingul specific pentru studiul tău, precum și dovada că fiecare intervievator care lucrează în cadrul studiului a parcurs cu succes instruirea.
Risc:
Fraude sau greșeli ale intervievatorilor.
Fără o verificare eficientă, toate criteriile de calitate rămân doar cuvinte, iar orice tip de fraudă poate trece neobservat dacă nimeni nu verifică. Există aproape nelimitate situații în care pot apărea fraude sau greșeli:
- necitirea tuturor întrebărilor,
- reformularea întrebărilor și, implicit, schimbarea sensului acestora,
- nerespectarea instrucțiunilor pentru intervievator (de exemplu, obligația de a citi sau nu variantele de răspuns, de a face sau nu o pauză după fiecare variantă și de a aștepta un răspuns de tip da/nu),
- neclarificarea răspunsurilor oferite de respondenți – de exemplu, respondentul spune „mulțumit”, iar variantele de răspuns sunt „Foarte mulțumit” și „Oarecum mulțumit”,
- înregistrarea unui alt răspuns decât cel oferit de respondent, fie din greșeală, fie intenționat.
Soluție:
Verificăm 10% dintre interviurile realizate de fiecare intervievator și le comparăm cu informațiile înregistrate în baza de date. Dacă sunt identificate greșeli, sunt verificate toate interviurile realizate de intervievatorul respectiv, iar feedbackul este transmis rapid, astfel încât greșelile să fie evitate în interviurile următoare.
Corectăm în baza de date greșelile care nu afectează restul datelor. Dacă greșelile afectează datele, interviul este anulat.
Cele 10% dintre interviuri nu sunt selectate aleatoriu. Sunt alese interviurile cu cea mai mare probabilitate de a prezenta probleme, de exemplu cele mai scurte sau cele cu caracteristici demografice neobișnuite. Prin urmare, este mai probabil să identificăm majoritatea problemelor în acele 10% dintre interviuri, și nu doar 10% dintre probleme.
Intervievatorii care nu fac nicio greșeală într-o lună primesc un bonus suplimentar de 10% pentru luna respectivă. Deoarece chiar și o singură minciună într-un singur interviu poate duce la pierderea a 10% din venitul lunar, motivația de a respecta regulile de calitate impuse de Mercury Research este ridicată.
Putem pune la dispoziția clienților toate verificările efectuate, toate greșelile identificate și tot feedbackul transmis intervievatorilor.
Criteriu de calitate în etapa RFQ:
Solicită informații despre procesul de verificare: câte interviuri sunt verificate, cum sunt selectate și care este procedura atunci când se identifică o greșeală. Solicită un document care să includă toate verificările efectuate, toate problemele identificate, deciziile privind acceptarea sau respingerea interviurilor sau intervievatorilor în proiect și feedbackul transmis intervievatorilor.
Risc:
Colectarea prea rapidă a datelor conduce la un eșantion neuniform.
Această problemă ține în principal de client: uneori îți dorești o colectare foarte rapidă a datelor, de exemplu 1.000 de interviuri realizate în 1–2 zile. Este de înțeles, deoarece unele întrebări de business necesită răspunsuri imediate.
Însă ceea ce am învățat din experiență este că forțarea ritmului de colectare conduce la eșantioane neuniforme, în care ajung să fie contactate într-o măsură mai mare femeile și persoanele inactive, deoarece acestea sunt categoriile care răspund mai ușor la telefon și au mai mult timp pentru a participa la studii. Este mai bine să aștepți câteva zile în plus pentru rezultate, dar să știi că te poți baza pe ele și că includ și persoane mai ocupate, mai puțin susceptibile să răspundă pe loc, decât să forțezi o colectare rapidă.
Pe scurt, poți evita aceste riscuri solicitând furnizorului transparență totală și următoarele dovezi:
- Dovada instruirii:
- Înregistrările audio complete ale tuturor interviurilor de test realizate de intervievatori în perioada de training pentru fiecare studiu.
- Tot feedbackul oferit intervievatorilor pentru aceste interviuri de test.
- Dovada apelării numerelor generate aleatoriu:
- Raportul detaliat al apelurilor, care să includă durata și numărul de telefon pentru fiecare apel, împreună cu toate numerele generate aleatoriu de tine.
- Dovada realizării interviului:
- Înregistrările audio complete ale tuturor conversațiilor realizate în cadrul studiului, indiferent dacă interviurile au fost finalizate sau nu (screen-out, refuzuri, interviuri întrerupte).
- Baza de date completă, inclusiv interviurile nefinalizate și respondenții descalificați.
- Dovada verificării:
- Lista tuturor interviurilor verificate, descrierea verificării, neconformitățile observate și acțiunile luate (validare, invalidare, corectare).
- Emailurile care conțin feedbackul transmis fiecărui intervievator.