Questionnaire de recherche sur la préconisation de l'optimisme

Description du projet

L'hypothèse principale concernant les prédictions personnelles, bien que non vérifiée, a toujours reposé sur le principe selon lequel les gens veulent être aussi précis que possible. Armor et al. ont voulu explorer cette hypothèse en 2008 et ont découvert qu'en réalité, les prédictions personnelles sur l'avenir sont souvent biaisées par l'optimisme. Dans cet article, nous avons tenté de reproduire leurs recherches et de partager le plan d'étude que nous avons adopté, les méthodes que nous avons appliquées, ainsi que les résultats que nous avons obtenus à la fin et nos commentaires sur certains aspects de l'étude, sa première réplication par van't Veer et al. et notre propre réplication.

Dans le cadre du cours Méthodologies de recherche en sciences humaines et scientifiques de la Maîtrise en systèmes cognitifs et médias interactifs, nous avons été chargés de choisir une expérience dans le cadre du projet de reproductibilité de l'Open Science Framework. Il nous fallait ensuire tenter de reproduire cette expérience durant le semestre. Nous avons choisi Prescribed Optimism — Is it right to be wrong about the future? (l'optimisme prescrit : est-il juste de se tromper sur l'avenir ?), réalisé à l'origine par Armor, Massey & Sackett (2008), puis reproduit plus tard par Lassetter, Brandt & van 't Veer (2016).

Expérience utilisateur

Défi à résoudre

Nous devions recruter des participants, mener l'expérience et collecter des données sur l'expérience pour effectuer des analyses statistiques.

Recherche

En parcourant la grande quantité de projets parmi lesquels nous pouvions choisir, nous avons dû garder à l'esprit les différents niveaux de compétences techniques de l'équipe. Il fallait aussi veiller à pouvoir reproduire les expériences compte tenu des installations auxquelles nous avions accès. Certains projets nécessitaient du matériel spécifique, tels que des scanners EEG, tandis que d'autres étaient des études longitudinales.

Notre recherche expérience nécessitait un questionnaire, principalement gérée avec des questions aléatoires auxquelles le participant pouvait répondre en sélectionnant une valeur sur une échelle. Nous avons examiné différentes plateformes d'enquête, telles que SoSci Survey et Google Forms, mais à ce moment, aucune n'était en mesure de remplir ces exigences :

• Changer facilement de langue dans la même enquête : notre questionnaire était proposé en trois langues : anglais, espagnol et catalan ;
• Choisir au hasard un groupe de questions : l'enquête était basée sur quatre scénarios différents, et chaque participant ne verrait que des questions relatives à un seul de ces scénarios ;
• Présenter les questions du scénario sélectionné de façon aléatoire : suivant les conseils de notre professeur, nous voulions nous assurer de rendre aléatoire l'ordre dans lequel les participants verraient les questions.

Solution

Alors que l'étude originale et sa réplication demandaient aux participants de compléter l'étude sur papier et crayon, nous avons choisi de créer un questionnaire en ligne. Notre raisonnement était soutenu par quelques arguments :

• Éviter la saisie manuelle des données : avant de concevoir notre expérience, nous avon hesité entre l'utilisation de questionnaires papier, ce qui impliquait ensuite une saisie manuelle des données dans une base de données, ou un logiciel qui enregistrerait directement dans la base de données. Nous avons choisi cette dernière option, puis avons développé le logiciel. Le code de l'application est en open source et est accessible au public pour examen.
• Plus facile et moins cher à résoudre les problèmes : travailler sur une application en ligne nous permettrait également d'améliorer et de corriger les problèmes au fur et à mesure qu'ils surviennent, sans frais supplémentaires. Si nous devions adopter la voie papier, nous devrions jeter les copies faites en cas d'erreur et payer pour les faire réimprimer.
• Plus facile de convaincre les participants : l'étude originale demandait aux participants d'aller en laboratoire pour compléter le questionnaire. Nous n'avions pas accès à ce type d'installations et nous savions que cela prendrait beaucoup de temps pour les participants, ce qui aurait probablement un effet dissuasif.

Nous avons créé notre propre logiciel, qui nous a également permis d'analyser des informations qui n'étaient pas demandées de façon explicite aux participants, comme par exemple le temps que les participants prenaient pour compléter le questionnaire.

Notre logiciel nous a également permis de nous adapter : après que quelques personnes aient répondu à l'enquête, des commentaires nous ont été donnés sur l'interface, qui ne donnait aucune information sur l'avancement par exemple. Nous avons ajouté une barre de progression en haut de chaque page, ce qui a réduit le taux d'abandon à partir de ce moment.

Afin d'inviter les participants, nous avons créé de petits dépliants contenant un court paragraphe en trois langues et un lien vers le questionnaire en ligne. C'était plus simple que de forcer les gens à s'asseoir devant un ordinateur pendant que nous les regardions ; ils pouvaient répondre aux questions à leur propre rythme.

Crédits

• Conception de la recherche: Mat Janson Blanchet, Dimitar Karageorgiev, Pol Ricart, Lida Zacharopoulou
• Design UX, développement Full-Stack: Mat Janson Blanchet
• Traductions: Pol Ricart
• Analyses de données: Mat Janson Blanchet, Lida Zacharopoulou
• Rédaction du rapport de recherche: Mat Janson Blanchet, Dimitar Karageorgiev, Lida Zacharopoulou