Le point de départ de cet article est une série de questions que nos clients (Natixis, Euler Hermes, Ouibus, Privateaser…) nous posent régulièrement sur les enquêtes en ligne soit lorsque nous les formons soit lorsque nous les construisons pour eux.
Plusieurs questions reviennent systématiquement :
- La première : comment s’assurer que les enquêtes en ligne que vous menez produisent des résultats fiables ? Des résultats sur lesquels vous allez pouvoir vous baser pour construire une stratégie pérenne ?
- La seconde : comment bien traiter ses résultats : qu’est-ce que cela signifie au juste ?
- Dernier point, comment ne pas retomber en fin de compte sur une segmentation froide et clinique, sans profondeur, et qui ne sera pas opérationnelle : une segmentation touffue, qui coupe les cheveux en quatre, malaisée à saisir et à communiquer et qui ne permettra pas d’avancer ?
Premier conseil pour bien construire ses enquêtes en ligne : soignez la construction de votre questionnaire
Le premier conseil que l’on pourrait donner, en effet, c’est de bien faire attention à la construction du questionnaire.
Cela peut paraître cliché mais c’est là la première source d’erreurs que nous observons encore et toujours chez les clients : les questionnaires sont parfois formulés la tête à l’envers. Sous la pression de la hiérarchie, sous la pression du stress, on veut des réponses de façon féroce et on commet alors toute la panoplie des erreurs habituelles : poser trop de questions, bourrer les questions de trop de modalités, poser les questions qui nous intéressent de façon si agressive qu’elles induisent les réponses. Et j’en passe.
Si votre questionnaire est biaisé, mal construit, si vous avez oublié des questions ou bien si vos questions sont ambiguës ou forcenées, vos usagers répondront à coté ou bien vous n’aurez pas les réponses que vous cherchez et votre enquête sera un coup d’épée dans l’eau. Beaucoup de temps perdu pour rien.
Et le biais est tellement facile à produire : cas d’école de l’INSEE : Etes-vous pour ou contre la peine de mort ? Réponse : 80% contre.
Question suivante : êtes-vous pour ou contre la peine de mort pour les meurtriers d’enfants ? Réponse : 80% pour.
Tout est dans la façon de poser la question…
Une bonne enquête en ligne, c’est donc d’abord un bon questionnaire. C’est pour cela que nous avons chez Fast & Fresh des BAC+5 à BAC+8 en Sciences Humaines dont le travail est de vérifier la pertinence et l’économie de vos questionnaires afin de ne pas laisser ce travail aux mains des premiers dilettantes venus et de vous assurer que les données que vous récoltez sont fiables et utilisables dans votre stratégie.
La stratégie des usages, c’est le boulot des Psychologues et des Sociologues, nous sommes formés à ce travail et nous savons quels sont les pièges à éviter.
De bonnes enquêtes en ligne, c’est aussi de la statistique
En la matière, les clients commettent généralement plusieurs erreurs fatales.
On pourrait parler ici longuement de l’échantillonnage, crucial pour une enquête en ligne ou une étude de satisfaction client mais je me centrerai sur le point le plus souvent oublié : les statistiques.
En entreprise, les statistiques sont un blessé de guerre : mal comprises, elles sont au mieux ignorées au pire défigurées.
Et, pour être transparent, ce n’est pas la faute des seuls clients : c’est aussi, et pour beaucoup, la faute des logiciels d’enquêtes en ligne. En effet, les logiciels d’enquêtes en ligne, en démocratisant les « sondages » ont permis a beaucoup d’entreprises d’obtenir enfin un début d »information sur des consommateurs qu’elles connaissaient souvent assez mal. Et cela, c’est plutôt une bonne chose.
Mais, dans le même temps, les logiciels d’enquêtes en ligne ont fait croire abusivement aux clients que disposer d’un tableau de bord avec des camemberts les rendait instantanément experts en statistiques. Évidemment, c’est un peu plus compliqué que cela.
C’est l’un des gros problèmes du web à l’heure actuelle : l’accès « libre » à la connaissance donne l’impression d’être sachant. Mais non. Lire un article sur Doctissimo ne fait pas de nous des médecins. Faire de la statistique, ce n’est pas juste lire des pourcentages sur des camemberts. C’est 5 ans d’études, au minimum, pour comprendre les modèles mathématiques qui se cachent derrière les calculs, pour savoir manier les outils, comprendre le sens des chiffres et surtout bien discerner les limites.
C’est pour ça que chez Fast & Fresh, nos statisticiens sont des BAC+5 à BAC+8 sortis des meilleures université parisiennes et montpelliéraines en statistiques et en sciences humaines : parce qu’obtenir des données de qualité, c’est à dire des données justes qui nous rendront aptes à prendre des décisions stratégiques, requiert de l’expertise et du travail.
Tout ne se vaut pas : pour construire nos données, nous savons que nous devons faire appel à des experts. C’est aussi ça, la Science. Savoir s’arrêter à la porte de son incompétence. Personnellement, je m’y emploie : quand je ne sais pas, je passe la main aux experts. Il n’y a rien de honteux là dedans.
Quelques exemples d’erreurs statistiques lors de la conduite d’écoutes client
Prenons un exemple : la première erreur fatale quand on analyse les résultats d’une enquête en ligne, c’est de se fier aux tris à plat. Les tris à plats, ce sont les pourcentages : le décompte simple des réponses, les camemberts dont nous parlons depuis le début. Les statisticiens parleraient d’ailleurs, pour être exact, de tableaux d’effectifs.
- Pourquoi les camemberts sont-ils trompeurs : imaginons que votre enquête relève le pays d’origine de vos acheteurs. Vous avez 20% d’acheteurs américains et 40% d’acheteurs polonais. Vous allez naturellement en déduire que vos acheteurs sont polonais et investir sur le marché polonais.
- Ce que l’expert statisticien va faire pour vous : sans tests statistique, vous ne savez pas si les polonais (qu’on aime beaucoup par ailleurs) pèsent autant que cela dans la balance. Seul le test statistique peut éclairer cette donnée et vous montrer que, malgré l’apparence du tri à plat, la corrélation se trouve en réalité entre votre produit et les américains. Et que les polonais ne font que tester votre produit, par exemple, sans pour autant le garder entre les mains plus de 5mn. Nos experts vous aideront à choisir le test le plus approprié et le plus efficace pour comprendre vos données.
Autre exemple d’erreur fatale :
- Autre erreur; l’interprétation des données : beaucoup trop de clients pensent que parce que l’outil d’enquête en ligne place un camembert en face de chacune de leurs questions, ils ont une réponse à chacune d’entre elles.
- En réalité, il faut des experts de l’interprétation des données humaines : avoir des données ne signifie pas qu’elles soient faciles à interpréter. Il faut encore les faire parler. Tout statisticien qui se respecte sait bien que le fait d’avoir des données ne signifie pas que vous avez des réponses. Vous avez juste des chiffres et, du coup la sensation fausse de pouvoir décider. À nous de vous montrer celles qui comptent véritablement