Comment obtenir des chiffres pour votre étude quantitative ?

L'étude qualitative a un ami secret, c'est le sondage quantitatif. Ce dernier permet notamment d'obtenir des chiffres importants pour vos décisions. Mais attention à ne pas produire des chiffres au rabais sans fiabilité statistique avec des échantillons trop limités, par exemple 100 personnes pour un ciblage large. Voici quelques clefs pour mieux construire vos études quantitatives.

Quels sont les grands chiffres à retenir ?

Pour guider votre lecture de cet article, voici les 3 ordres de grandeur qui vont émerger ci-dessous :

• Avec 800-1000 personnes, vous pouvez interroger une cible nationale représentative et analyser des sous-segments selon de multiple critères.
• Avec 300-400, vous pouvez interroger une cible nationale représentative et analyser des sous-segments sur un nombre limité de critères. 
• Avec 100 personnes ou moins, vous ne pouvez interroger qu'une cible spécifique (exemple : les chauffeurs de bus) et ne pouvez pas segmenter.

Pourquoi oppose-t-on quali et quanti ?

Commençons par poser le décor. Historiquement, il y a bien eu opposition car l'un puisait sa source dans les lois statistiques alors que l'autre naissait du champ des sciences sociales, notamment la psychologie. Depuis, les dispositifs d'étude ont su dépasser cette opposition pour y trouver une saine complémentarité.  Pour faire simple, les études qualitatives et quantitatives ne répondent pas à la même question :

• Une étude qualitative répond à la question pourquoi (et comment) : c'est le royaume de l'exploration, des questions ouvertes et de l'absence d'a priori. On veut découvrir ce que l'on ne sait pas. Les méthodes les plus courantes sont alors les entretiens de tout type, les focus groups mais aussi des techniques de type journal intime dont s'inspirent les tests utilisateurs à distance.
• Une étude quantitative répond à la question combien (et quoi) : il excelle dans la mesure, les questions fermés et ne permet généralement plus de découvrir de nouvelles hypothèses. On souhaite mesurer par des chiffres des phénomènes pré-identifiés. Les méthodologies vont du sondage traditionnel à l'analyse de données d'analytics issues d'un site ou d'une application mobile.

La clef du quantitatif, c'est la marge d'erreur

Maintenant que les bases sont installés, nous allons en revenir à la construction d'un sondage quantitatif solide. Celui qui va vous donner des chiffres pour emporter l'adhésion de votre organisation sur le lancement de votre tout dernier website ou de votre app.
La marge d'erreur est définie par votre taille d'échantillon. Prenons l'exemple d'une question où 60% des répondants ont répondu "Oui". Avec une marge d'erreur de 10%, la vrai réponse est comprise entre 50% et 70%. Et vous n'avez aucun moyen de savoir quelle est la bonne réponse, tous les résultats compris, dans cet exemple, entre 50 et 70% sont corrects.
Le problème se pose pour comparer les résultats. En creusant notre exemple, supposons que nous ayons 60% de réponses "oui j'aime les pommes" et 70% de "oui, j'aime les poires" à la deuxième. La marge d'erreur est de 10%. Apparemment, les personnes interrogées préfèrent les poires mais, en réalité, les "vraies" réponses pourraient se situer à 70% pour les pommes et 60% pour les poires, ce qui inverserait la hiérarchie.

"Avec une marge d'erreur de 10%, si le résultat d'une question est de 60%, la vrai réponse est comprise entre 50% et 70%."

Oui mais... comment calcule-t-on la taille de l'échantillon ?

J'ai deux bonnes nouvelles :

1. Il est possible de calculer la taille de votre échantillon en fonction de la marge d'erreur souhaitée.
2. L'industrie des études s'est doté d'une norme sur ce sujet, à savoir une marge d'erreur de 5%.

Avec 400 répondants d'une cible , vous obtenez une marge d'erreur de 4,90%, assez pour constituer un échantillon solide (on passe la barre des 5% à 377 répondants). Par extension, en sondant 300 personnes, vous obtenez une marge d'erreur de 5,66% qui reste tout à fait acceptable dans les standards d'étude. En revanche, avec 100 personnes, la marge d'erreur est proche de 10%, ce qui se révèle inacceptable.

Si vous avez survécu jusque là, déjà bravo ! Ensuite, sachez que ce que nous venons de voir ensemble est une simplification. Il y a notamment - mais pas que - l'intervalle de confiance à prendre en compte, ce que nous laisserons de côté pour cet article. Nous allons maintenant voir quelques questions typiques tournant autour des sondages.

En revanche, avec 100 personnes, la marge d'erreur est proche de 10% ce qui se révèle inacceptable dans le cas d'une cible large.

Quels critères de ciblage pour une étude quantitative ?

Les critères de ciblage ont un impact fort sur la construction de votre échantillon. Dans le cadre d'une cible très spécifique, on pourra accepter des échantillons vraiment réduits, 100 personnes ou pouvant même descendre jusqu'à 30 sur des fonctions B2B. Cela s'explique en partie par la contrainte budgétaire mais aussi d'un point de vue méthodologique. En effet, une cible très spécifique a des chances d'avoir moins d'amplitude dans ses réponses qu'une population large. Cette diminution du nombre de personnes interrogées supprime également la possibilité de comparer des sous-segments au sein de la population ciblée. En résumé, il est important de ne pas trop diversifier les profils.

Comment être représentatif de ma population ?

Pour être représentatif de la population que vous souhaitez interroger, assurez-vous de bien avoir tous les profils la constituant, et surtout dans les bonnes proportions. Pour cela, il suffit de mettre en place des quotas sur certains critères. L’idéal est de ne pas tomber en dessous des 80 personnes par sous-segment d’analyse, ce qui est communément admis dans le domaine des statistiques (en B2C). 

Et alors, les chiffres dans les échantillons qualitatifs ne servent à rien ?

En réalité si, ils sont utiles ! Les chiffres dans les études qualitatives sont simplement utilisés différemment. Ils permettent notamment de prioriser les problèmes et d'avoir des premiers indices chiffrés. 
A partir de combien de personnes a-t-on découvert suffisamment de problèmes d'UX liés à une interface par exemple ? C'est bien une question statistique et celle qui fait l'objet de notre précédent article "5 utilisateurs suffisent-ils vraiment ?". Un autre article très intéressant de Jeff Sauro, en anglais, parle des 9 a priori que l'on peut rencontrer lorsque l'on croise les tests utilisateurs et les statistiques chiffrées.

Vous souhaitez en savoir plus sur les différentes méthodes de recherche utilisateur à disposition pour mieux comprendre vos utilisateurs et tester vos produits et services ? Rendez-vous déjà sur notre consacrée aux sondages quantitatifs et notre page solutions et méthodologies UX research.