February 9, 2016

Combien d'utilisateurs interroger ?

Dans les études, le principe est simple : moins vous en savez, moins vous avez besoin d’informations pour apprendre, réduire votre incertitude et ainsi améliorer vos décisions.

Inversement, plus vous disposez d’informations (suite à des tests réguliers par exemple), plus vous aurez besoin de nouvelles données pour apprendre quelque chose de nouveau sur votre site ou votre application mobile.

Paradoxalement, un chiffre magique revient régulièrement lorsque l’on évoque les tests utilisateurs. Il s’agit du chiffre 5.


5 utilisateurs suffisent-ils pour tous vos tests utilisateurs ?

Il y a plus de 20 ans maintenant,  Jakob Nielsen a démontré qu’il était tout à fait acceptable de simplifier les méthodologies de l’époque et a jeté les fondements des tests utilisateurs moins chers et plus simples à organiser, en bref, accessibles à plus de décideurs.


Dans son article référent, il explique comment interroger 5 utilisateurs permet de lister 85% des problèmes (plus précisément, 85% des problèmes que les utilisateurs ont une chance sur trois de rencontrer). 

Source: Nielson Norman Group

D’instinct, on entrevoit bien que ce chiffre de 5 utilisateurs est malmené dans un environnement mobile de plus en plus complexe. Comment 5 personnes peuvent-elles révéler 85% des problèmes sur des environnements aussi différents qu'un PC, un smartphone, une tablette, iOS, Android, Windows Phone, etc. ?

En réalité, de nombreux chercheurs ont démontré que ce chiffre de 5 utilisateurs est une simplification et non une réponse universelle. Mais alors, comment savoir combien d’utilisateurs interroger ?


Conseils pratiques pour savoir combien d’utilisateurs interroger

Pour aller au-delà du principe des 5 utilisateurs, voici quelques seuils à la fois simples et adaptés à différents stades de votre projet :

Votre situationCombien d'utilisateurs ?En quoi ce nombre améliore-t-il votre décision ?Quel type de solution ?
Je démarre, c'est la feuille blanche.1Vous passez de 0 à 1.Ecoutez vous-mêmes vos utilisateurs.
Mon premier test.5-15Vous pouvez lister 85% des problèmes.Institut d'étude quali.
J'ai besoin de prioriser.30Vous pouvez prioriser les problèmes.*Plateforme de crowdtesting.
J'en sais beaucoup. Un gain de 0,1% serait déjà bénéfique.500-1000Vous mesurez précisément (mais perdez la dimension exploratoire).AB test / étude quanti.
J'optimise en continue.Tous !Vous êtes Twitter ou Facebook.Big data.

* Nous utilisons pour cela la loi dite normale qui, à partir de 30 individus, permet de calculer fréquence et pourcentage. Vous pouvez ainsi voir les problèmes qui reviennent plus fréquemment que les autres.



Les tests utilisateurs Ferpection, de la data dans le quali

Une plateforme de tests utilisateurs comme Ferpection vous apporte la flexibilité pour aborder en toute sérénité tous les seuils des études qualitatives, de 1 à 100 utilisateurs, où l’on frôle alors les études quantitatives.

Au démarrage de vos projets, un nombre très réduit d’utilisateurs, de 1 à 3, suffit pour améliorer votre connaissance. Il est alors précieux d’interroger vous-mêmes vos utilisateurs. Certaines personnes parlent de véritables révélations lorsqu’ils observent les utilisateurs. La plateforme Ferpection vous permet alors de recueillir ces retours et de faciliter votre analyse grâce à notre technologie.


Ensuite, lorsque l’organisation devient trop lourde en interne et que vous souhaitez bénéficier d’une expertise en matière de tests, vous pourrez confier ces tests en intégralité à un institut ou une plateforme de crowdtesting. Faisant partie de cette deuxième catégorie, Ferpection se distingue à la fois en vous permettant de tester en mode agile des échantillons de 5 à 15 personnes, voire de dépasser ces seuils.

Nous recommandons ainsi régulièrement à nos clients d’interroger 30 utilisateurs car cela permet de passer d’une liste de problèmes à des problèmes ordonnés par importance (voir la note ci-dessus). Pourquoi se contenter d’une liste lorsque vous pouvez prioriser les problèmes et faire parler statistiquement la data ?

Lorsque l’on souhaite comparer plusieurs segments (PC vs. mobile, hommes vs. femmes, etc.) comme dans le graphique ci-dessous, il est important que chaque segment comporte au moins 30 individus.


Si l’explosion des technologies mobiles nous amène à reconsidérer le chiffre magique de 5 utilisateurs, le crowdtesting nous apporte d’excitantes possibilités pour nous adapter et améliorer en réalité notre capacité à décider et à séduire les utilisateurs.

Retrouvez prochainement cet article et bien d'autres dans le livre blanc de la MMAF sur la qualité des applications mobiles.

| | | |

En savoir plus sur les tests utilisateurs
Auteur
Thibault Geenen

Thibault Geenen

Thibault est fan de la méthode lean start-up d'Eric Ries (qu'il applique avec beaucoup de sérieux) et faire des blagues que ses jeunes protégés ne comprennent pas toujours. Grand amateur de Science Fiction, il a récemment écrit un article faisant un lien entre entreprenariat et le film 'Seul sur Mars'.