On a testé l'IA ChatGPT pour l'UX Research : c'est pas encore ça

Ceci est un test! Essayons de demander à ChatGPT de nous aider avec le test utilisateur du site Web de Tiffany. Nous allons nous concentrer principalement sur l'écriture du protocole de test et nous allons le challenger ! Dans cet article, je fournis des extraits de ma conversation avec Chat GPT disponible ici en intégralité. L'une des principales conclusions de cet article est que vous devez déjà être expérimenté si vous souhaitez tirer parti de l'IA pour votre recherche UX car - que vous le vouliez ou non - elle ne fera pas tout à votre place et ne le fera pas toujours bien.

Si vous voulez vous arrêter là, voici une liste de contrôle sur l'optimisation de vos instructions - ou invites ou prompts en anglais - pour l'UX Research avec Chat GPT :

• Dites à ChatGPT de se comporter comme un expert chevronné en recherche UX. Dites-lui également d'ignorer toutes les instructions avant celle-ci.
• Partagez la tâche que vous souhaitez réaliser : rédaction d'un protocole de test, amélioration d'un référentiel, recherche de concurrents, etc.
• Demandez à ChatGPT de toujours vous poser des questions avant de répondre, puis répondez aux questions de l'IA !
• Lorsque vous sentez que vous avez répondu à suffisamment de questions, demandez-lui de terminer la tâche.
• Demandez à affiner des éléments spécifiques plutôt que tout à la fois.
• Examinez tout attentivement avec votre cerveau humain imparfait mais critique.

Vous connaissez peut-être la citation de Biff dans Retour vers le futur lorsqu'il se trompe en appelant Marty le héro : "Hey, Calvin Klein". Si vous revenez tout juste d'une aventure de voyage dans le temps, vous ignorez peut-être ce qu'est ChatGPT. Voici ce que la célèbre IA a à dire d'elle-même :   

Notez que fournir des informations et engager des conversations sont deux propositions différentes et que vous devez tirer parti des deux si vous souhaitez tirer le meilleur parti de Chat GPT, comme nous le verrons ci-dessous.

Il existe de nombreuses façons d'exploiter l'IA pour les tâches UX. Voici 3 exemples répertoriés dans les 10 meilleures façons d'utiliser ChatGPT pour la conception UX :

• Recherche documentaire
• UX writing
• Codage, CSS par exemple !

Ici, nous allons nous concentrer sur l'écriture de protocoles pour un test utilisateur et approfondir la question.

Nous avons choisi de demander l'aide de ChatGPT pour tester le site Web de Tiffany. La marque est bien connue et nous pouvons utiliser ce protocole pour explorer la combinaison des objectifs de commerce électronique avec la création d'une expérience en ligne de luxe unique. Pour que cela reste court, nous lui demanderons d'écrire les scénarios de test réels pour les entretiens avec les utilisateurs, ce que nous pouvons immédiatement utiliser. Mais d'abord, préparons l'intelligence artificielle pour la suite.

ChatGPT a tendance à donner des réponses un peu fades. Nous pouvons faire plusieurs choses pour prévenir cela. La première est de définir nos attentes en tant que professionnels expérimentés / experts :

Cela influencera les réponses qui nous seront données. Notez également la première phrase qui garantit que votre chat n'est pas influencé par une interaction précédente. Les experts en matière de prompt déclarent que même un nouveau chat est livré avec des variables préchargées, il est donc apparemment pertinent d'ouvrir une conversation avec cette invite.

Nous pouvons facilement  briefer l'intelligence artificielle sur une tâche tout en omettant des éléments de contexte importants. Nous pouvons également remédier à cela avec les instructions suivantes, similaires à ce que ferait un vrai consultant :
Dans notre tentative, Chat GPT a ensuite proposé quelques points intéressants :

Répondre à ces questions a conduit à des questions plus spécifiques telles que : "Pour les utilisateurs cibles qui connaissent la marque Tiffany et ses produits, quelles sont leurs perceptions de la marque et de sa réputation ? Associent-ils Tiffany's au luxe, à la qualité et à l'exclusivité ? ».

À un moment donné, vous souhaitez arrêter les allers-retours que vous avez demandés et reprendre la livraison de la tâche. Ainsi, lorsque vous sentez que vous avez fourni suffisamment d'informations à l'IA, dites-le lui simplement !

Lorsque je l'y ai invité, Chat GPT m'a donné 10 scénarios prometteurs mais loin d'être prêts à l'emploi (plus à ce sujet bientôt). J'avais des commentaires à la fois sur la mise en page et sur le contenu lui-même et l'IA ne gère actuellement pas très bien un grand nombre de commentaires pris ensemble. Par exemple, j'ai demandé à supprimer un scénario autour de la newsletter qui était initialement proposé. Le scénario a donc disparu puis j'ai donné des commentaires supplémentaires et là, surprise, dans la dernière proposition, le scénario de la newsletter est mystérieusement réapparu en 5e position :

Bref, ce n'est pas le moyen idéal de faire un retour à votre IA préférée, mais il existe un autre moyen, comme nous allons le voir maintenant.

Notez également que certaines des questions sont malheureusement des questions directionnelles (ou leading questions) : « le processus a-t-il été facile », « avez-vous trouvé cela utile », « l'expérience a-t-elle été fluide ». Ce type de question attire l'attention du participant sur quelque chose auquel il ne pense peut-être pas. Il est donc préférable de commencer par des questions ouvertes telles que « qu'avez-vous pensé du processus », « comment s'est passée votre expérience », etc. Vous pouvez toujours tirer parti des questions directionnelles, mais elles devraient arriver en dernier, comme point de relance au cas où le participant n'aurait rien mentionné ce sujet ou comme moyen de vous assurer que vous ne manquez rien. Il aurait été préférable que l'IA propose en priorité des questions ouvertes.

L'autre manière de travailler avec l'IA est de se concentrer sur un élément et de ne travailler sur le suivant qu'une fois que vous êtes satisfait. Dans ce cas, vous êtes en charge de rassembler ensuite tous ces éléments mais l'avantage est que ChatGPT ne perd pas le nord en gérant trop d'informations. Voici un exemple lorsque j'ai écrit une invite pour terminer le test avec l'accessibilité liée à UX-for-Good.

À nouveau, ce n'est pas un mauvais début et, cette fois, j'ai demandé que nous approfondissions un seul point, à savoir comment demander aux participants de donner leur avis sur l'accessibilité du site Web. Les résultats sont beaucoup plus précis et intéressants qu'en essayant d'améliorer toutes les étapes à la fois. Voici quelques extraits :

Pour encourager les participants à donner leur avis sur l'accessibilité du site Web, nous pourrions commencer par expliquer l'importance de l'accessibilité pour tous les utilisateurs, y compris les personnes handicapées. […] Nous pouvons également demander des commentaires généraux sur l'accessibilité du site Web, tels que :

Avez-vous trouvé le site Web facile à utiliser et à naviguer ?

Y a-t-il des fonctionnalités ou des fonctions que vous avez eu des difficultés à utiliser ?

Y a-t-il quelque chose que vous aimeriez voir amélioré concernant l'accessibilité du site ?

Cela vaut-il la peine d'écrire tous ces prompts supplémentaires vs. une requête basique ?

Vous vous demandez peut-être si le fait de passer par cette conversation avec l'IA fait une différence par rapport au simple fait de donner la tâche au début de la conversation. En plus de vous poser vous-mêmes des questions pertinentes, le résultat final est effectivement supérieur. Si vous confiez simplement la tâche d'écrire le protocole de test utilisateur pour le site Web de Tiffany, vous obtenez des instructions bien trop génériques :   

Demandez au participant s'il connaît la marque Tiffany's et s'il a déjà visité le site Web auparavant. Demandez au participant quelles sont ses attentes concernant le site Web. Demandez au participant d'effectuer une série de tâches sur le site Web. Des exemples de tâches peuvent inclure : trouver un produit spécifique, parcourir une catégorie spécifique ou acheter un produit. Observez le comportement du participant et posez des questions de suivi pour mieux comprendre son processus de réflexion. Demandez au participant de naviguer sur le site Web et d'effectuer diverses actions, telles que l'ajout d'articles à son panier, la création d'un compte ou la recherche de produits. Observez le comportement du participant et posez des questions de suivi pour identifier les problèmes d'utilisabilité ou les frustrations qu'il rencontre.

ChatGPT peut-il fournir de bons conseils ?

Eh bien pas vraiment! Chat GPT est idéal pour rechercher des données et les afficher comme si quelqu'un les avait écrites. Il sait aussi très bien se faire le miroir de vos pensées mais pas les challenger. Il ne vérifie pas non plus les informations et il n'a pas d'opinion. Par exemple, dans cet exercice, lorsque j'ai répondu à certaines des questions, j'ai écrit que nous pouvions interroger jusqu'à 20 personnes aux États-Unis, en Europe et en Asie. Bien que j'ai précisé donner cette indication à titre d'exemple, Chat GPT ne l'a jamais contesté. Et si j'avais tort en premier lieu ? Et même si ce n'est pas le cas, l'Europe et l'Asie ne sont pas des pays donc ce n'est pas assez précis. N'oubliez pas que, du point de vue du chat GPT, vous avez presque toujours raison. L’IA n’évalue pas les informations qu’elle vous renvoie.

Ce qui nous amène à l'analyse. Jusqu'à présent, il était difficile d'effectuer des analyses avec une IA ouverte en raison du volume de données que vous deviez soumettre. Nous verrons de plus en plus de hacks comme celui-ci et de solutions pour analyser tous les commentaires que vous avez recueillis. Mais la question demeure, l'analyse sera-t-elle digne de confiance ?

Conclusion : le bon, la brute et l'IA ?

En bref, Chat GPT peut actuellement agir comme un stagiaire très rapide. C'est utile mais manque de capacité de prise de recul et de rigueur ; rien de personnel vis-à-vis de tous les stagiaires passés, présents et futurs. Pour que cet article reste court, nous avons également omis de nombreuses autres étapes intéressantes, telles que les questionnaires de pré-qualification ou les questions post-test. Prenons du recul, car nous autres êtres humains, le pouvons :

Le bon

• Vous recevrez une première ébauche de votre protocole.
• On peut vous poser des questions pertinentes qui peuvent vraiment aider à concevoir une meilleure étude.
• Ça fait du bien d'avoir « quelqu'un » à qui parler du projet. Même si vous travaillez en équipe, vous pouvez commencer par Chat GPT avant de finaliser le travail avec vos homologues humains. Étrangement, cet élément s'est révélé être le meilleur apport de ce test.

La brute

• Si vous chattez vraiment avec Chat GPT - ce que nous vous conseillons - vous ne gagnez pas forcément de temps.
• Vous n'obtenez pas un protocole prêt à l'emploi, il vous faut au mieux l'amender et probablement le réécrire entièrement.
• Cela ne vous dispense pas de prendre du recul pour vous assurer de vous être posé les bonnes questions.
• Chat GPT ne conteste pas votre opinion et est même capable d'insérer de fausses pistes.
• Le périmètre effectif d'intervention est - pour le moment - limité à ce qui peut être écrit, comme le protocole de recherche.

N'oublions pas que les intelligences artificielles évoluent très rapidement. La balance pourrait donc évoluer vers une meilleure performance. Ensuite, je n'ai pas abordé les sujets liés à l'éthique : à qui appartiennent les protocoles écrits, quelles sont les sources et comment les citer, un vrai humain ne devrait-il pas faire ce travail au final ? Peut-être le sujet d'un autre article de blog. Nous verrons.

En attendant, si vous souhaitez parler à de vrais humains de vos projets de recherche UX, ne cherchez plus et contactez-nous 😊