La conception d’expérimentations est essentielle à la création de connaissances valides et réutilisables. Ce guide vous aidera à y parvenir.

10 min de lecture

Pourquoi devrais-je m’intéresser à l’expérimentation ?

Pour les entrepreneurs, il s’agit de mesurer les progrès à travers la quantité d’apprentissage validé créé à ce jour.

Pour ceux qui travaillent dans l’innovation dans une organisation établie, il s’agit de créer des connaissances réutilisables et une valeur organisationnelle.

Concevoir des expérimentations est essentiel pour créer des connaissances valides et réutilisables.

Si vous recherchez en ligne des plans d’expérimentations, vous trouverez très probablement des ressources dans les domaines de la statistique appliquée ou de la psychologie expérimentale.

Bien que les deux soient incroyablement intéressants, ils nécessitent un investissement de temps substantiel.

Mais vous voulez apprendre maintenant et vous voulez faire une expérimentation demain.

Eh bien, alors ce guide est fait pour vous !

Ce guide étape par étape est le produit d’une décennie d’expérimentation, réduite au minimum dont vous avez besoin pour concevoir une expérimentation pour en savoir plus sur presque tout dans le contexte de l’entreprise.

Je conçois des expérimentations depuis mes années universitaires et j’ai même écrit un algorithme pour des conceptions expérimentales spécifiques impliquant des mélanges.

Depuis lors, j’ai déployé divers modèles expérimentaux, des modèles quantitatifs, qualitatifs, en passant par les modèles mixtes.

Ce que j’ai réalisé, c’est qu’avoir une manière structurée de sonder la façon dont nous voyons le monde et maximiser l’apprentissage est la partie la plus importante, et non les trucs techniques et l’adhésion servile.

Cette prise de conscience a été un moment charnière dans la façon dont j’entraine les autres à concevoir et à mener des expérimentations de manière efficace.

Ce guide comprend trois phases et dix étapes :

• Phase I : Concevoir l’expérimentation.
  Étape 1. Définir l’objectif d’apprentissage.
  Étape 2. Décrivez de qui vous l’apprendrez.
  Étape 3. Détaillez l’expérimentation que vous allez mener.
  Étape 4. Définissez les critères d’échec ou de réussite.
  Étape 5. Définissez la limite de temps.

• Phase II : Conduire l’expérimentation.
  Étape 6. Testez l’expérimentation.
  Étape 7. Exécutez l’expérimentation.

• Phase III : Apprendre de l’expérimentation.
  Étape 8. Capturez et documentez les résultats.
  Étape 9. Analyser et interpréter les résultats.
  Étape 10. Décidez des prochaines étapes.

Étant donné que ce guide se concentre spécifiquement sur la conception d’expérimentations pour maximiser l’apprentissage, vous pouvez le coupler avec tout autre outil que vous utilisez.

Phase I : Concevoir l’expérimentation

Étape 1. Définir l’objectif d’apprentissage.

Que voulons-nous apprendre ?

Que supposons-nous?

Quel est l’objectif de recherche ou l’hypothèse falsifiable ?

Les bonnes expérimentations commencent par un objectif d’apprentissage clair.

Les hypothèses sont remises en question, les hypothèses sont testées.

Vous pouvez traduire votre hypothèse en une hypothèse falsifiable en la reformulant avec des nombres.

Je suggère d’utiliser l’un des deux formats suivants :

1. Format d’hypothèse de Le vrai livre des startups:

   Le changement – la métrique – l’impact – le délai.

   Exemple :
   Si nous ajoutons une icône de verrouillage à côté des informations de carte de crédit, l’achèvement du processus de paiement augmentera de 15 % en 3 mois.

2. Format XYZ par Alberto Savoia:
   Au moins X% de Y sera Z.
   Exemple :
   Au moins 15% des propriétaires de chiens ajouteront un pack de six bières pour chiens pour 4 $ lorsqu’ils achèteront de la nourriture pour chiens.

Si vous trouvez qu’il est difficile d’écrire des hypothèses falsifiables, cela pourrait indiquer que vous devriez réfléchir davantage à votre objectif d’apprentissage et aux hypothèses sous-jacentes.

Si vous avez plusieurs hypothèses falsifiables pour une seule hypothèse, alors je suggère de concevoir une expérimentation pour chaque hypothèse. C’est généralement moins cher et plus rapide que de concevoir une seule expérimentation pour tester plusieurs hypothèses.

Étape 2. Décrivez de qui vous l’apprendrez.

De qui vas-tu l’apprendre ?

Décrivez en détail le groupe de clients sur lequel vous allez effectuer cette expérimentation.

La façon traditionnelle de les décrire utilise des données démographiques et psychographiques.

Des exemples d’anciens sont l’âge, le sexe, la profession, la géolocalisation, le revenu, l’éducation, etc. Des exemples de ces derniers sont la personnalité, les valeurs, les opinions, les attitudes, les intérêts et les modes de vie.

Si vous pouvez accéder aux deux, à moindre coût et rapidement, c’est très bien. Sinon, ne désespérez pas et développez votre compréhension de votre client au fil du temps, grâce à des recherches et des expérimentations incessantes.

Dans l’expérimentation Lean, l’un des descripteurs suivants doit être présent :

• quel est le problème de ce groupe,

• quel est le besoin mal desservi de ce groupe ou

• quelles sont les critiques de travaux à faire (jobs-to-be-done) ce groupe a.

Concentrez-vous sur ces trois éléments ci-dessus et collectez des données démographiques et psychographiques en cours de route.

Notez que j’ai écrit à un groupe de clients. C’est le groupe le plus probable dont vous apprendrez, mais pas le seul. Selon la maturité de votre modèle d’entreprise, d’autres groupes d’intérêt peuvent être des partenaires, des employés, des actionnaires, des participants à l’écosystème et la population locale.

Toutes les personnes qui correspondent à votre description forment une population théorique.

Ceux d’entre eux auxquels vous pouvez avoir accès forment la population étudiée.

Enfin, ceux que vous atteignez réellement avec votre expérimentation ou autre forme de recherche forment votre échantillon.

Le terme technique pour ce qui précède est l’échantillonnage.

Vous n’avez pas besoin d’avoir un doctorat en statistique pour le maîtriser, mais cela demande un peu d’étude et de pratique. Quelques considérations à prendre en compte :

• La sélection aléatoire d’échantillons de participants (individus) à partir de votre population d’étude vous donnera des résultats plus généralisables.

• La sélection des « dix premiers » sur votre liste n’est pas une sélection aléatoire.

• La sélection aléatoire est plus importante pour les idées matures et lorsque vous avez des tailles d’échantillon supérieures à 500.

• Si vous ne pouvez pas randomiser votre échantillon lors du test d’une idée à un stade précoce (avant que le produit ne corresponde au marché, par exemple), notez-le et continuez. Une fois que vous arrivez à l’analyse et à l’interprétation, assurez-vous de le mentionner. Votre apprentissage sera toujours précieux, mais il pourrait ne pas être représentatif de l’ensemble de la population étudiée.

Faire beaucoup d’expérimentations ou des expérimentations sur de grands échantillons avec des pratiques d’échantillonnage toujours médiocres peut être préjudiciable, car vous pourriez prendre des décisions sur la base de données et d’interprétations médiocres, ou pire encore, trompeuses.

Dans les organisations, y compris les startups, il est avantageux que toutes les personnes impliquées dans l’ interprétation des résultats des expérimentations soient familiarisées avec les bases de l’échantillonnage. Décideurs inclus.

Étape 3. Détaillez l’expérimentation que vous allez mener.

Comment l’apprendrez-vous ?

Comment l’expérimentation sera-t-elle exécutée?

Écrivez un script étape par étape (style livre de recettes) sur la façon dont vous allez faire l’expérimentation.

Il est facile de gâcher des expérimentations avec nos interférences, et c’est pourquoi il est important d’avoir des étapes clairement écrites.

Le moyen le plus simple de commencer est d’examiner les conceptions d’expérimentations existantes et de les utiliser comme source d’inspiration. Voici des guides pour certaines conceptions courantes :

• Entretiens de découverte de client (le plus souvent entretien de problème).

• Entretiens de solutions.

• Tests de compréhension.

• Tests de fumée (le plus souvent avec une page de destination ou une vidéo).

• Essai de conciergerie

• Test du magicien d’Oz

• Enquêtes (Comment concevoir et analyser une enquête par Christopher Peters).

• Test fractionné ou A/B (A/B Sensei par Rik Higham).

Documents de référence que vous devriez avoir mis en signet :

Le vrai livre des startups est un catalogue de diverses expérimentations de Lean Startup.

Experimentation Hub est une collection d’outils en ligne gratuits pour l’expérimentation quantitative.

La base de connaissances de méthodes de recherche couvre l’ensemble du processus de recherche. C’est le bon moment pour le consulter si vous vous demandez : est-ce que mon expérimentation est assez bonne ? ou puis-je faire confiance à mon expérimentation?

Étape 4. Définissez les critères d’échec ou de réussite.

Quelle est la plus petite réponse ou résultat qui justifierait de consacrer plus de temps à cela ?

Dan Toma et moi-même enseignons aux innovateurs trois manières de définir les critères d’échec ou de réussite :

1. Extrapolation à partir de l’analyse de rentabilisation. Vous pouvez utiliser des éléments de votre formule de revenus ou de bénéfices. Vous pouvez également utiliser l’ TAM-SAM-SOM analyse.

2. Basé sur la référence de l’industrie. Vous pouvez utiliser des données telles que la moyenne du secteur, les performances des leaders du marché et les performances de vos concurrents et des alternatives existantes.

3. Serment d’Hippocrate. Vous pouvez utiliser votre performance actuelle comme critère de réussite minimum. En d’autres termes, le changement que vous expérimentez devrait produire de meilleurs résultats (réponse) que la solution actuelle.

Si vous travaillez sur votre idée depuis plus de huit semaines et que vous ne pouvez utiliser aucun des éléments ci-dessus, cela signifie que quelque chose ne va pas.

Pour les idées naissantes et à un stade précoce, un critère de repli que vous pouvez utiliser est le suivant :

quelle est la plus petite réponse ou le plus petit résultat qui justifierait de consacrer plus de temps à cela ?

Définir des critères d’échec ou de réussite avant de lancer l’expérimentation vous permet de prendre une décision moins biaisée si vous devez persévérer, pivoter ou arrêter.

Étape 5. Définissez la limite de temps.

Combien de temps cela prendra-t-il ?

Écrivez pendant combien de temps l’expérimentation va être exécutée.

La longueur doit être basée sur la taille de l’échantillon et le type d’expérimentation.

Si votre expérimentation prend plus de deux semaines, lancez-vous un défi et voyez si vous pouvez concevoir une expérimentation avec le même objectif d’apprentissage qui prendrait moins de temps.

Une autre condition aux limites peut atteindre la taille d’échantillon souhaitée.

Par exemple, si vous avez défini que votre expérimentation sera administrée à 100 participants, vous pourrez vous arrêter une fois qu’ils auront été atteints.

Phase II : Mener l’expérimentation

Étape 6. Tester l’expérimentation.

Y a-t-il des écueils ?

Les questions ont-elles un sens ?

Est-il possible de le faire dans le délai que vous avez imparti?

S’il y a d’autres personnes qui font l’expérimentation avec vous, assurez-vous qu’elles comprennent le script de l’expérimentation et l’objectif d’apprentissage.

Cette étape consiste à tester le côté technique de votre expérimentation.

Par exemple, si vous envoyez un e-mail avec une page de destination et un appel à l’action, assurez-vous que tous les liens fonctionnent, que les cookies de suivi et les codes fonctionnent, etc.

Cette étape ne consiste pas à obtenir un aperçu rapide des résultats potentiels.

Ne vous biaisez pas inutilement.

Étape 7. Exécutez l’expérimentation.

Allez le faire !

Résistez à l’envie d’interférer et de trop vous écarter de votre script d’expérimentation.

Documentez tout écart afin d’en être conscient lors de l’analyse et de l’interprétation des résultats.

La discipline paie à long terme.

Phase III : Apprendre de l’expérimentation

Étape 8. Capturer et documenter les résultats.

Écrivez la ou les valeurs numériques du résultat et les observations objectives que vous avez faites pendant l’expérimentation.

Pas d’interprétations, pas de peluches, écrivez-les simplement telles qu’elles sont.

Voici quelques exemples :

7/11 personnes interrogées ont classé le problème n° 2 comme le problème principal.

7 % (432/6177) des visiteurs du site Web ont laissé leur e-mail.

21% (23/111) des navetteurs ont acheté le milk-shake à 17 £ avec de la paille fine.

Quelques exemples d’observations objectives :

A la question 7 le client a changé de posture, en croisant les bras, en se penchant en arrière et en regardant vers la droite pendant deux secondes avant de répondre.

Pendant l’entretien, le patron de la personne interrogée marchait en arrière-plan. La personne interrogée pouvait le voir à travers le mur vitré de la salle de réunion. Bien que les salles de réunion soient réputées insonorisées, il est possible d’entendre des voix étouffées si vous êtes près des portes.

Lorsque nous avons déposé six cartes avec des déclarations de problème, le client a tendu la main pour la carte n ° 3 au moment où nous l’avons placée sur le bureau.

Résistez à l’envie d’inclure vos interprétations dans cette étape.

Étape 9. Analyser et interpréter les résultats.

Réfléchissez à ce que vous avez appris et notez votre interprétation du résultat de l’expérimentation.

C’est le moment où vous créez un apprentissage validé.

Transformez-vous en Dora l’exploratrice ou en la grande inquisitrice, selon l’imagerie que vous préférez, et posez les questions suivantes :

• que signifient les nombres et les observations ?

• S’ils sont inférieurs à ce que vous attendiez, pourquoi ?

• S’ils sont au-dessus de ce que vous attendiez, pourquoi ?

• Comment les résultats sont-ils liés à l’objectif d’apprentissage?

• Qu’est-ce qui a été clarifié ?

• Qu’est-ce qui n’a pas été clarifié ?

• Quels nouveaux faits ou incertitudes ont fait surface ?

• Y a-t-il eu quelque chose auquel vous ne vous attendiez pas du tout ?

• Comment ces nouvelles connaissances se rapportent-elles à ce que vous savez actuellement ?

• Quelles implications ces nouvelles connaissances ont-elles pour l’avenir ?

Soyez précis et écrivez des phrases complètes.

Cela facilitera la réutilisation des connaissances acquises lors de cette expérimentation.

Étape 10. Décidez des prochaines étapes.

Notez la décision que vous avez prise après cette expérimentation.

Prochaine étape spécifique et exploitable.

Pivot? Où, pourquoi et comment ?

Persévérer? Plus d’expérimentations ? Si oui, laquelle et pour quoi faire ? Si non, quelles activités, quand, par qui et à quelle heure ?

Périr, peut-être ? Il n’y a aucune honte à décider d’arrêter d’explorer certaines opportunités ou pistes, si elles sont étayées par vos découvertes.

Une fois que vous avez écrit votre prochaine action, prenez un moment pour réfléchir à l’ensemble de l’expérimentation.

Lisez-le dans l’ordre inverse, de la dernière à la première étape.

Ensuite, lisez-le dans le bon ordre.

La décision que vous proposez a-t-elle du sens ? Tout est-il logiquement connecté ?

Avez-vous remarqué des erreurs logiques ou des biais cognitifs ?

Donnez-le à un collègue et demandez-lui de faire de même.

Si quelque chose s’affiche, vérifiez les étapes 9 et 10.

Où aller ensuite ?

Utilisez le guide pour concevoir plusieurs expérimentations. Il faut sept à neuf expérimentations avant que vous n’ayez besoin du guide, sauf lorsque vous êtes bloqué ou que vous avez besoin d’inspiration.

Suggéré pour votre développement ultérieur :

• Création de connaissances réutilisables : comment concevoir des expérimentations efficaces. Les équipes d’innovation peuvent générer de la valeur de plusieurs manières, et la création de connaissances réutilisables est un moyen simple de le faire. Dans ce webinaire, je passe en revue toutes les étapes décrites ci-dessus.

• Outils visuels pour la comptabilité de l’expérimentation et de l’innovation. Dans cet article, j’explique trois outils éprouvés pour un aperçu visuel des expérimentations, la compréhension des progrès et la comptabilité de l’innovation.

Si tout ce qui précède ne suffit pas, vous devrez peut-être étudier des lectures plus difficiles ou envisager de faire appel à un professionnel. Les deux livres suivants devraient être disponibles dans votre bibliothèque universitaire locale :

• Le manuel SAGE de recherche qualitative. La 2e édition peut être empruntée gratuitement en ligne.

• Conception et analyse des expérimentations par Douglas C. Montgomery. Vous pouvez emprunter en ligne une copie gratuite.

Le guide étape par étape pour la conception d’expériences Lean a été créé par Bruno Pešec est sous licence Creative Commons Attribution-NoDerivatives 4.0 International License. Traduction et adaptation par Youness Yaghcha

Basé sur un travail que vous pouvez consulter via ce lien : https://www.pesec.no/step-by-step-guide-for-designing-lean-experiments.