UCXX006 A/B Testing Grundlagen


Zu viele Ideen für die Webseite? Kein Grund zum Verzweifeln, lasse die Nutzer:innen die Schlüsselentscheidungen treffen - A/B-Tests machen es möglich. In dieser Folge Useful Clixx zeigen wir, was wichtig ist, um Wirkung und Qualität der Ergebnisse von A/B-Tests von Beginn an zu gewährleisten.

Hosts:
Steffi
Steffi
Marcel
Marcel
Shownotes:
Transkript
Steffi
Herzlich Willkommen zu einer neuen Podcast-Folge. Hallo Marcel.
Marcel
Hallo Steffi.
Steffi
Wir sprechen heute über das Thema AB-Testing. Äh ja, ist immer ein guter Anfang. Genau, denn wir sagen ja zu Experimenten.
Marcel
Ich weiß nicht, also zumindestens aus der aus der SEO-Perspektive, ich meine, AB Testing ist ja jetzt nicht ein reines SEO-Thema, aber aus der SEO-Perspektive bin ich zumindestens großer Fan von Experimenten als Grundlage für Entscheidungen, Es gibt natürlich tausend Sachen und best practice, also da draußen, die, funktionieren sollen oder es gibt irgendwelche Gurus, die irgendwas sagen und dann guckt man die ganze Zeit immer nur auf diese Tests und dann implementiert man irgendwas, aber es muss ja nicht auf jeder Webseite gleich sein, sondern was für die eine Website funktioniert, kann ja für die andere wiederum gar nicht funktionieren, weil's irgendwie aus irgendwelchen Gründen nicht passt.
Steffi
Schön, dass du das weiter noch erklärt hast, weil wie kommt man weiter wohin denn, von was denn ausgehend?
Marcel
Von der Grundlage auf besser, wir wollen ja immer optimieren und und besser werden als vorher oderwir haben uns ja vielleicht auch Ziele gesetzt, haben das Ziel jetzt vielleicht noch nicht erreicht und äh genau, wie wie kommen wir denn dem Ziel näher? Wie können wir denn unser Conversion Rate näher, wie kommen wir denn zu mehr Umsatz, zu mehr Traffic, zu was auch immer.
Steffi
Wie kommen wir dahin, dass wir nicht einfach nur best practices kopieren, sondern dass wir unsere eigenen Webseiten uns angucken und gucken, was da funktioniert und was da nicht funktioniert.
Marcel
Deswegen haben wir das Thema mal auserkoren. Vielleicht einmal kurz eingrenzend, dass wir heute ähm mein Zoom funktioniert jetzt.
Steffi
Wenn man das Tool wechselt. Wir sind übrigens äh von Workflowy zu Miro gewechselt. Was visuell natürlich ansprechender ist, aber was Marcel vor Herausforderungen stellt. Wir sprechen über das Thema, was sind AB Tests und zwar UX-AB Tests und SEO-AB-Tests.
Marcel
Ja, die gibt's nämlich auch und dann nehmen wir uns heute mal die wichtigsten Grundlagen vor. Also wir reden über, Welche Arten von AB-Tests gibt's eigentlich? Was sollte man vorher machen, bevor man mit einem AB-Testing anfängt, nämlich über Ideen nachzudenken, über Hypothesen und auch die Ziele, wollen heute mal ein bisschen damit die Grundlagen abklopfen, weil nach unserem Geschmack kommt es immer ein bisschen zu kurz, wenn man nämlich anfängt mit AB-Testing.
Steffi
Werden keine Tool-Diskussion aufmachen. Wir sagen auch gleich warum, wir die Tool-Diskussion ans Ende stellen wollen würden.
Marcel
Vielleicht in in insofern, dass man kann natürlich über Tools auch so eine Sendung füllen und das wollen wir bewusst heute nicht machen, weil's halt tatsächlich immer eher zu schnell über Tools gesprochen wird, nur so ein paar Zahlen haben wir natürlich auch mitgebracht, Aktuell ist es ja so, die gute Trendstudie von Tracken macht ja immer so eine Befragung innerhalb des deutschen Marktes vor allen Dingen, so ein paar Marketer, was die da so einsetzen und da hatten wir halt im letzten Jahr einen Marktanteil von Optimize oder von den Leuten, die dort befragt worden sind, von zweiundsiebzig Prozent Google Optimize, also das ist ja schon irgendwie so ein Ding, was super präsent ist und hat auch ganz starkOptimizely in den letzten Jahren verdrängt. Die waren nämlich vor einigen Jahren noch etwas stärker gewesen. Die kommen dann da mit 20 Prozent und dann gibt's irgendwie so eigene Tools. Haben wir sicherlich auch an der einen oder anderen Stelle schon mal gehört, die dann einfach gebaut werden, weil das halt in dem Unternehmen am besten passt, wenn man sich da selber was baut und dann haben wir noch, Google Firebase, Adobe, klar wenn man Adobe-Welt ist, dann hat nutzt man Target, AB Tasty oder den Visual Website Optimizer, aber dann gehen wir schon fast in den einstelligen Bereich, was so ähm, Benutzbarkeit angeht, aber jetzt und das sozusagen eine ziemlich frische News, die so bisschen schockierend ist.
Steffi
Die uns ein bisschen überrascht haben letzten Freitag.
Marcel
Google grad so viel falsch macht, passt das eigentlich in dem Rahmen ganz gut rein, dass die Google Optimize tatsächlich, in diesem Jahr auch einstellen werden, genauso wie Google Analytics 3, was ja irgendwie im Juli auslaufen soll, zumindestens für die freie Version, wird Google Optimize, sowohl die freie Version als auch die 360 teure Version zum September, Ende September dieses Jahres eingestellt.
Steffi
Aber dabei ja nicht über Tools sprechen wollen und das auch noch ein bisschen hin ist.
Marcel
Ja, aber es ist insofern ja sehr traurig, weil das ja immer ein ganz guter Einstieg war, weil es ja ein kostenloses Tool war. Ja, wie ihr seht, ne, wir fangen an und sofort ist man da drin und Da wollten wir heute nicht drüber reden, aber das wird nicht ganz vergessen ähm wollten wir euch den kleinen Überblick geben. Worüber sprechen wir noch nicht.
Steffi
Das Für und Wider von AB-Tests, obwohl so ein bisschen, wenn man darüber sprechen, wenn wir die Klischees gleich hervorholen und wir müssen mal gucken, das Aufsetzen und Auswerten von Tests ist auch noch mal so eine Nummer für sich und eigentlich, eigene Folge wert. Das machen wir dann glaube ich auch nicht.
Marcel
Machen wir weiter, wie wir's so kennen und springen rüber zum Klischee-Check.
Steffi
Aus der UX-Welt nehme ich das Klischee mit. Der AB-Test sagt ja überhaupt nicht warum und verrät dir eigentlich auch nichts über deine Kunden. Ich habe ein paar mehr mitgebracht.
Marcel
entscheiden oder was? Ein Klischee.
Steffi
Nein, nein, nur ganz schnell. Diese gehen ganz schnell.
Marcel
Nee, warte mal kurz in diesem Klischee, also du erfährst nicht, warum äh meint, du kriegst ein Ergebnis...
Steffi
Musst es selber analysieren und interpretieren, hast aber jetzt keine O-Töne zu dem entsprechenden Klick oder Nicht-Klick, gut zu dem entsprechenden habe ich gesehen, fand ich besser.
Marcel
Äh in der Überlegung würde man weitergehen und sagen, okay, wenn man Gründe herausfinden möchte, warum Userinnen äh etwas machen, ist AB Testing einfach der falsche Ansatz.
Steffi
Beziehungsweise ist es ja immer die Kombination aus Methoden, ne? Ganz schnell noch zwei Sachen: Wir verwirren die Besucher, wir verwirren eventuell wiederkehrende Besucher mit AB Tests, mhm die Seite sei doch aber vor zwei Tagen noch ganz anders aus. Da war doch hier noch, Element oder jetzt ist das Element nicht mehr da oder Leute sprechen über die Website und sagen, das habe ich aber ganz anders gesehen.
Marcel
Die Gewohnheitstiere verschreckt werden.
Steffi
Und letztes Klischee, ja, aber auf Seiten, wo gar nicht so viel Traffic draufläuft, hat es ja überhaupt alles gar keine Aussagekraft.
Marcel
Ja. Ist ja vielleicht auch ein Punkt dran, oder? Also.
Steffi
Stimmt, aber im besten Fall arbeitet man ja mit guten SEO Performance Menschen zusammen und überlegt sich, wie man vielleicht auch so eine Seite testen kann, oder.
Marcel
Also auf kleinen Seiten ist, glaube ich, schon ein bisschen schwieriger, aber klar, da muss man drüber nachdenken, was man denn testet, wenn halt man diese diesen zwei Leads, die man im Monat erreicht, äh verdoppeln will.
Steffi
Tschüss Unternehmen, kannst äh dicht machen.
Marcel
Vielleicht auf anderen Ebenen testen, ja, ja. Das Klischee von meiner Seite. Das, was mir am häufigsten begegnet und gerade in dem Kontext AB-Testing nicht nur, aber da auch besonders, dass alle mal zuerst anfangen, sich über Tools Gedanken zu machen.
Steffi
Wie wir auch grade.
Marcel
Aber gar nicht so richtig über den Prozess nachdenken, wie könnte es eigentlich funktionieren, was was müssen wir eigentlich machen, strukturell, organisatorisch, in meinem in meinem Team, in meinem Unternehmen, dass das Ding irgendwie fliegen kann, sondern Tools ist das erste und da müssen wir eine Entscheidung treffen. Man kennt noch nicht mal die Anforderungen, aber man stellt schon die Frage so, das wäre mein Klischee. Okay.
Steffi
Welche Arten von AB Test gibt's denn? Du hast jetzt gerade schon von SEO-AB-Tests gesprochen würde jeder sagen hä? Ist doch ein AB-Test , ist doch immer SEO, was ist dann bitte ein SEO-AB-Test.
Marcel
Fangen wir natürlich mit dem Beispiel an, was jetzt vielleicht eher die unbekanntere Nische ist.
Steffi
Gut, hier der Informationsgehalt zuerst, also den Rest kennen die Leute doch.
Marcel
Ja, vielleicht beim SEO-AB-Test könnte man einfacher Weise sagen, dass der User in dem Falle Google ist, also man testet, was, wo Googleeine Änderung sieht und man möchte rausfinden, okay funktioniert diese Variante besser oder diese Variante besser. Es gibt ja ganz häufig irgendwie so Fragestellungen. anfange, muss ich natürlich erklären, äh. Vielleicht andere Sachen, also man man möchte eine technische Änderung implementieren und sagt, was mache ich mit einer Seite, wenn wenn da keine Produkte mehr drauf sind? Zum Beispiel auf eine Kategorie Seite, möchte ich die dann ähm, Weiterleiten auf die Oberkategorie möchte ich die nicht indexieren oder wie auch immer. Also man möchte jetzt irgendwie eine technische Sache testen und, Das kann man natürlich implementieren, wenn man nur auf die Leute hört, die da draußen irgendwie sagen, mach das und das ist der Best Case oder zum Beispiel Paginierung auf Kategorieseiten zum Beispiel oder man sagt, man testet das Ganze und guckt, wie das eigentlich für diese eigene Seite wirkt und anders als bei einem AB-Test, den du uns gleich sicherlich noch erklärst, testen wir das jetzt nicht für verschiedene User, sondern man sagt, okay, wir ändern das jetzt auf dem auf einem bestimmten URL-Set Machen wir das so, anderen URL-Set machen wir das so, sind dann ungefähr gleiche. Sage ich mal so, von der Verteilung her ähnliche Seiten, vielleicht die einen ähnlichen Traffic-Niveau haben, die ähnliche Saisonalitäten haben. Also man hat einfach zwei Sets, die wirft man Google vor die Füße und guckt dann mal, was dabei rauskommt. Hat jetzt diese Änderung was gebracht oder nicht. Das wäre der Ansatz und das kann man halt einmal so technisch machen. Ist natürlich ein bisschen anspruchsvoller... Andere wäre vielleicht auch inhaltlich, was jetzt der einfache Einstieg gewesen wäre, dass ich zum Beispiel sage, ich möchte irgendwie einen anderen Title oder einen anderen Meta-Description schon mal testen und sagen, okay, was passiert denn, wenn ich da vorne ne Zahl ranhänge, die zehn besten ... oder wenn ich irgendwie eine Reiseseite habe, den Flughafen mit rein oder was ich ein Test oder keine Ahnung oder, irgendwas aktivierendes rein oder den Preis oder wie auch immer. So könnte man, Mit einem SEO AB-Test dann einfach gegeneinander testen. Bei dem einen fügst du's einem, beim anderen nicht und dann guckt man halt, wird's besser, also wird meine Klickrate vielleicht besser auf Google, kriege bessere Rankings, kriege ich mehr Traffic, nur um wir wir haben ja grad mit den Tools angefangen. Es wäre tatsächlich auch eine andere Art von Tools, das wäre tatsächlich eher was, wo du Änderungen dann vielleicht nicht direkt im CMS machst, sondern dann in einem CDN, also in einem, Content Delivery Network, wo du halt sag mal schnell eben ändern kannst ohne im CMS Devs mit zu integrieren, sondern du machst es halt, ausgelagert und testet erstmal, ob's sinnvoll ist, ob's geht und wenn's gut ist, kannst du's implementieren. Dann lohnt sich vielleicht auch der Aufwand. Du kannst quasi intern, sagen, okay, wenn wir das und das machen, dann haben wir nachher ein Uplift im Traffic von, 10 Prozent und deswegen lohnt sich das, weil das irgendwie einfach endlich irgendwie bare Euros wert, dass wir mehr Traffic bekommen. Das wären SEO-AB-Tests.
Steffi
Mhm, also alles, was unsichtbar für den Webseitenbesucher, ist. Weil diese zehn also das, was du jetzt gesagt hast, mit den zehn besten Tipps und Tricks, das wäre ja auch eigentlich ganz spannend wiederum zu testen, ob das auch auf der Webseite für die Nutzerinnen funktioniert.
Marcel
In erster Linie ist die Google der User, aber natürlich, wenn wir den Title jetzt ändern, dann werden ja Leute drauf klicken oder nicht. Also insofern äh spielt natürlich auch User eine Rolle. Man guckt natürlich dann auch, was besser funktioniert. Also nicht unbedingt unsichtbar, wenn man jetzt inhaltlich aber die technischen Sachen sind vielleicht eher natürlich nicht so sichtbar.
Steffi
Okay, wohingegen der Design oder UX-AB-Test, der wirklich, Varianten für die Webseitenbesucherinnen aus, also wir haben eine Variante B oder ein äh ein Variante B, ein Original, der im besten Fall Status Quo grade ist und wir möchten ein Element auf der Seite verändern oder im Newsletter oder im Check-out oder im Menü, wo auch immer. Ähm oder ein Element auf einer Seite und erstellen sozusagen eine Variante B die dagegen getestet wird, Und dann schauen wir, ob die Positionierung eine Veränderung gebracht hat, ob eine Veränderung im Wording eine Veränderung gebracht hat ähm das Hinzufügen von Produkten in einem Karussell oder eben nicht, in einem Karussell, also auch Features, die man gegeneinander testet. Und da geht's aber schon auf der Seite oder auf einem bestimmten Seitentypen. Also ich sehe dann schon was die Veränderung ist im besten Fall.
Marcel
Es gibt jetzt verschiedene Arten von Tests auch innerhalb der UX AB-Tests, sagen wir mal, die wir uns angucken können. Ich glaube, die häufigste Art, die man so kennt, ist einfach ein der klassische AB-Test oder ABC oder kann man natürlich fortführen als ABn-Test.
Steffi
Also original gegen eine Variante oder original gegen zwei Varianten.
Marcel
Genau, wo man einfach ja vielleicht eine Sache ändert, wirklich irgendwie eine Farbe irgendwo und dann macht man's einmal rot, einmal grün und guckt ähm was besser ist.
Steffi
Wir haben ja den Blick, ne? Also wir wissen, was ist das Original, was ist die Variante und so weiter. Wenn du aber als Webseitenbesucher auf eine Webseite kommst, siehst du das ja nicht. Du weißt ja nicht, was die Originalvariante ist, vielleicht das noch mal ganz kurz dazu. Als Nutzer sehe ich nur eine Variante und gehe davon aus, dass das die Variante ist, die da jetzt implementiert ist. Ich weiß, im Zweifelsfall nicht, dass ich grade in einem AB-Test bin und das Original der Seite vielleicht anders aussieht.
Marcel
Was vielleicht so eine speziellere Variante ist von diesem AB-Test, wenn man einen Weiterleitungstest machst, also wirklich. Man testet vielleicht ein neues Design oder ein neues CMS meinetwegen sogar, dass man dann einmal die Original URL lässt und einmal leitet man dann halt weiter zu der neuen Seite, die vielleicht auch sogar komplett überarbeitet ist.
Steffi
Anders aussehen kann von also nicht nur kleinere Änderungen oder überhaupt nur eine Änderung, sondern ein komplett neues Layout, ein komplett neues Design, komplett neue Fotowelt.
Marcel
Eine dritte Art, die sicherlich auch in den letzten Jahren ein bisschen stärker in der Verbreitung geworden ist, ist eine Personalisierung, zum Beispiel für wiederkehrende Besucher, die sich vielleicht vorher für einen bestimmten Website-Bereich äh interessiert haben Anpassung macht und dann dementsprechend die Seite vielleicht, So individualisiert die Startseite, so dass deine Interessen, die dir vorher angeguckt hast, auch dann angezeigt werden. Das wäre so eine Personalisierungstest. Eine weitere Variante, wo es dann schon wieder sehr viel komplexer wird, äh wäre der Multivariate Test, wo tatsächlich an mehreren Stellen oder verschiedene Kombinationen von Änderungen testet. Also wir haben meinetwegen die Headline geändert, ändern noch die CTA und verschieben irgendein Element und dann kann man dann hat man drei Sachen geändert, die kann man verschiedenst kombinieren und hat dann irgendwie neun Varianten, weil es aus der Kombinatorik rauskommt.
Steffi
Also ich habe nicht nur eine A-Variante und eine B-Variante, sondern ich habe von A schon drei Varianten, die ich vielleicht von gegen B, drei Varianten, also miteinander tausche und kombiniere. Du hast dann irgendwann mal A eins und B drei und A eins und B null und.
Marcel
Da können natürlich sau viele äh Kombinationen rauskommen und dann wird's natürlich auch mal was was du brauchst schon richtig viel richtig viel Traffic.
Steffi
Und richtig viel Logik.
Marcel
Und ist das auch immer denn so sauber trennbar und so ja von der Verbreitung her ist sicherlich der AB-Test des äh haben wir auch die ähm noch mal einen Blick in die Studie geworfen von Trakken. Die haben sie jetzt angeguckt, wie das, die Verbreitung da so ist und dass der einfache AB Test sicherlich die häufigste Variante oder ist die häufigste Variante, die ähm vertreten ist, wobei diese Multivariate als auch die Personalisierung zum Beispiel nicht so eine große Rolle spielen.
Steffi
In der Praxis würden wir immer dazu raten ein Multivariante-Test ist nichts womit man anfängt. Also es ist äh diese ganze Kombination aufzustellen. Fang klein an und äh skaliert später später weiter hoch, und ähm was auch noch wichtig ist, vielleicht zu sagen, wenn ihr. Gut testen wollt, dann testet am Ende einer Conversion, also beispielsweise im Check-out selber, etwas zu ändern, gegeneinander zu testen, ist deutlich einfacher als am Anfang und dann, zu überlegen, dass es dann Einfluss auf den Check-Out hat, fällt grad noch ein, ein Tipp, wenn ihr mal sehen wollt, welche Webseiten vielleicht gerade oder ob ihr gerade in einen AB-Test reinlauft auf einer Webseite und euch irgendwie wundert. Ähm es gibt ganz schöne Browser-Plug-in-Erweiterungen, die dann also ich glaube von Optimizly und von Optimize wird auf jeden Fall eins angeboten. Ähm da könnt ihr gucken, ob gerade ein AB-Test auf der Seite läuft, auf der ihr seid.
Marcel
Wie läuft eigentlich so ein AB-Test ab? Da gibt's nämlich mehrere Phasen und die wollen wir uns einmal kurz anschauen, dass wir so einen Gesamtüberblick haben.
Steffi
Schritt eins, die Test-Idee und die belastbare Hypothese formulieren. Das ist das, was wir heute in dieser Folge besprechen und euch mitgeben, weil darauf basiert eigentlich alles Weitere im A/B-Testprozess.
Marcel
Der zweite Schritt wäre, den Test aufzusetzen mit den Designern zu sprechen, mit den Entwicklern zu sprechen. Tool im implementiert zu haben und so weiter, also ja bis zum quasi Start alles auf die Reihe zu bekommen.
Steffi
Im Testverlauf, also nachdem ich auf Start geklickt habe, auch zu gucken und zu monitoren, also während der Test läuft, immer mal reinzugucken, die richtigen Schlüsse daraus zu ziehen, den Test nicht zu früh zu beenden, da genau aufzupassen, genau, also immer mal wieder reingucken während des Tests.
Marcel
Ja kann ja kann ja auch sein, dass das irgendwie richtig schief läuft und im Weihnachtsgeschäft. Die Zahlen nach unten gehen, was will man denn vielleicht auch vermeiden, wenn's grad dann zu negativen ähm Impakt hat. Der vierte Schritt wäre dann, wenn der Test. Fertig ist, den auszuwerten, wirklich anzugucken, okay, ist unsere Hypothese belegt worden, ähm ist sehr erfolgreich, hat da vielleicht unsere Gegenthese noch reingespielt und wir müssen das irgendwie gegeneinander abwägen, reinzugucken. Gab's Unterschiede, Mobile, Desktop, je nachdem, wie wir irgendwie unseren Test aufgebaut haben, also wirklich bisschen in die Tiefe zu gehen.
Steffi
Und der allerletzte Schritt ist die Interpretation und die Auswertung der Ergebnisse, Dann nämlich anzuschauen, sind wir im Kosten-Nutzen-Bereich haben wir das erreicht, was wir erreichen wollten. Wie müssen wir mit nicht signifikanten Ergebnissen umgehen? Müssen wir damit umgehen? Also es wäre einfach gucken, wie machen wir jetzt weiter.
Marcel
Genau, implementieren wir das vielleicht. Gehen wir's weiter an die äh Technik und äh dann wird's wirklich gebaut.
Steffi
Meistens passiert das in der Präsentationsform. Zu den Ideen. Ganz viele Ideen, ganz viel Input gesammelt, wo kommen eigentlich die AB-Testideen im besten Fall her? Im besten Fall habt ihr ein Feedback-Tool auf eurer Seite oder ihr sammelt schon Nutzerdaten über, Mouseflow Hotjar oder so. hat ja also könnt da Erkenntnisse draus ziehen oder habt selber in der Konzeption schon eine Fragestellung, wo ihr sagt, okay, das sind jetzt zwei Varianten, die müsste man eigentlich mal gegeneinander testen, weil die, so unterschiedlich und so gleich sind, dass wir uns davon einiges erhoffen oder ihr habt mit Stakeholdern gesprochen, die Ideen reingegeben haben. Die Ideen können, auch aus Studien kommen. Ihr habt eine best practice Studie gelesen zu einem Seitentyp, den ihr vielleicht auch grade konzipiert.
Marcel
Bei Stakeholdern heute nochmal nachgegriffen. Äh manchmal kann's ja auch hilfreich sein die Sales-Abteilung zu fragen, weil die haben vielleicht direkt einen Kundenkontakt, vielleicht nochmal ganz andere Ideen, auf die man vielleicht gar nicht so kommen würde oder sogar die Finanzbuchhaltung. Also.
Steffi
Customer Service.
Marcel
Ja die unterschiedlichsten Abteilungen können da auch nochmal Perspektiven reinbringen die ähm wir vielleicht nicht so naheliegend sind, Grad wenn man anfängt mit AB Testing ist es essenziell, dass die ersten Tests auch einfach funktionieren und wirklich Gewinner sind, die intern überzeugen können, Solltet ihr euch am Anfang vor allen Dingen die Ideen aussuchen, die halt das größte Potential haben in sage ich mal einen Wow-Effekt, erzeugen als auch, dass die Tests wo man wo man sich einigermaßen sicher ist, dass das funktionieren wird, Es wird glaub ich oftmals ein bisschen vernachlässigt. Das AB-Testing erfolgt davon auch abhängig ist, wie, man das intern verkaufen kann und meistens liegt der Fokus recht am Anfang, dass alle gucken, wie funktioniert eigentlich AB-Testing, was kommt dabei raus und wenn die ersten so einen kleinen Minierfolge sind, wo man denkt so, ah ja okay hm, war jetzt aber großartig, dann wird man Interesse verlieren, genauso, wenn die ersten Tests alle verlieren werden oder uneindeutig sind, Ich meine, man kann's nicht immer so super forcieren, aber manchmal hat man ja schon ein ganz gutes Gefühl dafür, was wirklich funktionieren könnte. Nutzt diese Sachen, auch wenn sie vielleicht nicht unbedingt die einfachsten sind, in der Umsetzung aber das wird euch langfristig einfach weiterhelfen Budget dafür zu bekommen tatsächlich auch weiter zu verfolgen.
Steffi
Okay, dann geht's jetzt ans Ausformulieren und zwar ans schriftliche ausformulieren. Die Ideen Wenn ihr die erstmal nur mündlich eingesammelt habt, schreibt die auf,notiert euch da wenigstens den Rahmen, den Hintergrund vielleicht auch wo es herkam. Die ursprüngliche Quelle und dann, nutzt Hypothesenschablonen und äh formuliert eure Hypothese schriftlich aus. Es gibt da mehrere Schablonen, ich nutze persönlich immer eine ganz bestimmte ja Hypothesenschablone. Googlen und dann kommt der auf äh meistens auf zwei ziemlich, populäre Schablonen, das heißt, es gibt einmal den Satz: Wir glauben das, dann fülle die Lücke mit dem Feature oder dem Experiment für, die Person oder die bestimmte Zielgruppe, das nachher noch mal wichtig für das Thema Segmentierung zu einem bestimmten erwartbaren Ergebnis führen wird. Das hört sich alles ein bisschen komisch an, wenn ich das so sage, aber wenn man die Schablone vor sich sieht, dann ist es eigentlich ziemlich einfach, die zu kopieren und das einzusetzen und das Wichtigste ist dann der eigentlich der zweite Satz, in dem ihr beschreibt, wie die Ergebnismessung stattfindet. Also, wir werden sehen, ob das zutrifft, wenn wir folgendes Ergebnis messen können, 2te Schablone kann sein, ein Wechsel, das zu prüfenden Elements von Zustand X auf Zustand X Y oder Design ändern Y erhöht oder verringert und dann auch wieder das folgende Ergebnis, also die Ergebnismessung der Beweis. Das klingt erstmal alles ein bisschen starr, aber es macht in der Praxis wirklich, wirklich Sinn, das genau nach diesem Schema F auszuformulieren, so viele wichtige Sachen drin sind. Da sind die Ziele drin, die auf die wir gleich nochmal eingehen, nämlich in dem letzten Satz. Da ist in dem ersten Satz das Feature, was beschrieben wird. Den Hintergrund habt ihr ja meistens schon in der Idee ähm beschrieben und die Zielgruppe. Das sind so Die drei wichtigsten Merkmale.
Marcel
Wozu braucht man eine Hypothese eigentlich?
Steffi
Die Hypothese ist einfach eure Grundlage, um nachher das Für und Wider erörtern zu können aus eurem Ergebnis heraus, also ist euer Ergebnis zutreffend? Hypothese ist erstmal eine Behauptung oder eine Vermutung. Und ihr müsst erst noch beweisen, ob die richtig ist oder ob sie falsch ist. Und der Lösungsweg ist eure Variante B oder C.
Marcel
Was hat er denn schon fast einen wissenschaftlichen Anspruch.
Steffi
Wenn ja Hypothesen sind, äh wissenschaftlich, ja.
Marcel
Wir haben ja auch Daten, mit denen wir hantieren, deswegen also ohne testen, ohne Hypothese macht keinen Sinn.
Steffi
Fangt nicht an, ohne dass ihr eure Idee formuliert habt mit dem Hintergrund, wer's gesagt hat, wohin ihr eigentlich wollt, vielleicht auch ein bisschen mehr mit der Beschreibung und dann legt euch in dieses starre Framework und formuliert einmal in einem ganzen vernünftigen Satz oder in zwei Sätzen diese Hypothese. Weil dann merkt man nämlich auch, wie schwer es eigentlich fällt, aus einer Idee einen konkreten einen konkretes Test-Szenario ja eigentlich auch zu konzipieren.
Marcel
Du hattest äh das Thema Zielgruppe und Segmente erwähnt und da nochmal einmal kurz gucken, was das eigentlich bedeutet, Warum sollte man segmentieren? Ich meine, man kann sich natürlich alle Nutzerinnen auf der Webseite angucken, dann hat man einfach einen großen Topf, aber im Zweifelsfall übersieht man dann vielleicht den die eine Art von Nutzergruppe, die dann ähm erfolgreich war. So deswegen ist es, Auf jeden Fall sinnvoll vorher zu überlegen und es steckte ja jetzt grad in der Hypothese auch schon drinne. Was könnte da das spannende Segment sein, für was für welche Zielgruppe ist denn eigentlich hier der Beweis irgendwie anzutreten, Segmente können zum Beispiel verschiedene Regionen sein, Frankreich ja wird anders funktionieren als Deutschland, wenn man jetzt einen globalen Test macht, wird sicherlich wenn so eine regionalen Unterschiede einfach übersehen.
Steffi
Für mobile Nutzern ausschließlich oder für Desktop und mobile im Vergleich.
Marcel
Gibt natürlich auch so was, na ja, man kann's natürlich an den Eigenschaften der Menschen Altersgruppe zum Beispiel theoretisch testen, sofern man das dann auch überhaupt valide in den Daten sieht.
Steffi
Neukunden und Bestandskunden.
Marcel
Oder Leute, die sich vielleicht sogar Produkte schon angeschaut haben, aber nicht gekauft haben, kann zum Beispiel auch ein interessantes Segment sein. Ich habe mal eine Tabelle mitgebracht als Kapitelbild eingebunden, könnt ihr mal mit draufschauen, wo wir vielleicht da auch mal die Unterschiede sehen, drei unterschiedliche Benutzergruppen einmal ähm als es für eine Seite, wo es um um Spenden äh geht, wo man sich dann auch vorher noch anmelden kann, genau. Und äh die erste Benutzergruppe ist quasi, hat sich noch nie angemeldet. Die zweite hat sich angemeldet, aber noch nicht gespendet und die dritte hat schon mal gespendet, je nach dieser Gruppe ähm kann in unterschiedlicher Call to Action auf dem Button einfach ein anderes Ergebnis auslösen, zum Beispiel die äh Gruppe dient sich noch nicht äh angemeldet hatte. Da funktionierte äh in dem Test am besten, Melde dich mal an und bekomme ein Geschenk sozusagen eine kleine Motivation sich anzumelden. Während diejenige, die sich schon angemeldet hatte, dann eher drauf angesprungen und bitte spende doch, schon mal vorher gespendet hatte, dann war der CTA eher Richtung Trage doch noch was zu bei.
Steffi
Das heißt aber nicht, dass ihr drei Hypothesen aufstellen müsst, sondern dass, trotzdem eine Hypothese für den Test und ihr habt dann Gegenthesen, die ihr sozusagen mitdenkt und die ihr vielleicht auch verschriftlicht, weil dann wäre ja in deinem Fall wirklich eine Hypothese mit dieser einen Zielgruppe, Also die sich noch nie angemeldet haben. Wahrscheinlich würde man damit die äh Hypothese, und dann habt ihr aber die Gegenthesen, okay, was wäre was ist denn mit den anderen. Zielgruppen oder Nutzergruppen trifft diese Hypothese oder habt ihr die Vermutung, dass diese Hypothese auch auf die zutreffen wird oder habt ihr da eine Gegenthese.
Marcel
Und hier gerade in dem Beispiel sieht man ja auch, wenn man die alle in einen Topf werfen würde, würde man sicherlich ein Ergebnis rauskriegen, was nicht sehr eindeutig ist, weil halt einfach die Leute so unterschiedlich sind, dass halt einfach in jeder Situation ein anderer Call to Action am besten.
Steffi
Okay, also wir haben das Feature, in dem Fall Call to Action. Wir haben die Zielgruppe. Wir haben eventuelle Gegenthesen für andere Zielgruppen oder für alle Zielgruppen. Wir brauchen das Ergebnis. Und wir brauchen eine Erfolgsmessung.
Marcel
Genau, Erfolgsmessung, da komme ich natürlich hier ins Spiel von der Datenseite, Was brauchen wir da? Äh auf jeden Fall ähm sollte man Ziele hierarchisieren, wir werden immer einen primäres Ziel haben primäres Ziel wäre ähm eine Metrik oder eine Conversion, die wir auf der Website schon angelegt haben, also Conversion im Sinne von ein Erfolg. Jemand hat sich zum Beispiel angemeldet, ähm oder ja angemeldet und wenn das gemacht wird, dann ist es eine Conversion. Dieses primäre Ziel ist es, was einfach von der Seite direkt beeinflusst wird und was wir verbessern möchten, also was Positives. Zum Beispiel in dem Falle vielleicht ein Sign-Up, wäre unser primäres Ziel. Wir nehmen ähm weiterhin aber auch ähm sekundäre Ziele mit, in dem Falle vielleicht nicht nur eins, sondern auch zwei. Wo wir uns weitere Metriken mitnehmen können, weil die vielleicht im unmittelbaren Umfeld sind vielleicht ist da da irgendwo noch ein Anrufen-Button mit drauf gewesen oder eine Telefonnummer oder ähm wir haben vielleicht ähm möchten auch insgesamt, weiß nicht, man kann auf der Seite was, oder so oder in dem Falle Spenden Gesamtspendenanzahl äh oder Umsatz uns mit anschauen.
Steffi
Oder die angesehenen Projekte, für die man spenden kann. Kann ja auch sein, oder? Also, dass ich mir ganz, ganz viele Projekte angeschaut habe.
Marcel
Ja okay, das wären so Art Pageviews oder so, wenn man sagt, wenn das jetzt ein Ziel wäre übergeordnet, kann man auch gucken, ob man mitbeobachtet. Also das wären die sekundären Ziele wären werden eher auch Sachen, die, so mitbeobachten möchte, was passiert denn eigentlich mit den anderen Sachen, wenn wenn wir das jetzt hier machen.
Steffi
Das heißt, ich brauche ein ähm Ziel, was direkten Einfluss auf meine Hypothese hat und dann nehme ich mir vielleicht aus der Gegend, heraus noch die Ziele, die so einen indirekten Einfluss haben könnten, vielleicht sogar aber auch einen negativen Einfluss auf mein primäres Ziel, richtig.
Marcel
Gibt noch so Anforderungen, was so Ziele eigentlich erfüllen sollen Liegt es immer nicht so nahe. Ich glaube so aus unserer Ecke den SEO-Daten Analytics Menschen ist es irgendwie immer recht klar. Was so Ziele im bedeuten, vielleicht für die UX-Seite, wenn wir so öfters in Projekten sind, ist es vielleicht dann immer nicht so einfach.
Steffi
Weshalb der Austausch super wichtig ist, wir äußern unsere Idee und die Hypothese und kommen dann mit euch ins Gespräch über die konkreten Metriken.
Marcel
Also dieses Ziel in dem Falle, wenn wir jetzt zum Beispiel eine Toolfrage, aber wenn wir jetzt zum Beispiel Google Optimize nutzen, binden wir sowas an unserer Analyticstools, an unser Google Analytics Tool an und nutzen, Ziele aus importieren, die prinzipiell aus diesem Analytics Tool, Das können dann zum Beispiel Events sein, jemand hat irgendwo auf einen Button geklickt, dann wird ein Event Richtung Google Analytics geschickt, das wollen wir beobachten, Oder das können irgendwie Conversions sein , also wirklich so festgelegte Ziele in Google Analytics, die man auch importieren kann in Optimize.
Steffi
Das heißt, es hilft euch, wenn wir den Nutzerflow, den erwarteten Nutzerflow euch beschreiben, damit ihr dann nachschauen könnt, ob da ein Event draufliegt.
Marcel
Ja oder dass wir's vielleicht auch anlegen müssen. Äh das Wichtigste auch im Kontext Ziele ist, man kann natürlich als Website oder als Unternehmen Ziele haben, zum Beispiel Umsatz in einem Onlineshop, oder ähm ja Umsatz ins insgesamt der Unternehmen und dann haben wir vielleicht jetzt eine Seite auf der wir testen, ne vielleicht eine, Detailseite, also wo so dieses schöne in den Warenkorb legen, drauf liegt. Da werden wir ja in erster Linie, wenn wir hier einen Test fahren, nicht sofort. Direkt den äh Umsatz beeinflussen, sondern vielleicht in dem Falle nur, wie die Leute. Äh das Produkt in den Warenkorb liegen, weil wir vielleicht den Call to Action ändern von Jetzt Kaufen
Steffi
Nee anders.
Marcel
In den im Warenkorb legen.
Steffi
Oder beides.
Marcel
Nee, Warenkorb legen. Man sollte das hier so auswählen, dass man das direkt beeinflussen kann, ähm also das Primäre-Ziel, also direkt am Seitenziel liegen, insgesamt auch drauf einzahlen auf das äh Unternehmensziel, aber wir können's halt an der Stelle schlecht messen. Zum Beispiel wenn der Check-out an der an der Stelle einfach nicht funktioniert und nicht gut ist, dann liegt's vielleicht auch in dem Moment am Check-Out, weil da jemand reinkommt, der gerade mit dem Check auch nicht klarkommt. Also, Sucht euch Ziele aus, die halt möglichst nah an dem Seitenziel auch liegen. Dann ein anderer Punkt, der immer mal wieder. Das übliche Thema, ähm was guckt man sich in Google Analytics an, was sind so diese Vanity Metriken. In einem AB-Test würden wir jetzt auch nicht unbedingt uns angucken, hat das Einfluss auf die Bounce Rate.
Steffi
Time on Site, wow.
Marcel
Sondern wir nutzen natürlich Sachen, die positiv uns auf unsere Website KPIs einzahlen, also letztendlich vielleicht nur ein Zwischenschritt sind, also ein ist natürlich ein positiver Zwischenschritt Richtung Umsatz. Ne Bounce ist genau das Gegenteil von dem so. Deswegen nutzen wir halt wirklich dann die Sachen, die nachher auf unser auf unsere End-Ziele einzahlen. Man sollte sich auch mal fragen, ist denn eigentlich das Ziel wirklich geeignet, um Erfolg zu messen, Ist MEHR an der Stelle immer besser. Also ein Beispiel, auf einer Kategorieseite, wenn ich jetzt auf so einer in so einem Onlineshop bin und habe eine Kategorie Seite mit vielen Produkten und ändere da zum Beispiel die Kacheln, mschreibe da was rein oder.
Steffi
Streichpreis, Rabatte, ausgeschrieben, nicht ausgeschrieben, Währungen dazu, nicht dazu.
Marcel
Da könnte man jetzt gucken, okay ähm ich möchte jetzt die Page-Views von diesen Produktdetailseiten steigern dadurch.
Steffi
Also auf die man kommt, wenn man auf diese Kachel klickt.
Marcel
Genau. Könnte man jetzt messen, kann man irgendwie irgendwie ein Event erzeugen oder einfach Page Views dann darauf messen. Ist jetzt die Frage, ist es wirklich, dann erfolgreicher, wenn man's macht. Kann ja auch ein Indikator dafür sein, dass Leute mehr klicken müssen, weil sie vielleicht dann die Preise, wenn man das zum Beispiel nicht mehr anzeigt dann vergleichen müssen und dann dafür immer mehr Seiten aufrufen was letztendlich eigentlich 'ne negative Experience vielleicht ist, Aber nicht nach dem Warum fragen können, sondern nur die Zahlen sehen, Könnte das jetzt auch eher ein negativer negativen Impact haben. Ich meine wir beobachten natürlich dann den Umsatz auch mit und wenn der zum Beispiel also als als Sekundäres Ziel zum Beispiel wenn der sich jetzt vielleicht nach nach unten bewegt würden wir das irgendwie irgendwie indirekt mitsehen einfach die Frage stellen, Ist das wirklich ein Ziel, was jetzt so was sehr klar ist. Ein Ad-to-Basket sind in dem Falle sicherlich sehr viel klarer auf eine PDP, wenn man sieht, okay, ich habe jetzt irgendwas gemacht, den Call to Action äh geändert und dann.
Steffi
PDP?
Marcel
Produktdetailseite, genau. Äh ein Punkt auf jeden Fall, den man kennen sollte, wenn man AB-Testing macht, nämlich was mit mit was verdient dieses Unternehmen eigentlich Geld. Wenn ich jetzt aus einer Abteilung heraus arbeite, wo es wirklich nur um Newsletter geht und man verliert dann manchmal ja auch den Blick für das Gesamtunternehmen. Man genau diesen Blick auch im wieder herstellen dieses Unternehmens und wir sollten, Moment so was bei den Zielen auch berücksichtigen als im sekundären Ziel beobachten mit und dass wir irgendwie den Umsatz zum Beispiel nicht aus den Augen verlieren. Wenn das ein Onlineshop ist, kann man natürlich den Newsletter den Newsletteranmeldung kann man natürlich steigern, aber wenn das jetzt irgendwie negativen Einfluss aufs auf den Umsatz hat, dann wäre die Frage, ob man's wirklich implementieren möchte, so eine Änderung.
Steffi
Beispiel für eine gute Hypothese und ein gutes Ziel. Gibt's nicht, Es gibt nicht das perfekte Beispiel. Zum Beispiel. Die Umbenennung eines Call to Actions von in den Warenkorb in jetzt kaufen, wo? Auf allen Produktseiten wirkt sich positiv auf das Kaufverhalten aus, Hypothese wird auf Basis der Ad-to-Cart Rate und der Order-Completion Rate getestet. Gute oder schlechte Hypothese?
Marcel
Du bist die Hypothesen-Expertin. Von dem, was ich gelernt habe, äh ist zumindestens das erste Framework, was du vorhin vorgestellt hast, angewendet. Aber ich würde sagen, ich habe die Zielgruppe grad nicht gehört.
Steffi
Ja, richtig. Da würde die Zielgruppe jetzt fehlen. Und die Frage ist auch, sind die Produktseiten wirklich alle gleich aufgebaut oder gibt es zum Beispiel Special Produktseiten, wo, der Button, an einer anderen Stelle hängt. Das ist auch nicht gesagt, ob's mobile irgendwie einen Einfluss hat, weil kann sein, dass mobile vielleicht dieser Button eh sticky ist und sowieso mehr auffällt Da fehlt ein bisschen was an der Stelle, aber ist schon mal nicht schlecht. Also es handelt sich jetzt hier eigentlich nur um ein Wording, es sei denn, auf mobil ist dieser Button eh irgendwie schon anders designt.
Marcel
Und die Gegenthese habe ich jetzt auch nicht gesehen.
Steffi
Genau, die fehlt da jetzt auch. Was wäre denn eine gute Gegenthese? Wir würden sagen habe ich eigentlich schon gesagt, wenn zum Beispiel mobile der Button eh schon sticky ist. Und würde es wahrscheinlich dann Desktop zu schlechteren Ergebnissen führen, weil der da nicht sticky ist, weil da irgendwie nicht im Viewport ist, also so solche Sachen müsste man sich angucken. Mhm, Da kann man, glaube ich, noch ein paar Gegenthesen aufstellen, die man nachher in der Auswertung vielleicht auch gebrauchen kann. Frage ist auch. Wiederkehrende Nutzer oder Stammkunden. Das kommt dann wahrscheinlich so ein bisschen auf die Seite drauf an.
Marcel
In der Hypothese stecken, schon die Ziele drin, du hast Ad-to-Cart äh erwähnt als quasi primäres Ziel würde ich jetzt mal sehen Passt natürlich wunderbar auf einer Produktdetailseite. Und ähm da steckt jetzt noch Order Completion-Rate drin, also prinzipiell ja wie oft wurde hier auf den Kauf abgeschlossen, Beobachtung sicherlich sinnvoll, drittes würde ich wäre jetzt in dem Falle würde ich sogar auch den zum Beispiel E-Commerce Bereich, das ist ja ein Umsatz mitsehen, das wir uns einfach angucken, okay, hat das jetzt, Zum Beispiel, dass die Angst auslöst. Man drückt zuerst so einen oder was weiß ich, irgendeinen negativen Effekt nach hinten raus hat, dass man zumindestens das sieht, ja, selbst wenn die Ad-To-Cart jetzt hochgeht, Der Umsatz aber nach unten, dann sollte man nämlich überlegen, ob man's tatsächlich auch äh so umsetzt.
Steffi
Noch ein Hypothesenbeispiel.
Marcel
Okay, da müssen wir jetzt aber dissen, ne.
Steffi
Noch mal ein Beispiel für eine ziemlich unvollständige Hypothese, werde gleich sehen warum Wenn optionale Felder, wie zum Beispiel Telefonnummern oder Adressen weggelassen werden, dann wird die Anzahl der erfolgreichen Registrierungen verbessert, weil das Ausfüllen nun komfortabler und schneller ist.
Marcel
Ja passt halt gar nicht in das Framework rein.
Steffi
Weil es fehlt für wen, die Zielgruppe.
Marcel
Eigentlich weiß man auch nicht, wo und auf welchen Seiten so richtig.
Steffi
Auf welchen Seiten, ja, auf welchen Seiten welches Formular äh gemeint ist. Und die Ziele. Nehmen wir mal an, es handelt sich um einen Lead-Formular für eine Anmeldung zu einem Workshop. Auf einer Landingpage und das sind Erstbesucher und wir haben hier steht ja auch wie zum Beispiel Telefonnummer und Adresse. Das sollte man natürlich sehr konkret machen. Und Desktop und Mobile.
Marcel
Was wäre jetzt die Gegenthese noch, um jetzt so ein bisschen Input zu bekommen.
Steffi
Ohne Gegenthese wäre das Formular ist an sich vielleicht auch schon schlecht strukturiert. Die Felder sind so nebeneinander, nicht also das das ganze Layout, dieses Formulars an sich, egal ob mit diesen zusätzlichen Feldern oder ohne, einfach schon nicht gut strukturiert ist.
Marcel
Okay, also äh primäres Ziel ist ja dann relativ klar die Conversion des Lead-abschluss wird hoffentlich gemessen, prinzipiell weiß nicht, würde dir dann eine Danke-Seite angezeigt und dieses genau diese diesen Effekt, Als primäres Ziel messen, nämlich dass er dann mehr Leute tatsächlich auch abschließen und dass man den Lead einsammelt, Der zweite Punkt, den du grad genannt hast, wäre ja was was ist halt die Frage, ob's das jetzt irgendwie parallel geben würde, aber du meinst, dass die Sachen ja eh angegeben werden muss, die man nochmal ansammeln muss, dann würde es wahrscheinlich vielleicht auch so einen zweiten Schritt geben, nochmal so eine Verifizierung auch ähm, Nicht, dass man äh bei der hier, ich bin einverstanden, dass ich äh mich eingetragen werde, nochmal klickt und dann werden die anderen Daten abgerufen mit zum Beispiel in dem Schritt der sich dann halt nicht verschlechtert, weil der ist jetzt weiter hinten im Funnel sozusagen. Und das Dritte wäre vielleicht sowas wie, ja wir haben vielleicht ausm auf der Seite auch noch irgendwelche Inhalte und auch einen Newsletter, vielleicht auch mit beobachten möchte, ob dieser Newsletter vielleicht weniger abonniert wird, Jetzt nicht in der Gegenthese so mitgenannt, habe ich jetzt einfach mal angenommen, um noch mal hier eine Zweite beobachten, 2tes sekundäres Beobachtungsziel zu haben.
Steffi
Was können wir heute mitnehmen.
Marcel
Möchte mit einem Zitat enden von Avinas Kauschik Segment or die experient or die, Also wir sollten auf jeden Fall testen. Ich glaube, testen bringt uns immer weiter und wir sollten natürlich auch das segmentieren nicht vergessen, weil das glaube ich so ein Punkt, den wir heute mitgenommen haben der schönste AB Test, einfach unterschiedlichste Ergebnisse bringen oder einfach verwaschene Ergebnisse, wenn man nicht richtig segmentiert.
Steffi
Und wo segmentieren wir? Nämlich in der Hypothese, indem wir uns zwingen, die Zielgruppe damit einzutragen, was auch wieder heißt, dass die Qualität der Ergebnisse eines AB-Tests stehen und fallen mit der Hypothese.
Marcel
Das tatsächlich ein Punkt, den ich auf jeden Fall von dir gelernt habe ohne Hypothese geht einfach nix, sollte man einfach dann immer die Hand heben und sagen, Leute, bevor wir jetzt hier weitermachen.
Steffi
Zwingt euch zwei vernünftige Sätze zu schreiben, auszuformulieren.
Marcel
Die man nachher, wenn man den AB-Test abgeschlossen hat, natürlich auch beantworten kann, dann einfach und sagen, okay, war das jetzt ein Erfolg oder war's nicht.
Steffi
Das heißt, es fehlt eigentlich nur noch, wie würde man weitermachen? Man würde den Test aufsetzen und auswerten. Man müsste sich noch so schöne Sachen angucken, wie die Signifikanz, die Stichprobenverteilung, die Laufzeit, aber das machen wir alles beim nächsten Mal.
Marcel
Genau und damit machen wir den Sack heute zu. Und hören uns.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert