
DiGA Onboarding Experience Benchmark 2022
17 Digitale Gesundheitsanwendungen bewertet nach ihrer Nutzerfreundlichkeit im Onboarding.
Benchmark
Das Ansehen auf einem Desktopgerät wird empfohlen.
Aufbau des Benchmarks
Der Benchmark ist eine heuristische Bewertung. Anstatt sich jedoch auf verallgemeinerte Heuristiken (Nielsen, Shneiderman, Gerhardt-Powal, Weinschenk und Barker, Tognazzini) zu verlassen, wurden 125 detaillierte Bewertungskriterien zusammengestellt, die spezifisch das Onboarding-Verfahren beurteilen. Diese Richtlinien wurden auf der Grundlage von allgemein anerkannten Interface-Richtlinien und bekannten Heuristiken, wissenschaftlichen Studien im Bereich Performance und Benutzerfreundlichkeit, Best Practices der Großindustrie (Google, Apple, Mozilla, Microsoft, Adobe, Shopify, IBM), Richtlinien von wissenschaftlich fundierten Benchmarks (Baymard, NNGroup) und international anerkannten Standards für Barrierefreiheit (WCAG, EN301 549, ADA) entwickelt.
Jeder der 17 untersuchten digitalen Gesundheitsanwendungen wurde jeweils in den einzelnen Kategorien eine Punktzahl zwischen 0 und 100 zugewiesen. Sie drückt aus, wie gut oder schlecht die Benutzererfahrung ist, basierend auf der Anzahl der jeweiligen gewichteten Richtlinien der Kategorie.
Der folgende Abschnitt enthält umfangreiche UX-Fallstudien zu 17 digitalen Gesundheitsanwendungen. Er enthält insgesamt 2000 UX-Performance-Bewertungen.

Mika16 Screens–77



Kranus Edera10 Screens–77



Vitadio8 Screens–73



Vivira16 Screens–73



somnio14 Screens–72



M-sense Migräne18 Screens–70



Cara Care für Reizdarm10 Screens–70



Mindable: Panik & Agoraphobie0 Screens–69



zanadio17 Screens–66



Oviva Direkt für Adipositas 14 Screens–65



Kalmeda15 Screens–63



Invirto - Die Therapie gegen Angst20 Screens–63



ESYSTA App & Portal – Digitales Diabetesmanagement12 Screens–63



CANKADO PRO-React Onco17 Screens–63



Meine Tinnitus App - Das digitale Tinnitus Counseling10 Screens–61



NichtraucherHelden-App13 Screens–57



Rehappy6 Screens–52



Mindable: Soziale Phobie14 Screens–50


Digitale Gesundheitsanwendungen
Die Einführung der Digitalen Gesundheitsanwendungen (DiGA) ist ein wichtiger Schritt zur Modernisierung des deutschen Gesundheitswesens. Als Medizinprodukt unterstützen "Apps auf Rezept" Patienten mit ganzheitlichen Therapieansätzen bei verschiedenen Krankheitsbildern wie Nikotin- und Alkoholsucht, Krebs, Adipositas, Migräne oder Angstzuständen.
DiGA unterscheiden sich in mehrfacher Hinsicht von herkömmlichen Gesundheitsanwendungen. Als Medizinprodukte unterliegen sie hohen Anforderungen. Die Wirksamkeit der DiGA auf die Gesundheit der Patienten muss hinreichend nachgewiesen werden. Das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) bewertet in einem mehrmonatigen Evaluierungsprozess den positiven Versorgungseffekt. Dabei spielen die Qualität der medizinischen Inhalte, die Datensicherheit und die Nutzerfreundlichkeit eine ebenso wichtige Rolle.
Außerdem haben Hersteller seit Kurzem die Möglichkeit, im Rahmen des sogenannten Fast-Track-Verfahrens eine vorläufige Zulassung zu erhalten. Wenn dies der Fall ist, müssen sie im ersten Jahr wissenschaftliche Nachweise für die positiven Auswirkungen ihres Programms erbringen. Ein leichter Marktzugang soll junge Unternehmen mit innovativen digitalen Therapien fördern.
Ärzte verschreiben digitale Gesundheitsanwendungen. Viele Krankenkassen bieten eine elektronische Übermittlung der ärztlichen Anordnungen über Service-Apps an. Bei diesen Apps erhält der Versicherte einen Freischaltcode, der die kostenlose Nutzung der Gesundheitsanwendungen ermöglicht.
Das System wird gelobt und kritisiert. Stakeholder bemängeln schlechte Vertriebskanäle, Uneinigkeit über Höchstbeträge, niedrige Verschreibungsquoten bei den Ärzten, geringe Patientenakzeptanz und verweisen auf die mangelnde Marktdurchdringung aufgrund übermäßiger regulatorischer Eingriffe.
Nutzerakzeptanz
Der DiGA-Leitfaden für Hersteller schreibt über Nutzerfreundlichkeit Folgendes:
Doch was genau sind die Vorgaben des Usability Styleguides? Ab wann ist eine Nutzbarkeit intuitiv und wie wird die Erlernbarkeit einer DiGA gemessen? Im Rahmen dieser Kernfragen wurde ein Benchmark erstellt, der anhand von 125 objektiven Richtlinien die Nutzbarkeit messbar gestalten kann. Da eine Analyse der gesamten App-Funktionen zu zeitaufwendig und zahlreiche DiGA nur mit einem Freischaltcode vollständig nutzbar sind, erfolgt ein Fokus auf mobile Anwendungen mit einem Onboarding-Verfahren, das im Fokus der Analyse steht.Die Anforderungen der DiGAV an die Nutzerfreundlichkeit einer DiGA zielen auf eine intuitive Nutzbarkeit und Erlernbarkeit der DiGA für die angesprochenen Zielgruppen ab. Prinzipiell gelten die Vorgaben des Usability Styleguides der jeweiligen Plattform. Bei Implementation von alternativen Lösungen ist im Rahmen der Nutzertests eine besonders hohe Nutzerfreundlichkeit nachzuweisen. Während für im Umgang mit digitalen Anwendungen geübte Personen eine Ausrichtung am gewohnten Look & Feel digitaler Anwendungen durch die Umsetzung plattformspezifischer Styleguides gefordert wird, fokussiert die Forderung nach Fokusgruppen-Tests vor allem auf über die DiGA neu für die Nutzung digitaler Anwendungen gewonnene Personen.
DiGA-Leitfaden (Stand: 18.03.2022)
Mobile Anwendungen verzeichnen eine stetig wachsende Zielgruppe. Der Onboarding-Prozess vermittelt einen ersten Eindruck von der digitalen Lösung und schafft eine Grundlage für ein nachhaltiges Engagement.
Richtlinien werden mit Hinblick auf die Vorteile für den Nutzer beschrieben, Tipps für die erfolgreiche Umsetzung gegeben, weitere Ressourcen verlinkt und eine Verteilung der Ergebnisse jeder Richtlinie dargestellt. In naher Zukunft können auch beispielhafte Lösungen skizziert oder weitere Richtlinien ergänzt werden.
Guidelines
101Zeit bis zum sichtbaren Design bei erstem Start1412
102Zeit bis zum bedeutungsvollen Design bei erstem Start3266
103Zeit bis zur ersten Interaktion bei erstem Start3455
104Zeit bis zur ersten Interaktion bei erneutem Start2510
105Reaktionszeiten bei Navigationen sind latenzfrei611
106Reaktionszeiten bei Nutzereingaben sind latenzfrei13112
107Ladevorgänge erzeugen keine Layout-Verschiebung116
108Längere Wartezeiten werden erklärt1412
109Ladevorgänge sind dynamisch visualisiert107
110Technische Fehler sind abwesend1214
111Interaktive Fehler sind abwesend112310
112Navigatorische Fehler sind abwesend132110
113Abfragen von Berechtigungen sind situativ161
114Abfragen von Berechtigungen werden erklärt161
115Abfragen von Berechtigungen sind relevant161
116Berechtigungen sind nicht ultimativ161
117Funktionen lassen sich ohne Registrierung testen152
118Funktionen lassen sich ohne Freischaltcode testen917
119Erklärende Texte sind vorhanden11312
120Erklärende Texte sind relevant1178
121Texte sind grammatikalisch fehlerfrei1214
122Texte sind anfängerfreundlich geschrieben4139
123Texte sind lösungsorientiert geschrieben12410
124Texte sind nutzerzentriert2267
125Texte folgen konsistenten Regeln31310
126Komponenten folgen Konventionen13112
127Interaktivität wird visuell angedeutet11312
128Symbole folgen Plattform-Konventionen17
129Symbole haben denselben künstlerischen Stil31112
130Medien haben denselben künstlerischen Stil3113
131Medien sind von hoher Qualität231110
132Medien unterstützen den semantischen Kontext211211
133Videos und Animationen lassen sich pausieren161
134Designs sind responsiv und adaptiv116
135Medienwechsel sind nicht erforderlich287
136Appwechsel sind nicht erforderlich287
137Overlays sind kontextbezogen und notwendig52226
138Display-Informationen werden angezeigt2114
139Inhalte werden zeitlich nicht eingegrenzt17
140Inhalte flackern nicht17
141Titel fassen den Inhalt der Seite zusammen21113
142Informationen sind strukturiert dargestellt1214
143Elemente stärken durch Weißraum das Layout1313
144Navigationen erfolgen durch Geräte und Elemente413
145Navigationen erfolgen erwartungsgemäß32111
146Navigation zum Schließen der App sind vorhanden1115
147Seiten sind nur vertikal scrollbar116
148Vertikales Scrollen wird angeleitet3113
149Informationen müssen nicht gemerkt werden116
150Interaktive Elemente sind ausreichend groß116
151Interaktive Elemente haben genügend Abstand1115
152Interaktive Elemente sind sicher anwählbar12113
153Sensorische Merkmale unterstützen lediglich1115
154Gesten funktionieren erwartungsgemäß und basieren auf stark vertrauten Assoziationen1016
155Gesten haben alternative Interaktionsmöglichkeiten11213
156Animationen berücksichtigen Systemeinstellungen134
157Texte sind ausreichend groß116
158Texte berücksichtigen Systemeinstellungen512
159Texte bleiben trotz Systemeinstellungen lesbar5219
160Texte berücksichtigen Farbkontraste41111
161Texte sind lesefreundlich formatiert3113
162Schaltflächen geben über die Aktion Auskunft22310
163Farben folgen einem System1313
164Farbwahlen sind geregelt und konsistent4148
165Farben unterstützen Hierarchie und Layout21113
166Farben berücksichtigen Kontrastverhältnisse31310
167Bilder besitzen keinen (überlagerten) Text9116
168Relevante Medien sind textlich verfügbar161
169Eingabefelder sind als solche zu erkennen111410
170Nur benötigte Eingabefelder werden angezeigt12113
171Eingabefelder sind ausreichend groß116
172Eingabefelder besitzen logische Beschriftungen1313
173Eingabefelder besitzen oben platzierte Beschriftungen611
174Eingabefelder besitzen dauerhafte Beschriftungen818
175Eingabefelder haben keine Platzhalter827
176Eingabefelder haben logische Platzhalter31211
177Doppelte Eingaben werden vermieden1718
178Auswählbare Größen werden als Buttons präsentiert827
179Eingabefelder verhalten sich konform11114
180Tastaturen sind automatisch sichtbar764
181Aktionen werden nicht durch die Tastatur verdeckt14111
182Eingaben erlauben Einfügen externer Informationen1115
183Falschangaben leeren nicht das Eingabefeld12212
184Tastaturen sind kontextsensitiv111212
185Autokorrektur-Vorschläge sind sinnvoll eingesetzt12113
186Datumseingaben sind per Textfeld und Picker nutzbar134
187Bestätigungen führen zum nächsten Eingabefeld3410
188Felder werden automatisch formatiert17
189Eingaben werden vor Bestätigungen validiert2816
190Eingaben werden bei Verlassen des Feldes validiert3104
191Richtige Eingaben werden kommuniziert41102
192Falsche Eingaben werden kommuniziert22112
193Falschen Eingaben sind direkt auf der Seite41210
194Fehler sind direkt an den betroffenen Eingabefeldern sichtbar42110
195Passwortvorgaben werden direkt angezeigt449
196Passwortvorgaben sind einfach formatiert48113
197Passwortvorgaben werden in Echtzeit aktualisiert4913
198Passwortvorgaben sind nicht überkomplex46232
199Passwörter werden standardmäßig angezeigt413
200Passwörter können angezeigt und verdeckt werden467
201Nutzen und Mehrwert der App wird erläutert3212
202Erklärungen sind ohne Nutzereingaben einsehbar3212
203Mehrstufige Erklärungen visualisieren Fortschritt629
204Mehrstufige Erklärungen sind überspringbar719
205Sprachen können umgehend geändert werden143
206Vorteile einer Registrierung werden erläutert21014
207Registrierungen müssen nicht bestätigt werden3113
208Registrierungen können nachträglich bestätigt werden782
209Nach der Registrierung ist keine Anmeldung notwendig1025
210Nur unerlässliche Informationen werden erfragt22229
211Registrierungen erfolgen nicht über einen Alias116
212Einwilligungen werden über Button gegeben2123
213Checkboxen sind einfach anwählbar5228
214Schritte der Registrierung sind ersichtlich2924
215Fortschritte der Registrierung sind ersichtlich6416
216Verlinkungen zur Anmeldung sind vorhanden2285
217Verifizierungen werden per SMS durchgeführt6101
218Verifizierungen können erneut gesendet werden737
219Verifizierungsmethoden sind nachträglich änderbar845
220Standardprogramme werden verlinkt9611
221Nutzer bleiben angemeldet917
222Passwörter können zurückgesetzt werden1214
223Verlinkungen zur Registrierung sind vorhanden32345
224Felder werden intelligent vorausgefüllt2114
225Verlinkungen zur Anmeldung sind vorhanden5327
Ergebnisse
Digitale Gesundheitsanwendungen variieren in ihrer Qualität des Onboardings. Grundsätzlich ist die Qualität ausreichend bis gut. Während einige Apps fundamentale Änderungen durchführen sollten, kann der Großteil der Anbieter bereits durch kleine Anpassungen und einer noch nutzerzentrierteren Herangehensweise ihren Onboarding-Prozess deutlich optimieren.
Positiv hervorzuheben ist die Performance der Apps. Nahezu jede App liefert gute Start- und Reaktionszeiten und Navigationen fühlen sich latenzfrei an. Textliche Inhalte unterstützen den Nutzer bei dem Einrichten der App. Bei der Einhaltung der Richtlinien zur Barrierefreiheit können sich klassisch kommerzielle Apps inspirieren lassen, da DiGA in vielen Fällen in diesem Bereich stark punkten. Die Darstellung und Interaktion mit Eingabefeldern ist in den Grundlagen gut gelungen.
Kritisch zu betrachten ist die fehlende Nutzerzentrierung bei Texten, die häufig mit technischen Begriffen versehen sind. Oft versäumen Anwendungen es, ihren Mehrwert und insbesondere den einer Registrierung an den Nutzer zu kommunizieren. Gepaart mit der fehlenden Möglichkeit, die Apps ohne verpflichtende Dateneingaben auszuprobieren, gleicht der empfundene Mehrwert einer Blackbox.
Interaktionsmuster bei Registrierungen sind häufig veraltet, überdimensioniert und nicht für den Nutzer optimiert. Dies ist teils auf Forderungen vom Gesetzgeber zurückzuführen, doch auch auf veraltete Standards in der Softwareentwicklung. Status bei Nutzereingaben werden unzureichend kommuniziert. Insbesondere bei der Passwortvergabe weist jede App enormes Verbesserungspotenzial auf.
Persönliches Fazit
DiGA stehen vielseitig in der Kritik. Sie haben aufgrund von Anforderungen durch zahlreiche Stakeholder, Interessenkonflikte und hohen Standards der BfArM vermutlich andere Prioritäten als die Optimierung der Nutzererfahrung im Onboarding. Ob diese Vermutung sich bewahrheitet, soll in einem zweiten Artikel besser durchleuchtet werden.
Auch wenn die Onboarding-Erfahrungen zwischen den einzelnen DiGA stark variieren und gesamt betrachtet noch nicht optimal sind, glänzen DiGA durch überdurchschnittliche Barrierefreiheit und ein solides Endergebnis. Ich hoffe durch die Analyse Möglichkeiten aufgedeckt zu haben, mit der die allgemeine Akzeptanz der Bevölkerung für das Thema DiGA systematisch gesteigert werden kann. Mit der neusten Veröffentlichung zum Thema “Patienteneinbindung” macht der Spitzenverband Digitale Gesundheitsversorgung deutlich, dass Nutzer das Herzstück der Anwendung sind und Anbietern dieser Fokus bewusst ist.
Methodik
Untersuchungsgegenstand
Native mobile App
Der Benchmark fokussiert sich auf Digitale Gesundheitsanwendungen, die als mobile Anwendung auf dem Smartphone installierbar sind und mindestens eine Seite besitzen, die das Onboarding der Nutzer thematisiert. Dieser Scope hilft, die Validität des Benchmarks aufrechtzuerhalten und eine bessere Vergleichbarkeit zwischen den Ergebnissen zu ermöglichen.
Mobile Geräte erfreuen sich einer durchgängig wachsenden Zielgruppe. Sie haben die Art und Weise, wie wir leben und unsere täglichen Aktivitäten ausführen, verändert. Handys haben ihre Stärken, aber auch ihre Grenzen. Diese Stärken und Grenzen spielen sich in guten mobilen Benutzererfahrungen aus.
Mobile Geräte sind praktisch und tragbar, doch diese enormen Vorteile bergen auch Risiken, die bei dem Design von mobilen Apps berücksichtigt werden müssen. Im Vergleich zu Desktopgeräten steht mobilen Apps nur ein einziges Fenster zur Verfügung. Das bedeutet, dass alle mobilen Aufgaben leicht in der App zu erledigen sein müssen. Dabei ist das Fenster auch noch bedeutend kleiner, sodass die Opportunitätskosten eines jeden Designelements evaluiert werden müssen.
Zudem sind mobile Nutzer deutlich anfälliger für Unterbrechungen, sei es durch Benachrichtigungen, App-Wechsel oder Faktoren von außerhalb. Apps müssen das Wesentliche priorisieren, Aufgaben möglichst vereinfachen und Status in einer hohen Frequenz speichern, damit der Nutzer sich auf ein direktes Fortfahren verlassen kann.
Zu guter Letzt bringen Touchscreens neue Bedienmöglichkeiten. Gesten können Interaktionen mit Apps flüssig, natürlich und effizient gestalten, andererseits sind z. B. durch die Größe des Geräts bedingte, kleine Tastaturen häufiger anfällig für Rechtschreibfehler.
Onboarding
Das Onboarding ist der Prozess, bei dem Nutzer mit einer neuen Oberfläche vertraut gemacht werden. Nutzer bewerten innerhalb von Sekunden, ob ein Produkt von Nutzen ist. Das Onboarding legt somit das Fundament für nachhaltiges Engagement der Nutzer. Es vermittelt einen Ersteindruck, der die erlebte Glaubwürdigkeit, Informationsqualität und klinische Wirksamkeit beeinflusst. Das Onboarding ist gleichzeitig sowohl als Eintrittshürde als auch als erster Berührungspunkt zum Lernen der Applikation zu verstehen.
Im Allgemeinen ist das Onboarding aus einigen Gründen problematisch. Onboarding-Flows erfordern die Aufmerksamkeit und den Einsatz der Nutzer, ohne dass diese bereits von der Anwendung profitiert haben. Selbst wenn die Nutzer das Onboarding überspringen, sind erhöhte Interaktionskosten notwendig. Zudem wird oft das Onboarding genutzt, um den Nutzern zu helfen, sich an bestimmte Dinge auf der Benutzeroberfläche zu erinnern. Diese Methode ist äußerst ineffektiv.
Das Onboarding sollte so effizient wie möglich gestaltet werden. Ein gutes Onboarding fokussiert sich auf die nötigsten Anpassungen, die zwingend zum Benutzen der App erforderlich sind. Komplexe Apps müssen mit schlauen Interaktionsmustern und optimierten Onboarding-Flows punkten, um Nutzer zu überzeugen.
Einschränkungen
Einige Apps, namentlich CaraCare, Invirto, Kranus Edera, Mindable, Oviva Direkt, Rehappy, Somnio, Vitadio und Zanadio benötigen einen Freischaltcode, der im Onboarding-Prozess angegeben werden muss. Da dieser Code bei der Analyse nicht verfügbar war, können hinter der Eingabe versteckte Seiten nicht analysiert werden. Die finalen Testergebnisse berücksichtigen somit eventuell nicht das vollständige Onboarding der App, sondern lediglich die Teile, die als Nutzer ohne Freischaltcode eingesehen werden können.
Zudem sind zwei der Apps (M-sense und Mika) aus dem DiGA-Verzeichnis ausgeschieden. Da die Analyse zum Zeitpunkt bereits abgeschlossen war, sind diese weiterhin hier aufgeführt.
Erstellung des Frameworks
User Experience
Der Fokus des Benchmarks liegt auf einer objektiven Messung der Benutzererfahrung im Onboarding von Digitalen Gesundheitsanwendungen. Dabei werden regulatorische Anforderungen vollständig außer Acht gelassen. Der Benchmark konzentriert sich rein auf die Anforderungen und Erfahrungen der Nutzer. Forderungen anderer Stakeholder sind nicht Teil des Benchmarks. So ist unter anderem die aktive Einwilligungspflicht per Checkbox bei der Datenschutzerklärung auf der gesetzlichen Grundlage der DSGVO für die App-Anbieter zwar verpflichtend, aus Sicht der Nutzererfahrung jedoch aufgrund der hohen Interaktionskosten stark kontraproduktiv.
Neben auf Datenschutz basierenden Entscheidungen müssen die Anbieter ebenfalls Anforderungen weiterer Stakeholder einhalten. Welche Stakeholder welche Anforderungen stellen und wieso diese Unternehmen daran hindern, aktiv an einer optimierten Benutzererfahrung zu arbeiten, wird in einem Folgeartikel ausführlich behandelt.
Herkunft der Richtlinien
Der Benchmark ist eine heuristische Bewertung. Anstatt jedoch auf vereinzelte und äußerst generische Heuristiken (Nielsen, Shneiderman, Gerhardt-Powal, Weinschenk und Barker, Tognazzini) zurückzugreifen, wurden 125 detaillierte Bewertungsrichtlinien ausgearbeitet. Diese Richtlinien wurden auf der Basis von existierenden Interface-Richtlinien, Heuristiken, wissenschaftlichen Studien, Best-Practise-Ansätzen der Großindustrie (Design Systeme von Google, Apple, Mozilla, Microsoft, Adobe, Shopify, IBM), Richtlinien aus wissenschaftlich fundierten Benchmarks (Richtlinien und Benchmarks von Baymard, Nielsen Norman Group) und international anerkannten Leitfäden für Barrierefreiheit (WCAG, EN 301 549, ADA) erstellt.Objektivität der Richtlinien
Der Benchmark basiert auf 125 kategorisierten Richtlinien. Die Richtlinien basieren auf wissenschaftlich fundierten Quellen. Die Richtlinien sind dabei so aufgebaut, dass subjektives Empfinden auf ein Minimum reduziert wird, um die Objektivität und Reliabilität sicherzustellen. Ziel soll es sein, dass andere UX Analysten zu den gleichen Bewertungsergebnissen kommen.Datenerhebung
Berechnung der Punktzahlen
Die Bewertung erfolgte anhand eines vierstufigen Rankings, das bei der finalen Berechnung normalisiert wurde. Dabei stehen 0 Punkte für einen schwerwiegenden Verstoß, 0.33 Punkte für einen starken Verstoß, 0.66 für einen leichten Verstoß und 1 Punkt für das Einhalten der Richtlinie. Sollte eine App eine Bewertung der Richtlinie nicht zulassen, wird diese aus der Gesamtwertung entfernt.
Zudem ist jede Richtlinie intern mit einem Schweregrad faktorisiert:
1. Kosmetischer Fehler / Unbewusste Reaktion des Nutzers
2. Irritierender Fehler / Kleine Unterbrechung des Nutzers
3. Starker Fehler / Große Unterbrechung des Nutzers
4. Schwerwiegender Fehler / Abbruch des Nutzers
Für die finale Punktzahl wird die Summe der Punkte der Richtlinien faktorisiert, mit den jeweiligen Schweregraden addiert und durch die Anzahl der für diese App zulässigen Richtlinien faktorisiert mit der Summe an Schweregraden geteilt.
Das Ergebnis ist eine Punktzahl zwischen 0 und 100, die jede der 17 untersuchten Digitalen Gesundheitsanwendungen jeweils in den einzelnen Kategorien zugewiesen wurde. Sie drückt aus, wie gut oder schlecht die Nutzererfahrung ist, die ein Erstnutzer in der App machen wird, basierend auf der Anzahl der jeweiligen gewichteten Richtlinien der Kategorie.
Hinweis: Nutzertests hätten im jetzigen Stadium die Größe hinsichtlich des Aufwands des Benchmarks überstiegen. Andernfalls hätten Faktoren wie Unterhaltung, Ästhetik, Engagement und das subjektive Empfinden in die Wertung miteinfließen können. Ein weiterer wichtiger Faktor bei der Analyse der Nutzererfahrung von Apps ist die Frequenz von Fehlern. Die Leitfrage lautet hierbei: Wie häufig tritt der Bruch einer Richtlinie bei Nutzertests auf?
Verlauf der Analyse
Nach dem Erstellen der Richtlinien wurde der Benchmark innerhalb von acht Wochen durchgeführt, beginnend am 21.03.2022. Es erfolgten drei Durchführungen á zwei Wochen, gefolgt von einwöchigen Pausen, ohne dass die Ergebnisse der jeweils vorherigen Durchführung sichtbar waren. Das überwiegende Ergebnis wurde als finale Bewertung verwendet.
Externe Analysten waren nicht Teil dieses Audits.