Learning Analytics - Headstart Studios
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Learning Analytics. Wie sich der Lernbedarf ermitteln lässt Unternehmen wollen ihren MitarbeiterInnen fortschrittliches Lernen und Weiterbildung anbieten, doch welcher Lernbedarf liegt vor, welche Inhalte sollen vermittelt werden? Learning Analytics hilft L&D-Teams, die richti- gen Entscheidungen zu treffen und für nach- haltigen Lernerfolg zu sorgen. www.headstart-studios.com
Learning Analytics. Wie sich der Lern- bedarf ermitteln lässt. 1. Kein Investment ohne Messbarkeit des selben Datengruppe wie Learning Analytics. So Erfolgs – auch nicht beim Lernen wie Kunden in der Interaktion mit Unternehmen Daten produzieren, liefern auch MitarbeiterIn- In einer Zeit, in der Unternehmen unter Druck ste- nen wertvolle Daten, wenn sie Lernangebote im hen, ihre Wettbewerbsfähigkeit und Produktivität Unternehmen annehmen . Dabei folgt Learning in einer hoch kompetitiven und diversifizierten Analytics nicht der Logik der Lerntheorien oder Wirtschaftswelt zu steigern, wollen Verantwort- der Entwicklungspsychologie, sondern der Logik liche in Unternehmen einen positiven Return on der Datenerfassung. Investment (ROI) von Lernmaßnahmen erzielen. Wie genau ist Learning Analytics? Durch die einfache Verfügbarkeit von unbe- Mit Learning Analytics ist die Messung, Erfassung, grenzten Daten-Ressourcen wie der Cloud oder Analyse und der Report von Daten über Lernen- MOOC (Massive Open Online Courses) greift de und Lernkontexte gemeint. Unternehmen und Data Analytics heute praktisch in alle Wirkungs- Organisationen können diese Daten nutzen, um ebenen kleiner und großer Unternehmen und Lernen und Erfahrungen von MitarbeiterInnen im Organisationen. Customer Analytics, Retail Ana- Unternehmen zu verstehen und zu optimieren. lytics und People Analytics gehören dabei zur • Abbildung 1: In den letzten drei Jahren ist der Anteil der Befragten, die die geschäftlichen Auswirkungen von Lernprogrammen messen wollten (diejenigen, die zu- stimmen oder stark zustimmen), von 3 von 4 auf heute 19 von 20 gestiegen, so das Ergebnis einer Umfrage von Watershed, einem Learning-Anbieter aus den USA. Quelle: https://www.watershedlrs.com/blog/learning-analytics/evolving-landscape-data-storytelling www.headstart-studios.com 2
Die vier Kernfragen der Datenanalyse lauten: 1. Was ist passiert? Alles beginnt mit der deskriptiven Ebene. Hier werden gesammelte Daten aus verschiedenen Quellen zusammengeführt: Ergebnisdaten, Daten über Lernpfade aus dem Learning Management System, persönliche Daten aus den Informatio- nen von MitarbeiterInnen und externen Quellen (Marktanalysen, KPI-Analysen). 2. Warum ist es passiert? Wir befinden uns nun auf der diagnostischen Ebene. Hier beginnt die KI-gestützte Auswertung der zusammengeführten Daten. Herausgefiltert werden dabei die möglichen Erklärungsfaktoren eines Lernerfolgs oder -misserfolgs. Je umfang- reicher der Datensatz und vielfältiger die Be- trachtungswinkel eines Datenbündels, desto genauer werden die Erkenntnisse in den einzel- nen Fragestellungen. 3. Was wird passieren? Während die deskriptive und die diagnostische Ebene bereits vergangene Prozesse betrachten, arbeitet man auf der prognostischen Ebene an verlässlichen Voraussagen. Sind die Zusammenhänge zwischen Einflussfak- toren wie dem Lernerfolg und der Gesamtperfor- mance eines Unternehmens oder Organisation erfasst, lässt sich die Zukunft sehr differenziert skizzieren. Wieso fällt die Implementation von Learning Ana- 4. Wie sollen wir handeln? lytics bislang noch schwer? Die Problemstellung diesbezüglich hat sich inzwischen verschoben. Die präskriptive Ebene gilt als Königsklasse der Learning Analytics. Sie leitet aus allen voran- Aus gegangenen Analysenergebnissen Handlungs- empfehlungen für das Unternehmen oder die Es ist zu schwer. Organisation ab. Durch Simulationen kann bei- Es ist zu teuer. spielsweise ermittelt werden, wie sich eine Ände- Es besteht kein Bedarf / keine Top-Priorität. rung des aktuellen Vorgehens auf den Erfolg des Ganzen auswirken kann. Anstelle von Spekulatio- wurde nen bietet diese Ebene präzise Kalkulationen. Wo soll man anfangen? www.headstart-studios.com 3
Welche Daten sind wertvoll? In der Learning and Development Global Senti- ment Survey steigt „Learning Analytics“ 2019 als Neuling auf Platz 3 der Prioritätenliste von L&D- Teams ein. Zukunftsfähige Unternehmen und Organisationen haben die mit Learning Analytics verbundene Gestaltungsmacht der eigenen KPIs erkannt. Sie wissen sie nur oft noch nicht im vollen Umfang zu nutzen. Die Studie Effective Evaluation: Measuring Learning Programs for Success (ATD Research 2019) befragte im vergangenen Jahr 779 Talent- entwickler, die Hälfte von ihnen auf CEO- und • Abbildung 2: Executive-Level. Nur 50 Prozent gaben an, dass Learning Analytics steigt als Disziplin in der Prioritätenliste von L&D-Teams auf Platz die Auswertung von Lerndaten erfolgreich dazu 3 ein. Neben Learning Analytics sicherten sich als Newcomer auch die Themen Learning Experience Plattform und Performance einen Platz unter den Top 16. führe, Unternehmensziele im Bereich der Lern- Quelle: https://donaldhtaylor.co.uk/insight/ld-gss-2019-the-results/ kultur zu erreichen. Noch weniger, nämlich 40 Prozent, gaben an, dass die Auswertung von Lerndaten erfolgreich dazu führe, die unterneh- merische Gesamtperformance zu steigern. Im Bereich Learning Analytics sollten L&D-Teams nach folgenden Daten Ausschau halten: Der rasante Anstieg der auszuwertenden Daten übertrifft oftmals noch die Fähigkeit von Unter- • kognitive Lerndaten (Lernfortschritte, Wissens- nehmen und Organisationen, diese sinnvoll zu gefälle etc.) analysieren und als Benefit in der eigenen Sache zu nutzen. So gaben 41 Prozent der Befragten aus • psychologische Daten wie Zufriedenheit der der oben genannten Studie an, Schwierigkeiten LernerInnen und soziale Interaktion mit der Filterung von relevanten Daten zu haben (was genau soll ausgewertet werden?), während • Effizienzdaten (Relevanz des Gelernten, ge- 39 Prozent sagten, dass sie noch gar keinen Zu- fragte Kompetenzfelder etc.) griff auf die Daten hätten, die für Aussagen auf der prognostischen und präskriptiven Ebene be- nötigt werden würden. Doch genau diese Daten Die daraus resultierenden Analysen können bei- sind essentiell, wenn man Learning Analytics zur spielsweise zeigen, wie Steigerung der Key Performance Indicators (KPIs) des eigenen Unternehmens oder Organisation • Einzelpersonen für sich und in der Gruppe nutzen will. lernen. Lerndaten richtig analysieren, Gesamtperfor- • wieviel Zeit wann und wo für Lernangebote mance steigern verwendet wird. Learning Analytics und KPIs haben eine symbio- tische Beziehung. Learning Analytics bewertet • wie relevant das Gelernte für zukünftige Auf- die Auswirkungen des Lernens. KPIs zeigen eine gabenbereiche ist. Änderung (positiv/negativ/keine) in der Leistung auf der Grundlage von Lernmaßnahmen an. Gerade Datencluster aus „Zufriedenheit der Ler- KI-basierte Lernsysteme könnten Unternehmen nerInnen“ und „Relevanz des Gelernten“ sind im und Organisationen nützliche Informationen über Hinblick auf die Gesamtentwicklung eines Unter- die Lernstile, Fähigkeiten und Fortschritte ihrer nehmens oder einer Organisation wertvoll. MitarbeiterInnen geben. Sie können des Weite- Fragen, wie man neue Herausforderungen am ren sogar Vorschläge liefern, WIE man Lernen besten angeht oder disruptiven Marktentwick- während der Arbeit für jeden Einzelnen anpassen lungen flexibel begegnet, lassen sich in multiplen kann, um die Gesamtperformance zu steigern. Szenarien auswerten und simulieren. www.headstart-studios.com 4
2. Sicherheit 2. Datensensibilität: die 4 Dimensionen des Vertrauens Sensible Daten über Gehälter, Lebensläufe, Leistungsdaten und psychologische Marker be- Verantwortliche im Bereich Learning Analytics dürfen eines besonderen Schutzes und sind in der müssen vorausschauend agieren. Halten die ge- Europäischen Union in der Datenschutz-Grund- troffenen Empfehlungen kritischen Nachfragen verordnung (EU-DSGVO) geregelt. Wichtig sind stand? Wurden die richtigen Fragen gestellt? insbesondere: Sind die getroffenen Aussagen gültig und zuver- lässig? Wie sind die Daten gesichert? • Kennwortrichtlinien Die Basis für eine gelungene Implementation von • Verschlüsselung Learning Analytics im Unternehmen oder der Organisation ist vor allem das Vertrauen aller in • Freigabeverfahren (Daten an Dritte senden) den verantwortungsvollen Umgang mit ihren ge- sammelten Daten. • Speicherbegrenzungen (Sperre zur Speiche- In People Analytics and AI in the Workplace: Four rung auf Drittmedien) Dimensions of Trust (2019) skizziert Josh Bersin die 4 Dimensionen des Vertrauens: Des Weiteren schreibt die EU-DSGVO die Not- wendigkeit eines Datenschutzbeauftragten im A Framework For Ethics of Data and AI Unternehmen vor. Verstöße können mit Geld- strafen von bis zu 2 Prozent des Umsatzes belegt 1. Privatsphäre werden. 3. Daten-Bias Die sogenannte „Voreingenommenheit“ nüchter- ner Daten ist eine relativ neue Herausforderung. Alle algorithmischen Systeme basieren auf vor- handenen Daten. Füttert man sie mit ‚voreinge- nommenen‘ Daten, sind die getroffenen Vorher- sagen und Empfehlungen mangelhaft. Exemplarisch sind folgende Szenarien denkbar: • Abbildung 3 • Bei dem Versuch, ein faires Gehalt festzulegen, Quelle: https://www.watershedlrs.com/blog/learning-analytics/evolving-land- werden MitarbeiterInnen mit Gleichaltrigen scape-data-storytelling verglichen, es werden jedoch wichtige Stand- ortfaktoren außer Acht gelassen. Mit dem Eintritt in ein Unternehmen oder eine Organisation übertragen MitarbeiterInnen heute • Bei dem Versuch, Abwanderung von Mitarbei- gleichzeitig das Recht an ihre ArbeitgeberInnen, terInnen vorherzusagen, können unvollstän- spezifische Daten über sie zu sammeln. In dieses dige Datensätze dazu führen, dass Minderhei- Recht ist allerdings weder die Veröffentlichung ten, die ein Unternehmen/eine Organisation der Daten eingeschlossen, noch die Erlaubnis aus kulturellen Gründen verlassen, diskriminiert jene mit persönlich identifizierten Informationen werden. zu verknüpfen (Gebot der Anonymisierung). Es ist also notwendig, dass jeder, der auf die Daten • Bei dem Versuch, die Anpassungsfähigkeit zugreifen kann, auch umfassend im Bereich Einzelner an den Arbeitsplatz zu bewerten, des Datenschutz geschult ist. Zudem muss mit können tradierte, gegebenenfalls diskriminie- den MitarbeiterInnen klar kommuniziert wer- rende Einstellungspraktiken (Mann/Frau oder den, welche Daten wie und zu welchem Zweck AkademikerIn/ohne Hochschulabschluss) ins- gesammelt werden und ihr Einverständnis dazu titutionalisiert werden (weil die eingespeisten eingeholt werden. Vergleichsdatensätze aus der Vergangenheit stammen). www.headstart-studios.com 5
4. People Impact, oder auch: Der Fokus liegt auf der Wertsteigerung der ein- Rechtfertigungsebene gesetzten Lernangebote für den Einzelnen und Oberstes Gebot und ebenfalls Bestandteil der für die Gesamtperformance des Unternehmens. EU-DSGVO: es muss kommuniziert werden, WA- Dies erfordert RUM die Daten gesammelt werden. Egal ob Ta- lent-Erfahrungsplattformen, Tools zur Leistungs- • Transparenz erfassung oder Manager Bots: Unternehmen und Organisationen, die eine klare Kommunikation • Relevanz und in der Datensammlung und -verwendung ver- säumen, schaden ihrer Reputation nach innen • Vertrauen. und außen. Einfach gesprochen sollte man sein Analysenprogramm an Strategien ausrichten, die Der Einsatz von Learning Analytics verlangt einen positiven Einfluss auf die Zufriedenheit von nach innovativen Kommunikationsformen wie MitarbeiterInnen haben. Tabu sind Gesundheits- Data Storytelling, um den Wert der gesammelten und Logdaten, die außerhalb der Arbeitszeit Personendaten für alle verständlich darzustellen. erfasst werden. Ebenso sollte davon abgesehen Wenn Data Analytics echte Auswirkungen haben werden, die Leistungsbewertung des Einzelnen und zu datenbasierten Entscheidungsmodellen nur aufgrund alghoritmuserzeugter Trainingskur- führen sollen, muss es als strategische Aufgabe ven vorzunehmen. betrachtet werden. Damit spielen Führung und Kultur eine zentrale Rolle bei der erfolgreichen Umsetzung. Im ersten Schritt steht die Entwick- 3. THINK LIKE MARKETING – Mehr Wert lung von Data Literacy im Fokus: Alle Beteiligten für MitarbeiterInnen schaffen müssen verstehen, welche Daten erhoben wer- den, wie sie gesichert und zu welchem Zweck sie Daten aus Learning Analytics können – richtig ausgewertet werden. Kurzum: ohne angemes- ausgewertet – unschätzbare Einblicke gewähren: sene interne Prozesse und die Berücksichtigung sowohl in die Entwicklungen und Erfahrung eines der Interessen aller Beteiligten sowie einer klaren jeden Einzelnen im Unternehmen/Organisation Verankerung in der Lernkultur sind datenbasierte als auch in die voraussichtliche Entwicklung der Entscheidungsmodelle nicht umsetzbar. Gesamtperformance. Wie geht man neue Herausfor- derungen an? Wie reagiert man flexibel auf disruptiven Markt- entwicklungen? Mit dem richtigen Einsatz von Learning Analytics haben HR-Profis mehr denn je die Chance, in ge- wisser Weise die Zukunft vorherzusagen. Beschränkte sich die Funktion von L&D-Teams in der Vergangenheit auf Fach- und Führungskräf- teentwicklung anhand festgelegter Lernmaßnah- men, steht heute Talentscouting, Datenanalyse und die Vermarktung von innovativen Lernpro- grammen auf dem Plan. In diesem Zusammen- hang muss Lernen mithilfe von Verkaufs- und • Abbildung 4: Wertschöpfungstechniken neu gedacht werden. Typisch für den Aufbau einer Analyse zum Lernverhalten sind „W-Fragen“, die den Der Begriff „Kunde“ wird dabei durch „Mitarbei- Status-quo wie auch die Aussicht auf zukünftige Ereignisse beantworten sollen. Die vier Stufen der Analyse beinhalten eine Beschreibung, was in der Vergangenheit terIn“ ersetzt. Das Credo: Wert für den Einzelnen passiert ist, warum etwas in der Vergangenheit passiert ist, was in der Zukunft am schaffen. wahrscheinlichsten passieren wird und welche Maßnahmen die Ergebnisse beein- flussen können. Quelle https://donaldhtaylor.co.uk/insight/ld-gss-2019-the-results/ www.headstart-studios.com 6
4. Welche Daten sammeln wir bei Headstart Studios und welche Maßnah- Welche Daten sammeln wir? men leiten wir davon ab? Wir holen uns am Ende eines Lernprogramms oder auch zwi- Wir bei Headstart Studios gestalten digitale Lern- schendurch Feedback ein, um programme für Unternehmen. Abhängig vom den persönlichen Eindruck eines Kunden und den geltenden Datenschutzricht- Teilnehmers abzufragen. linien analysieren wir (mithilfe unserem Lerning Neben inhaltlichen und techni- Management System) zum Beispiel kognitive und schen Feedbackfragen nutzen psychologische Lerndaten aus. wir auch den Net Promoter Score Um Ihnen einen Einblick zu gewähren, wie das (NPS). konkret aussehen kann, schauen Sie sich die folgenden drei Beispiele an. Welche Maßnahmen ergreifen wir? Das Feedback wird evaluiert Feedback und iterativ in das Produkt ein- gepflegt. Feedback ist für uns auswerten elementar, um unsere Produkte stetig zu optimieren. Der NPS ist ein wichtiger Key Performance In- dicator (KPI) für uns, um die Quali- Übungen tät unserer Produkte messbar und und Quizzes vergleichbar zu machen. Welche Daten sammeln wir? Wir bauen in unsere Lernpro- gramme interaktive Übungen oder Projektarbeiten mit an- Welche Daten sammeln wir? deren Teilnehmern ein, um den Wir sammeln die Daten zur den Wissenstransfer und den Aus- Fortschritten der Teilnehmer und tausch zu fördern. Geht es dann stellen uns folgende Fragen: Wa- darum, das Gelernte anschlie- rum hat der Teilnehmer die eine ßend zu prüfen, verwenden wir Lektion nicht zu Ende geführt? Selbstreflexionsaufgaben oder Ist der Lerninhalt zu einfach, zu Quizfragen. schwer oder gab es ein techni- sches Problem? Hat das Thema Welche Maßnahmen der Lektion eine Relevanz für den ergreifen wir? Teilnehmer? Progress Wenn ein Teilnehmer ein Quiz tracking nicht besteht, können wir ihm ge- Welche Maßnahmen zielte Lektionen oder optionale ergreifen wir? Inhalte anbieten, um das Thema Die Absprungrate gibt uns wert- noch einmal zu verinnerlichen. volle Informationen zu der Quali- Wir lassen die Lernenden nicht tät eines Lerninhaltes. In der Ver- alleine, sondern geben ihnen gangenheit haben wir festgestellt, eine Chance, die Lerninhalte zu dass ein Formatwechsel dabei wiederholen und das Quiz er- unterstützt, Teilnehmer kontinu- neut durchzuführen. ierlich zu motivieren, Lektionen abzuschließen. Außerdem hilft es dem Teilnehmer, klare Lernziele aufzuzeigen, um seine Erwar- tungshaltung zu befriedigen. www.headstart-studios.com 7
Learning Analytics zählt heute zu einer wichtigen Bei Fragen oder Anregungen freuen wir uns auf Disziplin in L&D-Teams, die Verantwortlichen Ihren Kontakt! zeigt, welcher Lernbedarf im Unternehmen vor- handen ist. Da bislang nur wenige Mitarbeiter- Headstart Studios GmbH Innen im Bereich der Datenanalyse ausgebildet Rödingsmarkt 20 sind, sollte Learning Analytics von Menschen be- 20459 Hamburg treut werden, die eine visionäre Vorstellungskraft mitbringen. Denn Learning Analytics bedeutet, Telefon: 040 228681619 mit Hilfe von Daten die Zukunft zu gestalten und Email: hallo@headstart-studios.com zu einer lernenden Organisation zu werden. www.headstart-studios.com Und jetzt sind Sie dran. Starten Sie mit den sieben Punkten in der blauen Infobox durch und nehmen Sie sich dem Thema Learning Analalytics an! Durchstarten mit Learning Analytics: 1. Beauftragen Sie MitarbeiterInnen im Unternehmen mit Learning Analytics, die eine visionäre Vorstellungskraft entwickeln können. 2. Erstellen Sie einen „Code of Practice“ / Verhaltenskodex im Umgang mit Daten. 3. Integrieren Sie Learning Analytics in Ihr Change Management. 4. Stellen Sie sicher, dass Datensätze auch auf prognos- tischer und präskriptiver Ebene ermittelt werden können. 5. Überprüfen Sie die Ausgewogenheit vorhandener Datensätze. 6. Kommunizieren Sie MitarbeiterInnen, warum Lerndaten verwendet werden. 7. Kalkulieren Sie ausreichend Ressourcen zum Extrahieren, Bereinigen und Verwalten der Daten ein. www.headstart-studios.com 8
Internetquellen: Omer: The Importance Of Learning Analytics In Learning And Development, eLearning Industry, Bailey: Code of practice for learning analytics, 2019 Jisc Guides, 2018 https://elearningindustry.com/learning-analy- https://www.jisc.ac.uk/guides/code-of-practice- tics-benefits-ld for-learning-analytics Rouhainen: How AI and Data Could Personalize Bersin: HR In The Age Of AI: Lots Of Change Ahe- Higher Education, Harvard Business Review, 2020 ad, Josh Bersin, 2019 https://hbr.org/2019/10/how-ai-and-data-could- https://joshbersin.com/2019/07/hr-in-the-age-of- personalize-higher-education ai-lots-of-change-ahead/ Staron: How to Measure the ROI of Training Pro- Bersin: People Analytics and AI in the Workplace: grams, HR Technologist, 2018 Four Dimensions of Trust, Josh Bersin, 2019 https://www.hrtechnologist.com/articles/lear- https://joshbersin.com/2019/05/the-ethics-of-ai- ning-development/employee-training-and-de- and-people-analytics-four-dimensions-of-trust/ velopment-how-to-measure-the-roi-of-training- programs/ Bersin: Which Parts Of Employee Experience Really Matter Most?, Josh Bersin, 2019 Stevenson: Align Learning to Drive Business Re- https://joshbersin.com/2019/11/which-parts-of- sults, HR Exchange Network, 2020 employee-experience-really-matter-most/ https://www.hrexchangenetwork.com/people- analytics/interviews/align-learning-to-drive- Bersin / Sanders: Boost Your Team’s Data Litera- business-results cy, Harvard Business Review, 2020 https://hbr.org/2020/02/boost-your-teams-da- Tozman: New Learning Analytics for a New Work- ta-literacy place, TD Magazin, 2012 https://www.td.org/magazines/td-magazine/ Ells: 5 Ways the Learning Analytics Landscape Is new-learning-analytics-for-a-new-workplace Evolving, Watershed Insights, 2019 https://www.watershedlrs.com/blog/learning- analytics/evolving-landscape-data-storytelling Hoole: The problems and pitfalls of collecting learner data, Trainingzone, 2020 https://www.trainingzone.co.uk/deliver/training/ learning-analytics-in-academia-the-problems- and-pitfalls-of-collecting-learner-data Marom: Architect Your Future Of Work - Don‘t Passively Wait For It, Forbes, 2020 https://www.forbes.com/sites/forbescoache- scouncil/2020/03/20/architect-your-future-of- work-dont-passively-wait-for-it/ Nitzsche: So lernen Unternehmen von Learning Analytics, Computerwoche, 2019 https://www.computerwoche.de/a/so-lernen-un- ternehmen-von-learning-analytics Omer: 7 Must-Have KPIs To Measure Effective- ness For Learning Analytics, eLearning Industry, 2019 https://elearningindustry.com/kpis-measure-trai- ning-effectiveness-learning-analytics www.headstart-studios.com 9
Studien: Elevating Learning and Development (McKinsey, 2020) https://www.mckinsey.com/~/media/mckinsey/ business%20functions/organization/our%20 insights/elevating%20learning%20and%20 development/elevating-learning-and-develop- ment-intro.ashx Learning and Development Global Sentiment Survey (L&D GSS, 2019) https://donaldhtaylor.co.uk/insight/ld-gss- 2019-the-results/ Learning Analytics und Big Data in der Bildung (GEW, 2019) https://www.gew.de/index.php?eID=dumpFi- le&t=f&f=91791&token=702ec8d5f9770206a4aa- 8a1079750ec9021b90bf&sdownload=&n=Lear- ning-analytics-2019-web-IVZ.pdf 2019 Workplace Learning Report (LinkedIn Lear- ning, 2019) https://learning.linkedin.com/content/dam/me/ business/en-us/amp/learning-solutions/images/ workplace-learning-report-2019/pdf/workplace- learning-report-2019.pdf Redefine work – The untapped opportunity for expanding value (Deloitte, 2018) https://www2.deloitte.com/content/dam/in- sights/us/articles/4779_Redefine-work/DI_Rede- fine-work.pdf www.headstart-studios.com 10
Sie können auch lesen