Experimente (entspricht Kapitel 7 des Moduls WAIM) - Building Competence. Crossing Borders.
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Experimente (entspricht Kapitel 7 des Moduls WAIM) Building Competence. Crossing Borders. Dr. Oliver Thomas oliver.thomas@zhaw.ch
Agenda 7. Experimente 7.1. Definition, Besonderheiten und Tipps 7.2. Varianten von Experimenten 7.3. Ein Experiment designen – Schritt für Schritt 7.4. Illustrative Beispiele 2
7. Experimente Einordnung Wissenschaftstheoretische Einbettung: Es geht um «erklären» und nicht um «beschreiben» Beschreibung eines Marktes: Forschung / Wirkungsbeziehungen zeigen: • Interessiert an Grössenordnungen; • Wissenschaftliche Zusammenhänge Aussagen über den Gesamtmarkt anhand erforschen der Stichprobe oder • Auf Erklärung angelegt • Auf Verstehen angelegt • Wird durch Experimente erforscht • Wird durch Befragungen erforscht → „Theory Application“ → „Effects Application“ Homogene Gruppe gefragt (nur Ursache- Heterogene Gruppe als Stichprobe gefragt Wirkung zeigen, Rest ‘ceteris paribus’) (=Abbild der Wirklichkeit / der Grundgesamtheit) Ceteris paribus heisst, dass diese homogenen Gruppen untereinander gleich sind (z.B. in der Altersstruktur, in der Einstellung zu etwas) Anzahl n: Unabhängig vom N der Grundgesamtheit; für repräsentative Studien Anzahl n: wenige pro Gruppe genügen (n=30, rund 800-1200 Einheiten, für andere Studien da geht eine Binomialverteilung in eine (z.B. Imageanalysen, Kundenzufriedenheit) Normalverteilung über → Statistik einfacher) genügen 100 bis 300 Einheiten Fazit: Gezielte Rekrutierung ist üblicher Weg Fazit: Keine gezielte Rekrutierung von (z.B. Studenten, Patienten), aber die Probanden, sondern per Zufallsauswahl Zuteilung zu den Gruppen muss zufällig Calder et al. (1981) geschehen. 3
7. Experimente Einführendes Beispiel Das (vermutlich) erste Experiment der Menschheitsgeschichte (James Lind, 1716-1794): 4
7. Experimente Beispiel aus der heutigen Praxis − Tech-Unternehmen wie Facebook, Instagram, Google und E-Commerce-Unternehmen führen laufend schnelle Experimente in Form von sogenannten «A/B Testings» durch − Getestet werden z.B. Wortwahl, Bilderwahl, Farben, Positionierung von Schaltflächen, Icons etc. − Für Interessierte: https://sumo.com/stories/ecommerce-ab-testing https://vw o.com/blog/ecommerce-ab-testing/ 5
Agenda 7. Experimente 7.1. Definition, Besonderheiten und Tipps 7.2. Varianten von Experimenten 7.3. Ein Experiment designen – Schritt für Schritt 7.4. Illustrative Beispiele 7
7.1. Definition, Besonderheiten und Arten Definition Definition «Unter einem Experiment versteht man die systematische Beobachtung einer abhängigen Variablen unter verschiedenen Bedingungen einer unabhängigen Variablen bei gleichzeitiger Kontrolle der Störvariablen, wobei die zufällige Zuordnung von Probanden und experimentellen Bedingungen gewährleistet sein muss.» Merkmale − Experimente = der Königsweg bei Kausalbeziehungen − Sicherste Methode, um Kausalität zu zeigen − Strengste Stufe der Hypothesenprüfung Hussy (2013, S. 120) 8
7.1. Definition, Besonderheiten und Arten Besonderheiten von Experimenten 1. Bei Experimenten findet immer eine Intervention statt (=Manipulation). Manipulation = Änderung, die vorgenommen wurde. Hierdurch können Kausalbeziehungen gezeigt werden 2. Homogene Gruppen werden benötigt (Stichwort: ceteris paribus = heisst, dass diese homogenen Gruppen untereinander gleich sind, z.B. in der Altersstruktur, in der Einstellung zu etwas) 3. Vergleichbare Untersuchungsbedingungen zwischen den Gruppen müssen geschaffen werden 4. Randomisierung: Es muss eine zufällige Zuteilung von Probanden auf die Versuchsgruppen vorgenommen werden 5. Eine umfassende Ausschaltung bzw. Kontrolle von Störeinflüssen ist bei Experimenten möglich, v.a. bei Laborexperimenten 6. Versuchsleiter-Einfluss: Effekte durch Versuchsleiter eliminieren, indem Hypothese / Manipulation unbekannt -> Varianten einfach-blind (single-blind) versus doppel-blind (double- blind) 7. Ein Manipulationscheck ist notwendig, um zu überprüfen, ob die Manipulation tatsächlich funktioniert hat 9
7.1. Definition, Besonderheiten und Arten Tipps für die Durchführung Literaturhinweis: Koschate-Fischer and Schandelmeier (2014) 10
7.1. Definition, Besonderheiten und Arten Tipps für die Durchführung Onlinetools können bei der Durchführung von Experimenten unterstützen 11
Agenda 7. Experimente 7.1. Definition, Besonderheiten und Tipps 7.2. Varianten von Experimenten 7.3. Ein Experiment designen – Schritt für Schritt 7.4. Illustrative Beispiele 12
7.1. Definition, Besonderheiten und Arten Unterscheidung nach Arten (Designs) Between-subject-design (unabhängige Stichprobe) − Eine Gruppe von Probanden bekommt zufällig ein Marken-T-Shirt − Eine Gruppe von Probanden bekommt zufällig ein No-Name-T-Shirt → Mehr Probanden nötig Within-subject-design (verbundene Stichprobe) − Probanden erhalten nacheinander zuerst ein Marken-T-Shirt und danach ein No- Name-T-Shirt. → Weniger Probanden nötig → Anfällig auf Versuchseffekte (z.B. Tragegefühl des ersten T-Shirts wirkt sich auf das Tragegefühl des zweiten T-Shirts aus) Mixed-design − Kombination aus Between- und Within-subject-design 13
7.1. Definition, Besonderheiten und Arten Vorgriff auf das Modul WAQM: Auswertungsmethoden http://w ww.methodenberatung.uzh.ch 14
7.2. Varianten von Experimenten Unterscheidung nach experimenteller Untersuchungsform Experimentelle Untersuchungsformen 1. Laborexperiment 2. Feldexperiment 3. Quasiexperiment 4. Feldstudie Hussy (2013, S.140) 15
7.2. Varianten von Experimenten Unterscheidung nach experimenteller Untersuchungsform Laborexperiment Feldexperiment Quasiexperiment Feldstudie Merkmale Ein im Labor / Ein in der natürlichen Wie Laborexperiment, mit Wie Feldexperiment, mit Internet Umgebung durchgeführtes dem Unterschied, dass dem Unterschied, dass durchgeführtes Experiment (realer Kontext!). «Unsauberkeiten» «Unsauberkeiten» Experiment (unter Wichtig: Die Umgebung vorhanden sind, i.d.R. vorhanden sind, i.d.R. fehlt möglichst muss für beide Gruppen fehlt die die Randomisierung oder kontrollierten genau gleich sein (in der Randomisierung oder es gibt keine Bedingungen) Praxis nicht ganz einfach) es gibt keine Kontrollgruppe Kontrollgruppe Randomi- randomisierte randomisierte Zuteilung der Keine randomisierte Keine randomisierte sierung Zuteilung der Probanden Zuteilung der Probanden Zuteilung der Probanden Probanden Interne Hoch: Störvariablen Niedrig: Störvariablen lassen Niedrig: Ohne Sehr niedrig. Einbussen in Validität lassen sich gut sich in der natürlichen Randomisieren können der internen Validität sind kontrollieren, daher Umgebung nicht in Störeffekte nicht komplett wegen fehlender (= Eindeu- hohe interne Validität vergleichbarer Weise wie im kontrolliert werden, daher Randomisierung so tigkeit) bei guter Kontrolle Laborexperiment ergeben sich Einbussen erheblich, dass Ergebnisse der diversen kontrollieren für die interne Validität nur mit grosser Variablen Zurückhaltung kausal interpretiert werden dürfen Externe Niedrig: Künstliche Relativ hoch: Erkenntnisse Niedrig: Künstliche Relativ hoch Validität Untersuchungssitu- lassen sich generalisieren; Untersuchungssituation, ation, daher geringer können also repräsentativ für daher geringer (= Generali- eine Grundgesamtheit sierbarkeit) betrachtet werden Hussy (2013, S.140-142) 16
7.2. Varianten von Experimenten Unterscheidung nach Anzahl der manipulierten Variablen Manipulation einer unabhängiger Variable: • Bei einem klassischen Experiment wird nur eine unabhängige Variable manipuliert • Hierdurch kann kausal nachgewiesen werden, dass Änderungen in der/den abhängigen Variable(n) auf die Manipulation der unabhängigen Variable zurückzuführen ist Manipulation zweier oder mehrer unabhängigen Variablen: • Es ist aber auch möglich, dass zwei oder mehrere Variablen manipuliert werden -> «Factorial Design» • Hierdurch wird ebenfalls Kausalität nachgewiesen, die allerdings dann auf den Manipulationen zweier oder mehrerer unabhängiger Variablen zurückzuführen sind 17
7.2. Varianten von Experimenten Unterscheidung nach Anzahl der manipulierten Variablen Factorial Design Beispiel eines «2 x 2 factorial design»: Es werden zwei Variablen (Schwierigkeit eines Tests und Raumtemperatur) mit jeweils zwei Ausprägungen manipuliert: https://w eb.mst.edu/~psyw orld/betw een_subjects.htm 18
7.2. Varianten von Experimenten Unterscheidung nach Anzahl der manipulierten Variablen Factorial Design Beispiel eines 2 x 2 x 2 factorial designs (es werden drei Variablen mit jeweils zwei Ausprägungen manipuliert): Interpretation: Der Effekt von Ethical Attributes (Free Trade etc.) auf Brand Appeal und Brand Attitude hängt vom Brand Type (Private Label Brands (PLB) vs. National Brands (NB)) und vom Preisniveau (low vs. high) ab Bodur, Tofighi und Grohmann (2016) 19
Agenda 7. Experimente 7.1. Definition, Besonderheiten und Tipps 7.2. Varianten von Experimenten 7.3. Ein Experiment designen – Schritt für Schritt 7.4. Illustrative Beispiele 20
7.3. Ein Experiment designen – Schritt für Schritt Übersicht der einzelnen Schritte 1. Auswahl der Variablen, Aufstellung der Hypothesen etc. 2. Auswahl der Variante des Experiments -> Kap. 7.2. 3. Stimulus / Manipulation ausdenken 4. Manipulationscheck ausdenken 5. Fragebogen korrekt erstellen und aufbauen (-> Kapitel 8), dort auf korrekte Operationalisierung der Variablen/Konstrukte achten (-> Kapitel 6) 6. Tipps für die Durchführung beachten! 7. Gründliche Beschreibung / Dokumentation (fett gedruckt = wird in diesem Abschnitt behandelt) 21
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) − Die Manipulation der unabhängigen Variable(n) erfolgt durch unterschiedliche Stimuli − In der BWL-Forschung werden Videos, Fotos (z.B. Werbeanzeigen) oder Textbeschreibungen genutzt, um die Manipulationen zu erzeugen. Aber es können z.B. auch unterschiedliche Preise auf einer Speisekarte, in einem Szenario oder in einem Geschäft als Stimuli eingesetzt werden − Je nach Untersuchungsgegenstand wird auch mit fiktiven statt realen Marken, Herstellern oder Supermärkten gearbeitet − Jede Experimentalgruppe wird einem mehr oder weniger verändertem Stimulusmaterial ausgesetzt, das entsprechend der gewünschten Manipulation angepasst ist 22
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) Bildmaterial als Stimulus − Forschungsfrage: Macht es einen Unterschied, ob berühmte Personen als Unterstützer eines Produkts in der Werbung auftreten (Celebrity Endorsement) oder als Marke auf dem Produkt (Celebrity Co-Branding) − Umsetzung: Teilnehmer werden durch Text im Fragebogen informiert, dass eine neue Supermarktkette namens «Moser» in den Markt eintritt und eine Eigenmarke namens «Moser Exzellent» führt. Unter dem Text wird je nach Gruppe eines der Bilder gezeigt. − Beachte: Stimulusmaterial für beide Gruppen ist identisch ausser (1) Position des Celebrities, (2) zusätzliche Celebrity Branding auf dem Produkt und (3) Text unter dem Produkt 23
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) Bildmaterial als Stimulus - Fehlervermeidung − Wenn Bilder als Stimuli zur Manipulation verwendet werden, müssen diese bis auf das manipulierte Detail identisch sein, um tatsächlich einen kausalen Zusammenhang zwischen verwendetem Stimuli und den Resultaten herstellen zu können! − Negativbeispiel: Manipulation der «Store Atmosphäre» (links: angenehm, rechts: unangenehm) − Problem: es werden u.a. unterschiedliche Produkte und Produktekategorien gezeigt, Produkte sind unterschiedlich platziert und nehmen unterschiedlich viel Raum ein. − Neben dem Faktor, den man eigentlich manipulieren will, könnte man also auch ungewollt weitere Faktoren beeinflussen. Die Konsequenz wäre, dass die Ergebnisse des Experiments nicht valide wären. 24
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) Textmaterial als Stimulus − Für manche Forschungsdesigns ist es sehr schwer oder gar unmöglich, geeignetes Bildmaterial für die Manipulationen zu beschaffen oder zu erstellen. Dann sollte man auf Textmanipulationen setzen − Lösung für vorheriges Beispiel: Verwendung von reiner Textmanipulation zu Manipulation der «Store Atmosphäre» (angenehm vs. unangenehm) 25
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) Textmaterial als Stimulus − Erweiterung des vorherigen Beispiels von einem 2x1 Experiment auf ein 2x2 Factorial Design (Manipulation von «Store Atmosphäre» sowie «Preispositionierung»): Preispositionierung Einzelhändler Unabhängige Variablen Qualitätsorientierung Preisorientierung Store Angenehm Versuchsgruppe 1 Versuchsgruppe 3 Atmosphäre Unangenehm Versuchsgruppe 2 Versuchsgruppe 4 26
7.3. Ein Experiment designen – Schritt für Schritt Schritt 3: Stimulus (Manipulation) Textmaterial als Stimulus − Beispiel aus einer Masterarbeit − Experiment Hochdeutsch vs. Schweizerdeutsch: 27
7.3. Ein Experiment designen – Schritt für Schritt Schritt 4: Der Manipulationscheck Definition «A manipulation check is a measure used to determine whether or not the manipulation of the independent variable has had its intended effect on the participants. Also, it provides evidence for the construct validity of the manipulation.» Beispiele − Manipulation von Kundenfeedbacks im Internet (positiv/negativ) => Frage am Schluss, ob der Proband ein positives oder negatives Feedback gelesen hat − Manipulation von Schönheit des Werbemodels => Frage am Schluss nach Einschätzung der Schönheit − Manipulation des Videospots (siehe nächste Folie) => Frage am Schluss: Welchen Videospot haben Sie gesehen? Cozby & Bates (2012) 28
7.3. Ein Experiment designen – Schritt für Schritt Schritt 4: Der Manipulationscheck: Beispiele Beispiel aus einer Masterarbeit und einer Marktforschung 29
7.3. Ein Experiment designen – Schritt für Schritt Schritt 4: Der Manipulationscheck: Beispiele Beispiel aus einer Masterarbeit 30
7.3. Ein Experiment designen – Schritt für Schritt Schritt 4: Der Manipulationscheck: Beispiele Beispiel aus einer Masterarbeit Hintergrund: In dem Experiment wurde die Anzahl der Facebook-Likes und Anzahl Newsletterabonnenten manipuliert 31
7.3. Ein Experiment designen – Schritt für Schritt Schritt 4: Der Manipulationscheck Wieso ist ein Manipulationscheck notwendig? -> Wegen des «Goldfisch-Effekts»: − Die Aufmerksamkeitsspanne eines durchschnittlichen Internetnutzers ist kürzer als die eines Goldfischs (Microsoft-Studie) − Problematisch bei Experimenten, daher ist ein Manipulationscheck notwendig 32
7.3. Ein Experiment designen – Schritt für Schritt Schritt 6: Tipps für die Durchführung 1. Experimente brauchen sehr viel Zeit: sorgfältiges Planen und Durchführen notwendig (z.B. Pretests) 2. Grundsätzliches Risiko: Es kann misslingen (Risiko höher als bei einer Umfrage) 3. Eine Vorstudie machen! - > dient der Auswahl der Stimuli 4. Nicht alle Variablen können auch tatsächlich manipuliert werden, z.B. ist die Hypothese: «Aktienhändler/innen mit höherem Testosteron handeln aggressiver» kaum manipulierbar (weiblichen Probanden müsste hierfür Testosteron gespritzt werden) 5. Aufgrund des Manipulationschecks werden Probanden aussortiert. Die Bruttostichprobe je Gruppe/Zelle sollte daher deutlich über n=30 liegen, damit für die Nettostichprobe immer noch n>30 verbleiben 33
7.3. Ein Experiment designen – Schritt für Schritt Schritt 6: Tipps für die Durchführung Achtung: − Die Manipulation sollte den Probanden nicht bekannt sein, daher muss die «Geschichte» zur Manipulation gut und glaubhaft sein. Die Manipulation muss geschickt geschehen! − Nicht verraten welche Variable man misst! − Nicht verraten was man untersucht / worum es im Experiment geht! − Ansonsten Gefahr, dass erwünschte Antworten produziert werden und Ergebnisse unbrauchbar machen (Self-Fullfilling Prophecy) Falsch! − Lösung: Erklären Sie allgemein worum es geht. Erwähnen Sie ausserdem, dass es keine richtigen und falschen Antworten gibt und Sie an der persönlichen Meinung der Teilnehmer interessiert sind: Richtig! 34
7.3. Ein Experiment designen – Schritt für Schritt Schritt 6: Tipps für die Durchführung Reihenfolge im Fragebogen: 1. Stimulusmaterial (Manipulation): Wenn Daten via Fragebogen erhoben werden, ist das Stimulusmaterial oft im Fragebogen integriert. In der Regel sollte dies dann ganz am Anfang des Fragebogens erscheinen 2. Danach Abfrage aller abhängigen Variablen 3. Danach Manipulationscheck 4. Danach psychographische Daten (Hobbys, Kauf- oder Ausgabegewohnheiten, Werte etc.) 5. Gegen Ende die demographische Daten 6. Nach Demographische Daten: Offenes Textfeld für Fragen, ob es technische Probleme mit dem Fragebogen gab, Probleme bei der Beantwortung der Fragen und für sonstige Anregungen. 7. Ganz zum Schluss: Aufklärung / Debriefing, dass es sich um ein Experiment handelt, falls irgendwelche ethisch relevanten Manipulationen oder sonstige fiktive Angaben stattfinden. Ausserdem darum bitten, darüber mit niemanden zu reden, der noch am Experiment teilnehmen könnte, weil dies die Antworten / Daten verfälschen könnte (Beispiel siehe nächste Seite) 35
7.3. Ein Experiment designen – Schritt für Schritt Schritt 6: Tipps für die Durchführung − Ein «Aufklären» bzw. «Debriefing» sollte am Ende der Datenerhebung bei Verwendung von fiktiven Marken, fiktiven Ereignissen (z.B. Produktrückruf etc.) durchgeführt werden: 36
7.3. Ein Experiment designen – Schritt für Schritt Schritt 7: Gründliche Beschreibung / Dokumentation Beispiel anhand eines sehr gut durchgeführten Feldexperiments: Masterarbeit zum Thema «Pay What You Want» - Framing 37
7.3. Ein Experiment designen – Schritt für Schritt Schritt 7: Gründliche Beschreibung / Dokumentation Beispiel anhand eines sehr gut durchgeführten Feldexperiments: Conceptual Model und Experimentaldesign: 38
7.3. Ein Experiment designen – Schritt für Schritt Schritt 7: Gründliche Beschreibung / Dokumentation Beispiel anhand eines sehr gut durchgeführten Feldexperiments: 39
7.3. Ein Experiment designen – Schritt für Schritt Schritt 7: Gründliche Beschreibung / Dokumentation Beispiel anhand eines sehr gut durchgeführten Feldexperiments: 40
7.3. Ein Experiment designen – Schritt für Schritt Schritt 7: Gründliche Beschreibung / Dokumentation Beispiel anhand eines sehr gut durchgeführten Feldexperiments: Manipulationscheck: 41
Agenda 7. Experimente 7.1. Definition, Besonderheiten und Tipps 7.2. Varianten von Experimenten 7.3. Ein Experiment designen – Schritt für Schritt 7.4. Illustrative Beispiele 42
7.4. Illustrative Beispiele Beispiele Beispiel zu Quasiexperiment: «The Dr. Fox-Lecture» 43
7.4. Illustrative Beispiele Beispiele 44
7.4. Illustrative Beispiele Beispiele Beispiel zu Quasiexperiment: «The Dr. Fox-Lecture» Untersuchungs- Intervention/ Messung nach der Manipulation: objekte: Manipulation: - Beurteilung des Inhalts - Experten - Vortrag - Beurteilung der Qualität - Studenten - Schauspieler - Beurteilung der Sympathie - Pädagogen Anmerkung: ‘Quasi’ bezieht sich auf «keine randomisierte Zuordnung von Versuchspersonen zu den Experimental- und Kontrollgruppen» und weitere Unsauberkeiten 45
7.4. Illustrative Beispiele Beispiele Beispiel eines Laborexperiments: Studie von Marsh, 2009: Manipulation der Körpergrösse 46
7.4. Illustrative Beispiele Beispiele Beispiel eines Laborexperiments: Studie von Marsh, 2009: Manipulation der Körpergrösse Experimental- Ergebnis der gruppe Studie: «gross» • Mehr Kompetenz • Mehr Vertrauen Experimental- • Mehr gruppe Glaubwürdigkeit «klein» Untersuchungs- Intervention/ Messung nach der Manipulation: objekte: Manipulation: - Kompetenz - 2 Gruppen - Körpergrösse - Vertrauen gross/klein - Glaubwürdigkeit Manipulationscheck: Probanden mussten Körpergrösse einschätzen 47
7.4. Illustrative Beispiele Beispiele Beispiel eines Feldexperiments: «McDonald’s Stanford»-Studie − Experiment: Testen von Esswaren auf Geschmackswahrnehmung 48
7.4. Illustrative Beispiele Beispiele Beispiel eines Feldexperiments: «McDonald’s Stanford»-Studie Gruppe 1 «mit Logo» Ergebnis: Mit Logo schmeckt es besser Gruppe 1 «ohne Logo» Untersuchungs- Intervention/ Messung nach der Manipulation: objekte: Manipulation: - Geschmack - 1 Gruppe - Logo Experimentaldesign: Randomized, single-blind, within-subject-design 49
7.4. Illustrative Beispiele Beispiele Beispiel eines Factorial Designs Hat die Schönheit eines Models einen Einfluss auf die Beurteilung von Produkten? − Hypothesen: Die Schönheit des Models beeinflusst die Probanden (=Frauen) positiv, egal ob es sich um ein «attractiveness-unrelated» oder «beauty-enhancing» Produkt handelt − Es gibt folglich zwei Faktoren mit je zwei Ausprägungen (=> 2*2 = 4 Gruppen) − Empirischer Hypothesentest mit 4 Anzeigen: − „My kind of beauty“ für den Lippenstift (1x mit Anna Kournikova, 1x mit Jana Novotna) − „My clever housemaid“ für den Staubsauger (1x mit Anna Kournikova, 1x mit Jana Novotna) Praxmarer (2006) 50
7.4. Illustrative Beispiele Beispiele Beispiel eines Factorial Designs Hat die Schönheit eines Models einen Einfluss auf die Beurteilung von Produkten? Intervention / Manipulation: • «Schönheit» des Models • Produkt Messung nach der Manipulation: • Einstellung zur Anzeige • Einstellung zum Produkt • Kaufabsicht • Selbsteinschätzung ‘Schönheit’ Manipulationscheck: Einschätzung der Schönheit des Models Experimentaldesign: «randomized, 2x2 factorial, between-subject-design» Praxmarer (2006) 51
Sie können auch lesen