Online Proctoring von Prüfungen Geht das überhaupt? - Management Center Innsbruck - mci4me
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
1 Online Proctoring von Prüfungen Geht das überhaupt? Management Center Innsbruck Lyuba Stafyeyeva, MA MCI Learning Solutions
2 Agenda. • Proctoring am MCI • Entscheidungsprozesse und Grundüberlegungen für gezieltes Proctoring • Remote Proctoring während der Pandemie
3
Remote Proctoring von Prüfungen.
• Seit 2015 Prioritäten:
• Hauptszenario: Disloziertes Aufnahmeverfahren • Stabilität
• Sicherheit der Daten (Bewerber/innen und MCI)
• Motivation: mehr Flexibilität für Bewerber*innen
• Kompatibilität
• Setting: Live-Proctoring
• Verhinderung der Täuschungsversuche
Ablauf
30 min.: Bewerber/in betritt Adobe Connect Raum und erhält Anweisungen durch Proctor/in (Chatvorlagen):
• Webcam teilen
• Authentifizierung mittels Lichtbildausweis
• Kamera im Raum zu schwenken und richtig platzieren
• Login-Details für für das Testsystem werden übermittelt
Start der Prüfung:
• Bewerber/in startet das Testsystem und beantwortet Testfragen
• Proktor/in beobachtet Bewerber/in über Webcam
Abgabe: Bewerber/in beendet den Test, schließt das Testsystem
und erhält Infos zum weiteren Prozedere in Adobe Connect
Testende: Bewerber/in verlässt Adobe Connect Raum
4
Remote Proctoring von Prüfungen.
Software 3rd Party Testsystem Skype/Adobe Connect für
(Intelligenztests) Beaufsichtigung
Voraussetzungen Technische Vorbereitung / Studierende:
• Infopack „Dislozierte Prüfungen“ (Leitfaden, Links, Details zur
Testumgebung) inkl. Video-Tutorial
• Systemvoraussetzungen (Windows, stabile Internetverbindung, Netztest &
Techniktest)
• Hardware: Externe Webcam, Headset mit Mikrofon und Lautsprecher
• Technikcheck (Intelligenztest, Adobe Connect)
Technische Vorbereitung / Proctor*innen
• Schulung für Proctor*innen (Organisation, Kommunikation, Ablauf,
Protokollierung)
• „Leitfaden für Proctoring “ inkl. Vorlagen und Textierungen für Chat
Kommunikation während des Tests
• Erstellung Proctoring Raum (Adobe Connect)
5
Proctoring in der Zeit der Pandemie.
• Prüfungsszenarien:
• Schriftliche Prüfungen & Tests (formatives & summatives
Assessment)
• Open Book Exams (Proctoring für Authentifizierung)
• Mündliche Prüfungen
• Motivation: wir müssen den Studierenden eine Möglichkeit für die
laufende/Abschlußprüfungen anbieten
• Setting: Live-Proctoring
6
Proctoring in der Zeit der Pandemie.
Software MCI Prüfungssoftware Adobe Connect als Proctoring
(TCExam, Sakai Tests & Quizzes oder Software
Assignment Tool)
Voraussetzungen Technische Vorbereitung / Proctor*innen
& • Leitfaden für Proctor*innen und Admin „Proctoring Verfahren bei dislozierten
Prozesse Prüfungen“
• Schulung für Proctor*innen (Organisation, Kommunikation, Ablauf, Protokollierung)
• Chatvorlagen mit Anweisungen für Studierende
• Erstellung von Proctoring Raum (Adobe Connect)
• Unterstützung seitens Learning Solutions & IT
Technische Vorbereitung / Studierende:
• Leitfaden für Studierende „Proctoring Verfahren bei schriftlichen Prüfungen“
• Systemvoraussetzungen (stabile Internetverbindung, Netztest & Techniktest)
• Hardware: PC/Laptop, Externe Webcam, Headset mit Mikrofon und Lautsprecher
• Sandkiste/Technikcheck für Studierende (MCI Prüfungssoftware, Adobe Connect als
Proctoring Software)
7
Herausforderungen und Lösungsvorschläge.
Herausforderungen Lösungsvorschläge
Hohe Personalressourcen Beaufsichtigte Prüfungen gehören begründet (Rationale)
Nur Proctoring von kleineren Gruppen möglich Mehrere Prüfungstermine/parallele Prüfungsslots
Technische Ausrüstung/Stabilität von Seite der Technik-Checks und klare technische Anweisungen
Studierenden
Die rechtliche Situation (Prüfungsordnung) Rechtliche Hinweise im Leitfaden für Studierende:
• Eidesstattliche Erklärung
• Plagiatskontrolle
• Klare Richtlinien in Bezug auf die Verwendung von
Hilfsmaterialien
• Definition der Täuschungsversuche und daraus
folgenden Konsequenzen
Datenschutz & Privatsphäre DSGVO-konform Einverständniserklärung
8 Lessons learned. • Klare Kommunikation der Voraussetzungen (technische, administrative und organisatorische) • Sandbox für die Studierenden • Support/Hotline für Admin/Proctor*innen und Studierende • Ein funktionsübergreifendes Team (Learning Solutions, IT, Infrastruktur, Studiengang, QM) • Philosophie von Assessment: Welches Prüfungsformat macht Sinn?
9 Fazit. • Das Prüfungsverhalten von Studierenden ist online und in Präsenz sehr ähnlich • Gute Prüfungsaufsicht ist gute Prüfungsaufsicht • Lassen wir uns nicht täuschen ;-)
EDTECH AUSTRIA WEBINAR
Fernüberwachung von Prüfungen:
Dos and Dont's
27 May 2021Agenda
Introduction to ProctorExam
Why use remote proctoring
Changes of remote proctoring during the pandemic
Usage of remote proctoring within Europe
Questions
2Introduction to ProctorExam’s product
Leveraging technology to deliver authentic exams
Webcam & Mobile Record & Review Artificial Intelligence Session Reporting
Camera Dualvision + Live Proctoring Incident Report & Analytics
24/7 Chat Support Cloud Based – Full Integration with Encrypted Data
for the Test Taker Accessible from Anywhere Testing Platforms Protection
4Today we serve more than 150 test organisers worldwide and candidates in 194 countries
Higher Education Professional Licensing Partners
(Technology/Services)
3.3%
5Why use remote proctoring?
FRAUD PREVENTION
6How did remote proctoring change during the pandemic
1 Strong increase in online exams
2 Event driven for short term solution VS. long term strategic decision
○ Ex: Hybrid solutions
3 Usage of Record & Review vs. Live Proctoring
4 Unfamiliar with the aspects of remote proctoring
○ Changing operating procedures
○ Local and EU legislation → Decision making
○ From Exam commission perspective → Principles around equality of students
○ From Privacy organization perspective → GDPR
7Differences of remote proctoring implementation within Europe
● Large adoption of remote proctoring tools
before pandemic
● Brexit made status of GDPR within UK
different compared to rest of EU (eg.
Exposure of data to India is allowed)
● Pandemic led to an increase of the use of
proctoring solutions
● Government approved the use of remote proctoring
solutions to solve an immediate problem
● Students suing a university lost the lawsuit
● Pandemic led to an increase of the use of
proctoring solutions
● Emphasis put on data privacy and compliance to
GDPR
● Localization required
8Differences of remote proctoring implementation within Europe
● Every federal state is handling remote proctoring
differently -> decentralized approach
● Students are more aware on data privacy
compared to the rest of Europe
● Localization required
● Introducing remote proctoring by creating a
custom process (eg. Skype or MS Teams)
with own staff
● Remote proctoring is underdeveloped, mainly
used for students abroad.
9Questions ?
1
0Get in touch Connect +316 83 22 35 07 max@proctorexam.com
with Us Working days 9am to 7pm We are here to help!
1
1Remote monitoring of tests:
Do’s and Don’ts
Giuseppe Ruggieri, Managing Director
Certify AssessmentWhy Certify? Certify has been operating in the assessment field since 2018, but it has a tradition and ethos that go back to 2009, when International Testing & Training Services Ltd. (ITTS) was founded. We are not only a provider of software solutions, but have extensive direct experience of dealing with test takers globally at our 200+ test centres. We’ve delivered Remote Proctoring Services for 1,000’s of tests for in the Academic, Professional and Corporate sectors. Our solutions are truly global, with Proctors from The Caribbean, Europe, and Asia invigilating exams taken in Europe, Africa and Asia.
Choose the right delivery partner
Two communication during decision making process to ensure
alignment of thinking and goals
Set the vendor a scenario based task to review their approach to
potential challenges and situations
Be wary of potential partners who don’t say no!Test security
• Live Proctoring or AI modality
Second Camera • Covering desk and monitor
Randomised • Scheduled break at end of section
• Candidates can’t navigate back
question bank
• Photo and ID cross referenced against a database
Check in • Match must be confirmed for test to proceedPlatform Features
Does the platform How many Is there real
allow a second and concurrent exams Lockdown
even third camera? can you run? capability?
For large volumes,
how easily navigable Can AI modality be
is the platform? How run offline?
intuitive is it?Platform Features
Technical issues
Two way voice communication with IT support?
Candidates computer accessed remotely?
The human touch
Auditorium available? Real time professor support?
How else does the student feel reassured?Platform Features
Does AI flagging With Record and
assist proctor in LP Review can you
or Record and track time allocated
Review? per test?
Can supervisors Can you use AI to flag
monitor candidates proctor behaviour as
and proctors in Live well as candidate
mode? behaviour?Last but not least…
Is familiarisation and support available to the test taker via:
emails
video tutorials
system check functionalities
demo tests
Candidate technical support pre- as well as during the exam
Will they experience, as much as possible, a seamless exam session?
Is the vendor, your partner, prepared to engage in pilot projects gratis, before you commit?Benefits to your Institute • Certify Asssessment Solutions Ltd has worked in the field of remote proctoring in a number of different contexts in these last 12 months • Challenges of Institutions and Students has shaped our understanding of good service • Experience had necessitated the innovative solutions built into our platform • Home testing experience as close to University hosted, but not to the detriment of SECURITY! • Quality technology is pivotal. The empathy of, and communication to your students is critical
Questions?
Fernüberwachung von
Prüfungen:
Dos and Dont'sAbout me
➔ Master Student im Fach Human-Computer
Interaction an der Uni Salzburg / FH Salzburg
➔ Interessenschwerpunkt: digitale Lehre
➔ Ehem. Studierendenvertreter an der ÖH Uni SalzburgEinblick: Fernüberwachung einer Prüfung
Blackboard Prüfungen + Webex CallAls Student Frage ich mich …. … warum nicht einfach anders gestalten? ● Offene Fragen ● gemischte MC Fragen ● Essays/Seminararbeiten … wie bekomme ich ungestörte Privatsphäre, einen leistungsstarken Laptop und eine gute Internetverbindung in der WG?
Erfahrungen der letzten Semester Der online Prüfungsbetrieb bringt sehr viel Unsicherheit & Stress! ➔ Welche Kontrollmaßnahmen sind fake, welche sind echt? ➔ Was erwartet mich in dieser Prüfungssituation? ➔ Wird alles reibungslos laufen?
Statement “Der online Prüfungsbetrieb misst sich zu stark am Präsenz-Prüfungsbetrieb. Anstatt die Prüfungssituation im Hörsaal technisch nachzustellen, sollte hinterfragt werden, ob diese Form der Prüfung noch angemessen und relevant ist.”
Fernüberwachung: Wozu der Aufwand?
Effiziente Prüfung des
Könnens eines
Studierenden
Legitimation einer Leistung.
Gewährleistung einer PrüfungMein persönliches Empfinden
Fernüberwachung und online Prüfungsbetrieb sind kein technisches Problem,
sondern (1) eine Managementaufgabe und (2) eine Debatte über Legitimation.
(1) Online Prüfungsbetrieb muss gewollt und konzeptioniert sein, technische
Lösungen können dann folgen und einfach implementiert werden
(2) Die Debatte rund um online Prüfungen & Fernüberwachung fokussiert sich zu
stark auf den Aspekt Betrugsversuch. Der “Kompetenznachweis” rückt aus
dem Fokus.Forderungen aus Sicht der Studierenden ● Prüfungssituation: die Regeln müssen klar sein! ● Datenschutz: Was passiert mit meinen Aufnahmen? ● Sicherheit: Was passiert, wenn das Internet/der Laptop streikt? ● Freie Wahl: Studierende können zw. online & offline entscheiden ● Flexibilität: Prüfungstermine selbst bestimmen
Persönliche Meinung
● Es ist wichtig und richtig, Fernüberwachung von Prüfungen anzubieten
● Aber: Ausgereifte Fernüberwachung Technologien helfen nicht weiter, wenn
eine online Prüfungsabwicklung nicht an der Uni nicht gewünscht ist.
● Ich sehe procorting systeme als ein wichtiges Tool für Innovation in der
digitalen Lehre.
● Aber: Es braucht eine Debatte, wie angemessen und
notwendig proctoring Maßnahmen sind.Conclusio The digital transformation is not about technology, it’s about people.
Sie können auch lesen
