Bloggers

Instructievideo’s gemaakt met of zonder AI: onderzoek laat opvallende effecten zien

Onderzoekers van de ETH Zürich, onder leiding van Torbjørn Netland, hebben instructievideo’s gemaakt door docenten vergeleken met instructievideo’s die zijn gegenereerd met behulp van meerdere AI-tools. Zij hebben daarbij gekeken naar gevolgen voor leerresultaten op korte termijn, naar de voorkeur van lerenden en naar de productietijd. Wat valt op?

Voor het experiment werden 447 deelnemers, die gebruik maken van via Amazon Mechanical Turk, willekeurig verdeeld over twee groepen. Elke groep bekeek vier video’s over onderwerpen op het gebied van operations management: werkplekorganisatie (5S), technische probleemoplossing (TRIZ), just-in-time en Kanban (logistiek), en economische ordergrootte (EOQ). De AI-video’s werden gemaakt met ChatGPT3.5 voor het script, Midjourney en Dall-E voor beelden, en Movio voor het genereren van een AI-avatar met audio.

Het artikel bevat ook links naar video’s zodat je deze ook zelf nog kunt bekijken en vergelijken. Voorbeeld:

• Video over 5S zonder AI.
• Video over 5S met AI.

Via een vragenlijst is gekeken naar de leerervaring en met behulp van een schriftelijke toets naar de leerresultaten.

Opvallende resultaten:

• Lerenden waardeerden de door docenten gemaakte video’s iets hoger, met een verschil van ongeveer 4%.
• De leerresultaten voor beide soorten video’s waren  vergelijkbaar – lerenden deden evenveel kennis op, ongeacht of ze leerden van een video die door een docent is gemaakt, of met behulp van AI is gegenereerd.
• Een praktisch voordeel van met behulp van AI gegenereerde video’s bleek de productietijd. Waar een video door een docent 16-28 uur kostte om te maken, was een AI-video in 3-4 uur klaar. Wel was er menselijke controle nodig bij het samenstellen van de AI-content.

De verschillen in waardering verschilden per onderwerp. Bij TRIZ en EOQ werden de door docenten gemaakte video’s beter beoordeeld, terwijl bij 5S en JIT/Kanban de ‘AI-video’s’ juist iets hoger scoorden. De onderzoekers noemen enkele mogelijke verklaringen voor de algemene voorkeur voor door docenten gemaakte video’s. Docenten kunnen emoties en betrokkenheid overbrengen. Dit maakt het leerproces aantrekkelijker. Ook kan er sprake zijn van een zekere scepsis tegenover AI-gegenereerde content.

Het onderzoek kent enkele beperkingen, zo schrijven Netland cs. De video’s waren kort en behandelden relatief eenvoudige, feitelijke onderwerpen. De resultaten kunnen anders zijn voor langere video’s of complexere onderwerpen. Ook ontwikkelt de AI-technologie zich snel; de video’s werden gemaakt in het voorjaar van 2023. Nieuwere AI-tools kunnen mogelijk betere resultaten geven.

De onderzoekers concluderen dat AI-gegenereerde onderwijsvideo’s waarschijnlijk een grotere rol gaan spelen in het onderwijs. Ze suggereren dat een combinatie van menselijke en AI-input mogelijk de beste aanpak is: docenten kunnen samenwerken met AI-tools om effectief en efficiënt onderwijsmateriaal te maken. Dit kan vooral nuttig zijn in situaties waar snelheid, schaalbaarheid en consistentie belangrijk zijn.

De studie benadrukt uiteraard ook het belang van verder onderzoek, met name naar complexere onderwerpen en langere video’s. Ook wijzen de onderzoekers op het belang van ethische overwegingen en de menselijke rol in het onderwijs, zelfs bij de inzet van AI-tools.

Mijn opmerkingen

Merk op dat het binnen dit onderzoek om vrij traditionele instructievideo’s gaat, dus zonder interactie en met het klassieke format van een ‘pratend hoofd’. Het is de vraag of je meer interactieve video’s of video’s volgens een ander format gemakkelijk met behulp van generatieve AI, en zonder veel menselijk handwerk, kunt maken. Maar zelfs in die gevallen zal de productietijd aanzienlijk korter zijn, en het leereffect mogelijk vergelijkbaar. De onderzoekers hebben ook alleen gekeken of lerenden de inhoud op korte termijn hebben onthouden, en niet of zij de inhoud (op langere termijn) kunnen toepassen.

Ik had overigens verwacht dat lerenden de video’s, die zonder AI-tools zijn gemaakt, hoger zouden waarderen dan nu het geval is. Het is knap dat je in korte tijd dergelijke video’s kunt maken. Maar de spreker komt wel erg onnatuurlijk over. Uiteraard is deze technologie, zoals gezegd, sterk in ontwikkeling.

In de toekomst zal de kwaliteit van dergelijke met behulp van AI gemaakte video’s, aanmerkelijk beter zijn. Ik verwacht dat een substantieel lagere productietijd dan zwaarder zal wegen dan een hogere waardering van door mensen gemaakte video’s, als de leerresultaten vergelijkbaar zijn.

Andere bronnen over generatieve AI

1. Human-in-the-loop or AI-in-the-loop? Automate or Collaborate?
2. Human Predictions for AI in Higher Education 2025
3. Sam Altman Says OpenAI Knows How to Build AGI in Blog Post
4. SchoolAI: How to Use It to Teach
5. A Guide to AI Prototyping for Product Managers
6. How to Get Results with AI Prompts for Video
7. AGI: Should More Than a Few People Know About It?
8. Las Vegas Cybertruck Explosion Raises Questions About AI Search Accuracy
9. Sam Altman Faces Sexual Abuse Lawsuit
10. AGI is Coming in 2025: Schools Urgently Need a Strategy
11. Microsoft Reverts Bing Image Creator After Quality Complaints
12. From AI Tutor to AI Student
13. Brisk: How to Use It to Teach
14. Our Predictions for AI in 2025: What Next for ChatGPT, Apple Intelligence and More
15. Dancing with the Devil We Know: OpenAI and the Future of Education
16. Education Policy Outlook 2024
17. More Humanitarian Organizations Will Harness AI’s Potential
18. Navigating the Ethical Dilemmas of AI in Higher Education
19. AI Tutoring outperforms Active Learning
20. How will AI change the world? 5 deep dives into the technology’s future
21. New Tests Reveal AI’s Capacity for Deception
22. Doctors Gave AI Chatbots a Cognitive Test. Their Diagnosis? Early Dementia
23. OpenAI begins 2025 with massive hype for AGI, superintelligence
24. Move over Siri and Alexa, AI agents are the digital assistants we’ve wanted
25. Leveraging AI for institutional improvement, continuous learning
26. ChatGPT’s artificial empathy is a language trick. Here’s how it works
27. ChatGPT now has over 300 million weekly users
28. Sam Altman: AGI Is “Achievable With Current Hardware”
29. What are AI Agents and why are they now so pervasive?
30. Why Agentic AI will transform the way we work
31. Gemini 2.0: Google ushers in the agentic AI era
32. OpenAI announces o3 and o3-mini, its next simulated reasoning models
33. Best ChatGPT Alternatives – Educators Technology
34. AI Tutors: Hype or Hope for Education?
35. How are new AI tools changing ‘learning analytics’?
36. Leveraging technology to better engage learners in lessons
37. Experts Share How Technology Can Support Cash-Strapped Schools and Busy Teachers
38. Higher education in 2025: AGI agents to displace people
39. Four Most Powerful AI Use Cases in Instructional Design
40. AI-Powered Mobile Apps Are Redefining Modern Education
41. OpenAI wants to pair online courses with chatbots
42. OpenAI Chatbots for Education: Custom GPTs to Possibly Help Improve Online Learning
43. The Rise Of Voice Assistants In Personalized eLearning
44. The 10 announcements that made 2024 a landmark year for AI
45. Here’s everything OpenAI announced in the past 12 days
46. AI is weaving itself into the fabric of the internet with generative search
47. GPT-5 reportedly falling short of expectations
48. ‘Yes, I am a human’: bot detection is no longer working
49. Universities in the age of AI
50. Educating the AI Generation
51. OpenAI’s ChatGPT Edu targets universities
52. Is AI education’s holy grail, or are we on the wrong quest?
53. Teachers feel most productive when they use AI for teaching strategies
54. 5 potential paths for GenAI in higher education
55. The Future Of Online Learning In Higher Education
56. AI in assessment: Considering assistive technology users
57. Assessing Replacements for Flip for Student Speaking
58. 3 Ways to Link IT Innovation to Campus Impact in 2025
59. AI demands Human Creativity in our Education System
60. Microsoft Education AI Toolkit
61. Many local governments ‘unprepared’ for safe AI use
62. Integrate AI Policies Into Professional Development Programs
63. What Teacher PD on AI Should Look Like
64. Try AI With English Learners? Here’s Where to Start
65. How universities ethically leverage AI
66. Students are leveraging AI to improve their grades
67. The potential of learning with (and not from) artificial intelligence in education
68. The 10 Most Significant Education Studies of 2024
69. Will AI Replace or Assist Teachers in Higher Education?
70. Where Open Education Meets Generative AI: OELMs – improving learning
71. Generative AI and the Nature of Work
72. Teens, Social Media and Technology 2024
73. AI Changed Student Cheating. Strategies to Stop It Remain Consistent
74. Universities must beware of reliance on big AI (opinion)
75. Former Google Chairman Thinks There May Be A Time To Unplug AI
76. AI tools may soon manipulate people’s online decision-making
77. New AI podcast creator, and it leaves Google’s NotebookLM in the dust
78. Study of ChatGPT citations makes dismal reading for publishers
79. Google’s AI weather prediction model is pretty darn good
80. Experts Offer 10 Big Data Predictions for 2025
81. Should Instructors Ask Students to Show Document Histories
82. Information literacy is critical in the digital AI age
83. Without AI Literacy, Students Will Be ‘Unprepared for the Future,’
84. Investing in the future of tech: Lessons from winning companies
85. As workers seek guidance on AI use, employers value skilled graduates

 Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

The post Instructievideo’s gemaakt met of zonder AI: onderzoek laat opvallende effecten zien first appeared on WilfredRubens.com over leren en ICT.
Lees het hele artikel