É Musikbett É

[00:00:05] Martin: Prolific ist eine Mšglichkeit, relativ komfortabel schnell grš§ere Gruppen von Personen zu erheben, also Studien durchzufŸhren, letztlich mit einer grš§eren Personenzahl. Eine Methode, die wir jetzt neu entdeckt haben fŸr uns und die doch sehr effizient und praktisch ist.

[00:00:23] Maik: Das Prinzip ist nicht neu, das gab es vorher schon. Relativ beliebt vorher war dieses Amazon Mechanical Turk. Das ist so eine Art, das ist nicht unbedingt ein VorlŠufer, das ist eher ein Konkurrenzprodukt. Das ist aber alles ein bisschen in Ungnade gefallen damals. Und deswegen war ich bei Prolific auch erst ein bisschen skeptisch, weil die DatenqualitŠt, naja, hšflich gesagt, nicht gut war. Prolific macht aber einiges sehr anders, weswegen es sich wirklich fŸr gewisse Zwecke gut eignen kann.

[00:00:49] Monika: Was diese Zwecke sind. Wie so eine Erhebung mit Prolific funktionieren kann, worauf man achten sollte und welche Stolpersteine es gibt, darŸber sprechen wir gleich. Und damit sage ich Hallo und herzlich willkommen beim Podcast Ÿber Forschung zu digitaler Bildung. Mein Name ist Monika Lšffler und meine beiden GŠste sind Juniorprofessor Dr. Maik Beege und Martin Abt. Beide forschen an der PH Freiburg.

[00:01:18] Maik: Ich bin Lehr-/Lernforscher und dann wird meistens mit der Stirn gerunzelt und es wird gefragt Was bedeutet das denn Ÿberhaupt? Und dann sage ich in der Regel, dass ich multimediales Lehren und Lernen erforsche aus eher Ÿberfachlicher Perspektive.

[00:01:31] Martin: Ich bin Lehrer und das stimmt ja auch nach wie vor, auch wenn ich jetzt seit 2021 an die PŠdagogische Hochschule abgeordnet bin und da die Mšglichkeit habe, zum Thema digitale Tools im Mathematik-Unterricht zu forschen in so einem Forschungs- und Nachwuchskolleg.

[00:01:52] Monika: Mike, Du hast ja mehrere Studien mit Prolific schon gemacht. Kannst du uns einen Einblick in Dein Studiendesign geben? 

[00:02:00] Maik: WofŸr es sich sehr gut eignet, ist, wenn man, bevor man in gro§e Hauptuntersuchungen geht, zum Beispiel dass man sein Design - man nennt das pilotiert - also quasi mal ein paar Leute oder ein paar mehr Leute den Lerntest ausfŸllen lŠsst und den nach psychometrische GŸtekriterien zu ŸberprŸfen. Was ich zum Beispiel gemacht habe Ÿber Prolific, ist, dass ich interaktive Videos implementiert habe in einer Onlineumgebung. Interaktive Videos sind im Endeffekt Lernvideos, die durch SelbsterklŠrungsprompts unterbrochen werden. Also kurze Fragen, in dem man im Video vorkommendes nochmal zusammenfassen oder erklŠren muss. Und das habe ich die Leute machen lassen und geschaut, wie aufmerksam schauen die das Video und wie hoch ist auch diese QualitŠt dieser SelbsterklŠrungen, um grob einschŠtzen zu kšnnen, es sind vielleicht die Fragen zu schwer, zu schwach, treffen die wirklich das VerstŠndnis, was ich haben mšchte. Und dann am Ende habe ich noch einen kleinen Lerntest eingebaut, um zu schauen, lernen die denn wirklich was daraus. Das sind Sachen, die kann man Leuten zumuten online. Man muss natŸrlich immer wissen, dass es eine gewisse Blackbox ist, im Labor oder selbst in der Schule mit SchŸlern und SchŸlerinnen habe ich eine gewisse Kontrolle oder sehe zumindest, was die tun oder wo Probleme liegen. Das sehe ich natŸrlich online nicht. Man sieht nur einen anonymen Code, der dann durch die eigene Studie durchrattert und hoffentlich alles verstanden hat.

[00:03:12] Monika: Martin, wie ist bei dir? Was hast du fŸr eine Art von Studiendesign? Das ist Šhnlich.

[00:03:16] Martin: Ja, tatsŠchlich ist es bei mir eigentlich eher fast umgekehrt. Also wir haben die Pilotierung in einer vielleicht eher klassischen Weise gemacht, hier vor Ort an der PŠdagogischen Hochschule erhoben und haben das Ganze Ÿber Prolific dann eigentlich eher skaliert. Also wir sind dann auf eine Stichprobengrš§e von 300 Ÿber Prolific gegangen und hatten allerdings auch ja eine im Prinzip querschnittliche Untersuchung von einem Item Set, was mit kongruenten und inkongruenten Items gearbeitet hat und sozusagen natŸrlich jetzt auch keine Intervention oder nicht Ÿber einen lŠngeren Zeitraum das erhoben, sondern es war im Prinzip ja 36 Items, die prŠsentiert wurden, wo es dann im Prinzip um richtig oder falsch ging.

[00:03:50] Monika: Wie seid ihr dazu gekommen, euch dann fŸr Prolific an sich zu entscheiden, also euer Vertrauen fŸr eure Forschung an diese Firma sozusagen weiterzugeben? MaikÉ

[00:04:00] Maik: Also ich hatte mit diesen Onlineerhebungen eigentlich abgeschlossen. Ich erinnere mich, ich kann es jetzt leider nicht genau zitieren, weil das jetzt schon ein paar Jahre her ist, aber es gab bei Mechanical Turk mal jemanden, der hat die DatenqualitŠt untersucht und herausgefunden, dass sehr viele Bots dabei sind, dass auf einmal sehr viele Teilnehmenden von derselben IP kommen, zum Beispiel. Und da habe ich eigentlich gedacht, das ist absolut unmšglich, solchen Daten zu vertrauen, solchen anonymen Onlinedaten. Und erst Jahre spŠter hat mich ein Kollege auf Prolific aufmerksam gemacht, ich mit meiner bereits voreingenommenen Skepsis schon gesagt: na, vielleicht mal angucken, aber das wird wahrscheinlich nichts werden. Und dann war ich aber tatsŠchlich sehr Ÿberzeugt von dem Prinzip. Das Gute ist, dass es halt bestŠtigte, verifizierte Anmeldungen sein mŸssen. Also Bots sind sehr, sehr, sehr, sehr unwahrscheinlich, wenn nicht sogar eigentlich fast unmšglich. Plus man hat als jemand, der die Studie leitet, sehr, sehr hohe Kontrolle. Man kann quasi jeden Proband, jede Probandin sich anschauen von der Gesamtzeit, Ÿber die gewissen Zeitabschnitte, die die gebraucht haben. Man kann jede Person persšnlich anschreiben, man muss jede Person zur Teilnahme auch manuell verifizieren. Also hat auch die Kontrolle noch mal zu sagen, okay, das war eine verifizierte Teilnahme oder nicht. Und da wurde ich dann hellhšrig und dachte mir, ich probiere es mal aus.

[00:05:17] Monika: Und du hast dann davon profitiert, dass Maik schon Vertrauen hatte?

[00:05:21] Martin: Ja, wobei, wir haben es relativ unabhŠngig voneinander ausprobiert und haben dann erst spŠter festgestellt, dass wir beide Erfahrungen damit gemacht haben. Und ich wŸrde vielleicht noch ergŠnzend zu dieser forschungsethischen Frage, dass Prolific auch den Eindruck zumindest erweckt, dass sie gut mit ihren Teilnehmenden umgehen. Also es gibt eine untere Grenze fŸr die Bezahlung und man muss auch wirklich gut begrŸnden, wenn man jemanden von der Teilnahme ausschlie§t am Ende. Und ich glaube, das geht in beide Richtungen und ich denke, das gehšrt zu einer ja soliden Forschungsethik ja auch dazu.

[00:05:50] Monika: Die Probandinnen selbst, das sind ja Clickworker, also Leute, die sich anmelden, um eben halt fŸr diese Studien dann auch nebenbei Geld zu verdienen. Das machen ja Leute, die sonst an Studien teilnehmen ja auch. Also normalerweise kriegen die ja auch immer einen Obolus. Was denkt ihr, was macht das, dass das Leute sind, die bezahlt sind?

[00:06:09] Maik: Das ist eine Diskussion, die ist glaube ich, so alt wie die StudiendurchfŸhrung an sich. Wir haben lange darŸber diskutiert, Was macht das denn, wenn jemand rein extrinsisch motiviert an Studien teilnimmt? Das sowohl bei Studierenden, die ja bei manchen StudiengŠngen so was wie Versuchspersonenstunden bekommen, als auch eine Bezahlung. Und natŸrlich hat das einen Einfluss auf die Ergebnisse. Glaube ich zumindest. Aber was ich feststellen kann, zumindest im Labor ist es oft so, dass sobald die Studie einmal startet, die Leute dennoch sehr aufmerksam und konzentriert - zumindest im Mittel - daran teilnehmen und aus den ersten Erfahrungen, die ich gemacht habe, von der QualitŠt von SelbsterklŠrungen zum Beispiel oder der QualitŠt von Wissenstests, scheint das online auch der Fall zu sein. Also mir ist jetzt bis auf wenige Ausnahmen nicht also kaum untergekommen, dass sich Leute durchklicken oder dass Leute sehr, sehr oberflŠchlich mit dem umgehen, was man ihnen da entgegenwirft.

[00:07:01] Martin: Dem wŸrde ich mich anschlie§en. Also ich glaube auch, dass man immer - oft wird das dann ja sozusagen gegen die Mšglichkeit, eben im und der eigenen Studierenden zu erheben oder ins Klassenzimmer zu gehen - also ich denke, da findet auch eine Form von Selektion und ein Bias statt. Ja, also natŸrlich sind die Studierenden der eigenen Veranstaltung nicht unabhŠngig. Das sind unterschiedliche Aspekte, die da natŸrlich mit reinspielen. Aber in vielen FŠllen wird die Stichprobe in irgendeiner Weise so ein Bias aufweisen, der aber dann gleichmŠ§ig Ÿber die Stichprobe verteilt ist. 

[00:07:31] Monika: In Prolific kann man ja unglaublich viel filtern, welche Probandinnen man zulassen will. Wie seid ihr denn mit den Filtern umgegangen?

[00:07:40] Maik: Ja, das ist eine der absoluten StŠrken von Prolific. Allgemein ist die Anzahl der angemeldeten Menschen gigantisch. Das habe ich gar nicht kommen sehen. Das sind hunderttausende Leute, aus denen man irgendwie auswŠhlen kann. Und man kann den Filter jetzt natŸrlich beliebig eng setzen von NationalitŠt Ÿber Sprache, Ÿber Altersgruppen, Ÿber gewisse Interessen oder Berufsgruppen. So was wie ich mšchte nur LehrkrŠfte oder nur Studierende oder so. In der Regel habe ich bis jetzt deutschsprachige Studien gemacht. Da kann man sich entweder aussuchen, ob man die Sprache auf Deutsch oder Probanden/Probandinnen auf in Deutschland geboren einstellen mšchte. Das hat natŸrlich einen erheblichen Einfluss auf die Menge an Leuten, die teilnehmen kšnnen. Ich finde es richtig gut, kann ich nur sagen. Und ich wei§ nicht, Martin, du kannst dazu ja auch noch was sagen.

[00:08:23] Martin: Ja vielleicht noch zwei ErgŠnzungen. Also zum einen die Sache mit den LehrkrŠften, weil das vielleicht auch fŸr viele, die es in der Bildungsforschung unterwegs sind, auch ein interessantes Forschungsgebiet ist. Man hat die Mšglichkeit, einen Filter zu setzen im Sinne von - ich wei§ jetzt nicht genau die Formulierung im Englischen - aber im Sinne von hat in seinem Beruf mit LehrtŠtigkeiten zu tun, was aber ein ganz weiter Begriff ist. Also deshalb wŸrde ich tatsŠchlich sagen, es ist wahrscheinlich schwierig, reine LehrkrŠfte-Forschung mit Prolific zu betreiben, also das, was wir als Lehrkraft verstehen, also irgendwie im klassischen Schulwesen, das ist, glaube ich, schwer zu selektieren Ÿber die Plattform. Und das andere ist die Sprache. Ja, wir hatten eine englischsprachiges Studiensetting, einfach weil wir auch dachten, dadurch kriegen wir sozusagen die die Grundgesamtheit sozusagen erhšht und haben festgestellt, dass der Filter flŸssig in englischer Sprache tatsŠchlich sehr unterschiedlich ausgelegt wird. Und wir hatten wirklich hohe SprachhŸrden am Anfang. Also das meiste muss man vielleicht auch sagen. Worauf diese Filter zurŸckgreifen, sind ja SelbstauskŸnfte. Also das wenigste wird ja wirklich sozusagen gegengecheckt und da ist einfach flŸssig in Englisch sehr variabel. Und deshalb haben wir zum Beispiel dann nachher tatsŠchlich Englisch als Muttersprache, also als Filter gesetzt und haben damit dann doch bessere Erfahrungen gemacht.

[00:09:37] Monika: Das kostet wahrscheinlich viel Zeit. Also genau dieser Moment, das Studiendesign umzusetzen.

[00:09:44] Martin: Ja und witzigerweise beispielsweise auch, sich Ÿber so Sachen bewusst zu sein, wie zum Beispiel, dass die Zeit, zu der man die Erhebung online schaltet, eine Rolle spielt. Also wenn ich englischsprachig erhebe, dann ist USA -  wenn ich zu mich nachmittags irgendwie um 17:00 an den Rechner setze - dann habe ich natŸrlich. Auch darŸber eine Form von Selektion. Also da werde ich keine BerufstŠtigen in meiner Stichprobe haben, sondern natŸrlich vorrangig zu einem gewissem Zeitpunkt am Rechner sitzen.

[00:10:09] Monika: Je nach Zeitverschiebung halt. Du wolltest gerade was ergŠnzen Maik.

[00:10:12] Maik: Ich habe mich dann irgendwann von Deutsch als Muttersprache, auch als gebŸrtig Deutsch dann umentschieden. TatsŠchlich, weil tatsŠchlich das eine Selbstauskunft ist, was spŠtere Kommunikation mit gewissen Probanden/Probandinnen erschweren kann. Und da war ich mir dann auch ein bisschen in Sorge Ÿber die DatenqualitŠt, Aber das macht eine ganze Menge aus. Also das sind bestimmt Muttersprachler. Ja, sieben, acht Mal mehr potenzielle Probanden/Probandinnen als wirklich gebŸrtige.

[00:10:36] Monika: Vielleicht muss man noch sagen also es ist natŸrlich ab 18. Kinder, Jugendliche wird man damit nicht befragen kšnnen. Ich hatte gesehen, man kann entweder eigene Surveys einbinden oder eben auch die von Prolific nutzen. Was wŸrdet ihr sagen - eure Daten, eure Forschung - Sicherheit und so?

[00:10:55] Maik: Ich habe das Prolific eigene Tool noch gar nicht mehr angeschaut. TatsŠchlich die PH Freiburg hat LimeSurvey Lizenzen und LimeSurvey ist auch was die DSGVO Standards angeht eigentlich mit das Beste, wenn es auch wieder im Forschungskontext nicht das Umfangreichste ist. Aber fŸr mich hat es immer gereicht. Wenn man sich damit ein bisschen auseinandersetzt, kann man da alles einbinden und alles so erklŠren, dass es eigentlich komplett stšrungsfrei funktioniert. Au§er man schaltet die Studie an dem Tag hoch, wo aufgrund des Stromausfalls die Server ausfallen. 

[00:11:29] Monika: Ja okay - bei VulkanausbrŸchen, Wetter, Streik und so muss man halt aufpassen. Hast du das auch so gemacht?

[00:11:36] Martin: Ja, also ich kann mich da anschlie§en. LimeSurvey ist eigentlich ein wirklich fŸr viele Zwecke sehr geeignetes Tool. Wir hatten am Anfang so ein bisschen Sorge, was sozusagen die maximal gleichzeitigen Zugriffszahlen ermšglichen, aber da haben wir keine Probleme festgestellt. Ich glaube, das Entscheidende ist, dass der Link von der Prolific-Plattform zum PH eigenen LimeSurvey gut funktioniert. Das Entscheidende ist, dass man einfach die Prolific-ID - das ist sozusagen die Zuordnung, dass die eindeutig ist - das hei§t, dass man sicherstellt, dass die in irgendeiner Weise (Da bietet Prolific mehrere Mšglichkeiten an) von LimeSurvey dann aufgenommen, also zugeordnet wird zum Datensatz, weil man natŸrlich von Prolific am Ende immer eine ganze Reihe von Kovariaten einfach zur VerfŸgung gestellt bekommt. Also Bildungsabschluss, Alter usw. und die kann man nur matchen, wenn natŸrlich die Prolific-ID wirklich genau bei dem Datensatz dann auch landet, den man dann Ÿber LimeSurvey erhoben hat.

[00:12:28] Monika: Also ihr habt ja sozusagen nur auf die Proband*innen zugegriffen und habt eure Forschung woanders und darauf hat dann wieder auch Prolific keinen Zugriff. Ne? Also ist das ja insofern eine sichere Variante und DGSVO-konform, wenn ich es richtig verstanden habe. 

[00:12:44] Martin: NatŸrlich. Wir kšnnen nicht sicherstellen, dass unsere Items sozusagen. Also Bildschirmfoto kann natŸrlich jeder anfertigen. Also wenn es jetzt sensible ItemsŠtze sind, die nur Paper based irgendwie unter Kontrolle, dann ist das natŸrlich nicht geeignet. Aber das ist ja mit wie immer so, wenn man es remote an der Studie teilnimmt. 

[00:13:00] Monika: Maik, du hast schon geschrieben, dass QualitŠt und Geschwindigkeit einfach grandios waren fŸr dich, dass du davon wirklich Ÿberzeugt warst.

[00:13:08] Maik: Ja, also zu ganz gro§en Teilen. Ich musste im Nachhinein immer Probanden Probandinnen ausschlie§en, was ich auch jedem empfehle, der sich daran mal probiert: Man kann in LimeSurvey die sogenannten Times-stamps tracken. Also wie viel hat jede Person fŸr jede Fragengruppe gebraucht. Und manchmal fallen mir da kleine Ungereimtheiten auf. Wenn jemand bei einem zehn Minuten Video nach acht Minuten weiterklicktÉ Okay, das kann nicht funktionieren, aber das ist mir vielleicht in fŸnf Prozent der FŠlle passiert. Das klingt jetzt erstmal viel, aber ich kann sagen so aus Feld Erhebungen und Laborstudien. Es gab GrŸnde, Šhnliche ProzentsŠtze von Probanden Probandinnen auszuschlie§en. Deswegen fand ich das absolut stark und ich plane sowas auch ein. Und die Geschwindigkeit ist natŸrlich top.

[00:13:50] Martin: NatŸrlich kann man im Prinzip die Erhebung online schalten und dann vom Rechner gehen. Ich wŸrde trotzdem empfehlen, gerade bei den ersten Tranchen einfach am Rechner zu bleiben. Es gibt einen Messenger, wo also sich Teilnehmende melden kšnnen bei den StudiendurchfŸhrenden und beispielsweise melden kšnnen wir irgendwas technisch nicht funktioniert. Und das wŸrde ich auf jeden Fall empfehlen, diesen Messenger im Blick zu halten. Man hat eigentlich immer welche dabei, die da doch recht detailliert und fundierter RŸckmeldung geben. Und wenn man das einfach nicht registriert, dann ja nimmt man sich die Mšglichkeit, das dann zu verbessern. Gerade weil es natŸrlich auch technische HŸrden gibt, die man vielleicht gar nicht auf dem Schirm gehabt habe. Selbst wenn man selber die LimeSurvey-Umgebung durchgeklickt hat, dann ist.

[00:14:28] Monika: Das ja quasi ad hoc. Also du stellst das Ding online, sagst, so jetzt kann es losgehen, hast deine Proband*innen und dann lŠuft es?

[00:14:34] Martin: Richtig. Also ich kann Beispiel: Am Anfang war ich total enttŠuscht bei meiner ersten Tranche und dachte oh Gott, also was ist das? Prolific ist doch nichts fŸr mich. Weil Ÿberhaupt keine sinnvolle Angabe bei den ersten zehn Leuten kam. Und dann hat sich herausgestellt, dass ich Ÿber LimeSurvey die Bilder als PDFs hochgeladen habe und die sind einfach nicht fehlerfrei darstellbar. Das hei§t, bei den Teilnehmenden kam einfach ein leerer Bildschirm an und es ist nicht verwunderlich, dass da natŸrlich dann keine guten RŸckmeldungen kommen. Und es gibt - das muss man vielleicht dazu sagen - Es gibt halt dann Teilnehmende, die da trotzdem einfach durchklicken und sagen nach dem Motto ja, wenn die halt nicht ihre Bilder da hochladen, dann kriege ich halt irgendwas an.

[00:15:11] Monika: Hab voll viel gelernt.

[00:15:12] Martin: Ja, genau. Aber, aber es gibt halt dann doch welche, die sagen: Sorry, ich habe gar nichts gesehen und dann kommt man halt doch auf den Trichter. Vielleicht ist es auch ein technisches Problem, was bei mir liegt.

[00:15:23] Monika: Ja gut, das ist auf jeden Fall immer ein bisschen Trial-and-Error, bis man halt einfach raus hat, wie man mit diesen Tools umgehen muss. Was wŸrdet ihr sagen, so auf so einer Skala von 1 bis 10, wie schwierig ist es wirklich sinnvoll, Prolific einzusetzen?

[00:15:39] Maik: Ist eins sehr schwierig oder zehn sehr schwierig. Zehn ist sehr schwierig?

[00:15:42] Monika: Ah ja genau, habe ich nicht gesagtÉ. Zehn ist schwierig.

[00:15:45] Maik: Keine Ahnung. Zwei, drei. Man muss sich schon im Klaren sein, dass man Instruktionen gibt, die leicht verstŠndlich sind. Aber aufgrund der vielen Einstellungsmšglichkeiten wŸrde ich es eher als intuitiv einschŠtzen.

[00:15:56] Martin: Die Dokumentation, die Prolific bereitstellt, ist wahnsinnig detailliert, an manchen Stellen vielleicht schon fast unŸbersichtlich, aber es lohnt sich auf jeden Fall, da genau rein zu gucken. Es ist glaube ich sehr wichtig, dass man eine gute Beschreibung seiner Studie auch in die sozusagen in die Ausschreibung mit reinstellt. Einfach, dass die Teilnehmenden wissen, was auf sie zukommt, was sie auch mŸssen und was sie nicht mŸssen. Also wenn am Ende irgendwelche Kopfhšrer erforderlich sind oder Ton erforderlich ist, dann mŸssen das Teilnehmende vorher wissen.

[00:16:25] Monika: Naja, man kann auch aussuchen mit Smartphone, mit Tablet, mit PC oder so.

[00:16:29] Martin: Genau das wŸrde ich einfach sehr transparent vorher angeben, was man da von den Leuten erwartet und was auch nicht.

[00:16:35] Monika: Die Probandinnen werden nur dann bezahlt, wenn ihr sozusagen sagt: Hat erfolgreich teilgenommen.

[00:16:41] Maik: Man hat wŠhrenddessen immer live den †berblick, was gerade passiert, wie viele Probanden/Probandinnen mit auch welchem Code sind. Gerade in der Umfrage welches sind schon fertig, welche haben vielleicht - man nennt das ge-time-outet -, die haben einfach mittendrin aufgehšrt, welche haben auch wieder abgebrochen. So was gibt es auch, die muss man auch nicht bezahlen, das ist deren eigene Entscheidung. Und am Ende gibt Prolific in der Liste aus von allen, die von Anfang bis ganz zum Ende dabei gewesen sind. Man kann dann wirklich durchgehen und jede Person einzeln abhaken. Und in der Regel funktioniert das auch butterweich.

[00:17:10] Monika: Bei 300 Leuten bist du da ein bisschen beschŠftigt.

[00:17:13] Martin: Bin ich beschŠftigt. Also ich denke immer im VerhŠltnis zu was - Also, wenn ich es anders erheben wŸrde, wŠre ich die Zeit auch beschŠftigt. Also insofernÉ Ja, es ist eine sehr angenehme Art.

[00:17:22] Monika: Kosten Nutzen scheint mir jetzt aus euren Antworten her auf jeden Fall gerechtfertigt.

[00:17:28] Martin: Ja, das Payment ist fair, das ist aber auch sehr transparent aufgeschlŸsselt, wie viel Prozent an die Plattform gehen und wie viel Prozent wirklich dann an die an die Teilnehmenden gehen.

[00:17:37] Monika: Welchen Tipp wŸrdet ihr anderen geben, die zum Ersten Mal mit Prolific arbeiten? Was kšnnen die von euren Erfahrungen lernen?

[00:17:45] Maik: Testet euren LimeSurvey vorher mit Leuten, die nichts mit diesem LimeSurvey zu tun hatten, dass der auch reibungslos funktioniert. Setzt euch mit dem Probanden-Filter auseinander, um euch klar zu machen, welche Menschen mšchtet ihr wann und wie erheben. Was noch wichtig ist, was wir glaube ich noch nicht erwŠhnt haben: Man stellt erstmal alles fertig und dann wird der Preis veranschlagt, was die Studie kosten wŸrde. Und dann muss man die Rechnung beantragen, die Rechnung Ÿberweisen. Das dauert alles noch ein kleines bisschen, so was einzuplanen. Was denkst du?

[00:18:15] Martin: AnsonstenÉ Ich wŸrde vielleicht empfehlen - auch wenn man reine Multiple Choice oder wei§ ich nicht, Skalen oder was auch immer fŸr Items prŠsentiert - vielleicht doch ein qualitatives Item noch mit einzupflegen, wo die Teilnehmenden tatsŠchlich was schreiben mŸssen. Auch wenn es vielleicht im eigenen Studiendesign gar nicht am Anfang unbedingt vorgesehen ist. Einfach im Wesentlichen als ja - noch mal eine Form von Check - wen habe ich da eigentlich vor mir? Wer beantwortet das? Hat die Person sich damit auseinandergesetzt? Also wir hatten ganz am Ende noch mal ein qualitatives Item, was wir letztlich nicht ausgewertet haben, aber was uns einfach noch mal sozusagen als Marker dafŸr gedient hat: Wurde einfach nur geklickt oder ist tatsŠchlich auch irgendwie der Inhalt wahrgenommen worden?

[00:18:53] Maik: Was ich mal gemacht hatte, war, so Fragen zu stellen und explizit dazu zu schreiben, dass es sich nicht auf die Bezahlung auswirkt. Aber ich mšchte schon gerne wissen, ob Sie externe Recherche-Tools wie Google benutzt haben oder ob Sie halt mal kurz eine Minute Pause gemacht haben und eine WhatsApp geschrieben haben oder so. In der Regel - natŸrlich Selbstauskunft Ð man wei§ ja nicht, ob die die Wahrheit sagen. Aber es gab dann doch zwei, drei Leute, die dann ja angekreuzt haben und die ich dann tatsŠchlich auch aufgrund dessen ausgeschlossen habe.

[00:19:17] Monika: Kannst ja mit der KI mal kurz die Antworten schreiben lassen. 

[00:19:23] Maik: Ja, wer wei§. Klar, es gibt genug UnterstŸtzungstools, die man dann nutzen kann.

[00:19:27] Monika: Das ist wohl wahr. Was habe ich nicht gefragt? Was hŠtte ich noch unbedingt fragen sollen?

[00:19:32] Maik: Mir fŠllt gerade auf die Schnelle nichts ein.

[00:19:33] Martin: Nee, ich finde auch, wir wurden gut, gut ausgefragt. Mir fŠllt jetzt auch nichts ein, wo ich jetzt sagen wŸrde, dass es unbedingt noch wichtig. 

[00:19:41] Monika: Vielen, vielen Dank fŸr eure Zeit, Eure AntwortenÉ Ich drŸcke mal auf (Stop)

[00:19:50] Monika: Und damit sind wir am Ende der ersten Folge des Podcasts Ÿber Forschung zu digitaler Bildung. WeiterfŸhrende Informationen zu Prolific haben wir in den Shownotes verlinkt. Mein Name ist Monika Lšffler und dieser Podcast ist eine Produktion des CIRDE - Center for Interdisciplinary Research on Digital Education der PŠdagogischen Hochschule Freiburg.