News+Alt+Entf

News+O

News+A

Paper+Alt+Entf

Paper+O: KI-Jeopardy

Balepur, Nishant; Ravichander, Abhilasha; Rudinger, Rachel

Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? Sonstige

In-progress preprint, 2024.

Abstract | Links | BibTeX

@misc{balepur2024artifacts,

title = {Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question?},

author = {Nishant Balepur and Abhilasha Ravichander and Rachel Rudinger},

url = {https://doi.org/10.48550/arXiv.2402.12483},

doi = {10.48550/arXiv.2402.12483 Focus to learn more},

year = {2024},

date = {2024-01-01},

urldate = {2024-01-01},

abstract = {Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.},

howpublished = {In-progress preprint},

keywords = {},

pubstate = {published},

tppubtype = {misc}

}

Schließen

Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.

Schließen

• https://doi.org/10.48550/arXiv.2402.12483
• doi:10.48550/arXiv.2402.12483 Focus to learn more

Schließen

Paper+A: […] und bin so klug als wie zuvor?

Bellinger, Franziska; Mayrberger, Kerstin

Systematic Literature Review zu Open Educational Practices (OEP) in der Hochschule im europäischen Forschungskontext Artikel

In: MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, Bd. 34, Nr. Research and OER, S. 19–46, 2019, ISSN: 1424-3636.

Abstract | Links | BibTeX

@article{Bellinger_Mayrberger_2019,

title = {Systematic Literature Review zu Open Educational Practices (OEP) in der Hochschule im europäischen Forschungskontext},

author = {Franziska Bellinger and Kerstin Mayrberger},

url = {https://www.medienpaed.com/article/view/664},

doi = {10.21240/mpaed/34/2019.02.18.X},

issn = {1424-3636},

year = {2019},

date = {2019-02-01},

urldate = {2019-02-01},

journal = {MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},

volume = {34},

number = {Research and OER},

pages = {19–46},

abstract = {Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.},

keywords = {},

pubstate = {published},

tppubtype = {article}

}

Schließen

Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.

Schließen

• https://www.medienpaed.com/article/view/664
• doi:10.21240/mpaed/34/2019.02.18.X

Schließen

Fundgrube+Alt+Entf

Veranstaltungstipps

Die reformpädagogische Schwester vom EduCamp und OERcamp.

Die re:publica für Hochschulen.

Weltverbesserung+Alt+Entf