LitPivot: Entwicklung von Forschungsideen durch dynamische Kontextualisierung innerhalb der Literaturlandschaft

📄 Paper

Das Aufstoßen auf eine neue Arbeit kann den Verlauf einer Forschungsidee verändern. Die Forscherin oder der Forscher kann feststellen, dass jemand den vorgeschlagenen Beitrag bereits geleistet hat, oder ein ungelöstes Problem in der Arbeit entdecken, das eine neue Untersuchungsrichtung inspiriert.

Wir nennen diesen Prozess einen durch Literatur ausgelöster Pivot: eine Änderung der Forschungsrichtung, ausgelöst durch die Lektüre früherer Arbeiten. Sie verbindet zwei Tätigkeiten, die Forschende oft getrennt verwalten müssen: die Entwicklung einer Idee und die Entscheidung, gegen welche Literatur sie gemessen werden soll.

Mit Mitarbeiterinnen und Mitarbeitern an der University of Pennsylvania entwickelten wir LitPivot, ein System, das Forschenden bei diesen Pivots hilft. Mithilfe von über Asta Paper Finderabgerufenen Arbeiten organisiert LitPivot die Literatur um den gerade bearbeiteten Teil eines Forschungsantrags, bietet Kritiken, die durch Auszüge aus ausgewählten Studien gestützt werden, und schlägt Überarbeitungen vor, die Forschende annehmen, bearbeiten oder ablehnen können. LitPivot ist für die Nutzung in frühen Phasen der Forschungsideation gedacht, aber die Idee ließe sich möglicherweise auch auf längere Schreibaufgaben ausdehnen (d. h. das Verfassen des Einleitungskapitels einer Arbeit).

In einer Studie mit 17 Forschenden bewerteten Domänenexpertinnen und -experten Forschungsideen, die mit LitPivot entwickelt wurden, als besser in der Literatur verankert als jene, die mit einem Texteditor und einem KI-Chat-Tool entwickelt wurden. Die Teilnehmenden empfanden ihre überarbeiteten Forschungsideen auch als neuartiger und nützlicher und berichteten von einem stärkeren Verständnis der umgebenden Literatur.

LitPivot wird auf der UIST 2026 in Detroit vorgestellt. Lesen Sie die Arbeit hier.

Warum Pivoting schwierig ist

Forschungsideen entwickeln sich durch die Auseinandersetzung mit der Literatur weiter. In unserer Analyse von Besprechungsnotizen von vier abgeschlossenen Informatik-Forschungsprojekten identifizierten wir 21 literaturinitiierte Pivots über alle vier Projekte hinweg. Diese fielen in zwei Typen: die Abgrenzung einer Idee von bestehenden Arbeiten, um ihre Neuheit festzustellen, und die Ausrichtung einer Idee an bestehenden Arbeiten, um darauf aufzubauen. Dieses Projekt selbst durchlief zwei Pivots, bevor wir uns auf seine Beiträge festlegten.

Solche Änderungen können sich als schwierig zu bewältigen erweisen. In einer formativen Studie entwickelten fünf Forschende Anträge mit einem Texteditor und gängigen Suchwerkzeugen. Es fiel ihnen schwer, ihre Ideen zu entwickeln und zugleich kritisch gegen die Literatur zu bewerten. Wenn eine Arbeit die Neuheit einer Idee in Frage stellte, wünschten sie sich konkrete Vorschläge, wie sie sie überarbeiten konnten, gestützt auf frühere Arbeiten. Diese Erkenntnisse prägten LitPivots Bewertungen, die literaturgestützte Kritiken mit konkreten Vorschlägen zur Überarbeitung des ausgewählten Teils einer Idee verbinden.

Wie LitPivot funktioniert

In LitPivot beginnt eine Forscherin oder ein Forscher damit, einen kurzen Antrag in einem Editor zu schreiben und das, was wir Facettenhervorhebungnennen, zu aktivieren, wodurch eine artikulierte Idee in verschiedene Facetten gegliedert wird (d. h. ein Problem, ein Beitrag und eine Evaluation). Um eine vorgeschlagene Facette zu prüfen, klickt die Forschende auf das entsprechende Segment im Entwurf. Ein angrenzendes Panel gruppiert verwandte Arbeiten basierend auf der ausgewählten Facette (z. B. werden Arbeiten nach ihren Evaluationsmethoden gruppiert, wenn die Evaluationsfacet ausgewählt ist) und hebt die relevantesten Gruppen hervor. Die Forschende wählt Arbeiten aus, fordert eine Bewertung an und prüft eine vorgeschlagene Überarbeitung zusammen mit Auszügen, die die Kritik belegen. Die Literatur wird anschließend entsprechend ihrer Relevanz für die überarbeitete Facette neu sortiert.

Insbesondere gliedert LitPivot eine Forschungsidee in ihr Problem, den vorgeschlagenen Beitragund den Evaluationsplan. Jede Facette hat ihre eigene Menge an verwandter Literatur mit eigener Relevanzsortierung. LitPivot gruppiert die abgerufenen Arbeiten um die jeweils bearbeitete Facette und lässt die Forschenden entscheiden, welche davon das System zur Bewertung des Entwurfs verwenden soll.

Neben wissenschaftlichen Schreibumgebungen wie Prism und agentischen Assistenten wie Claude Code erkundet LitPivot einen neuen Arbeitsablauf zur Entwicklung einer frühen Forschungsidee: die Auswahl von Literatur, gegen die die Idee gemessen wird, die Verwendung dieser Belege zu ihrer Überarbeitung und das erneute Abwägen, welche Arbeiten relevant sind, während sich die Idee verändert. Seine Arbeitsgruppen und verknüpften Kritiken machen diese Schritte für jeden Teil des Antrags explizit, während Forschende sowohl den Entwurf als auch die Belege, die zur Bewertung herangezogen werden, kontrollieren.

Bei einer Problemstellung sucht LitPivot nach Belegen, dass das Problem existiert, und begründet, warum es wichtig ist. Zur Bewertung eines vorgeschlagenen Beitrags vergleicht es, was die ausgewählten Arbeiten bereits behandelt haben, mit den von ihnen beschriebenen Einschränkungen und zukünftigen Arbeiten, um verbleibende Lücken zu finden. Bei einem Evaluationsplan prüft es, ob die vorgeschlagenen Tests die Forschungsfrage adressieren und wie ähnliche Arbeiten evaluiert wurden. Das System schlägt anschließend eine Neufassung mit beigefügten unterstützenden Zitaten vor.

Ändert man eine Facette einer Idee, kann eine andere veralten. LitPivot kennzeichnet Passagen, die möglicherweise überarbeitet werden müssen, etwa einen Evaluationsplan, der einen überarbeiteten Beitrag nicht mehr angemessen evaluiert. Forschende können Vorschläge annehmen, bearbeiten oder ablehnen und neue Arbeiten anfordern oder die Literatursortierung aktualisieren, während sich ihr Antrag entwickelt.

Paraphrasiertes Beispiel eines Studienteilnehmers.

Unsere Erkenntnisse

In unserer Laborstudie entwickelten 17 Forschende jeweils eine zugewiesene Idee mit LitPivot und eine andere mit einem Baseline-Werkzeug – einem Texteditor und einem KI-Werkzeug zum Stellen von Fragen zu ausgewählten Papern. Beide Bedingungen nutzten dieselbe Sammlung von Papern. Zwei Fachexperten, die nicht wussten, welches System verwendet worden war, bewerteten die resultierenden Vorschläge anhand eines einzigen Kriteriums: wie gut sie relevante Literatur zur Unterstützung und Begründung der Idee verwendeten. Mit LitPivot entwickelte Vorschläge erhielten höhere Bewertungen.

Die Teilnehmenden derselben Studie berichteten zudem mit LitPivot über ein stärkeres Verständnis der umgebenden Literatur und größere selbst eingeschätzte Verbesserungen bei der Neuheit und Nützlichkeit ihrer Ideen als mit der Baseline. Die Fachexperten begutachteten ebenfalls die Ideen der Teilnehmenden und bewerteten die mit LitPivot überarbeiteten Ideen als signifikant besser in relevanter Literatur fundiert.

Ein Teilnehmender unserer Laborstudie begann mit einem Vorschlag zur Erzeugung konsistenter, faktentreuer synthetischer medizinischer Notizen. LitPivot identifizierte Konsistenz über mehrere Krankenhausbesuche hinweg als potenzielle Lücke in der ausgewählten Literatur. Der Teilnehmende sichtete Abstracts und entfernte Paper über Einzelbesuch-Notizen. Nach einer weiteren Beurteilung verengte er den Vorschlag auf die Erkennung von Widersprüchen über Notizen aus mehreren Besuchen hinweg. Das Beispiel zeigt, wie die Überarbeitung einer Idee und die Auswahl der zu ihrer Beurteilung verwendeten Literatur einander gegenseitig informieren können.

In einer Folgestudie nutzten fünf Forschende LitPivot im Rahmen von 30-minütigen Sitzungen an ihren eigenen laufenden Projekten. Die Teilnehmenden nutzten LitPivot über mehrere Projektphasen hinweg, nicht nur am Anfang. Zwei nutzten es, um neue Ideen an der Literatur zu prüfen, während drei es verwendeten, um die Ausrichtung ausgereifterer Ideen zu verfeinern. Eine Forscherin hob hervor, wie das Sehen paralleler Konzepte aus unterschiedlichen Domänen ihr half, ihren Beitrag neu zu rahmen.

Diese Studien legen nahe, dass LitPivot sowohl die frühe Exploration als auch die Verfeinerung einer bestehenden Forschungsrichtung unterstützen kann.

Unterstützung wissenschaftlicher Entdeckungen

Bei Ai2 entwickeln wir KI, um Forschenden zu helfen, überprüfbare Ideen zu formulieren und die dahinterstehenden Belege zu prüfen. Asta unterstützt dieses Vorhaben durch Theoriegenerierung aus publizierten Ergebnissen (Theorizer), Synthese und Hypothesengenerierung und -testung auf Daten (AutoDiscovery), während HARPA vielversprechende Hypothesen generiert, die von aktuellen Forschungstrends informiert sind. Scideator ermöglicht es Forschenden, Elemente früherer Arbeiten zu neuen Ideen zu rekombinieren und ihre Neuheit zu bewerten, und IdeaSynth unterstützt iterative Verfeinerung mit in der Literatur fundiertem Feedback.

Unsere aktuelle Studie, Old Ideas, Novel Problems, untersucht die Grenzen automatisierter Neuheitsbewertung und zeigt, wie kleine Prompt-Änderungen das Urteil einer KI über dieselben Ideen verändern können. LitPivot baut auf dieser Arbeitslinie auf, indem es die Auswahl relevanter Literatur Teil des Überarbeitungsprozesses macht. Forschende können ändern, welche Paper sie zur Beurteilung eines Vorschlags verwenden, während sich ihre Idee entwickelt, und dann Kritiken und unterstützende Auszüge nutzen, um zu entscheiden, wie sie sie überarbeiten. Das System verbindet diese Entscheidungen über das Problem, den Beitrag und den Evaluationsplan des Vorschlags hinweg.

Wir hoffen, dass Erkenntnisse aus LitPivot Wissenschaftlern helfen, auf bestehendem Wissen aufzubauen und aus frühen Ideen neue Beiträge für ihre Fachgebiete zu machen.