Herausgeber |. ScienceAI

Frage- und Antwortdatens?tze (QA) spielen eine wichtige Rolle bei der F?rderung der Forschung zur Verarbeitung natürlicher Sprache (NLP). Hochwertige QS-Datens?tze k?nnen nicht nur zur Feinabstimmung von Modellen verwendet werden, sondern auch effektiv die F?higkeiten gro?er Sprachmodelle (LLMs) bewerten, insbesondere die F?higkeit, wissenschaftliche Erkenntnisse zu verstehen und zu begründen.

Obwohl es derzeit viele wissenschaftliche QS-Datens?tze aus den Bereichen Medizin, Chemie, Biologie und anderen Bereichen gibt, weisen diese Datens?tze immer noch einige M?ngel auf.

Erstens ist das Datenformular relativ einfach, die meisten davon sind Multiple-Choice-Fragen. Sie sind leicht auszuwerten, schr?nken jedoch den Antwortauswahlbereich des Modells ein und k?nnen die F?higkeit des Modells, wissenschaftliche Fragen zu beantworten, nicht vollst?ndig testen. Im Gegensatz dazu kann die offene Fragebeantwortung (openQA) die F?higkeiten des Modells umfassender bewerten, es fehlen jedoch geeignete Bewertungsmetriken.

Zweitens stammen viele Inhalte bestehender Datens?tze aus Lehrbüchern auf Universit?tsniveau und darunter, was es schwierig macht, die hochgradigen Wissensspeicherf?higkeiten von LLM in tats?chlichen akademischen Forschungs- oder Produktionsumgebungen zu bewerten.

Drittens basiert die Erstellung dieser Benchmark-Datens?tze auf menschlichen Expertenkommentaren.

Die Bew?ltigung dieser Herausforderungen ist für den Aufbau eines umfassenderen QA-Datensatzes von entscheidender Bedeutung und tr?gt auch zu einer genaueren Bewertung des wissenschaftlichen LLM bei.

Abbildung: SciQAG-Framework zur Generierung hochwertiger wissenschaftlicher Frage- und Antwortpaare aus wissenschaftlicher Literatur.

Zu diesem Zweck haben das Argonne National Laboratory in den Vereinigten Staaten, das Team von Professor Ian Foster von der University of Chicago (Gordon-Bell-Preistr?ger 2002), das UNSW AI4Science-Team von Professor Bram Hoex von der University of New South Wales, Australien, das AI4Science-Unternehmen GreenDynamics und das Team von Professor Jie Chunyu von der City University of Hong Kong schlugen gemeinsam SciQAG vor, das erste neuartige Framework, das automatisch hochwertige wissenschaftliche offene Frage- und Antwortpaare aus gro?en wissenschaftlichen Literaturkorpora auf der Grundlage gro?er Sprachmodelle generiert (LLM).

Papierlink:https://arxiv.org/abs/2405.09939

Github-Link:https://github.com/MasterAI-EAM/SciQAG

Basierend auf SciQAG haben die Forscher erstellt SciQAG-24D, ein umfangreicher, hochwertiger, offener wissenschaftlicher QA-Datensatz, enth?lt 188.042 QA-Paare, die aus 22.743 wissenschaftlichen Arbeiten in 24 wissenschaftlichen Bereichen extrahiert wurden, und soll der Feinabstimmung von LLM und der Bewertung wissenschaftlicher Probleme dienen. L?sungsf?higkeiten.

Experimente zeigen, dass die Feinabstimmung von LLMs am SciQAG-24D-Datensatz ihre Leistung bei der Beantwortung offener Fragen und bei wissenschaftlichen Aufgaben erheblich verbessern kann.

Der Datensatz, das Modell und der Evaluierungscode wurden als Open Source bereitgestellt (https://github.com/MasterAI-EAM/SciQAG), um die gemeinsame Entwicklung offener wissenschaftlicher Fragen und Antworten durch die AI for Science-Community zu f?rdern.

SciQAG-Framework mit SciQAG-24D-Benchmark-Datensatz

SciQAG besteht aus einem QA-Generator und einem QA-Evaluator mit dem Ziel, schnell verschiedene offene Frage- und Antwortpaare auf der Grundlage wissenschaftlicher Literatur in gro?em Ma?stab zu generieren. Zun?chst wandelt der Generator wissenschaftliche Arbeiten in Frage-Antwort-Paare um, anschlie?end filtert der Bewerter die Frage-Antwort-Paare heraus, die nicht den Qualit?tsstandards entsprechen, und erh?lt so einen qualitativ hochwertigen wissenschaftlichen Frage-Antwort-Datensatz.

QA-Generator

Die Forscher entwarfen durch vergleichende Experimente eine zweistufige Eingabeaufforderung (Prompt), die es LLM erm?glichte, zun?chst Schlüsselw?rter zu extrahieren und dann Frage- und Antwortpaare basierend auf den Schlüsselw?rtern zu generieren.

Da der generierte Frage- und Antwortdatensatz den ?geschlossenen Buch“-Modus annimmt, wird das Originalpapier nicht bereitgestellt und konzentriert sich nur auf das extrahierte wissenschaftliche Wissen selbst. Die Eingabeaufforderung erfordert, dass die generierten Frage- und Antwortpaare nicht darauf angewiesen sind auf oder verweisen Sie auf die eindeutigen Informationen in der Originalarbeit (z. B. ist keine moderne Nomenklatur zul?ssig, wie ?diese/diese Arbeit“, ?diese/diese Forschung“ usw.) oder stellen Sie Fragen zu den Tabellen/Bildern in der Artikel).

Um Leistung und Kosten in Einklang zu bringen, entschieden sich die Forscher für die Feinabstimmung eines Open-Source-LLM als Generator. SciQAG-Benutzer k?nnen je nach ihren eigenen Umst?nden ein beliebiges Open-Source- oder Closed-Source-LLM als Generator w?hlen, indem sie entweder Feinabstimmung oder Prompt-Word-Engineering nutzen.

QA-Evaluator

Der Evaluator wird verwendet, um zwei Zwecke zu erfüllen: (1) Bewerten der Qualit?t generierter Frage- und Antwortpaare; (2) Verwerfen von Frage- und Antwortpaaren geringer Qualit?t basierend auf festgelegten Kriterien.

Forscher haben einen umfassenden Bewertungsindex RACAR entwickelt, der aus fünf Dimensionen besteht: Relevanz, Agnostizismus, Vollst?ndigkeit, Genauigkeit und Angemessenheit.

In dieser Studie verwendeten die Forscher GPT-4 direkt als QA-Evaluator, um die generierten QA-Paare gem?? RACAR mit einer Bewertungsstufe von 1–5 zu bewerten (1 bedeutet inakzeptabel, 5 bedeutet v?llig akzeptabel).

Wie in der Abbildung gezeigt, verwendeten zwei Dom?nenexperten zur Messung der Konsistenz zwischen GPT-4 und manueller Bewertung die RACAR-Metrik, um eine manuelle Bewertung für 10 Artikel (insgesamt 100 Frage- und Antwortpaare) durchzuführen. Benutzer k?nnen je nach Bedarf jedes Open-Source- oder Closed-Source-LLM als Evaluator w?hlen.

圖示：GPT-4 分配分?jǐn)?shù)與專(zhuān)家標(biāo)注分?jǐn)?shù)之間的 Spearman 和 Pearson 相關(guān)性。

SciQAG 框架的運(yùn)用

該研究從Web of Science (WoS)核心合集數(shù)據(jù)庫(kù)中獲取了24類(lèi)高引用論文共計(jì)22,743篇，來(lái)自材料科學(xué)、化學(xué)、物理、能源等領(lǐng)域，旨在構(gòu)建一個(gè)可靠、豐富、平衡且具有代表性的科學(xué)知識(shí)來(lái)源。

為了微調(diào)開(kāi)源LLM以形成QA生成器，研究人員從論文集合中隨機(jī)選擇426篇論文作為輸入，通過(guò)提示GPT-4生成4260個(gè)種子QA對(duì)。

SciQAG-24D 基準(zhǔn)數(shù)據(jù)集

基于以上，研究人員建立了開(kāi)放式科學(xué) QA 基準(zhǔn)數(shù)據(jù)集 SciQAG-24D，篩選后的訓(xùn)練集包括 21,529 篇論文和 179,511 個(gè) QA 對(duì)，而篩選后的測(cè)試集包含 1,199 篇論文和 8,531 個(gè) QA 對(duì)。

統(tǒng)計(jì)顯示，99.15%回答中的數(shù)據(jù)來(lái)自原論文，87.29%的問(wèn)題相似度在0.3以下，且回答對(duì)原文內(nèi)容的覆蓋度達(dá)到78.26%。

該數(shù)據(jù)集應(yīng)用廣泛：訓(xùn)練集可用于微調(diào) LLM，為其注入科學(xué)知識(shí)；測(cè)試集可?于評(píng)估LLM在某特定或整體科學(xué)領(lǐng)域中的開(kāi)放式QA任務(wù)表現(xiàn)。由于測(cè)試集較大，因此它也可以作為高質(zhì)量數(shù)據(jù)用于微調(diào)。

圖示：SciQAG-24D數(shù)據(jù)集訓(xùn)練和測(cè)試中不同類(lèi)別的文章比例。

實(shí)驗(yàn)結(jié)果

研究人員進(jìn)行了全面的實(shí)驗(yàn)以對(duì)比不同語(yǔ)言模型之間的科學(xué)問(wèn)答性能差異及探索微調(diào)的影響。

零樣本設(shè)定（zero-shot setting)?

研究人員使用 SciQAG-24D 中的部分測(cè)試集對(duì)五個(gè)模型進(jìn)行了零樣本性能對(duì)比。其中兩個(gè)是開(kāi)源的 LLM：LLaMA1 (7B) 和 LLaMA2-chat (7B)，其余的是閉源 LLM 。

通過(guò)API調(diào)用：GPT3.5 (gpt-3.5-turbo)、GPT-4 (gpt-4-1106-preview) 和 Claude 3 (claude-3-opus-20240229)。每個(gè)模型在測(cè)試中被提示了 1000 個(gè)問(wèn)題，并通過(guò) CAR 指標(biāo)（由RACAR指標(biāo)調(diào)整而來(lái)，只關(guān)注回答評(píng)估）評(píng)估其輸出，以衡量其在回答科學(xué)研究問(wèn)題方面的零樣本能力。

如圖所示，在所有模型中，GPT-4 在完備性（4.90）和合理性（4.99）方面得分最高，而 Claude 3 的準(zhǔn)確性得分最高（4.95）。GPT-3.5 的表現(xiàn)也非常出色，在所有指標(biāo)上的得分都緊隨 GPT-4 和 Claude 3 之后。

值得注意的是，LLaMA1 在所有三個(gè)維度上的得分都最低。相比之下，LLaMA2-chat 模型雖然得分不如 GPT 模型高，但在所有指標(biāo)上都比原來(lái)的 LLaMA1 有了大幅提高。結(jié)果表明了商用LLM在回答科學(xué)問(wèn)題方面的卓越性能，同時(shí)開(kāi)源模型（如 LLaMA2-chat）也在這個(gè)方面取得了顯著進(jìn)步。

圖示：SciQAG-24D上的零樣本測(cè)試和微調(diào)測(cè)試（LLAMA1-QA）

微調(diào)設(shè)定（fine-tuning setting）

研究人員選擇了零樣本性能最差的 LLaMA1 在SciQAG-24D的訓(xùn)練集上進(jìn)行微調(diào)，以獲得 LLaMA1-QA。通過(guò)三個(gè)實(shí)驗(yàn)，研究人員證明 SciQAG-24D 可以作為有效的微調(diào)數(shù)據(jù)，提高下游科學(xué)任務(wù)的性能：

（a）LLaMA-QA與原始 LLaMA1的在未見(jiàn)過(guò)的SciQAG-24D測(cè)試集上的表現(xiàn)比較。

如上圖所示，與原始 LLaMA1相比，LLaMA1-QA的性能有了顯著提高（完整性提高了13%，準(zhǔn)確性和合理性提高了 超過(guò)30%）。這表明LLaMA1已經(jīng)從SciQAG-24D的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)了回答科學(xué)問(wèn)題的邏輯，并內(nèi)化了一些科學(xué)知識(shí)。

（b）在 SciQ（一個(gè)科學(xué) MCQ 基準(zhǔn)）上的微調(diào)表現(xiàn)比較。

下表的第一行顯示LLaMA1-QA比LLaMA1稍有進(jìn)步（+1%）。根據(jù)觀察，微調(diào)也增強(qiáng)了模型的指令跟隨能力：無(wú)法解析輸出的概率從LLaMA1的 4.1%降至LLaMA1-QA的 1.7%。

（c）在多種科學(xué)任務(wù)上的微調(diào)表現(xiàn)比較。

評(píng)估指標(biāo)上，分類(lèi)任務(wù)使用F1-score，回歸任務(wù)使用MAE，轉(zhuǎn)換任務(wù)使用KL散度。如下表所示，科學(xué)任務(wù)中LLaMA1-QA與LLaMA1模型相比有明顯改善。

最明顯的改進(jìn)體現(xiàn)在回歸任務(wù)中，MAE從463.96降至185.32。這些發(fā)現(xiàn)表明，在訓(xùn)練過(guò)程中加入QA對(duì)可以增強(qiáng)模型學(xué)習(xí)和應(yīng)用科學(xué)知識(shí)的能力，從而提高其在下游預(yù)測(cè)任務(wù)中的表現(xiàn)。

令人驚訝的是，與專(zhuān)門(mén)設(shè)計(jì)的具有特征的機(jī)器學(xué)習(xí)模型相比，LLM 可以在某些任務(wù)中取得相當(dāng)甚至超越它們的結(jié)果。例如，在帶隙任務(wù)中，雖然LLaMA1-QA 的表現(xiàn)不如 MODNet 等模型（0.3327），但它已經(jīng)超過(guò)了AMMExpress v2020（0.4161）。

在多樣性任務(wù)中，LLaMA1-QA 的表現(xiàn)優(yōu)于深度學(xué)習(xí)基線(xiàn)（0.3198）。這些研究結(jié)果表明，LLM在特定科學(xué)任務(wù)中具有巨大潛力。

圖示：LLaMA1和LLaMA1-QA在SciQ和科學(xué)任務(wù)上的微調(diào)表現(xiàn)（M代表多項(xiàng)選擇，C代表分類(lèi)，R代表回歸，T代表轉(zhuǎn)換）

總結(jié)與展望

（1）SciQAG是一個(gè)從科學(xué)文獻(xiàn)中生成QA對(duì)的框架，結(jié)合用于評(píng)估和篩選QA對(duì)的RACAR指標(biāo)，可高效地為資源匱乏的科學(xué)領(lǐng)域生成大量基于知識(shí)的QA數(shù)據(jù)。

（2）團(tuán)隊(duì)生成了一個(gè)包含188,042個(gè)QA對(duì)的綜合開(kāi)源科學(xué)QA數(shù)據(jù)集，稱(chēng)為SciQAG-24D。訓(xùn)練集用于微調(diào)LLM，測(cè)試集評(píng)估LLM在開(kāi)放式閉卷科學(xué)QA任務(wù)上的表現(xiàn)。

對(duì)SciQAG-24D測(cè)試集上幾個(gè)LLM的零樣本性能進(jìn)行了比較，并在SciQAG-24D訓(xùn)練集上微調(diào)了LLaMA1，得到了LLaMA1-QA。這種微調(diào)顯著提高了其在多個(gè)科學(xué)任務(wù)上的表現(xiàn)。

（3）研究表明，LLM在科學(xué)任務(wù)中具有潛?，LLaMA1-QA的結(jié)果可以達(dá)到甚?超過(guò)機(jī)器學(xué)習(xí)基線(xiàn)的?平。這證明了SciQAG-24D的多方面效用，表明將科學(xué)QA數(shù)據(jù)納入訓(xùn)練過(guò)程可以增強(qiáng)LLM的學(xué)習(xí)和應(yīng)用科學(xué)知識(shí)的能力。

以上是為大模型提供全新科學(xué)復(fù)雜問(wèn)答基準(zhǔn)與測(cè)評(píng)體系，UNSW、阿貢、芝加哥大學(xué)等多家機(jī)構(gòu)聯(lián)合推出SciQAG框架的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！