大型語言模型能否根據上下文設計出好的問題？這篇AI論文進行了評估
大型語言模型（LLMs）被用來根據給定的事實或上下文創建問題，但了解這些問題的質量往往是困難的。挑戰在於，LLMs生成的問題在長度、類型或與上下文的契合度方面，通常與人類生成的問題有所不同。檢查這些問題的質量很難，因為大多數方法需要大量人力或僅使用簡單的數字，這些都無法全面反映問題的質量，這使得我們難以正確評估問題，並在使用不當時會產生改進LLMs問題生成的困難。
目前的問題生成（QG）方法使用自動化技術來根據事實生成問題。雖然存在多種方法，但它們要麼依賴簡單的統計測量，要麼需要大量的手動標記，這兩者都無法全面評估生成問題的質量。統計方法無法捕捉更深層的意義和上下文，而人工標記則耗時且效率低下。儘管LLMs已經有了顯著的進步，但對於這些模型如何生成問題及其質量的評估仍然有限，導致了理解和改進的空白。
為了解決問題生成（QG）中的問題，加州大學伯克利分校、KACST和華盛頓大學的研究人員提出了一個基於大型語言模型的自動評估框架。這個框架根據給定的上下文生成問題，並從六個維度進行評估：問題類型、長度、上下文覆蓋率、可回答性、罕見性和所需答案長度。與傳統基於位置偏見或有限指標的方法不同，這種方法全面分析了LLMs生成的問題的質量和特徵，並將其與人類生成的問題進行比較，顯示LLMs如何均衡地關注上下文的不同部分，生成描述性和自包含的問題，包含所有相關信息。
在評估過程中，研究人員利用來自WikiText數據集的860,000段落進行LLM基礎的問題生成（QG），生成不帶直接上下文引用的自包含問題。他們分析了問題的類型、長度和上下文覆蓋率，發現問題的平均長度為15個單詞，字級上下文覆蓋率為51.1%，句級上下文覆蓋率為66.7%。有上下文的可回答性非常高，但在沒有上下文的情況下則較低，這顯示上下文的重要性。研究人員將答案的字數從36減少到26而不損失質量，反映出自動QG和評估技術的改進。
總結來說，該方法分析了LLM生成的問題，並突出了它們的特定特徵和與人類生成問題的不同。此外，研究人員引入了一種自動評估方法，以改善對QG任務的理解和優化。這項工作可以作為未來研究的基準，以增強基於LLM的QG，探索特定應用任務、領域特定的上下文，以及與人類生成內容的更好對齊。
在當前AI技術快速發展的背景下，這項研究不僅有助於提升問題生成的質量，還能促進對大型語言模型的深入理解。面對未來，如何進一步改善這些模型的生成能力，並確保它們能夠更好地適應人類的需求，將是一個值得關注的重要課題。這不僅涉及技術的創新，也涉及如何在實際應用中平衡效率與準確性。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
