LLMs能為論文研究提供有用的回饋嗎?
這篇paper想驗證GPT-4在論文peer review的回饋是否有用？
研究一：
先蒐集了來自Nature(3096篇)跟ICLR(主要是深度學習1709篇)的論文回饋，比較LLM的回饋跟人類的回饋後。
-AI回饋對沒被接納的論文的相似度更高
-人類回饋意見可能多是關於新穎(novelty)及缺少引用(missing citation)
-GPT-4的回饋多是在研究的意義上
研究二：
找了美國110所機構的308研究人員，多是研究AI跟計算生物學(computational biology)來評估GPT-4對參與者的論文回饋。
-80%使用者認為這些回饋比人類回饋有益。
沒有留言:
張貼留言