Ai2 evaluó seis modelos como jueces de novedad científica y encontró que pequeños cambios en la configuración pueden alterar mucho el resultado. En una prueba descrita por los autores, modificar unas palabras de la instrucción desplazó más de cincuenta puntos la precisión relativa.
El trabajo también advierte que añadir recuperación de documentos o más razonamiento no mejora de forma constante los juicios. Es un resultado del equipo autor y debe leerse junto con su método y sus conjuntos de datos.
El benchmark usa decisiones y etiquetas construidas por los autores; falta réplica independiente.
Can we trust LLMs to judge whether a research idea is novel?
Publicado el 27 oct 2026
Para ampliar en las fuentes.
Ai2 · Can we trust LLMs to judge whether a research idea is novel? ↗La actualidad de la IA también se ve.
Encuentra Noticias IA en YouTube.
