NOTICIAS EN ESPAÑOLCon fuente. Con criterio. Con calma.
Noticias IA.
La actualidad de la IA, contada con calma.
En el radarOpenAIAnthropicGooglexAIAgentes IAChinaDeepSeekQwenKimiVoz y teclado
Análisis / Investigación

Ai2 detecta una fuerte inestabilidad al usar modelos para juzgar novedad científica

El instituto publica estudio, datos, código y un banco de pruebas para medir cuánto cambia el veredicto con el modelo, la instrucción o el entorno.

Análisis atribuido · Breve

Ilustración editorial de Noticias IA

Ilustración editorial. No representa una captura del producto.

Ai2 evaluó seis modelos como jueces de novedad científica y encontró que pequeños cambios en la configuración pueden alterar mucho el resultado. En una prueba descrita por los autores, modificar unas palabras de la instrucción desplazó más de cincuenta puntos la precisión relativa.

El trabajo también advierte que añadir recuperación de documentos o más razonamiento no mejora de forma constante los juicios. Es un resultado del equipo autor y debe leerse junto con su método y sus conjuntos de datos.

El matiz que importa.
El benchmark usa decisiones y etiquetas construidas por los autores; falta réplica independiente.
Consulta la fuente original
Ai2
Can we trust LLMs to judge whether a research idea is novel?
Publicado el 27 oct 2026

La actualidad de la IA también se ve.
Encuentra Noticias IA en YouTube.

Ver el canal

Encuentra lo que importa.

Cargando la selección…

Para leer con calma.

Tu lista se guarda en este navegador.

Cargando tus lecturas…

Bienvenidos a Noticias IA.

Vídeo de presentación del canal · Presentadora virtual.

Tus preferencias.

El tema de lectura y los artículos guardados se conservan solo en este navegador. Puedes cambiar el tema o vaciar tu lista.

Más información

Comparte esta lectura.

WhatsApp ↗

Noticias IA en vídeo.

Reproducción de YouTube. Se aplican sus condiciones y privacidad.