AI models collapse when trained on recursively generated data

La difusión estable ha transformado la creación de imágenes a partir de texto descriptivo, mientras que modelos como GPT-2, GPT-3 y GPT-4 han demostrado un gran rendimiento en tareas lingüísticas, como se ha visto con ChatGPT. A medida que la IA generativa, en particular los grandes modelos lingüísticos (LLM), se vuelve esencial para la creación de textos e imágenes en línea, surgen dudas sobre su futuro si el contenido generado por modelos domina los conjuntos de datos de entrenamiento. El estudio revela que el uso indiscriminado de dicho contenido provoca el «colapso del modelo», cuando los modelos pierden la capacidad de representar la verdadera distribución de los datos a través de las generaciones. Este efecto se produce en varios modelos y subraya la importancia de utilizar datos humanos auténticos para mantener la calidad y precisión de estos modelos.