Cada vez que escribo en un paper "et al", quiero que sepáis que realmente lo que quiero escribir es "& friends"
Victor
Hola! I love playing my piano and writing music 🎶 I'm also into videogames and game development. I have a PhD in Statistical Physics, and I work in applications of theoretical physics to biology (neuroscience, complex systems, ecology). Spanish, currently in Italy.
Looking forward to connect to other people here! 😄
Mostly content in Spanish, but I'm always happy to talk in other languages too!
RE: https://cyberplace.social/@GossiTheDog/117268872282373081
I am a mod in another fedi instance (with other account) and yesterday we got around 20 requests from bots. They said just "testing probe". Today we got requests which were specifically tailored for our instance.
And this is for closed-registration instances. In .social, I don't want to imagine how it is... Maybe it is the moment for this personal account to find a new home.
Pues como os dije, aquí va la cover de Zelda: Kass theme! Espero que os guste
Kass' Theme - Melodica/Piano Cover [The Legend of Zelda: Breath of the Wild]
Mañana cover de Zelda nueva, la pondré también por aquí, que la resistencia merece contenido del wapo
- Por último, veo varios post interpretando el titular del paper como que la IA no se puede mejorar de modo recursivo. Ojo que los IAbros cuando hablan de esto se refieren a otro proceso en el que la IA escribe mejores modelos (sin tocar los datos de entrenamiento) y/o analiza los outputs para hacer el muestreo de forma independiente. Este paper tampoco prohíbe eso.
De todas formas eso no va a pasar, ya les gustaría a ellos xdddddd
- Un paper donde la introducción hablar principalmente de Singularity (sí, en mayúscula) yo sinceramente lo cogería con un par de pinzas en la nariz. Ahora hay mucho flipao por ahí.
- El 'paper' es un preprint, básicamente no está todavía revisado. Es un único autor. Aunque no pinta mal, tampoco parece extremadamente formal a primera vista.
Es decir, igual el resultado ni es verdad o es parcialmente verdad. Si no sois gente con conocimiento técnico, no compartáis cosas de arxiv o bioarxiv anunciando descubrimientos alegremente, y no os fiéis de la gente que las anuncia, como regla general.
- El paper usa un modelo y estudia el modelo. Si la IA funciona según ese modelo aproximado, las conclusiones del paper aplican. Pero aquí hablamos de algo más físico. Si esas hipótesis no son exactamente ciertas las conclusiones tampoco aplican.
Por ejemplo, el paper asume que el objetivo del modelo es minimizar la distancia KL entre training y test. Eso no se hace explícitamente en LLMs. ¿El entrenamiento reduce esa distancia? Probablemente sí. ¿Es suficiente para aplicar el paper? Aaaaaaah
- El resultado, que está enunciado en el resumen (abstract), es clarísimo: el colapso se produce si la cantidad de datos no auto-generados por la propia IA es 'vanishing'. Es decir, mientras mantengas un porcentaje finito de datos reales, POR PEQUEÑO QUE SEA, el training sigue funcionando sin problema.
El único problema es al aumentar el tamaño del conjunto de entrenamiento al infinito de forma que la fracción real/generado -> 0. Mantén un 0.1% fijo de datos reales y ya no hay problema.
- La evidencia empírica claramente va en contra de la idea de que la IA no puede entrenarse con su propio output. Muchos modelos usan una gran cantidad de datos generados por IA y les va bien.
Es un problema de aproximación de distribuciones. Mientras en el conjunto de entrenamiento el muestreo sea representativo la tecnología va a funcionar sin problema. El problema es conseguir un muestreo representativo de una distribución de una dimensionalidad super alta etcetc.