Jerónimo Hoyos Botero

About

Soy estudiante en la Universidad Nacional, con un gran interés en el machine learning. Me gusta crear animaciones en Manim porque son súper chéveres y me permiten enseñar cómo funcionan estos sistemas por dentro. Mi intención es tomar conceptos que suelen parecer raros o abstractos y mostrarlos de forma visual y animada para que resulten mucho más claros y accesibles.

Talk

Construyendo un Transformer con Rust

Los Transformers suelen percibirse como gigantes incomprensibles. Esta charla propone demostrar lo contrario: no son cajas negras, sino mecanismos elegantes que pueden entenderse y dominarse desde sus fundamentos. Presentamos Molinete AI, un modelo tipo GPT-2 construido estrictamente desde cero en Rust. Sin frameworks de deep learning: solo tensores, matemáticas y control total. Inspirado en Feste de Tag1 Consulting (entrenado con Shakespeare), este proyecto plantea un reto distinto: entrenar la red con la obra de Miguel de Cervantes para generar texto con el estilo del Siglo de Oro. A lo largo de la sesión, desmontaremos el modelo pieza por pieza. Con el apoyo de una presentación animada en Manim (más de 4.000 líneas de código), haremos visible cómo fluye la información dentro de la red. Partiremos desde la tokenización (BPE) y la construcción de operaciones básicas, para luego adentrarnos en el núcleo del modelo: embeddings, máscara causal y Multi-Head Self-Attention. Finalmente, exploraremos el proceso de aprendizaje, observando cómo los gradientes recorren la red durante el entrenamiento. Más que una demostración, esta charla busca proporcionar una visión clara y operativa de los Transformers, conectando la teoría con una implementación real desde cero.

Country

Colombia

Language

Spanish / Español

Level

Advanced / Avanzado