Qué es la regresión lineal

Empezar con puntos dispersos

Hasta la lección anterior vimos el centro y la dispersión de un solo valor, y también la probabilidad. Esta vez miramos dos valores que van en pareja, como las horas de estudio y la nota obtenida. Si se pone el tiempo en el eje horizontal y la nota en el vertical, cada persona se vuelve un punto.
Como la situación de cada uno es distinta, los puntos no caen justo sobre una línea: se dispersan como una nube. Marquemos abajo los puntos uno por uno.

Toca los lugares vacíos para esparcir puntos. Se ve una tendencia tenue: cuanto más a la derecha, más arriba van los puntos.

Aunque los puntos estén dispersos, si se mira con un poco de distancia aparece una tendencia: cuanto más a la derecha, en general más arriba. Eso quiere decir que quienes dedicaron más tiempo suelen sacar mejor nota.
Pero con eso solo cuesta decir con precisión la nota de una persona nueva. Si esta tendencia se pudiera dibujar con una sola línea, quedaría mucho más clara.

Trazar una línea entre los puntos

La forma más sencilla de mostrar la tendencia es trazar una sola recta. La recta pasa como si cortara por el medio de los puntos dispersos. Algunos puntos quedan por encima y otros por debajo, pero, en conjunto, la recta los representa.
Se llama regresión lineal porque muestra la tendencia con una recta. Con la recta en la mano, se pueden leer valores incluso donde no había puntos.

Toca un lugar a la izquierda y otro a la derecha por donde pase la recta. Al elegir los dos, se traza una recta entre ellos.

Con una recta trazada, los puntos dispersos se ven mucho más ordenados. Ahora, elige cualquier tiempo en el eje horizontal, sube hasta la recta y lee la nota en el eje vertical. Eso es predecir.
Pero hasta ahora, dónde trazar la recta y cuánto inclinarla quedaba a nuestro gusto: la recta cambiaba según los lugares que elegíamos. Hace falta una regla para decidir la recta.

La pendiente y la ordenada al origen deciden la recta

Una recta queda totalmente determinada por dos números. Uno es la pendiente, que indica cuánto sube la recta en vertical por cada paso en horizontal. Una pendiente grande hace la recta empinada; una pequeña, suave.
El otro es la ordenada al origen, la altura donde la recta corta el eje vertical. Con estos dos decididos hay una sola recta, que se escribe con la ecuación y=ax+b, donde a es la pendiente y b la ordenada al origen.

Cambia la pendiente (a) y la ordenada (b) con los botones de más y menos. La recta se empina o se suaviza y se mueve hacia arriba y hacia abajo.

Si se sube la pendiente, la recta se empina; si se baja, se acuesta. Si se sube la ordenada, toda la recta se desliza hacia arriba; si se baja, hacia abajo. Con solo dos números se puede mover la recta a gusto.
Entonces, ¿cómo se encuentran la pendiente (a) y la ordenada (b) que mejor se ajustan a los puntos dispersos? Hace falta un criterio que distinga una buena recta de una mala.

La mejor recta es la de menor desajuste

El criterio es simple. Para cada punto, se mira cuánto difieren, en vertical, el valor que predice la recta y el valor real. Esa diferencia se llama residuo, y cuanto mayor es, más se alejó la recta de ese punto.
Al sumar las diferencias de todos los puntos se obtiene cuánto se desvía la recta en total. Cuanto menor es esa suma, mejor se ajusta la recta, así que la que mejor se ajusta es la de menor desajuste total. El dibujo de abajo suma el tamaño de las diferencias tal cual, pero la regresión lineal habitual hace lo más pequeña posible la suma de las diferencias al cuadrado. Esto se llama método de mínimos cuadrados, y castiga más a los puntos que quedan muy lejos.

Usa los botones para mover la recta de a poco y achicar el desajuste total. Cuanto menor es el total, más cerca estás de la recta que mejor se ajusta.

A medida que se achicó el desajuste total, la recta se asentó en el medio de la nube de puntos. El lugar donde el total ya no baja más es la recta que mejor se ajusta.
Tú la encontraste a ojo, apretando botones, pero una máquina repite esta reducción incontables veces y la encuentra con mucha precisión. Con mínimos cuadrados, además, la respuesta se puede hallar de una vez resolviendo una ecuación. En cualquier caso, la tarea es la misma: achicar el desajuste para encontrar la pendiente (a) y la ordenada (b) que mejor se ajustan.

Resumen

En resumen: cuando hay puntos en pareja dispersos, se traza entre ellos la única recta que mejor se ajusta. La recta queda determinada por dos números, la pendiente (a) y la ordenada (b), elegidos para que el desajuste con los puntos sea el menor posible. Si se pone una entrada nueva en esa recta, predice el resultado.
Recuerda una sola cosa: la pendiente (a) y la ordenada (b) que deciden la recta vuelven a aparecer más adelante, en la neurona, con los nombres de peso y sesgo.

Toca los puntos clave en orden para repasar. (puntos dispersos → trazar una recta → la pendiente (a) y la ordenada (b) → achicar el desajuste hasta la recta que mejor se ajusta → anticipo del peso y el sesgo)

Ahora puedes trazar una recta entre puntos dispersos y usarla para estimar lo que viene. La idea de que dos números producen una predicción es la semilla de casi todo lo que aprenderás de aquí en adelante.
La regresión predice números continuos, como las notas. Pero muchas veces hay que responder a qué grupo pertenece algo, como si un correo es basura o si una foto muestra un gato o un perro. La próxima lección mira la clasificación, que se ocupa de problemas así.