Por qué la IA necesita estadística

¿Dónde está el centro? La media

En la lección anterior dijimos que una máquina encuentra patrones en los ejemplos. Para eso, primero tiene que saber leer cómo son los datos. Si se marcan los datos como puntos sobre una recta numérica, cuantos más puntos hay, más difícil es abarcarlos de un vistazo.
Por eso la primera pregunta es más o menos dónde están esos puntos. La forma más común de hallar el centro es la media, o promedio: sumar todos los valores y dividir por la cantidad. Si cada punto llevara el mismo peso, la media sería el lugar donde la recta quedaría en equilibrio, perfectamente horizontal.

Toca los puntos a elegir uno por uno para añadirlos al grupo. Cada vez que se agrega un punto, la marca de la media se mueve al nuevo punto de equilibrio.

Cada vez que se agregó un punto, la marca de la media siguió al punto de equilibrio. Cuando los puntos se amontonan a la derecha, la media también se va a la derecha. Por eso la media dice bien más o menos dónde están los datos.
Pero la media sola deja algo afuera. Aunque el centro sea el mismo, la forma en que se reparten los puntos puede ser totalmente distinta.

¿Qué tan dispersos? La dispersión

Aquí hay dos grupos. Los dos tienen exactamente la misma media. Pero uno se apiña en el centro, y el otro está muy desparramado. Como las medias son iguales, ¿podemos decir que son los mismos datos?
No. En el grupo apretado los valores se parecen todos, y en el amplio van de un lado a otro. Qué tan lejos del centro se extienden los valores, así, se llama dispersión.

Toca los dos grupos por turno para compararlos. La media es la misma, pero las barras de dispersión tienen largos distintos.

Las medias eran idénticas, pero la dispersión se veía distinta a simple vista. La barra de dispersión de este dibujo muestra la distancia desde la media hasta el punto más lejano: corta en el grupo apretado y larga en el amplio. En la estadística real, la medida más usada es la desviación estándar, que mide qué tan lejos de la media están los puntos en promedio.
Por eso la media y la dispersión forman una pareja. Solo mirando dónde está el centro y qué tanto se desparraman los valores a su alrededor se ven bien los datos.

Un punto muy lejos: el valor atípico

Los puntos están juntos en un lugar, y la media está justo en su centro. Pero ¿qué pasa si entra un punto solitario, muy lejos de los demás? Un valor así, apartado de todos los otros, se llama valor atípico.
Como la media suma todos los valores y divide, hasta un punto lejano cuenta por completo. Un solo punto puede mover el centro un buen trecho.

Toca para meter el punto lejano en el grupo. Por ese único punto, la marca de la media se va de golpe hacia él.

Entró un solo punto, y aun así la media pasó de rondar treinta a casi cuarenta, aunque todos los demás puntos se quedaron quietos. Así es como mirar solo la media puede engañar.
Aquí ayuda otro tipo de centro: la mediana, el valor que queda justo en el medio cuando los valores se ordenan de menor a mayor. Aunque entre un punto suelto, casi no se mueve. Si la media y la mediana difieren mucho, se puede leer como señal de que hay un valor atípico en algún lado.

Muchos datos en dos números

Ahora hay muchísimos puntos, demasiados para mirarlos uno por uno. Pero aprendimos dos números: la media, que dice dónde está el centro, y la dispersión, que dice qué tan desparramados están los valores.
Con estos dos, sean cien puntos o mil, se puede resumir todo en pocas palabras: el centro está más o menos aquí, y la dispersión es más o menos esta. Esta habilidad de reducir mucho a pocos números es donde empieza el manejo de datos de la IA.

Toca el botón de comprimir. Los muchos puntos se reducen a solo dos números, la media y la dispersión.

Incontables puntos se redujeron a dos números. Claro que al reducir también se pierde algo: la posición exacta de cada punto desaparece. Aun así, queda el carácter general de los datos, dónde se agrupan y qué tanto se desparraman.
Estos dos números también se usan mucho en el aprendizaje automático. Por ejemplo, valores con unidades y tamaños distintos, como la estatura y el peso, se llevan a una escala parecida restando a cada uno su propia media y dividiendo por su dispersión antes de usarlos para entrenar. Así se evita que un valor se trate como demasiado importante solo porque sus números son grandes.

Resumen

En resumen: muchos datos se resumen con pocos números. La media es el centro que se obtiene sumando todos los valores y dividiendo por la cantidad, y la dispersión dice qué tan lejos del centro se desparraman los valores. Aunque la media sea la misma, una dispersión distinta significa datos totalmente distintos.
Un valor atípico lejano sacude la media, así que conviene juzgar mirando también la mediana y la dispersión. Leer juntos el centro y la dispersión: ese es el ojo de la estadística.

Toca los puntos clave en orden para repasar. (la media es el centro → la dispersión es qué tan desparramados están → misma media con distinta dispersión son datos distintos → un valor atípico sacude la media)

Ahora tienes un primer ojo para leer datos con números. Un montón mareante de puntos se volvió nítido en dos números: el centro y la dispersión.
Pero la media y la dispersión solo resumen lo que ya pasó. Lo que pasará después no se puede saber con certeza. La próxima lección, sobre probabilidad, explica cómo manejar esa incertidumbre con números.