seegongsik
Mis palabras
CM · Ruido e información

Probabilidad y señales aleatorias

Una sola muestra de ruido no puede conocerse de antemano. Pero reúne muchas y el histograma siempre converge a la misma forma de campana. Aprende que aunque cada valor es aleatorio el conjunto es predecible, y que la distribución queda fijada por solo dos números, media y varianza.

Cuantas más muestras, más clara la campana

Cambia el número de muestras de pocas a muchas. Con solo unas pocas las barras son irregulares y no dan con la campana; reúne muchas y el histograma encaja en la curva normal dorada.

Número de muestras y convergencia
N = 16 → μ = 0, σ² = 1
Estimación tosca

Un valor es desconocido

Nadie puede decir de antemano cuál será la próxima muestra de ruido. Todo intento de fijar el ruido como un único valor siempre fracasa. Pero aleatorio no significa sin ley. No puedes obtener el mismo valor dos veces a voluntad, y sin embargo con qué frecuencia aparece cada valor es notablemente regular.

Apílalas y aparece una campana

Reúne unos cientos de muestras y apílalas en casillas por tamaño, y aparece una campana — alta en el centro, baja en los extremos. Cuantas menos muestras más toscas las barras; cuantas más reúnes más se acercan a una curva suave. Esa curva es la distribución normal, o gaussiana. Cualquier cosa hecha de muchas fluctuaciones aleatorias pequeñas sumadas — como el ruido térmico — casi siempre lleva esta forma de campana.

Observa∫ p(x) dx = 1
El área total de una densidad es 1.
Eligeμ = E[X] = ?
El ruido tiene media 0 — no se inclina a ningún lado.

Media y varianza, dos números bastan

La campana queda fijada por completo con dos números. La media μ dice dónde se centra, la varianza σ² cuán ancho se extiende. El ruido suele tener media 0, así que no se inclina a ningún lado, y su varianza es igual a la potencia media. La probabilidad de que un valor caiga en algún rango es el área bajo la curva sobre ese rango, y el área total bajo la curva es siempre 1. Conocer una muestra no dice nada, pero conocer estos dos números pone todo el conjunto en tu mano.

Completaσ² = E[(X ? μ)²]
La varianza es el cuadrado medio de la desviación de la media.
Por tu cuentaPavg = ?
La potencia media es la varianza σ².

De vuelta a la primera pantalla

Con dieciséis muestras las barras eran irregulares y no daban con la campana dorada, pero con novecientas el histograma encajó sin fisuras en la curva — aunque cada muestra individual seguía siendo impredecible. Lo único que hay que oír en probabilidad es esto: un único valor aleatorio no puede conocerse, y sin embargo el conjunto siempre forma la misma campana, y esa campana se sostiene por completo con dos números, la media que fija su centro y la varianza que fija su anchura.

Los valores de una señal aleatoria son impredecibles uno a uno pero en conjunto siguen una distribución de probabilidad. El ruido térmico sigue la distribución normal (gaussiana) en forma de campana, fijada por completo con dos números: la media μ que fija el centro (0 para el ruido) y la varianza σ² que fija la anchura (= potencia media). La probabilidad de un rango es el área bajo la curva de densidad sobre él, y el área total es 1. Esta descripción estadística es lo que hace tratable el ruido.

En la próxima unidad

Ahora el ruido puede medirse como distribución, su fuerza como varianza, y la razón de potencia de señal a ruido, el SNR, también está en mano. Lo siguiente es lo que los une en uno: la capacidad de canal de Shannon. Dados solo el ancho de banda y el SNR, el techo absoluto de la tasa de bits sin error de ese canal queda fijado de golpe por C = B log₂(1 + SNR).