Cómo se mide si una predicción acertó

«Acertar» parece fácil de juzgar: dijo 31 °C, hizo 30, se equivocó en un grado. Pero cada palabra de esa frase esconde una trampa. ¿Quién decide cuánto «hizo»? ¿Medido dónde, y con qué aparato? ¿Y cómo se convierte un mes entero de aciertos y fallos en una nota que signifique algo? Verificar — del latín verus, verdadero, y facere, hacer: hacer ver que algo es verdad — es la parte menos lucida de la meteorología y el corazón de MeteoRanking. Así que aquí va el método completo, con las trampas que hay que esquivar por el camino. Son más de las que parece, y la historia lleva siglo y medio tropezando con ellas.

Primero, la verdad: ¿qué pasó de verdad?

Para puntuar un pronóstico hacen falta dos números: lo que se dijo y lo que ocurrió. El primero es fácil de guardar — se escribió, tiene fecha y hora —. El segundo es mucho más resbaladizo de lo que parece.

La atmósfera no rellena formularios. Hay que salir a medirla, y medir algo tan aparentemente trivial como la temperatura del aire costó décadas de discusión. Un termómetro al sol marca varios grados de más, porque mide la radiación que recibe y no el aire que lo rodea. Pegado a una pared, hereda el calor del ladrillo. Sobre el asfalto, otro tanto. Dos observatorios igual de honrados podían dar cifras distintas del mismo día sin que ninguno mintiera.

La solución la firmó un ingeniero de faros escocés, Thomas Stevenson — el padre del Robert Louis Stevenson que escribiría La isla del tesoro —. En la década de 1860 diseñó una caja de madera pintada de blanco con las paredes hechas de láminas inclinadas: dejan pasar el aire libremente, pero impiden que la luz del Sol, el calor del suelo o la lluvia toquen el termómetro. Aquella garita se instaló en observatorios de medio mundo y, con ella, se pactó todo lo demás: se mide a la sombra, sobre hierba, a metro y medio del suelo (la norma internacional admite entre 1,25 y 2 metros). Parece burocracia. Es exactamente lo contrario: es lo que permite comparar Oviedo con Córdoba, y 1890 con hoy.

Aun así, la red tiene agujeros. Hay una estación en el aeropuerto y ninguna en tu barrio. Los aparatos se averían y dejan huecos de días. Y las garitas se mudan: basta moverla cien metros para que la serie dé un escalón que no ocurrió en el aire, sino en el mapa. Si cada ciudad se verificara contra la fuente que hubiera a mano, con sus huecos y sus mudanzas, comparar modelos entre ciudades sería un pantano. Hace falta una vara de medir única: la misma para todos, sin agujeros y disponible en cualquier punto del mapa — incluido el descampado donde no hay, ni habrá nunca, un termómetro.

ERA5: la mejor foto del pasado

Esa vara existe y se llama reanálisis. La idea merece contarse despacio, porque es una de las más elegantes de la meteorología moderna y casi nadie la conoce fuera del gremio.

Los grandes centros meteorológicos llevan décadas produciendo, varias veces al día, un análisis: la mejor descripción posible del estado de la atmósfera en ese instante, obtenida obligando a un modelo a encajar con todas las observaciones que van llegando — estaciones, boyas, barcos, globos sonda, aviones de línea, satélites —. Uno pensaría que basta con archivar esos análisis y ya tienes el registro del pasado. Sería un desastre. Los modelos se mejoran cada pocos meses, y cada mejora deja una costura en el archivo: un salto que no ocurrió en la atmósfera, sino en el código. Con una vara así, medir tendencias sería medir el trabajo de los programadores.

De ahí el reanálisis. Se congela una única versión del modelo — la misma de la primera hora a la última — y se la hace recorrer el pasado entero desde el principio, digiriendo por el camino todas las observaciones que se conservan, incluidas las que hubo que rescatar a mano de cuadernos de bitácora y libretas de observatorio (el rescate de datos es un oficio entero, y lo sostienen en buena parte voluntarios que transcriben caligrafías de hace un siglo). El resultado no es una foto del pasado: es una reconstrucción coherente, hecha siempre con el mismo criterio.

La del centro europeo ECMWF se llama ERA5. Cubre desde 1940 hasta hace unos días — el archivo va con cierto retraso, que es el precio de esperar a que lleguen todas las observaciones — y describe la atmósfera hora a hora sobre una malla de unos 30 kilómetros. Es la reconstrucción de referencia que usa la ciencia del clima en todo el mundo.

No es perfecta, y conviene decirlo antes de que lo diga otro: es una reconstrucción, no un termómetro en tu ventana, y el valor de una celda de 30 kilómetros representa una zona, no tu calle. Pero es continua, es global y, sobre todo, es la misma para todos: cada modelo se examina contra la misma verdad, en los más de 700 municipios que seguimos, todos los días. MeteoRanking la consulta a través de Open-Meteo y forma pares (predicción, observación): lo que cada modelo dijo ayer para hoy, frente a lo que ERA5 dice que ocurrió.

El MAE, con peras y manzanas

Con los pares en la mano llega una pregunta que parece de contabilidad y es de filosofía: ¿cómo se resume un mes de errores en un solo número?

En 1884, un sargento del Cuerpo de Señales del Ejército de Estados Unidos llamado John Park Finley creyó tener la respuesta. Finley fue un pionero admirable: se dedicó a pronosticar tornados en las llanuras cuando nadie se atrevía, con telegramas, observadores repartidos por el territorio y mapas dibujados a mano. Cuando publicó el balance de sus avisos, la cifra era deslumbrante: había acertado el 96,6 % de las veces.

El triunfo duró unos meses. Varios colegas hicieron la cuenta incómoda: los tornados son rarísimos, así que un pronosticador perezoso que se hubiera limitado a decir «hoy no habrá tornado», todos los días, sin mirar el cielo ni una sola vez, habría acertado aún más veces que Finley. Su 96,6 % no medía su talento. Medía lo raro que es un tornado.

Aquel bochorno — los historiadores lo llaman «el asunto Finley» — fundó una disciplina entera, la verificación de pronósticos, y le dio su primera ley: un porcentaje de acierto no significa nada hasta que se compara con la alternativa tonta. Entre quienes tomaron nota estuvo el lógico Charles Sanders Peirce, que ese mismo año publicó en la revista Science una manera numérica de medir el éxito de una predicción. Aquella lección es la que sostiene este sitio: por eso nuestro ranking no proclama «acertamos mucho», sino cuánto se desvía cada modelo, medido igual que los demás, en el mismo sitio y los mismos días.

Y ese desvío se resume así. Imagina que un modelo predijo las máximas de cinco días y falló, día a día, en +1 °C, −2 °C, +0,5 °C, −1 °C y +1,5 °C. La tentación es promediar tal cual: sale 0 °C, ¡un modelo perfecto! Es un espejismo: los errores por arriba y por abajo se anulan entre sí, como el estadístico del chiste que, con la cabeza en el horno y los pies en el congelador, está de media estupendamente. La solución es quitar el signo antes de promediar: 1, 2, 0,5, 1 y 1,5 dan una media de 1,2. Ese es el error medio absoluto, el MAE, y se lee en cristiano: «este modelo se desvía, típicamente, 1,2 grados». Va en las unidades de cada variable — grados, milímetros, km/h —, cuenta todos los errores por igual y no necesita traducción.

Existe una alternativa académica muy usada: elevar los errores al cuadrado antes de promediar, lo que castiga con especial dureza los patinazos grandes. Es útil en investigación, y elegir una u otra no es un detalle inocente, porque puede cambiar quién gana: premia al modelo prudente, que nunca se sale mucho, frente al que suele clavarla y de vez en cuando se estrella. Pero produce un número que ya no significa «grados de desvío típico» y que nadie interpreta a la primera. Entre una métrica solemne y una que entiende cualquiera, elegimos la segunda — y decimos cuál usamos, que es la otra mitad del trato.

La lluvia, además, lleva una segunda nota más terrenal: el acierto sí/no — ¿cayeron al menos 0,1 mm cuando dijo que llovería? —, porque para decidir si coges el paraguas importa más el «si» que el «cuánto». Y ahí acecha otra vez el fantasma de Finley: en un agosto sevillano, decir «no lloverá» acierta casi siempre. Un porcentaje de acierto en lluvia solo significa algo comparado con el de los demás modelos en el mismo sitio y los mismos días. Que es, exactamente, como se lee el ranking.

El examen sin trampas: fuera de muestra

Queda la trampa más sutil, y la única que se cae sola sin que nadie tenga que mentir. El pronóstico combinado Sinapsis 3 aprende: pondera cada modelo según sus errores recientes en tu ciudad. Si puntuáramos ese combinado con los pesos calculados después de conocer los resultados, se estaría examinando con las respuestas delante. Sacaría una nota magnífica y falsa. Y lo inquietante es que para llegar ahí no hace falta mala fe: basta con no darse cuenta.

Richard Feynman lo dejó dicho en 1974, hablando ante los recién graduados de Caltech de la ciencia que se engaña a sí misma. El primer principio, avisó, es no engañarse, y «tú eres la persona más fácil de engañar». No hablaba de fraude, sino de esa manera humana y cordial de ir arrimando el análisis a lo que uno esperaba encontrar.

La medicina tropezó con lo mismo y encontró la vacuna. Hoy las revistas serias no publican un ensayo clínico que no se haya registrado antes de empezar, con la hipótesis y la medida del éxito escritas de antemano: si el resultado no acompaña, ya no se puede cambiar la pregunta a posteriori. El parentesco no es casual. «Pronóstico» viene del griego prognostikón, «conocer de antemano», y era una palabra de médicos: el corpus hipocrático incluye un tratado titulado justamente así, sobre prever el curso de una enfermedad. Hace veinticuatro siglos la pregunta ya era la misma: ¿me creo lo que este hombre anuncia, o espero a ver qué pasa?

En meteorología, ese compromiso de no mirar el futuro se llama verificación fuera de muestra, o walk-forward. El combinado de cada día se puntúa usando únicamente los pesos que existían el día anterior — es decir, exactamente el pronóstico que tú habrías visto esa mañana, no uno reconstruido a toro pasado —. Rellenar la quiniela el lunes no tiene ningún mérito.

Suena a tecnicismo y es una decisión moral con consecuencias numéricas: nuestra nota sale peor con esta regla que sin ella, y precisamente por eso la regla está. Con ella, nuestra fila compite en igualdad de condiciones con los nueve modelos. Sin ella, el ranking entero sería decoración.

Por qué publicamos nuestros errores

El resto son reglas de juego limpio, todas visibles en el sitio. Un modelo solo puntúa en el ranking cuando acumula al menos 10 pares verificados: antes de eso, proclamar un campeón sería ruido disfrazado de dato. La clasificación agrega los horizontes de uno a tres días. Y la ventana temporal («últimos 31 días») no es un eslogan, sino una medición: se recalcula en cada corrida a partir del par más antiguo disponible, y se publica el número que salga, aunque sea menos vistoso que el redondo.

Publicamos también lo incómodo. Las temperaturas mínimas y la lluvia débil son más difíciles de clavar que las máximas — para los nueve modelos y, por tanto, también para nosotros —. Y la nubosidad merece un aviso aparte, porque es la grieta de nuestra propia vara de medir: las observaciones de nubes apenas pueden asimilarse, así que la nubosidad de ERA5 la produce en buena medida el propio modelo. La seguimos usando, porque es la única referencia homogénea que existe para toda la península y comparar a todos contra lo mismo es lo que hace justa la comparación; pero el ranking de nubes mide parecido a ERA5, no parecido a una foto del cielo. Preferimos que lo leas aquí.

Y encima de todo, el compromiso que resume la casa: hay ciudades y días en que un modelo suelto lo hace mejor que nuestro combinado, y en esos casos el ranking lo dice sin rodeos — con su fecha, su error y el nombre del que lo hizo mejor —.

¿Por qué tanto empeño en enseñar las vergüenzas? Porque un porcentaje de acierto sin método detrás no significa nada: es la lección de Finley, y sigue igual de fresca casi siglo y medio después. Cualquier web puede proclamarse «la más precisa» si elige ella misma el examen, las fechas y el tribunal. La honestidad, aquí, no es una pose moral; es la única manera de que el dato te sirva para algo.

Detrás hay algo más grande que un ranking. Durante casi toda la historia, quien anunciaba el tiempo no rendía cuentas: el augur, el almanaque, el refrán, el hombre que miraba la sierra y sentenciaba. Lo que cambió en los últimos siglo y medio no fue solo nuestra capacidad de predecir; fue la costumbre — modesta, aburrida, casi administrativa — de anotar lo que se dijo, guardarlo y contrastarlo después. Esa costumbre es la que convirtió la meteorología en ciencia, y es la misma que, en cualquier campo, separa a un experto de un adivino.

El método completo, con sus números, está en Cómo funciona; la verificación de ayer, en la sección Fiabilidad de la portada. No te pedimos confianza: te pedimos que mires.

← Todos los artículos