Quizás GPT-3 (OpenAI) no es tan revolucionario como parecía

Hace unos días OpenAI liberó información sobre su nuevo modelo de machine learning (NLP) denominado GPT-3. En concreto, nos vendieron en el paper la idea de que su modelo era revolucionario, y muchos medios se hicieron eco de éste hecho. Por ejemplo, el famoso canal en YouTube sobre ML, Dot CSV:

Sin embargo, parece que los chicos de OpenAI nos han vendido un poco de Hype a base de crear un modelo tan enorme, que es capaz (parece) simplemente de almacenar una cantidad de información enorme (indexada) entre sus nodos; pero que es muy poco probable que el modelo entienda (ni en lo más mínimo) el mundo o sea capaz de razonar sobre él, siendo en realidad posible que se trate simplemente del overfitting más gigantesco (y caro) de la historia del ML.

Aquí tenéis otro vídeo; uno del canal de Yannic Kilcher, donde viene mucho mejor explicado ésto que os digo:

En resumen este buen (y completo) vídeo viene a desmontar un poco que GPT-3 sea tan revolucionario como parecía a primera vista. Es cierto que cumple unas funciones hasta ahora nunca vistas en cuanto a capacidades few-shot, one-shot y zero-shot a la hora de resolver problemas para los que no fue entrenado en absoluto (no usa para nada fine-tuning), pero según el autor del vídeo enlazado, se trata de que el modelo es simplemente tan ENORME que tiene parámetros de sobra (175 mil millones) como para que las capas transformers puedan generar una especie de índice donde buscar información almacenada (overfitting) entre los propios nodos de la red. En concreto, parece que el modelo es capaz de "memorizar" de algún modo el billón de pares de texto que se le pasa a la red neuronal durante el entrenamiento.

Es decir, que parece que no es que el modelo comprenda, razone y deduzca a la hora de completar (autoregresivamente) a partir del texto de entrada (input) que se le pasa; sino que simplemente parece que usa ese texto de entrada como puntero con el que buscar entre sus miles de millones de parámetros la información almacenada (en ese supuesto overfitting) que mejor cuadra como salida (output).

El debate está de todas formas abierto y habrá que esperar a nuevas pruebas por parte del equipo de GPT-3 respecto a su defensa de que hay algo más que un gigantesco overfitting en su trabajo. Es sencillo de probar y el autor de este vídeo propone varios tests sencillos que decantarían la balanza de uno u otro lado.

La cosa se complica

La cosa se complica: no sólo es ya Florida la que habla de una nueva variante del virus más contagiosa, sino que ahora se suma una nueva cepa (confirmada) aparecida en China. Y contra todo pronóstico, no sólo es más contagiosa, sino también más letal.

Por otra parte, varios estudios dan por hecho que la inmunidad alcanzada tras pasar la infección dura alrededor 12 meses. Momento en que vuelves ser persona susceptible de otro nuevo contagio.

Ambas noticias ponen en claro una cosa. El nuevo coronavirus es capaz de mutar con tanta facilidad o más que la gripe: en menos de 7 meses de vida ya se le conoce una nueva cepa China y otra posible en Florida (Estados Unidos), y además, esta capacidad de mutación no está de momento restando letalidad al virus sino incluso dándole más (acercándolo a la letalidad del SARS-Cov-1 o el MERS).

Eso por una parte, y por otra, el corto tiempo de inmunidad conseguida (12 meses) garantizan que cada año estaremos expuestos todos a pasar el COVID, que parece que será muy probablemente una enfermedad que se hará estacional y endémica como la gripe. En el mejor caso las vacunas deberán ser modificadas cada año y tendremos que vacunarnos todos cada año.

Y para más inri, habrá una convivencia gripe-COVID que saturará aún más los sistemas de salud de todo el mundo (y recordemos que sólo el pico de la gripe deja los pasillos de urgencias llenas de cama todos los años por enero-febrero).

Finalmente señalar que va a llover sobre mojado y la economía va a sufrir un segunda traspiés cuando aún no nos hemos recuperado del anterior.

La psicosis que nos espera

Os dejo aquí un interesante y preocupante editorial de Science. Habla de un problema del que aún no hay información, la coexistencia entre la gripe y la covid. Porque ya sabemos que la gripe comenzará allá por octubre-noviembre como todos los años, y es preocupante saber cómo afectará este hecho con la actual pandemia de covid (que recordemos sigue creciendo a nivel mundial en cuanto al número de nuevos casos diarios).

Y es especialmente preocupante el miedo y la psicosis que pueda levantar esta coexistencia gripe-covid en la población (añadiendo también los resfriados comunes). Cuando veamos en cada esquina gente con síntomas gripales o catarrales y sepas que el coronavirus también anda por ahí la sensación será de pánico e inquietud (estrés) constante (más aún cuando la gripe alcance su pico en enero-febrero). Cualquier persona con síntomas va a ser creo, literalmente un "apestado". Las bajas laborales por resfriado común y gripe serán la norma (cuando antes eran la excepción). Es posible, además, que el consumo se relaje mucho en otoño e invierno de nuevo, esta vez posiblemente debido a mini-confinamientos autoimpuestos por una población aterrada. Incluso sin una segunda oleada covid demasiado fuerte.

Y por otra parte está el miedo de la propia persona que presenta síntomas. "¿Tendré coronavirus?", será la pregunta que todos los acatarrados y personas con gripe se harán: las consultas ambulatorias (y hospitales) se verán desbordadas posiblemente desde octubre con cientos de miles de personas exigiendo que les hagan un PCR...y repitiendo a los pocos días si los síntomas no mejoran, a sabiendas de que los falsos negativos son posible (y probables al inicio de la infección). Si ya en años previos "normales" la gripe estacional casi lograba ella sola medio colapsar los recursos sanitarios en toda España (recordad esos telediarios mostrando a la gente en camas en los pasillos del hospital); la entrada del covid en escena, junto con la paranoia psicológica y el miedo, conseguirán casi con toda probabilidad que vivamos de nuevo situaciones de colapso similares (o peores) a las de marzo de este año:

Peregrinación de centro en centro cuando falten PCR en algunos lugares; gente sintomática con gripe, catarro y covid (y otras patologías distintas) juntas en el mismo lugar pidiendo atención médica e intercambiando gérmenes. Un caos, vaya.

Un importante foco de ansiedad estará presente en todos los trabajadores que estén cara al público: dependientes, camareros, etc. Por no hablar de la situación en las residencias de mayores, donde los trabajadores acabarán la mayoría pidiendo la baja por estrés, ansiedad y depresión ante la situación de terror ocurrida cuando la mayor parte de los abuelos presenten síntomas (como todos los años). Y no hablemos ya de los colegios: padres (y profesores) inquietos y recelosos de cualquier niño con mocos. Peleas entre progenitores defendiendo que sus hijos no tienen covid sino resfriado. Familias que no pueden permitirse tener al niño en casa cada vez que presente algún síntoma catarral porque trabajan, ocultando o minimizando por tanto esos síntomas, etc.

Queda por delante un otoño-invierno que acabará en los anales de la historia...independientemente de que la segunda oleada covid sea fuerte o no.

Ese día piensa en mí (Los Suaves)

Ese día piensa en mí

(Los Suaves):

El día que se acabe el tiempo,

cuando el sol se apague para mí.

El día de la eterna noche sin sueños,

cuando por fin deje de sufrir.

El día en que de madrugada la dama

me visite al fin...

Ese día piensa en mí.

Descansaré en paz, amigo.

Calla, no llores por mí.

He escogido mi camino.

El día sin luz anterior a mi entierro,

cuando las moscas se posen en mí.

El día en que nadie cierre mis ojos

y que ni una lágrima corra por mí.

El día que veas que mi mirada

no se fija en ti...

Ese día piensa en mí.

Descansaré en paz, amigo.

Calla, no llores por mí.

He escogido mi camino.

Ese día piensa en mí.

Descansaré en paz, amigo.

Calla, no llores por mí.

He escogido mi camino.

El día en que se acaben los recuerdos,

cuando la muerte me encuentre por fin.

El día en que llega el gran desengaño,

cuando la vida se burla de ti.

El día en que sepa que no soy nada

y nada hay para mí

Ese día piensa en mí.

Descansaré en paz, amigo.

Calla, no llores por mí.

He escogido mi camino.

Cuando la evolución decide quién vive

En la, de momento, primera ola de la actual pandemia de coronavirus; no sólo España sino otros muchos países tuvieron que decidir en pleno pico de contagios y a las puertas del colapso sanitario cómo priorizar las camas hospitalarias y las plazas UCI disponibles. En concreto, mayormente se dio prioridad (en caso de necesidad de elegir) a las personas más jóvenes frente a las mayores, llegándose a casos en que directamente se prohibió el traslado de mayores de 75 años a los hospitales.

Y es ahora, a toro pasado, cuando vienen los debates; con fines políticos e ideológicos casi siempre, sobre la ética o falta de ética de aquellas decisiones tomadas en plena escalada, cuando simple y llanamente no había recursos médicos para todos. Pero cualquiera con dos dedos de frente puede ver que la determinación de "salvar" a los jóvenes sobre los "viejos" no fue para nada algo racional, sino un proceso instintivo (casi un acto espontáneo que siguieron -y siguen- a pies juntillas gobiernos de derecha y de izquierda por igual).

Porque lo mismo que dice esa ley no escrita por la que ante un naufragio tienen siempre preferencia los niños y las embarazadas, existen muchas otras leyes naturales (instintivas e innatas) que nos son desconocidas hasta que desgraciadamente llega el momento de tener que optar por una opción mala u otra peor. En el caso de esta inusual pandemia nos vimos de repente con el requerimiento de decidir cómo priorizar los escasos recursos médicos: ¡y la evolución decidió por nosotros, por supuesto! Simplemente, y de manera natural (automática), todos los que se vieron en la necesidad de realizar tal selección (no todas las comunidades ni todos los países se vieron desbordados por igual) sin excepción antepusieron la vida de los más jóvenes sobre la de los más ancianos.

Y esto fue así porque simple y llanamente la evolución de manera instintiva nos hace tender a ayudar y asistir con más ímpetu a aquellos individuos que tienen más "valor" evolutivo (replicativo) por delante. Las personas en edad reproductiva (o que aún no alcanzaron dicha edad) siempre son naturalmente "preferibles" a las personas que ya casi finalizaron su "misión" natural evolutiva.

Ésto desde luego en lo relativo al sujeto parece un acto natural cruel, pero debemos recordar que objetivamente en la naturaleza no hay nada Bueno ni Malo (con mayúsculas). No es malo el león ni buena la gacela. Ni es mala una bacteria que mata una persona. Tampoco es bueno ni malo el médico o dirigente político que instintivamente se ve "forzado" a anteponer la vida del joven sobre la de la persona mayor: es tan sólo algo natural. Y si alguien se siente tentado de culpar a alguien, que culpe al modo en que funciona esencialmente el mundo evolutivo o, si es creyente, que culpe a su Dios.