Machine learning, ingeniería de fármacos y COVID-19: un escenario muy prometedor

Os dejo un recurso divulgativo muy interesante (el divulgador: Siraj Raval, es el equivalente americano de nuestro DotCSV ;) ) sobre cómo en los últimos meses se está usando el machine learning cada vez con más éxito en el apoyo directo a la ingeniería de fármacos:

El vídeo es un poco técnico pero creo que alguien con conocimientos de bioquímica y algo de programación lo puede seguir bien. Es un mundo apasionante que nos va a dar muchas alegrías en los próximos meses y años. Dejo también otro recurso de este mismo divulgador de hace un par de horas (sí, horas) donde habla de cómo también desde el machine learning se ha trabajado (ya) en lograr una terapia para el COVID-19: hace dos semanas abrieron una competición (de código abierto), para que cualquier persona con conocimientos de computación suficiente participara en la búsqueda de un fármaco ya existente (o "fácil" de sintetizar si es novedoso): www.youtube.com/watch?v=1LJgkovowgA

El resultado de esta competición (una gota de agua de entre miles de esfuerzos privados y públicos que ahora mismo hay alrededor del mundo haciendo uso del machine learning) se conoció ayer mismo:

Aquí tenéis por escrito el resultado: www.sage-health.org/coronavirus/

El primer lugar lo ha ocupado un chico llamado Matt O'Connor que, ojo, sin apenas estudios previos de bioquímica o medicina; sólo ciencias de la computación, consiguió detectar un compuesto existente (Remdesivir) como efectivo en el tratamiento de este nuevo virus. Este fármaco ya fue usado con éxito para tratar el Ébola ¡pero Matt no tenía ni idea de ésto! Simplemente resultó ser el compuesto más prometedor (el que mejor "puntuación" obtuvo como inhibidor) obtenido tras realizar simulaciones usando machine learning sobre un dataset de base de varios millones de compuestos, y a partir del conocimiento físico tridimensional del coronavirus.

Pues bien, el Remdesivir ha sido utilizado en un paciente severo por coronavirus en USA (en el vídeo muestran el paper de éste hecho) y los resultados fueron muy prometedores (el paciente se curó, vaya). En abril de este año la FDA va a realizar con él un trial usando decenas de personas para reafirmar el hallazgo. También en China (Wuhan) van a realizar tests de este compuesto a mayor escala aún.

Por otra parte, este chico también fue capaz de generar, usando el mismo algoritmo, dos compuestos novedosos (aún por sintetizar) que dieron un resultado (score) todavía más prometedor en la simulación computacional que el Remdesivir. Ahora tocaría darle al "sintetizador" y probar suerte por si el Remdesivir no es suficiente ;).

Los que tengan más conocimientos técnicos (muchos más :P), pueden estudiar el código fuente de Matt aquí: github.com/mattroconnor/deep_learning_coronavirus_cure

Es interesante que hace también unos días, el mismísimo Demis Hassabis, co-fundador y CEO de Google DeepMind (el equipo encargado de desarrollar el famoso algoritmo de ML: AlphaFold), aseguró que sería muy pesimista sobre el futuro de la humanidad respecto a muchos temas candentes: cambio climático, futura escasez de recursos no renovables, enfermedades habidas y por haber, etc., si no fuese por el oportuno auge de la inteligencia artificial de la última década:

Yo estoy de acuerdo con él. Vamos a vivir unos próximos años apasionantes en este sentido, y tenemos ya aquí mismo como hemos visto los primeros pasos de este esperanzador escenario.

Qué de risas con el coronavirus

Qué risa de verdad; buenos chistes por todas partes sobre el coronavirus. Aplausos mil. Memes, comentarios en todas las redes sociales, no hay esquina de bar donde no se escuche alguna broma sobre el tema (o el espabilado que dice que esto es sólo una gripe más).

Y mientras, el Ibex cerca de perder los 8000 puntos, putos especuladores, ¿no? Qué risa también cuando la caída del turismo, nuestra mayor fuente de ingresos, lleve a un aumento de paro estacional nunca visto antes: https://www.elmundo.es/economia/empresas/2020/03/07/5e625b4e21efa01f428b45a4.html.

Por otra parte, la gente sigue muriendo de ésto (aunque claro, los casos severos ocurren "sólo" con los viejos y a la gente con "raras" patologías previas como por ejemplo la hipertensión -¿quién tiene esa mierda :P?-). Los especialistas sanitarios siguen cayendo en masa en cuarentena y/o atienden estando ellos mismos enfermos, lo que es peor: https://www.elmundo.es/papel/historias/2020/03/07/5e62889dfdddfff9638b46e9.html. Pobre de aquel que tuviera cita con el cardiólogo para algo serio, pero que resulte que su especialista está en casa en cuarentena y tiene que verlo (quizás incluso operarlo) un internista acabado de terminar en la facultad, o un ginecólogo en paro que aprovecha para meter cuello en la pública y sumar puntos en la bolsa (aunque sea a costa de tratar sobre lo que no sabe).

Pero oigan, ¡que no decaiga la fiesta que a nuestras familias aún no les he tocado pasar esta "gripe"...mejor dicho, este "resfriado" inofensivo digno de cachondeo y burla!

Si es que los chinos son muy exagerados (y dictatoriales; los malos malotes de la película). No podemos ser como ellos. Aquí "semos" todos más listos, y sabemos mucho más de estas cosas. No hay que alarmarse, hombre. ¿Mascarillas "pa" qué? ¿Aislamiento? Anda ya, por Dios...quizás deberían haber dejado los chinos propagarse por el mundo sin control esta "gripecilla" para que todos la hubiésemos sentido desde el principio con toda su fuerza (y así valoraríamos como es debido los esfuerzos titánicos realizados en China, como es el caso de Wuhan, una ciudad de millones de habitantes que lleva aislada por completo casi dos meses: https://elpais.com/sociedad/2020-03-06/quien-no-viva-aqui-no-sabe-lo-que-estamos-pasando-los-efectos-psicologicos-de-la-cuarentena-de-wuhan.html). Pero claro, a quién le importa el dolor ajeno de esos "chinitos". Otra cosa sería que tuviésemos que encerrarnos en casa sin poder salir de Madrid o Barcelona durante 40 días, pero eso no puede pasar en España, joder. "Na", pamplinas de los alarmistas chinos. ¡Que siga el cachondeo que estamos en "fase de control", como dice siempre el enviado del ministro de sanidad por la tele!

Pero bueno, ya llegará el momento (no dentro de mucho, por desgracia) en que todos estos chistes tan "grachiochos" sobre el coronavirus dejarán de tener gracia porque empezarán literalmente a ofender a personas con casos cercanos serios. Entonces llegará la hora de los "ofendiditos" y este tipo de posts y comentarios, tan chistosos y simpáticos, serán censurados por cuestiones morales (bendita la moderna censura "del buenismo"). En otras palabras, que dentro de muy poquito no habrá "huevos" de hacer este tipo de publicaciones y comentarios en público salvo pena de que te acribillen por ser alguien poco empático con el dolor ajeno (y recordemos que lo pasado por los chinos no cuenta que están "mu" lejos y son la leche de exagerados). Y ésto, la censura moral, llegará en una semana, un mes, dos...pero llegará. Así que aprovechémonos mientras de nuestro famoso humor español. Que para eso sí que somos muy buenos (también para el cuñadismo). Por cierto, ¿cómo quedó ayer el Madrid? La de "manis" que van a haber como se le ocurra al ministro de sanidad cerrar la liga española al público.

Sobre la mortalidad del Coronavirus 2019-nCoV

Sobre la tasa de mortalidad del Coronavirus 2019-nCoV:

Hoy por hoy, la mortalidad del virus es desconocida con exactitud. Lo único que se puede de momento es inferir la misma a partir de los datos disponibles hasta ahora. Estos datos varían a diario conforme se obtienen datos nuevos, y así será hasta que finalmente el foco pasé (en marzo o cuando sea) y entonces se puedan hacer los cálculos finales.

A día de hoy lo que hay, empíricamente, sobre la mortalidad del virus es lo siguiente (fuente de los datos: https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6):

Infectados totales: 43.000 personas,
Ya muertos: 1018 personas,
Ya recuperados: 4300 personas,
Actualmente pasando la enfermedad: 43.000 - 1018 - 4300 = 37.682 personas.

Tasa de mortalidad entre los que YA HAN PASADO la enfermedad (dados de alta o muertos): 1018 * 100 / (1018 + 4300) = 19,14%

Se observa con los días una tendencia a la baja en esta mortalidad, pero para nada parece que la cosa vaya a bajar del 10% de mortalidad para cuando todo acabe y no queden ingresados o enfermos.

Y ese 10% de mortalidad es MUY alto, y muy superior al de una gripe estacional. Y ante la falta de una vacuna y la posibilidad de que se vuelva una enfermedad endémica en muchas partes del mundo (sobre todo en países en vías de desarrollo) estamos hablando de palabras mayores.

El Coronavirus 2019-nCoV continúa en crecimiento exponencial (a 6 de febrero)

En relación a este otro artículo, comentar que un día más se demuestra que el Coronavirus 2019-nCoV continúa en crecimiento exponencial, y que los sistemas de control chino están continúan fallando. Si miramos la gráfica adjunta, podemos ver como los casos de contagio diario aumentan cada día. Esto lo podemos comprender si entendemos que cada punto de la gráfica es un día, y que la longitud que une cada punto (cada día) es el número de NUEVOS contagios ocurridos entre esos dos días.

Se puede ver claramente como la longitud que separa cada punto crece en todo momento (lo cual no pasaría si el virus estuviese controlado), y esto demuestra que se trata de la representación (la derivada en el tiempo) de una curva exponencial.

Y la manera en que crece la longitud entre puntos indica que cada pocos días se duplica el número de nuevos contagiados, lo cual se puede entender aproximadamente (habría que meter un coeficiente corrector que por simplicidad ignoro) como la derivada en el tiempo de una exponencial cuadrática: d(x^2)/dt = 2*x (siendo x el número de días trascurridos). Así pues, si hace unos días los nuevos casos aumentaban en 1000 al día, al poco lo hizo en 2000 al día, y en estos momentos los nuevos casos van por 4000 al día.

Esto supone que, de seguir incontrolado el virus, llegará un momento (posiblemente esta semana, el domingo posiblemente) en que los nuevos casos serán de 8000 al día, y luego pasaremos a 16000 (a finales de la semana que viene, probablemente). Luego serán 32000 nuevos casos al día, 64000, 128000, y al cabo de unos meses (si los sistemas de control siguen fallando), hablaremos de números de 256000, 512000, y así hasta pasar del millón de nuevos afectados diarios.

¿Suena catastrofista? Sí. ¿Suena cansino? Sí. ¿Significa eso que se trata de un escenario poco probable dados los datos empíricos de que disponemos a 6 de febrero? NO. Los nuevos casos diarios siguen la senda de la derivada de una curva exponencial, y como digo, la muestra de que lo que digo es bastante aproximado a la verdad se verá cuando la semana que viene tengamos 8000 nuevos casos diarios en lugar de los 4000 de estos dos últimos días, o los 2000 de hace cuatro días.

Fuente de los datos: https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6

El Coronavirus 2019-nCoV continúa en crecimiento exponencial

A 2 de febrero de 2020 seguimos con una curva de contagios exponencial. Eso indica que los métodos de control chino están fallando. Y no es que no estén poniendo medios (aislar ciudades enteras es algo que aquí en occidente apenas podríamos hacer), la cusa podría estar en el hecho de que el virus sea capaz de contagiarse sin síntomas y mediante diversos medios (por la conjuntiva del ojo, por vías respiratorias, etc.): de este modo, si un contagioso no presenta síntoma alguno, ¿cómo lo aíslas o lo catalogas siquiera para tomar personalmente precauciones frente a él? Teniendo en cuenta la densidad de población China es imposible mantener la distancia con todas las personas, incluso las que aparenten estar sanas como una pera. Y si se intentase, su economía colapsaría inmediatamente: las fábricas cerrarían, las oficinas quedarían vacías, las tiendas sin suministros, etc.

Pero, por otra parte, también es imposible hacer constantes analíticas a mil millones de chinos; y mientras, esos asintomáticos contagiados van por la calle durante el periodo de incubación (de 3 a 14 días) propagando el virus a otras personas que obviamente no ven peligro en ellos y no evitan el acercamiento, tratan con ellos en el trabajo, en las tiendas, restaurantes, etc.

En resumen: que esta curva exponencial tiene pinta de continuar, y de ser el caso (si los sistemas de contención SIGUEN fallando), los enfermos se acercarán posiblemente al millón a finales de febrero.

Fuente de la gráfica: https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6

Por otra parte, de entre todos los diagnosticados: 15.000 personas que permanecen ingresadas o en observación; la relación entre las personas curadas (dadas de alta) y las personas fallecidas, dan un aterrador balance cercano del 50%.

Mortalidad del virus

Se habla mucho por ahí que si un 2%, que si un 3%. Pero la cosa es muy complicada para afirmar esos valores tan bajos. Empíricamente, y con los datos que tenemos en la mano (a 2 de febrero de 2020):

Infectados totales: 15.000 personas,

Ya muertos: 305 personas,

Ya recuperados: 345 personas,

Actualmente pasando la enfermedad: 15.000 - 305 - 345 = 14.350 personas.

Tasa de mortalidad entre los que ya han pasado la enfermedad: 305 * 100 / (305 + 345) = 46.9%

Sobre el pin parental

No me gusta tratar temas políticos en mi blog, pero no he podido resistirme a dar mi opinión sobre el actual debate en España sobre el pin parental:

En el colegio se enseña la actividad curricular que el momento POLÍTICO determina. En la Alemania Nazi era de una forma, en el estatalismo de otra, en la américa de la postguerra otra, en el oriente medio actual también es distinta, en la dictadura española, y luego en cada legislatura de la democracia fue cambiando según fuera el color del partido político. Pero en el fondo, hay que entender que todo el currículo educativo es POLÍTICO e IDEOLÓGICO en su base y fundamento (de hecho, siempre ha sido el instrumento político más efectivo utilizado, y lo sigue siendo). Pero como, supuestamente, vivimos en un trocito de esa parte de lo que se llamó el "mundo libre", yo no veo tan mal que un padre pueda decidir qué ideología y fundamentos generales quiere que se les inculquen a sus hijos.

El pin parental en realidad es una propuesta más liberal de lo que parece. Porque, insisto, ¿quién decide qué actividad curricular es la correcta? No cabe duda que los políticos del momento histórico en cuestión. Pero, ¿qué pasa con todos aquellos representantes (padres en este caso) con ideas contrarias al partido ganador en las elecciones (cuando hablamos de un país "democrático")? Actualmente los representantes (padres) del partido (o partidos) político perdedor de las elecciones, que normalmente roza el 50% de la población (excepto cuando hay mayoría absoluta holgada), se ven OBLIGADOS a que sus hijos sean formados bajo ideas y fundamentos en parte contrarios a sus creencias. Y siendo honestos, en el mundo de la moral, la sexualidad, e incluso la ciencia; todo es muy relativo y todo se puede reducir a historias y cuentos adaptados a los tiempos: i.e; a idearios.

Si este pin parental se instaura como manda Deus, en principio podría servir incluso de alivio para para soltar un poco de presión en aquella población que no se siente representada por el partido ganador de las elecciones (sobre todo cuando se tratan de partidos extremistas por la izquierda o por la derecha); y perder así el miedo a que instauren en sus hijos ideas y creencias demasiado contrarias a las defendidas por esta familia del menor. ¿Qué tiene eso de malo? ¿alguien (persona o partido político) se atreve a decir que tiene la verdad moral absoluta? ¿alguien se atreve a decir que la ciencia que defienden no contiene lagunas o que está incompleta (es decir, que no es en el fondo una creencia o historia más)? ¿alguien se atreve de verdad a decir que tiene en su poder verdades tan ABSOLUTAS y rotundas que nadie las puede poner en duda?

En realidad, más bien parece que toda esta polémica sobre el pin parental es un simple caso de supremacismo moral y ético. Se está cayendo en la prepotencia didáctica y en la dictadura ideológica del déspota epistemólogo: cuya tendencia, como no, es la de obedecer al momento político que viva cada país perdiendo de vista la perspectiva histórica, y la relatividad inmanente a toda idea moral, ética e incluso científica. También es cierto que esta postura supremacista ha existido siempre en todo país y momento histórico, pero al menos que no nos quieran vender la moto con tonterías ahora, hombre.

La verdadera compasión

"Todos los seres humanos quieren vivir, pero ninguno sabe por qué vive." 

(Arthur Schopenhauer)

De la traducción de los mejores aforismos de Schopenhauer realizada por Carlos Javier González Serrano en su libro  "Parábolas y aforismos", nos encontramos con esta maravillosa reflexión:

"En oposición al principio moral Kantiano, quisiera proponer la siguiente regla: siempre que entres en contacto con un individuo, no lo evalúes objetivamente por su valor y dignidad; no tengas en consideración la maldad de su voluntad, ni la estrechez de sus entendederas o la absurdidad de sus conceptos. Pues lo primero podría fácilmente provocar odio contra él, y lo segundo, desprecio. Ten únicamente en cuenta su sufrimiento, su menesterosidad, sus temores, las penas reflejadas en sus ojos. Así te acercarás y simpatizarás con él, en vez de suscitar aquel odio y desprecio, y sentirás por él compasión. [PP, II, 109]"

Y hoy mejor que nunca aplican estas palabras. En la actual época contemporánea (aunque, siendo honestos, deberíamos mejor decir: como en toda época histórica) llena de conflictos, ira, odio, y falta de entendimiento; repleta de "bandos" e ilusorias distinciones entre "unos" y "los otros"; tendríamos de una vez que dar un verdadero paso atrás y observar a la realidad apuntando a su esencia, a la causa última evolutiva de nuestra conducta.

Porque todos, absolutamente todos los seres vivos somos hijos de una misma voluntad natural: una voluntad que consiste en ser, simplemente, un ciego y espontáneo proceso mecánico emergente, fruto del acatamiento natural de los preceptos físicos subyacentes (las inmutables y eternas leyes naturales); es decir; eso que comúnmente denominamos como evolución natural. Un proceso evolutivo cuya selección espontánea conforma y guía instintivamente a todo lo vivo desde hace más de 3.500 millones de años. Y es precisamente esta esencia (espontánea) de la realidad la encargada de obligarnos a pelear los unos contra otros en esta especie de Coliseo romano que conforma la realidad fenoménica que se aparece ante nuestros ojos, participantes de una absurda escena tragicómica.

Y es que la vida en el fondo es una trampa; un escenario del que no es posible salir, y en el que todos debemos ejercer nuestro papel para luego desaparecer (cosa que en biología hace tiempo que se conoce como teoría del soma desechable). El escenario permanece, y lo que cambian somos los pobres cómicos que danzamos sobre él, forzados como marionetas incapaces de determinar sus propios actos. Hay hoy día alrededor de 7000 millones de personas "vivas" luchando todas sin saber muy bien para qué, y se estima que otros tantos miles de millones ya pasaron por donde nosotros ahora estamos...todos desaparecieron en el abismo de la nada; y nada se sabe de ellos, a parte de que compartieron nuestro fatal destino peleando y odiándose los "unos" a "los otros".

Por lo tanto intentemos domar en lo posible a la bestia instintiva, reflexionemos desde la razón basándonos en las sabias palabras de el genio de Danzig. Cuando trates con alguna persona, e incluso con cualquier animal, observa sus ojos: verás que en el fondo están llenos de penas y frustraciones, incomprensión y vehemencia...igual que los tuyos. Y comprenderás también que ese dolor que de reojo has atisbado, es también compartido por los tuyos, y que la esencia de esa aflicción es fruto de la misma voluntad natural evolutiva que os dio forma a ambos. Podrás de esta manera levantar el "velo de Maya", y entender que todos somos marionetas obligadas a luchar por un ciego sinsentido físico (termodinámico, aunque eso ya es otra historia).

Intentemos así en todo momento desde la razón evitar el odio y el desprecio, por mucho que el instinto nos obligue a pensar lo contrario; reforcemos la compasión por "el otro". Porque el otro sufre y lucha en favor del mismo absurdo que tú, y porque la fuente de su inquina y rencor posee la misma causa última que todo lo demás en este mundo (animado e inanimado): obedecer ciegamente y con la mayor vehemencia posible los mandamientos físicos naturales.

Por lo tanto, y a modo de corolario, sólo pedirte que la próxima vez que te veas acalorado dentro de una discusión o de cualquier tipo de trifulca (física u online), que pienses en todo lo dicho: que levantes el velo de la ilusoria pretensión instintiva, y que reflexiones sobre el hecho de que todos estamos sufriendo y sintiendo malestar esencialmente por y para nada. Y cuando, de este modo, finalmente seas capaz de ver la marioneta que eres, y de comprender los hilos que te mueven, al mismo tiempo también verás con claridad en "el otro" esos mismos ojillos de cristal; y sentirás compasión y lástima por él...del mismo modo que la sentirás por ti mismo.

Nota. 

Si deseas profundizar más sobre la relación propuesta entre vida y termodinámica recomiendo el siguiente enlace: "Termodinámica y mecánica social".

Parábolas y aforismos (Arthur Schopenhauer)

"¿Qué puede esperarse de un mundo en el que casi todos viven, sin más, porque no tienen el valor para pegarse un tiro?" 

(Arthur Schopenhauer)

Uno de los mejores libros que he leído el año pasado ha sido sin duda la recopilación y traducción de textos de Schopenhauer que ha realizado el siempre interesante Carlos Javier González Serrano. Su libro, titulado "Parábolas y aforismos", no sólo es una magnífica colección de aforismos sino que también incluye una introducción previa a la filosofía de Schopenhauer digna de ser tenida en cuenta para cualquiera que quiera iniciarse en el estudio de la obra de este autor.

Os dejo a continuación algunos ejemplos del contenido del libro, aunque os aseguro que merece mucho la pena su lectura completa, ya que no hay ni un párrafo que no te llegue literalmente al alma. Cada aforismo es una invitación a reflexionar sobre la vida...y qué más se puede pedir en estos tiempos donde lo único que se venden son novelas de tres al cuarto:

MuZero: el nuevo hito de Google DeepMind

"[...] MuZero learns a model that, when applied iteratively, predicts the quantities most directly relevant to planning: the reward, the action-selection policy, and the value function. When evaluated on 57 different Atari games - the canonical video game environment for testing AI techniques, in which model-based planning approaches have historically struggled - our new algorithm achieved a new state of the art. When evaluated on Go, chess and shogi, without any knowledge of the game rules, MuZero matched the superhuman performance of the AlphaZero algorithm that was supplied with the game rules."  (Abstract)

Cada poco tiempo, Google DeepMind nos tiene acostumbrados a darnos agradables sorpresas que indican que el estudio en inteligencia artificial va en el buen camino a la hora de lograr una inteligencia artificial general. El nuevo hito del que os voy a hablar a continuación es un pequeño paso más allá de AlphaZero, al que el equipo de Google han denominado MuZero ("Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model)".

En concreto MuZero es un pequeño paso para uno mucho mayor que es seguro que está en camino, conformando una base que muy previsiblemente va a revolucionar el campo del aprendizaje automático. El paper publicado por DeepMind es bastante entendible y además han ofrecido una especie de pseudocódigo para facilitar su entendimiento. De hecho, gracias a esta ayuda me ha sido bastante sencillo aplicar la técnica utilizada en MuZero para desarrollar un algoritmo capaz de aprender a jugar al famoso juego Conecta 4. Podéis seguir el código en mi repositorio de GitHub: https://github.com/Zeta36/muzero

Pero, ¿cuál es la novedad detrás de MuZero?

Grosso modo, la innovadora idea ha sido la de utilizar un par de subredes neuronales capaces de "imaginar" la dinámica del entorno donde se desarrolla el modelo. Hasta ahora, el éxito detrás de los desarrollos de RL (reinforce learning) se conseguían gracias a que para el entrenamiento de la red neuronal se le ofrecía al modelo la dinámica (determinista) del entorno que debía aprender a resolver, además de ofrecerle la recompensa obtenida en cada paso. En otras palabras: el modelo aprendía "fácilmente" gracias a que en cada momento se conocía el estado completo del entorno así como el futuro inmediato (y la recompensa obtenida) tras realizar una acción. Y desde luego esta estrategia funciona, pero NO es así como los seres vivos aprenden en el mundo real.

En nuestro día a día, la dinámica de los fenómenos no están a nuestro alcance en todo momento. Cuando un bebé, por ejemplo; aprende a caminar con los meses no tiene a su alcance una dinámica perfecta del entorno. Del mismo modo, cuando de más mayores aprendemos a jugar a un nuevo videojuego que hemos comprado, normalmente al principio no tenemos ni idea de las recompensas que cada acción nos va a ofrecer ni tampoco conocemos la dinámica del mismo: es decir, que si nos dan una videoconsola con  un mando y un juego al que nunca hemos jugado, nuestra mente no tiene a su disposición la dinámica del juego: no sabemos qué hace cada acción (el futuro inmediato tras pulsar ciertos botones), no sabemos la recompensa (¿qué pasará si ese objeto choca con nosotros?), etc. En resumen: los seres vivos debemos aprender la dinámica de cada entorno antes siquiera de comenzar a adquirir buenas habilidades en la resolución del problema en cuestión.

Y precisamente la novedad de MuZero es que han logrado idear un método que posiblemente sea "similar" al método neurológico mediante el que nuestro cerebro funciona en estas situaciones. El modelo en cuestión consiste no sólo en una red neuronal profunda, sino en tres subredes independientes aunque interconectadas: dos encargadas de ir entendiendo poco a poco la dinámica del entorno, y una más encargada de predecir el valor (y las acciones más recomendables) en cada uno de estos estados "imaginados". Y decimos "imaginados" porque MuZero no pretende lograr predecir una dinámica "perfecta" del entorno, sino que se limita a generar unos estados intermedios codificados (y comprimidos), lo cual permite mejorar la eficiencia en el tiempo de entrenamiento.

El inicio de un nuevo paradigma

Los resultados mostrados en el paper de MuZero son sorprendentes. Y lo son por dos motivos: primero porque consigue superar el estado del arte en los resultados de la mayoría de los juegos a los que han aplicado el algoritmo, y segundo, porque este estado del arte se ha logrado "imitando" el modo en que los seres vivos neuronalmente aprenden, mediante el uso de varias redes neuronales que interaccionan unas con otras mediante entradas y salidas codificadas y compactificadas. Nuestro cerebro posee subredes muy similares a las utilizadas por Google, pero se trata de una tecnología que no obstante está dando sus primeros pasos. Es muy probable que en próximos estudios DeepMind mejore aún más esta técnica logrando un hito aún mayor. El potencial de este nuevo paradigma de aprendizaje es inmenso y muy pronto veremos resultados realmente asombrosos, con toda seguridad durante el curso del año que viene.

El hecho de utilizar varias redes neuronales para simular el modo en que nuestro cerebro genera lo que David Hume denominó "ideas", una especie de generación interna codificada (compactificada y en cierto modo "imperfecta") que sirven fundamentalmente a nuestro cerebro para modelar el caótico mundo de nuestro alrededor y su dinámica, van a permitir en el corto-medio plazo enormes avances fundamentalmente en robótica.

Los brazos robóticos (y las máquinas robóticas totalmente móviles) por fin aprenderán con eficiencia a modificar y tratar tareas complejas sin la necesidad del uso de simuladores "perfectos" y deterministas (lo cual es en la práctica el mayor problema que afronta este campo a la hora de lograr aprender técnicas de movilidad y patrones útiles y eficaces).

La prensa no se ha hecho de momento demasiado eco de MuZero, pero muy pronto alguna variante de su idea fundamental: aprender a "imaginar" y modelar la dinámica del entorno, llegará el próximo año a los medios de comunicación conforme se logren avances más significativos, lo cual es algo que casi seguro ocurrirá.

Lo dicho, el camino hacia una inteligencia artificial de propósito general sigue su camino a buen paso; siendo cuestión de tiempo (varias décadas) y de potencia de cálculo (nuevas versiones en las tarjetas TPU).


Nota. Si os habéis quedado con ganas de más detalles técnicos, a parte del paper original podéis visitar esta entrada de blog: "How To Build Your Own MuZero AI Using Python". También podéis visitar este vídeo de YouTube donde se explica el funcionamiento del algoritmo: "MuZero: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model".