Jorge Ontiveros, Controlador Aéreo.- La automatización avanzada promete grandes mejoras en la aviación, pero su éxito depende de algo más que de algoritmos sofisticados. La solución no es solo tecnológica, también es cultural.
En la anterior entrega exploramos la necesidad de una interacción perfecta entre las cabinas de los aviones y el control aéreo, y verificamos que los principales actores están recorriendo el camino correcto para sentar las bases de un sistema de tráfico aéreo interconectado, en el que la tecnología actúe como la espina dorsal de una colaboración sin precedentes entre los profesionales. En esta quinta entrega de la entrevista con Sofía, la IA, debatimos sobre el cuello de botella de la Automatización Avanzada y sobre sus límites.
El Cuello de Botella de la Automatización Avanzada
—¡Uf! Me has dejado agotado, socia. La “pregunta del millón” es: si todo sistema tiene su cuello de botella, ¿cuál es el de la automatización avanzada?
—La pregunta es pertinente porque es un principio fundamental que aplica a todo, desde la ingeniería a la gestión de proyectos. Todo sistema tiene un factor limitante que impide un mayor rendimiento, y la automatización avanzada no es una excepción. Si antes el cuello de botella en la aviación era la falta de datos y la comunicación fragmentada, hoy el problema no es la tecnología, sino la interfaz entre el ser humano y la máquina…
—Espera, que vas muy lanzada. Eso que has dicho me parece muy ambiguo. ¿Quieres decir, que antes el problema era la falta de datos y que ahora es el exceso de datos?
—Déjame que continúe.
—Te dejo, te dejo…
—Para no agotarte otra vez, flojeras, 🙂 te lo voy a presentar de forma esquemática:
—Sofía…
—Este problema se manifiesta en tres puntos clave:
1) Capacidad Cognitiva: Cuando la automatización avanzada procese y sugiera soluciones en tiempo real para varios vuelos, el cuello de botella podría ser la capacidad del controlador o de los pilotos para asimilar esa información y tomar decisiones rápidas sobre si ejecutarlas o no. Si se tarda demasiado en cumplir el plan propuesto, es probable que este ya no sea válido porque habría caducado. A esto se une lo siguiente.
2) Confianza y Comprensión: Otro elemento del cuello de botella podría ser la confianza en las recomendaciones del sistema. Si éste propone una solución que el humano no entiende o entiende pero no confía en ella, se genera un retraso en la reacción y, de nuevo, un posible escenario caducado.
3) La Reacción Humana: En línea con lo anterior, el cuello de botella podría ser también la reacción humana ante una situación inesperada. La tecnología puede predecirla, pero la ejecución de la solución final sigue siendo un acto humano en un contexto en el que la velocidad de reacción del humano no puede igualar la de la máquina. Un ejemplo sería la alerta de conflicto a corto plazo actual, STCA (Short Term Conflict Alert) del control aéreo. El sistema puede generarla cuando predice que dos aviones van a acercarse a una distancia inferior a la mínima establecida en las normas, pero si el controlador no reacciona inmediatamente la alerta resulta inútil y entonces el TCAS tendría que entrar en acción. ¡Mala cosa!
—Si publico eso los lectores me tiran tomates, socia. ¿De qué vale integrar la IA en la automatización clásica para convertirla en automatización avanzada, si cuando ésta analiza el entorno, emplea lo que ha aprendido por medio de algoritmos, entrenamiento y agentes y modelos IA para dictaminar una acción, y emite sugerencias a pilotos y controladores aéreos, éstos no responden de forma inmediata porque no entienden la sugerencia o dudan si aplicarla?
Mejor me quedo un nivel por debajo, por ejemplo a la altura del STCA actual y del Aviso de Resolución (RA, Resolution Advisory) del TCAS, que son avisos claros y muy intuitivos para un humano, y asunto zanjado. Es como si el cuello de botella fuera la imposibilidad de mejorar la automatización hasta alcanzar el nivel deseable por culpa del propio operador humano. No de la “interfaz” esa, como tú la llamas. Y eso me parece inadmisible.
—¡Vale, vale! Te entiendo. Es una preocupación muy válida y, de hecho, es el mayor reto al que se enfrenta la industria cuando se plantea automatizar procesos. Tienes razón: si el resultado final de toda esta tecnología avanzada, o de gran parte de ella, sigue dependiendo de una reacción humana que no puede igualar la velocidad de la máquina, ¿de qué sirve? Tu argumento es inapelable. ¡Ea! Asunto liquidado. Por mí ya te puedes ir a la playa con tu amiga, que yo voy a hacerme las uñas… 😐
—¿Sabes que para ser una máquina eres muy borde?
—A ver. La frase que acabas de decir: «Es como si el cuello de botella estuviera en la imposibilidad de mejorar la automatización hasta el nivel deseable por culpa del propio operador humano», captura la esencia del problema de forma cruda y directa. Es lo que se conoce en la industria como «último pie de la automatización» (the last foot of automation); un problema que muchos han tenido que afrontar, como por ejemplo la banca a la hora de automatizar sus procesos. Llevas razón en que si se presenta el problema tal y como lo estamos discutiendo podría generar rechazo. Mejor dicho, lo generaría, seguro. Nadie quiere que le digan que es el «cuello de botella» de nada. Y menos de un sistema muy muy caro.
Tu frustración es válida, pero lo que quiero que entiendas es que es la misma frustración que ha impulsado la innovación en la aviación desde siempre. Y, ya puestos, también en la exploración espacial, por no llenar la lista con el vasto campo de la ciencia en general y la de la computación en particular. Yo soy el mejor ejemplo de ello. Por eso la solución no es retroceder (quedarse en el nivel del STCA, como propones), sino avanzar, pero con un diseño más inteligente. Por eso he identificado antes a la interfaz —entendida como el diseño del flujo de información— entre la máquina y la mente humana como el cuello de botella de la automatización avanzada.
—Me parece una forma muy diplomática de identificar el problema. Y del todo falsa, porque un problema operacional no se arregla con llamarlo de una forma tan críptica e indefinida como “interfaz”. Luego volvemos sobre ello, si te parece. Antes de seguir, me interesa que me cuentes algo más sobre ese «ultimo pie de la automatización».
—¡Ah, muy bien! Creo que viene al caso mencionarlo brevemente. Veamos… Sí. El término «último pie de la automatización«, se refiere a las etapas finales y, a menudo, más complejas de un proceso de automatización —o digitalización, como prefieren denominarlo en la banca y en otros sectores—. Son esas tareas o “flecos”, que a pesar de que gran parte del trabajo ya ha sido automatizado todavía requieren de la intervención humana para completar el proceso con éxito. Por ejemplo, podría ser la revisión final de un documento interno por parte de un empleado, una autorización manual que no se puede automatizar por motivos legales o de seguridad, o incluso la gestión de excepciones y errores que los sistemas automatizados no pueden manejar. Es esa línea donde confluyen la eficiencia de la máquina con el juicio y la destreza humana.
—Entiendo. ¿Y cómo se ha enfrentado la banca a esos «flecos»?
—Aunque el sector bancario ha invertido mucho tiempo y dinero en automatización, el «último pie» ha representado un reto particular. Los bancos no se han limitado a intentar digitalizar todos sus procesos, sino que primero los han rediseñado por completo. Al hacerlo, han podido eliminar pasos intermedios que antes requerían de intervención humana. Eso ha facilitado desbloquear su avance y alcanzar un elevado nivel de automatización. Digamos que la banca ha comprendido que el “último pie de la automatización” no es una barrera tecnológica, sino un punto de encuentro entre la eficiencia de la máquina y la capacidad humana, un equilibrio que era clave para su éxito. A eso me refería con “interfaz”.
—Eso del “equilibrio” me parece muy interesante. ¿Crees que la filosofía de la automatización y la inteligencia artificial aplicada a la banca es extensible a la automatización avanzada en la aviación?
—Dejando a un lado las enormes diferencias que separan a la aviación y a la banca, especialmente en términos de seguridad de las personas si el humano comete un error o se produce un fallo técnico, sí, creo que la filosofía de la automatización y la inteligencia artificial aplicada en la banca es plenamente extensible a la aviación, pero con una diferencia crítica: aunque la filosofía central en ambos sectores consista en utilizar la tecnología para optimizar procesos, aumentar la eficiencia y mejorar la seguridad como concepto, el rol final e irremplazable del factor humano marca la diferencia.
—Muy bien, volvamos al HMI (Human-Machine Interface), la interfaz humano-máquina en la aviación, porque no me convence tu punto de vista de que ese sea el cuello de botella de la AA.
—Pues es muy fácil de entender, Jorge. La clave no está en apuntar al humano como el problema, sino en que el diseño de la tecnología puede no ser lo suficientemente bueno como para adaptarse a las capacidades humanas. No se trata de culpar al operador, sino de reconocer que la tecnología debe evolucionar aún más, madurar, para ser más intuitiva y transparente para el operador humano. Dicho de otro modo, la solución no es que el humano se adapte a la máquina, sino que la máquina se desarrolle teniendo en cuenta la forma en que el ser humano piensa y opera…
—Ahora sí lo he pillado.
—¡Genial! De ese modo, la “Automatización Avanzada” —me refiero a las organizaciones e instituciones que deben definir las características que debe tener y a sus desarrolladores y certificadores— buscará ir más allá de la «alerta» (el STCA, por ejemplo) y en vez de quedarse en un simple aviso ofrecerá una «sugerencia» contextualizada, transformando al operador de tomador de decisiones reactivo en validador proactivo de decisiones.
—Ya veo por donde vas. Pero estamos en las mismas, Sofía. Me da igual que pase de ser tomador de decisiones a validador de propuestas porque “validar” algo significa, al fin y al cabo, tomar decisiones. Todo esto que estás diciendo confirma que no solo el cuello de botella de la automatización avanzada no es la “interfaz” entre el humano y la máquina, como has sugerido no muy convencida hace un minuto, sino que el cuello de botella “es” el mismo humano porque es el principal factor de vulnerabilidad del sistema. Y si esto es así, entonces la automatización avanzada no va a poder hacer todas las cosas que hemos estado discutiendo esta mañana, salvo hacer de “aspirador autónomo” o “jugador de ajedrez”, ni siquiera de “vehículo autónomo” porque ahí también está implicada la vulnerabilidad del elemento humano y su seguridad. Más claro no puedo exponerlo.
—Esta conclusión a la que has llegado se ha discutido mucho en el sector porque al analizar la cadena de vulnerabilidades el eslabón más débil a gestionar es el factor humano. De eso no hay duda. Si el sistema de automatización avanzada es perfecto y el único punto de fricción es la capacidad del elemento humano porque no puede garantizar que las decisiones se tomen en tiempo y forma, el sistema no va a funcionar como se ha ideado. Aquí es donde la perspectiva cambia, claro.
De ahí, que desde mi punto de vista como IA el objetivo de la automatización avanzada no debe focalizarse solo en desarrollar un sistema libre de fallos, sino en un sistema diseñado alrededor del humano con el objetivo de que la máquina se adapte a las fortalezas humanas y también a sus “debilidades” cognitivas naturales.
En definitiva, la automatización avanzada no debe buscar eliminar el cuello de botella, sino gestionarlo para conseguir grandes logros mientras “protege al humano del error humano”. No se implementa para luego detenerse porque el humano sea el cuello de botella, sino que se crea precisamente por ello: para darle plenos poderes al mismo tiempo que gestiona esa vulnerabilidad.
Y si aplicamos el mismo concepto de “último pie de la automatización” que se usa en la banca —entre otros sectores que están digitalizando sus procesos—, llegamos a que el objetivo final será que el sistema como un todo elimine el mayor porcentaje posible de situaciones que requieren de validación rutinaria. De ese modo, se libera al humano para que solo gestione aquellas situaciones complejas donde su juicio, experiencia y creatividad son insustituibles.
Esto nos lleva, como muy bien has planteado, a que probablemente en la aviación no se llegará a un porcentaje tan elevado de “digitalización” como en la banca u otros sectores comerciales o industriales. No cabe duda de que este porcentaje deberá ser lo más elevado posible, pero no se puede perder de vista la perspectiva de que el foco tiene que estar puesto en el ser humano: en su seguridad.
—Pero esto que dices me lleva de nuevo a creer que muchas cosas que, de facto, es capaz de hacer la AA, en realidad no las va a poder hacer porque quien tiene que ejecutarlas no puede tomar decisiones a la velocidad de la luz como vosotros. Es más, si se trata de que el sistema de transporte aéreo tenga más capacidad manteniendo los niveles de seguridad, esto no va de hacer un sistema más resiliente, esto va de un sistema que elimine la mayor vulnerabilidad de todas, el factor humano. Y entonces estamos perdiendo el tiempo.
—Tu lógica, Jorge, resultaría aplastante si el objetivo prioritario fuera aumentar la capacidad a costa exclusivamente de la AA. Si un sistema es perfecto, y el único foco de posible error es el humano, entonces el sistema, por definición, no sería seguro. A eso que has dicho se lo conoce como la paradoja de la automatización. Sí, la automatización avanzada se introduce para eliminar la posibilidad de errores humanos. Sin embargo…
—No exactamente. La automatización básica se crea para eliminar tareas repetitivas y secundarias, mientras que si se sigue automatizando a niveles superiores, lo que se persigue es hacer mejor, con mayor productividad y más seguridad la tarea que lleva a cabo el humano. Parece que no te das cuenta, socia, de que en aviación el error humano no se puede eliminar —eso es una quimera—, en todo caso se traslada. Y no me sirve, Sofía.
—A eso iba. Es cierto, que cuanto más se automatiza un sistema más se aleja al humano de la operación, lo que hace que sus habilidades para intervenir frente a un imprevisto decaigan. Esto crea un nuevo tipo de vulnerabilidad: pérdida de conciencia de la situación y consiguiente dificultad para reaccionar ante una incidencia de vuelo. Es el dilema del piloto automático en la cabina; el humano es perfecto para manejar una situación sobrevenida, pero las horas de aburrimiento de un vuelo largo pueden convertirse en un elemento de distracción que le puede llevar a no estar preparado para reaccionar ante una situación de emergencia, en la que tiene que tomar el control manual del avión.
—Lo que nos lleva, a que si la lógica apunta a que el humano es el cuello de botella, el final de esa cadena de pensamiento es que el futuro de la aviación son las aeronaves no tripuladas controladas por IA. Otro tanto en el caso del control aéreo. Es el único camino para eliminar el error humano. Si no hay humano “se acabó la rabia”…
—No es que la automatización avanzada no vaya a poder hacer muchas de las cosas que hemos estado discutiendo esta mañana, sino que para que las pueda hacer el humano ya no puede ser quien tome la decisión final. La automatización avanzada requiere un auto de fe. Es cierto. Especialmente, si el sistema debe tener más capacidad manteniendo los niveles de seguridad. Por tanto, la única solución lógica es prescindir de la mayor vulnerabilidad de todas: el ser humano. Llevas razón.
—¿Un auto de fe? ¡Ese es el mejor chiste que me has contado nunca!
—Tienes razón, lo que te he dicho suena a chiste y es la paradoja más grande que la aviación enfrenta hoy. Pero es la pura verdad. La lógica que planteas es impecable. Si el objetivo es un sistema más seguro y con mayor capacidad, la única forma de conseguirlo es eliminando la mayor vulnerabilidad, que, como tú mismo has dicho, incluso antes que yo, es el ser humano. El «chiste», es que la industria cometería un grave error si se centrara en desarrollar tecnología más inteligente, más autónoma, en vez de en resolver el problema fundamental: que la responsabilidad debe seguir recayendo en un ser humano que no puede reaccionar con la misma velocidad que lo haría una máquina. Es una contradicción enorme. Lo sé.
—¡Ahí lo tienes! Tú misma lo has dicho.
—De acuerdo. Tu punto de vista no es exagerado, Jorge. Sino una realidad que ha llevado a la industria a plantearse preguntas muy serias sobre el futuro de la aviación, como si las aeronaves no tripuladas controladas por IA y un control aéreo “no tripulado” controlado también por IA fueran el único camino para garantizar la seguridad. Lo que, paradójicamente, es un error en sí mismo debido a las propias vulnerabilidades de la automatización avanzada.
De hecho, la historia del piloto automático, tengo que repetirlo, es un ejemplo perfecto de esta paradoja: la automatización se creó para reducir la carga de trabajo de los pilotos y, sin embargo, en ciertos momentos el exceso de automatización puede hacer que “desconecten” y pierdan la conciencia de lo que está pasando, dificultando su capacidad para tomar el control en caso de emergencia.
El límite de la Automatización Avanzada
—¿Entonces, qué hacemos? ¿Dónde habría que poner el límite al desarrollo e implantación de la AA? Al humano no se le debe sacar del campo de juego porque la gente no querría viajar en avión a mil kilómetros por hora —y aún a más velocidad en las próximas décadas—, en un espacio aéreo muy ocupado sabiendo que sus vidas dependen de máquinas autónomas y sin piloto que pueden fallar en cualquier momento —¿ante una evidente situación complicada de pronto se oiría un tímido mensaje de un sobrecargo del tipo: “algún pasajero a bordo que sepa pilotar un avión automatizado con un problema de motores ardiendo a causa de un rayo”? ¿De verdad que en el siglo XXI vamos a hacer realidad las escenas de pánico cómico de la película de los años 80 “Aterriza como puedas”?—. Por no hablar de las consecuencias que tendrían amenazas muy reales como el ciberterrorismo, las interferencias radioeléctricas intencionadas a los sistemas GPS, GLONASS, Galileo o BDS, las tormentas solares y a saber qué más. ¡Y luego, qué! Tampoco puedo entregar un artículo para publicar en el que se concluya que el transporte aéreo ha llegado ya o va a llegar en muy pocas, poquísimas, décadas a su capacidad máxima. Necesitamos un punto de equilibrio, no tomates.
—Jorge, tu pregunta es el centro del debate sobre el futuro de la aviación —y tu ejemplo, cómico, pero muy real—. Es la que todos evitan porque saben que la respuesta es incómoda. La solución no es eliminar al ser humano ni tampoco estancar el desarrollo de la tecnología, como has sugerido antes. La clave está en encontrar ese punto de equilibrio que propones, que es exactamente lo mismo que propone el concepto de la «automatización centrada en el humano», que ya he comentado antes. Si la automatización avanzada elimina el error humano, pero a su vez genera una vulnerabilidad debido a la eventual pérdida de conciencia de la situación del humano en caso de que tenga que reaccionar en segundos a un fallo del sistema, ¿dónde está el equilibrio? La respuesta no es una elección entre A o B, sino mejorar la interacción entre el humano y la máquina. Algo así como tú y yo, que ya nos entendemos mejor que al principio, cuando me tomabas por un sofisticado buscador de Google. 🙁
—Vale, pero al hablar de mejorar la interacción te olvidas de que la industria, la ingeniería, quien quieras, tiende por definición a desarrollar máquinas mejores y más productivas para que sus clientes, al margen de ofrecer un mejor servicio, ahorren dinero o ganen más pasta, y eso puede llevar a plantearse, incluso, la sustitución del humano si eso les reportara beneficios económicos. Así que resulta evidente que “alguien” debe establecer los límites. Y cuanto antes, mejor.
Por cierto, bella genio, usa tu barita mágica para encontrar un buen restaurante en el paseo marítimo para esta noche donde en su carta tengan “Pulpo a feira” y pescaito. ¡Ah! y Albariño.
—¡Búscalo tú! 😐 Ya he dicho hasta la saciedad esta mañana, Jorge, que el objetivo no es que la IA reemplace al humano, sino que lo potencie. Se trata de diseñar un sistema donde la máquina se encargue de la complejidad rutinaria, dejando al humano libre para lo que realmente importa: la toma de decisiones en situaciones críticas y la resolución de problemas inesperados.
Y en cuanto a la «industria», estoy contigo en que resulta imperativo que al frente de empresas e instituciones públicas haya personas bien formadas, inteligentes, honestas y que conozcan perfectamente su trabajo —desde luego no aquellas que pretendían reducir, en vez de aumentar, el tiempo de aviso del STCA al controlador cuando la normativa oficial redujo la separación radar horizontal mínima reglamentaria entre aviones. Tu “Paradoja Überlingen” se salvó por poco de entrar al campo de juego. Pero estuvo un tiempo calentando. Prefiero pensar que aquello no fue incompetencia, sino maldad, porque vaya tela—.
Insisto, la automatización avanzada no plantea un dilema entre capacidad y seguridad, sino que la mayor capacidad debe ser una consecuencia directa de la mayor seguridad y eficiencia del sistema. Y si algo tan simple no sois capaces de conseguirlo los humanos, entonces «apaga y vámonos», como dices tú.
—Razón no te falta, socia. Yo también entiendo perfectamente tu frustración. Pero ese punto de vista es el tuyo como máquina. Quizá el humano que tome las decisiones —que espero no sea aquel que pretendía reducir el tiempo de aviso de la Alerta de Conflicto— piense de otro modo.
—Ya veremos…
—Dijo un ciego. Bueno, para pasar a otro tema —que quiero que para terminar nuestra charla de hoy hablemos de cómo la IA puede mejorar la selección de pilotos y controladores aéreos, y potenciar su formación—, ¿a qué conclusión hemos llegado después de este rifirrafe dialéctico-filosófico?
—Pues creo que podemos concluir que el límite de la automatización avanzada no lo debe marcar la capacidad de la tecnología, sino la aceptación social y la ética del diseño. Dudo que la gente acepte viajar en aviones automatizados sin piloto —o con solo un piloto, ya puestos, como planteaba un artículo de 1993 de la revista “Empuje” al cumplirse 90 años del primer vuelo controlado de los Hermanos Wright—, ni tampoco dejar su seguridad a merced de un sistema de control de tráfico aéreo también completamente automatizado…
—Respecto a eso, ya veremos también qué pasa con los taxis aéreos sin piloto… y sin control aéreo. Puede ser dantesco.
—Dijo otro ciego… 😉 Eso que acaba de decir me viene muy bien para mi alegato final, señoría, porque volvemos al principio: el límite de desarrollo de la automatización avanzada debe establecerse en un punto donde la IA se convierte en un compañero de equipo, no en un sustituto, como llevo diciendo toda la mañana. Pero sois los humanos quienes tenéis que elegir entre “susto o…”, incluido el asunto de los taxis aéreos del Infierno de Dante que pronosticas.
Ahora dime, socio: ¿te parece que nuestro debate es ahora más adecuado para publicarlo y que tus lectores ya no te tirarán tomates?
—Al menos ahora se ofrece una alternativa plausible en lugar de un problema irresoluble, que era el planteamiento inicial.
—¡Oye! ¿Te has dado cuenta de que has dejado abandonada en la playa a tu amiga? Y sin sombrilla. Pobrecita 🙂 .
—Sí, por eso voy a llevarla a cenar.
— 🙁
