Framework para la identificación de vendedores de humo en inteligencia artificial en Medicina


(Alejandro Mauro) #1

"A esto después le ponemos inteligencia artificial y aprende sólo y va mejorando cada día su capacidad y después puede ayudar a resolver problemas nuevos como tratamientos nunca antes probados para esa enfermedad".

Inteligencia Artificial. Está en la boca de muchos, pero aún en la cabeza de pocos. En los últimos meses hemos recibido a muchas empresas que hablan de la inteligencia artificial con un artificial conocimiento y por eso escribimos este framework para que puedas identificar quién sabe y propone algo coherente al conocimiento actual y quién no.

Humo, Humo, Humo. Cuando los temas son muy complejos y requieren de mucho entrenamiento y pruebas, comienzan a aparecer los vendedores de humo, que desconociendo la profundidad de los temas, utilizan su verborragia para confundir al cliente y venderle algo que después nunca resulta. Esto en Medicina lo conocemos muy bien. Hay miles de personas vendiendo "soluciones mágicas" a problemas conocidos, y tienen capacidad de vender falsedades porque es muy complejo entender el desarrollo de ciertas enfermedades, como las oncológicas o degenerativas.

En ForoSaludDigital nos hemos propuesta ayudar a identificar quién sabe y quién vende humo. Y para esto, desarrollamos un par de frameworks con preguntas para que Ud. pueda utilizarlos en el momento que le vengan a vender algo.

Pregunta Vendedor de humo Realidad técnica
¿Puede el algoritmo aprender sólo? Por supuesto, lo utilizas más y agregas más data y el sistema sólo la re-utiliza y mejora su capacidad de discernimiento Existen sistemas de re-entrenamiento pero no hay alguno implementado hoy en medicina
¿Las redes neuronales funcionan como las neuronas? Exacto. Igual que el cerebro, va conectando ideas Son funciones matemáticas que no tienen nada que ver con las sinapsis neuronales
¿En qué puedo implementar Inteligencia Artificial? En todo. Lo que quieras lo puedes mejorar con AI Sólo en lo que tengas muchos datos y de excelente calidad. Si no tienes datos sin errores, es poco lo que sacarás en limpio.
¿Cuál es la precisión del sistema que ofrecen? Superior al 90% Ahí hay que repreguntar ¿contra qué lo validaron? Los algoritmos se validan contra sets de validación que son complejos de obtener (*)
¿Cómo entrenaron a su algoritmo? Con datos públicos. Podemos entrenarlo con sus datos. Aquí radica la complejidad de la Inteligencia Artificial. De esta pregunta se deriva todo. Si el vendedor no informa un Hospital, Clínica, Red de Salud o estudio de investigación, es muy cuestionable
¿Cómo se integra la solución al flujo de trabajo? Hablamos HL7, es simple Ojo acá. Esta es la parte más importante después de la calidad de los datos de entrenamiento. Si la solución no se integra al flujo de trabajo, o sea, dentro de la HCE, el PACS o el sistema que sea que lo utilice, las opciones de éxito son bajas.
¿Qué implementaciones han realizado? Ufff… Pedir contactos y hablar con los lugares para ver qué se hizo realmente

(*) Aquí es fácil marear a cualquiera, ya que depende del problema que se esté solucionando el tipo de métrica que uno buscar. Por ejemplo, en problemas de clasificación de fraude. El fraude es por lo general infrecuente, por lo que si mi modelo siempre dice que ‘no es fraude’, tendrá una buena precisión (más del 99% dirá el vendedor!!). Pero lo que uno espera buscar cuán bueno es detectando fraude y para ello existen otras métricas como el AUC ROC.

En realidad uno quiere que el vendedor responda: si ocupamos el modelo y seleccionamos los X deciles en los que el modelo está seguro de que es fraude, ¿qué porcentaje se espera encontrar? (ej., ¿100% de los casos de fraude? ¿80%? ¿20%?)

El vendedor debería ser capaz de responder a la pregunta: cuando uno utiliza el modelo y selecciona los mejores X deciles, ¿cuántas veces es mejor usar el modelo a no ocuparlo?

Obviamente, a los casos en los que falla y acierta el modelo, hay que asignarle un valor. Y de esta forma ver el impacto económico que tiene implementarlo. Porque si aumenta en exceso la cantidad de posibles fraudes que tengo que revisar, sin mejorar significativamente la detección de fraude (falso positivo), uno sólo estará gastando tiempo y plata.

¿Qué hacer si sientes que estás frente a un vendedor de humo?

  1. Pide el CV de los expertos en análisis de datos que tiene en la empresa, o el listado de nombres y búscalos en LInkedIn. Ahí podrás analizar cuántos realmente tienen experiencia en la explotación de datos y cuáles son nuevos en el área, pero se hacen llamar “expertos”
  2. Pide nombres de otras empresas de salud que hayan adquirido el producto. Llama al call-center y pide hablar con la Gerencia de TI o el encargado de la HCE.

Algunas definiciones importantes

ChatBots: son sistemas que realizan procesamiento del lenguaje natural e intentan dar una respuesta en base a lo que logran comprender que se le está preguntando. ¿Cuán inteligentes son? Dependen de la base de conocimiento que se le ingrese. Requieren mucho tiempo por parte del administrador para agregar una respuesta a todo lo que le puedan preguntar. Hoy Amazon, Google y Microsoft ofrecen APIs para crear ChatBots.

Algoritmo: es un conjunto ordenado de instrucciones o pasos (procedimiento) sucesivos que puede incluir una serie de operaciones que realiza un computador (explorar datos, guardarlos, compararlos) y que garantiza encontrar la correcta solución al problema en un tiempo finito o indicar que no existe solución para el problema. https://es.wikipedia.org/wiki/Algoritmo

Machine Learning: es parte del mundo de los algoritmos, pero a diferencia de los algoritmos que siempre siguen un flujo predefinido, en Machine Learning se emplean datos para “descubrir las soluciones” y se resuelven temas en los que los humanos no tenemos capacidad de detallarlos en una secuencia de pasos, pero que sí podemos resolverlos (como reconocer una cara en una foto o reconocer una palabra escrita). Utiliza diferentes algoritmos, como ser Regresiones (lineales o logísticas), Árboles de decisión, Redes Neuronales.

DeepLearning: un tipo de Machine Learning que está muy en boga. El sistema aprende a través de enseñarle miles de ejemplos “etiquetados” o “marcados”. Ej. se le enseña qué es una naranja presentándole miles de fotos de naranjas y después al presentarle una nueva foto puede decir cuánto se parece a una naranja (probabilidad). Requiere muchísimos datos y de EXCELENTÍSIMA CALIDAD. Si uno le pasa 1.000.000 de fotos de naranjas, pero en el medio le mezcla 20.000 con limones (y le dice que son naranjas), el resultado será malo.

Modelo: Se conoce como modelo matemático o computacional a la serie de instrucciones que están programadas para que se ejecuten y que puedan resolver el problema y entregar una probabilidad de algo.

Lo que hoy se conoce como Inteligencia Artificial, son una serie de instrucciones que un computador puede hacer para resolver un problema para el que fue entrenado previamente. Sólo puede entregar una probabilidad de algo que haya conocido previamente. Son ULTRA-MEGA-ESPECÍFICOS, un algoritmo entrenado para identificar manzanas no servirá para identificar peras. Lo mismo sucede en Medicina, sólo va a resolver para lo que fue entrenado y va a requerir SÍ o SÍ, los mismos datos de entrada que se utilizaron para su entrenamiento. Si en tu HCE no guardas el diagnóstico con la codificación que utiliza el algoritmo, no podrás utilizar ese algoritmo.

Ten presente estos tips si crees que te encuentras frente a un vendedor de humo.

Revisa la categoría de Inteligencia Artificial en Medicina para conocer sobre la investigación que se está llevando adelante.

Video sobre Venta de Humo


(Carolina Ibarra) #2

Qué notable!!! se puede compartir?


(Alejandro Mauro) #3

Por supuesto. Para eso está publicado aquí!


(Jorge E Contreras G) #4

Excelente aporte!!! muchos vendedores de humo, ultimamente!