Automatizar el procesamiento de documentos es una de las aplicaciones más solicitadas de IA hoy en día. Muchas organizaciones quieren eliminar el trabajo manual tedioso, y la promesa de la IA parece ofrecer una solución perfecta. Sin embargo, la ambición de lograr el 100% de automatización desde el principio a menudo lleva al fracaso del proyecto. La brecha entre una demo llamativa y un sistema de producción confiable es significativa.

Este es el tercer post en nuestra serie “Malas Ideas de IA”. Exploraremos un ejemplo del mundo real de un proyecto de automatización de documentos que podría haberse configurado para el éxito, pero terminó siendo un fracaso dadas las promesas que se le hicieron al cliente.

La Solicitud del Proyecto

Un cliente potencial se acercó a una agencia de desarrollo de IA con una tarea desafiante de procesamiento de documentos. Necesitaban preparar propuestas detalladas para sus clientes, y cada propuesta requería que revisaran manualmente hasta 2000 páginas de documentos PDF.

El conjunto de documentos era una mezcla de contenido. Aproximadamente la mitad consistía en texto estructurado o semiestructurado como manuales y detalles del cliente. La otra mitad estaba compuesta de información visual como gráficos, planos de ingeniería y otros tipos de imágenes. De este gran volumen, solo 40 a 60 páginas eran relevantes para ellos (2-3% de las páginas), ya que eran las páginas necesarias para construir la propuesta de trabajo final para cada uno de sus clientes. Aunque el tipo de información necesaria era generalmente consistente entre clientes, algunos clientes tenían condiciones especiales que requerían identificar páginas adicionales y únicas.

El cliente quería automatizar completamente este flujo de trabajo. Su objetivo era eliminar una tarea que tomaba a los empleados de 4 a 10 horas (según la experiencia del empleado y la cantidad total de documentos que el cliente compartía), para que el sistema de IA pudiera hacerlo, incluso si le tomaba un par de horas a la IA, liberando a su equipo para otro trabajo.

Los Problemas

Si tienes experiencia construyendo sistemas de IA, probablemente ya veas las “red flags”. La solicitud del cliente es un ejemplo clásico de la falacia de “automatización en un intento”, la creencia de que un flujo de trabajo humano complejo puede ser reemplazado sin fallas por un sistema de IA en un “único” paso.

Esto lleva a varias preguntas al analizar los riesgos potenciales.

Primero, ¿qué sucede cuando la automatización pierde dos o tres páginas importantes? En el contexto de una propuesta de cliente, un solo detalle faltante podría llevar a una oferta incorrecta y un trato perdido. El costo de incluso un pequeño error es muy alto.

Segundo, ¿cómo puede el sistema manejar de manera confiable condiciones especiales para ciertos clientes? Estas excepciones a menudo requieren conocimiento profundo del dominio y contexto que un sistema automatizado carece. Los empleados que hacen este trabajo hoy confían en su conocimiento de la solicitud del cliente y su experiencia previa para identificar cuándo necesitan buscar páginas adicionales. Ambas son difíciles de codificar en reglas o instrucciones para una IA, e incluso con prompts, ¿cómo sabrías realmente cuándo estamos tratando con un caso especial?

Tercero, ¿qué pasa si la IA recopila más páginas de las necesarias? Este resultado no es realmente malo. Supongamos que el flujo de trabajo de IA devuelve alrededor de 100 páginas. Incluso si 40 de ellas no son relevantes, si la IA capturó correctamente todas las otras 60 páginas, entonces la carga de revisar 2000 páginas se redujo efectivamente en un 95%, ya que los empleados siempre deben leer la salida de la IA para usar la información para construir la propuesta. Entonces, los empleados necesitan hacer un paso adicional para filtrar las páginas irrelevantes.

Entonces ahora, podrías estar pensando: El problema principal es perder páginas. Si el empleado encargado de construir la propuesta no tiene toda la información requerida, entonces, esto provoca algunos problemas adicionales: o el empleado entiende que falta información y va y encuentra manualmente las páginas faltantes, posiblemente buscando en todas las 2000 páginas, lo que derrota el propósito de toda la automatización de IA, o el empleado ni siquiera nota que faltan algunas de las páginas con información importante, lo que puede traducirse en escribir una mala propuesta.

En realidad, el problema principal es en realidad la promesa que se le hizo al cliente. Al cliente se le prometió una solución completamente automatizada a su proceso que consume mucho tiempo. Aquí es donde radica el mayor problema. Si alguien te está vendiendo una propuesta donde la solución está 100% automatizada con LLMs, sin intervención humana o revisión humana, te están mintiendo.

Cómo Abordar Mejor Este Problema

En lugar de apuntar a un objetivo de automatización del 100% inalcanzable, habría propuesto construir una poderosa herramienta de asistencia de búsqueda. El objetivo debería ser reducir el tiempo que los expertos pasan buscando y analizando los documentos, no reemplazarlos.

Un experto humano debe permanecer en el bucle. El núcleo de la aplicación debería ser una interfaz de usuario diseñada para capacidades rápidas de verificación y búsqueda. Una vez que el usuario cargue los documentos, el sistema debería comenzar a hacer todo el procesamiento en segundo plano y notificar al usuario cuando haya terminado. Una vez finalizado, todas las páginas importantes que la IA encontró deben mostrarse para revisión.

En la interfaz de revisión, el usuario aprobará o eliminará las páginas siguiendo sus criterios de experto. Si el usuario nota que falta una página importante, por ejemplo, digamos que la IA devolvió las páginas 59 y 61, pero perdió la página 60, el usuario debería poder pedir la página 60 inmediatamente, y el sistema debería agregarla a las páginas importantes para revisión inmediata.

Además, si el usuario cree que podrían faltar algunas páginas importantes, pero no sabe el número, una interfaz de búsqueda debería permitir al usuario pedirle a la IA que busque páginas relacionadas con lo que preguntó. La interfaz de búsqueda repetiría el proceso inicial de buscar páginas relevantes/importantes, pero esta vez, con un enfoque en lo que el usuario está preguntando actualmente, que podría ser un caso extremo que de otro modo no se habría encontrado con las instrucciones “estándar” del sistema de IA.

Yendo un poco más allá, cada vez que se use la interfaz de búsqueda, el sistema podría entonces pedirle al usuario que incluya los términos de búsqueda en las instrucciones estándar de IA (también conocidas como prompts), para mejorar continuamente el sistema con cada uso. De esa manera, el usuario no tendrá que buscar manualmente una y otra vez las mismas páginas cuando ocurran los casos especiales (extremos).

Si estás pensando en un proyecto de IA, estoy disponible para consultoría y desarrollo. Puedo ayudarte a encontrar (y construir) formas realistas y valiosas de aplicar la tecnología de IA.