La generación mejorada por recuperación (RAG) combina un modelo de lenguaje grande (LLM) generativo y preentrenado con el aprendizaje en contexto mejorado por recuperación. Se crea una base de conocimientos con documentos de contexto específicos para finanzas incrustados en una base de datos vectorial específica. Al responder a una consulta de usuario, un recolector encuentra las partes relevantes mediante búsquedas de similitud vectorial y las agrega a la entrada de LLM como contexto. RAG permite que el modelo de lenguaje aproveche los documentos internos de la empresa más allá de la capacitación original, y ayuda a los bancos a hacer un mejor uso de los LLM de IA Generativa. No obstante, ahora se está adaptando frente a la competencia de ventanas de entrada más largas ofrecidas por los principales modelos comerciales de IA.
El papel de la RAG en los LLM
- La IA generativa se usa a menudo para ayudar al proceso comercial de un banco (por ejemplo, ventas y marketing, incorporación, servicio al cliente, suscripción, procesamiento de transacciones).
- El sistema GenIA debe aprovechar sectores bancarios específicos y la información interna para ser más eficaz.
- Crear un modelo a medida es enormemente caro. Ajustar un modelo de base existente es factible y hará que se adapte mejor al lenguaje de la banca, pero no permite actualizaciones frecuentes ni información precisa (como pasos concretos del proceso y criterios de decisión)
- La generación mejorada por recuperación se ha convertido en la solución más común al problema de la especialización, ya que puede hacer que los sistemas de IA sean más adaptables a las necesidades específicas de una institución financiera al aprovechar los documentos internos para proporcionar contexto.
- Funciona mediante la construcción de una base de datos vectorial que contiene incorporaciones de datos propietarios o específicos del dominio. Esta información se encuentra en los manuales de los productos, las preguntas frecuentes, los informes de investigación, las guías de servicio al cliente y los repositorios de documentos de riesgo, y se fragmenta (particiona) e incrusta para prepararla para su inclusión en la base de datos vectorial.
- Una vez que el sistema funciona, las consultas de los usuarios se convierten en vectores para recuperar información relevante de esta base de datos de vectores y se envían al sistema GenAI.
- Esto aumenta la precisión y la relevancia de las respuestas del sistema GenAI.
- RAG reduce la necesidad de actualizar o volver a entrenar el modelo. Carga los documentos o directivas más recientes y el modelo recuperará la información para responder a la pregunta.
- Allianz Bank Italia lo ha usado para optimizar los procesos basados en el conocimiento de sus consultores financieros.
- Natwest tiene una asistente llamada Marge, que puede acceder a los datos agregados en tiempo real a través de actualizaciones de contenido o interacciones con los clientes.
Sin embargo, existen algunos desafíos. Las implementaciones de RAG son complejas y pueden volverse rígidas y quebradizas, por lo que requerirán un mantenimiento significativo para seguir funcionando a lo largo del tiempo a medida que cambien los datos de entrada y los patrones de uso. Además, la expansión sustancial en la ventana de entrada de Gemini Pro 1.5 (y pronto por parte de sus competidores) permite un contexto extendido y podría hacer que la necesidad de RAG sea menos crítica. Un sistema de IA que puede ingerir y hacer referencia a varios documentos grandes como manuales de usuario, reglas internas o descripciones de productos en su ventana de entrada podría hacer que RAG sea percibido como innecesario por algunos usuarios.
Tanto los proveedores como los usuarios de RAG están contemplando cómo reimaginar la pertinencia de RAG en el nuevo contexto. A medida que las empresas confían cada vez más en los LLM para tareas complejas que requieren sintetizar información de varios documentos, cada uno con diferentes fuentes y frecuencias de actualización, la funcionalidad de RAG debe evolucionar en consecuencia. Por ejemplo:
- Integración con algoritmos avanzados de aprendizaje automático que se especializan en la comprensión del contexto, y la relevancia.
- Técnicas de procesamiento del lenguaje mejorados y búsqueda semántica con un análisis más sofisticado de las consultas y un mejor reconocimiento de la intención
- Administración de fuentes de datos dinámicos con actualización en tiempo real de las fuentes de datos
- Recuperación segura de datos y canalizaciones de procesamiento que protegen la información confidencial y la proporcionan según sea necesario a los destinatarios autorizados.
Las ventajas de RAG son que es experto en la gestión de todo un conjunto de conocimientos bancarios o de seguros, lo que lo convierte en una solución ideal para instituciones financieras con amplia documentación y bases de datos. Proporciona una integración perfecta con las capacidades de búsqueda y permite que el sistema identifique la información más relevante de un vasto conjunto de datos. Además, la RAG puede adaptar las respuestas a las necesidades de cada proceso y departamento del banco, involucrando información interna altamente especializada y actualizada con frecuencia.
- La capacidad de almacenar información en caché con sistemas RAG agiliza las operaciones de aprendizaje automático y minimiza la carga computacional.
- La RAG se ejecuta más rápido, ya que optimiza la recuperación de datos y reduce los tiempos de procesamiento, mientras que las ventanas de contexto largas pueden causar latencia debido al tiempo de procesamiento de datos.
- Una vez implementados, los costos operativos de funcionamiento pueden ser más bajos que los asociados con los sistemas de ventanas de contexto largo.
La forma en que los bancos usan la RAG cambiará en breve debido a la competencia y la dinámica tecnológica. Por ejemplo, entre las mejoras en los modelos Transformer es probable que Google use RETRO (transformador mejorado por recuperación) o RARR (atribución de actualización usando investigación y revisión), que integra mecanismos de recuperación directamente dentro del marco de Transformer. La extracción precisa y selectiva de datos, el aumento de la relevancia del contenido generado y la eficacia de los modelos de RAG dependen de las bases de conocimiento externas que usen.
La colaboración entre la RAG y una ventana de entrada más larga podría conducir a una mejor comprensión contextual y a un resumen o un análisis más precisos. Los sistemas basados en LLM podrían aprovechar bases de datos grandes y complejas y mejorar la precisión de sus resultados. Incluso con una ventana de entrada ampliada, la RAG aún podría ayudar a manejar los LLM más pequeños y más eficaces que no requieren la sofisticación adicional, pero que necesitan considerar múltiples fuentes de información internas. Por otro lado, un LLM con una ventana de entrada grande solamente, sin RAG, sería adecuado para analizar documentos grandes específicos y estáticos (como, libros de texto, manuales o leyes).
Sin embargo, para el análisis empresarial de cuerpos complejos de conocimiento que se distribuyen en muchos documentos y pueden cambiar con frecuencia, la combinación de RAG con un LLM de ventana de entrada larga es el medio más eficaz para generar resultados completos y perspicaces para los usuarios.
RAG seguirá siendo parte de las futuras implementaciones de LLM en los bancos, pero no de la misma manera que antes. La clave para mantener la relevancia es una mayor flexibilidad, resiliencia, fácil mantenimiento y la capacidad de usar eficazmente las ventanas de contexto largas para obtener la máxima ventaja.
