Asombroso ! Descubra alternativas de código abierto a GPT-4 Vision ahora en la última actualización de LLaVA 1.5
LLaVA 1.5: una alternativa de código abierto a GPT-4 Vision
El campo de la inteligencia artificial generativa está experimentando una auténtica revolución con la aparición de grandes modelos multimodales (LMM), como el GPT-4 Vision de OpenAI. Estos modelos revolucionan nuestra interacción con los sistemas de IA al integrar texto e imágenes.
Sin embargo, la naturaleza cerrada y comercial de algunas de estas tecnologías puede limitar su adopción universal. Es en este contexto que entra en juego la comunidad de código abierto, impulsando el modelo LLaVA 1.5 como una alternativa prometedora a GPT-4 Vision.
La mecánica de LMM
Los LMM funcionan utilizando una arquitectura multicapa. Combinan un modelo previamente entrenado para codificar elementos visuales, un modelo de lenguaje grande (LLM) para comprender y responder a las instrucciones del usuario y un conector multimodal para vincular la visión y el lenguaje.
Su formación se desarrolla en dos etapas: una fase inicial de alineación entre visión y lenguaje, seguida de un ajuste fino para responder a las solicitudes visuales. Este proceso, aunque eficiente, a menudo requiere importantes recursos de TI y una base de datos rica y precisa.
Las ventajas de LLaVA 1.5
LLaVA 1.5 se basa en el modelo CLIP para codificación visual y en Vicuña para lenguaje. El modelo original, LLaVA, utilizó las versiones de texto de ChatGPT y GPT-4 para el ajuste visual, generando 158.000 ejemplos de entrenamiento.
LLaVA 1.5 va más allá al conectar el modelo de lenguaje y el codificador visual a través de un perceptrón multicapa (MLP), enriqueciendo su base de datos de entrenamiento con preguntas y respuestas visuales. Esta actualización, que incluye aproximadamente 600.000 ejemplos, permitió a LLaVA 1.5 superar a otros LMM de código abierto en 11 de 12 puntos de referencia multimodales.
El futuro de los LMM de código abierto
La demostración online de LLaVA 1.5, accesible a todos, muestra resultados prometedores, incluso con un presupuesto limitado. Sin embargo, persiste una limitación: el uso de los datos generados por ChatGPT restringe su uso a fines no comerciales.
Sin embargo, LLaVA 1.5 abre una puerta al futuro de los LMM de código abierto. Su rentabilidad, su capacidad para generar datos de entrenamiento de manera escalable y su eficiencia a la hora de ajustar las instrucciones visuales lo convierten en un preludio de futuras innovaciones.
LLaVA 1.5 es sólo el primer paso de una melodía que resonará con el progreso de la comunidad de código abierto. Al anticipar modelos más eficientes y accesibles, podemos imaginar un futuro en el que la tecnología de IA generativa sea accesible para todos, revelando el potencial ilimitado de la inteligencia artificial.
