Meta ha presentado el Segment Anything Model 2 (SAM 2), el primer modelo unificado de IA capaz de identificar qué píxeles pertenecen a un objeto objetivo en una imagen o video.
SAM 2, el último modelo de IA de Meta, es capaz de segmentar cualquier objeto y seguirlo de manera consistente a través de todos los fotogramas de un video en tiempo real, abriendo nuevas posibilidades para la edición de videos y experiencias en realidad mixta. La segmentación, que implica identificar los píxeles que pertenecen a un objeto en una imagen, es crucial para tareas como el análisis de imágenes científicas o la edición de fotos. El modelo original de Segment Anything, lanzado por Meta el año pasado, inspiró nuevas herramientas de edición de imágenes impulsadas por IA en aplicaciones como Backdrop y Cutouts en Instagram. SAM también ha promovido diversas aplicaciones en ciencia, medicina y otras industrias.
IA: Aplicaciones diversas y casos de uso innovadores
Por ejemplo, el modelo SAM ha sido utilizado en la ciencia marina para segmentar imágenes de sonar y analizar arrecifes de coral. También en el análisis de imágenes satelitales para la ayuda en desastres, y en el campo médico para segmentar imágenes celulares y asistir en la detección de cáncer de piel.
SAM 2: Extensión de capacidades a video
El nuevo Segment Anything Model 2 (SAM 2) amplía estas capacidades al ámbito del video. SAM 2 puede segmentar cualquier objeto en una imagen o video y seguirlo de manera consistente en todos los fotogramas de un video en tiempo real. Los modelos existentes han tenido dificultades para lograr esto, ya que la segmentación en video es considerablemente más desafiante que en imágenes. En videos, los objetos pueden moverse rápidamente, cambiar de apariencia y ser ocultados por otros objetos o partes de la escena. Meta ha resuelto muchos de estos desafíos en el desarrollo de SAM 2.
Nuevas posibilidades en edición de video y realidad mixta
Meta cree que esta investigación puede abrir nuevas posibilidades. Como una edición y generación de videos más sencilla, y permitir la creación de nuevas experiencias en realidad mixta. SAM 2 también podría ser utilizado para rastrear un objeto en un video. Así podría facilitar una anotación más rápida de datos visuales para entrenar sistemas de visión por computadora, incluidos los utilizados en vehículos autónomos. Además, podría habilitar formas innovadoras de seleccionar e interactuar con objetos en tiempo real o en videos en vivo.
Compromiso con la Ciencia Abierta
En línea con su enfoque de ciencia abierta, Meta está compartiendo su investigación sobre SAM 2 para que otros puedan explorar nuevas capacidades y casos de uso. La empresa espera con entusiasmo ver cómo la comunidad de IA utilizará esta investigación.