Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología de Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA.

Red Hat, Inc., proveedor de soluciones open source, anunció que ha firmado un acuerdo definitivo para adquirir la empresa Neural Magic, de software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI).

“La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida”, señalaron desde la empresa.

Red Hat también indica que, si bien la promesa de la IA generativa domina gran parte del panorama tecnológico actual, el volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan estos sistemas sigue en aumento. Como resultado, crear servicios de LLM rentables y confiables requiere una gran potencia informática, recursos energéticos y habilidades operativas especializadas. Para la mayoría de las empresas, estos problemas hacen que los beneficios de una IA personalizada, con mayor enfoque en la seguridad y lista para implementar, queden efectivamente fuera de su alcance.

Lee también: Un problema = Una oportunidad: el potencial de Chile para escalar en el mercado del aceite de oliva

“El objetivo de Red Hat es abordar estos problemas y hacer que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. El liderazgo de Neural Magic en el proyecto vLLM combinado con el sólido portfolio de tecnologías de IA en la nube híbrida de Red Hat ofrecerá a las organizaciones una opción abierta para desarrollar estrategias de IA que satisfagan sus necesidades particulares, donde sea que se encuentren sus datos”, detallan.

Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología de Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA.

“Las cargas de trabajo de la IA deben poder ejecutarse dondequiera que residan los datos de los clientes en la nube híbrida. Esto hace que las plataformas y herramientas abiertas, flexibles y estandarizadas sean una necesidad, ya que permiten que las organizaciones seleccionen los entornos, los recursos y las arquitecturas que mejor se adecuen a sus necesidades operativas y de datos particulares. Estamos encantados de complementar nuestro portafolio de IA orientado a la nube híbrida con la revolucionaria innovación en IA de Neural Magic, que refuerza nuestro objetivo de ser no solo el ‘Red Hat’ del open source, sino también el ‘Red Hat’ de la IA”, dice Matt Hicks, presidente y CEO de Red Hat.

Por su parte, Brian Stevens, CEO de Neural Magic, indica que el código abierto ha demostrado repetidas veces que impulsa la innovación a través del poder de la colaboración de la comunidad. “En Neural Magic, hemos armado un equipo con algunos de los mejores talentos del sector en ingeniería de rendimiento de IA con la única misión de crear capacidades de servicio de LLM abiertas, ultraeficientes y multiplataforma. Sumarnos a Red Hat no es solo una coincidencia a nivel cultural, sino que además beneficiará a empresas grandes y pequeñas en sus procesos de transformación de la IA”.