Cloudian: Acercando los datos a la IA como nunca antes

La inteligencia artificial está cambiando la forma en que las empresas almacenan y acceden a los datos. Esto se debe a que los sistemas tradicionales de almacenamiento de datos se diseñaron para procesar comandos simples de unos pocos usuarios a la vez, mientras que los sistemas de IA actuales, con millones de agentes, necesitan acceder y procesar cantidades masivas de datos de forma continua y en paralelo.

Los sistemas de almacenamiento tradicionales ahora tienen muchas capas de complejidad, lo que ralentiza la IA porque los datos tienen que pasar por muchas capas antes de llegar a la GPU, la unidad de procesamiento gráfico, considerada la "célula cerebral" de la IA.

Cloudian, cofundada por Michael Tso (del MIT) e Hiroshi Ohta, ayuda al almacenamiento de datos a adaptarse a la revolución de la IA. La compañía ha desarrollado un sistema de almacenamiento empresarial escalable que facilita el flujo de datos entre los modelos de almacenamiento y de IA.

El sistema reduce la complejidad al aplicar computación paralela al almacenamiento, consolidando la IA y la funcionalidad de los datos en una única plataforma de procesamiento paralelo capaz de almacenar, recuperar y procesar conjuntos de datos a gran escala, con conectividad directa de alta velocidad entre el almacenamiento y las GPU y las CPU.

La plataforma integrada de almacenamiento y computación de Cloudian simplifica la creación de herramientas de IA a escala comercial, al tiempo que proporciona a las empresas una infraestructura de almacenamiento que puede mantenerse al día con la explosión de la IA.

“Algo que la gente suele olvidar sobre la IA es que todo gira en torno a los datos”, afirma Tso. “No se puede conseguir un aumento del 10 % en el rendimiento de la IA con un 10 % más de datos, e incluso 10 veces más datos no es suficiente; se necesitan 1000 veces más datos. Almacenar los datos de forma fácil de gestionar e integrar la computación directamente para poder procesarlos a medida que llegan, sin tener que moverlos: esa es la dirección que está tomando la industria”.

Almacenamiento de objetos e IA

Actualmente, la plataforma de Cloudian utiliza una arquitectura de almacenamiento de objetos, donde todo tipo de datos (documentos, vídeos , datos de sensores) se almacenan como objetos individuales con metadatos. El almacenamiento de objetos puede gestionar grandes cantidades de datos en una estructura plana, lo que lo hace ideal para datos no estructurados y sistemas de IA. Sin embargo, antes era imposible enviar datos directamente a un modelo de IA sin copiarlos primero a la memoria del ordenador, lo que provocaba latencia y un consumo excesivo de energía.

En julio, Cloudian anunció la expansión de su sistema de almacenamiento de objetos con una base de datos vectorial, que almacena datos de forma inmediata para su uso por parte de la IA. A medida que se procesan los datos, Cloudian calcula su formato vectorial en tiempo real para respaldar herramientas de IA como motores de recomendación, búsquedas y asistentes de IA.

Cloudian también anunció una alianza con NVIDIA para que su sistema de almacenamiento funcione directamente con sus GPU. Cloudian afirmó que el nuevo sistema permite un procesamiento de IA más rápido y menores costos de computación.

“NVIDIA nos contactó hace aproximadamente un año y medio porque las GPU solo son útiles cuando hay datos que las alimentan”, dijo Tso. “Ahora la gente se da cuenta de que es más fácil integrar la IA en los datos que mover grandes volúmenes de datos. Nuestro sistema de almacenamiento incorpora numerosas capacidades de IA, lo que nos permite preprocesar y posprocesar los datos cerca de donde los recopilamos y almacenamos”.

Almacenamiento prioritario de IA

Cloudian está ayudando a aproximadamente 1.000 empresas de todo el mundo a obtener el máximo valor de sus datos, incluidos grandes fabricantes, instituciones financieras, centros de atención médica y agencias gubernamentales.

Por ejemplo, la plataforma de almacenamiento de Cloudian ayuda a un importante fabricante de automóviles a usar IA para determinar cuándo cada uno de sus robots de fabricación necesita mantenimiento. Cloudian también colabora con la Biblioteca Nacional de Medicina de EE. UU. para almacenar artículos de investigación y patentes, y con la Base de Datos Nacional del Cáncer para almacenar secuencias de ADN tumoral: conjuntos de datos completos que la IA puede procesar para contribuir al desarrollo de nuevos tratamientos o descubrimientos.

“Las GPU son un gran facilitador”, afirma Tso. “La Ley de Moore duplica la potencia de procesamiento cada dos años, pero las GPU pueden paralelizar tareas en un chip, encadenar varias GPU y superar la Ley de Moore. Esta escala está impulsando la IA a nuevos niveles de inteligencia, pero la única manera de que las GPU rindan al máximo es alimentar datos al mismo ritmo que su potencia de procesamiento, y la única manera de lograrlo es eliminar todas las capas intermedias entre la GPU y los datos”.

(Según el MIT)

Fuente: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html