El impacto de la IA en el almacenamiento
Por Julio Castrejón, gerente de México en Pure Storage:
Para comprender los desafíos que presenta la Inteligencia Artificial desde la perspectiva del almacenamiento de datos, debemos analizar sus fundamentos. Cualquier capacidad de aprendizaje automático requiere un conjunto de datos de entrenamiento. En el caso de la IA generativa, los conjuntos de datos deben ser muy grandes y complejos e incluir diferentes tipos de datos.
La IA generativa se basa en modelos complejos y los algoritmos en los que se basa pueden incluir una gran cantidad de parámetros que debe aprender. Cuanto mayor sea la cantidad de características, el tamaño y la variabilidad de la salida anticipada, mayor será el nivel del tamaño del lote de datos combinado con la cantidad de épocas en las ejecuciones de entrenamiento antes de que pueda comenzar la inferencia.
En esencia, la IA generativa tiene la tarea de hacer una suposición fundamentada o ejecutar una extrapolación, regresión o clasificación basada en el conjunto de datos. Cuantos más datos tenga con los que trabajar el modelo, mayores serán las posibilidades de obtener un resultado preciso o de minimizar la función error/costo.
En los últimos años, la IA ha aumentado constantemente el tamaño de estos conjuntos de datos, pero la introducción de grandes modelos de lenguaje, en los que se basan ChatGPT y otras plataformas de IA generativa, ha hecho que su tamaño y complejidad aumenten en un orden de magnitud. Esto se debe a que los patrones de conocimiento aprendidos que surgen durante el proceso de entrenamiento del modelo de IA deben almacenarse en la memoria, lo que puede convertirse en un verdadero desafío con modelos más grandes. Establecer puntos de control en modelos grandes y complejos también ejerce una enorme presión sobre la red subyacente y la infraestructura de almacenamiento, ya que el modelo no puede continuar hasta que todos los datos internos se hayan guardado en el punto de control; estos puntos de control actúan como puntos de reinicio o recuperación si el trabajo falla o el gradiente de error es no mejorando.
Dada la conexión entre los volúmenes de datos y la precisión de las plataformas de IA, se deduce que las organizaciones que invierten en IA querrán crear sus propios conjuntos de datos muy grandes para aprovechar las oportunidades ilimitadas que ofrece la IA. Esto se logra mediante la utilización de redes neuronales para identificar los patrones y estructuras dentro de los datos existentes para crear contenido nuevo y propietario.
Debido a que los volúmenes de datos están aumentando exponencialmente, es más importante que nunca que las organizaciones puedan utilizar el almacenamiento de datos más denso y eficiente posible, para limitar el espacio en expansión de los centros de datos y los crecientes costos de energía y enfriamiento que los acompañan. Esto presenta otro desafío que está comenzando a surgir como un problema importante: las implicaciones que tienen los requisitos de almacenamiento a gran escala para poder alcanzar los objetivos netos de carbono cero para 2030-2040.
Está claro que la IA tendrá un impacto en los compromisos de sostenibilidad debido a las exigencias adicionales que impone a los centros de datos, en un momento en que las huellas de CO2 y el consumo de energía ya son un problema importante. Esto sólo aumentará la presión sobre las organizaciones, pero puede adaptarse y gestionarse trabajando con los proveedores de tecnología adecuados.
Los últimos servidores GPU consumen entre 6 y 10 kW cada uno, y la mayoría de los centros de datos existentes no están diseñados para ofrecer más de 15 kW por rack, por lo que existe un gran e inminente desafío para los profesionales de los centros de datos a medida que las implementaciones de GPU aumentan en escala.
Flash óptimo para IA
Algunos proveedores de tecnología ya están abordando la sostenibilidad en el diseño de sus productos. Por ejemplo, las soluciones de almacenamiento totalmente flash son considerablemente más eficientes que sus contrapartes de disco giratorio (HDD). Algunos proveedores incluso están yendo más allá de los SSD disponibles en el mercado, creando sus propios módulos flash que permiten que las matrices totalmente flash se comuniquen directamente con el almacenamiento flash sin formato, lo que maximiza las capacidades del flash y proporciona mejor rendimiento, utilización de energía y eficiencia.
Además de ser más sostenible que el HDD, también es un hecho que el almacenamiento flash es mucho más adecuado para ejecutar proyectos de IA. Esto se debe a que la clave para obtener resultados es conectar modelos de IA o aplicaciones impulsadas por IA a los datos. Para hacer esto con éxito se requieren tipos de datos grandes y variados, ancho de banda de transmisión para trabajos de capacitación, rendimiento de escritura para puntos de control (y restauración de puntos de control), rendimiento de lectura aleatoria para inferencias y, lo que es más importante, todo debe ser confiable las 24 horas del día, los 7 días de la semana, y de fácil acceso, a través de silos y aplicaciones. Este conjunto de características no es posible con el almacenamiento basado en HDD como base de sus operaciones; se necesita tecnología all-flash.
Los centros de datos se enfrentan ahora a un desafío secundario, pero igualmente importante que se verá exacerbado por el continuo aumento de la IA y el aprendizaje automático. Se trata del consumo de agua, que se convertirá en un problema aún mayor, especialmente si se tiene en cuenta el continuo aumento de las temperaturas globales.
Muchos centros de datos utilizan enfriamiento por evaporación, que funciona rociando finas nieblas de agua sobre tiras de tela, y el agua absorbe el calor ambiental, enfriando así el aire a su alrededor. Es una idea inteligente, pero problemática, dada la presión adicional que el cambio climático está ejerciendo sobre los recursos hídricos, especialmente en las zonas urbanizadas.
Como resultado, este método de enfriamiento ha perdido popularidad en el último año, lo que ha resultado en una dependencia de métodos de enfriamiento más tradicionales y que consumen mucha energía, como el aire acondicionado. Esta es otra razón más para pasar a centros de datos totalmente flash, que consumen mucha menos energía y no tienen los mismos requisitos de refrigeración intensivos que los HDD y los híbridos.
El camino que seguir para la IA y el almacenamiento de datos
A medida que la IA y el ML continúan evolucionando rápidamente, la atención se centrará cada vez más en la seguridad de los datos (para garantizar que las entradas no autorizadas o adversas no puedan cambiar la salida), la repetibilidad del modelo (el uso de técnicas como los valores de Shapley para obtener una mejor comprensión de cómo las entradas alteran la modelo) y una ética más sólida (para garantizar que esta tecnología se utilice para beneficiar realmente a la humanidad).
Todos estos valiosos objetivos impondrán cada vez más nuevas exigencias al almacenamiento de datos. Los proveedores de almacenamiento ya están teniendo esto en cuenta en sus hojas de ruta de desarrollo de productos, sabiendo que los CTO buscarán soluciones de almacenamiento seguras, de alto rendimiento, escalables y eficientes que les ayuden a alcanzar estos objetivos.
Por lo tanto, la atención no debería centrarse exclusivamente en las capacidades del hardware y software de almacenamiento de datos; en este caso, el panorama general es realmente muy amplio.
WhatsApp eSemanal 55 7360 5651
