¿Qué GPU es la más adecuada para el entrenamiento de IA en 2020?

NVIDIA ha desarrollado específicamente núcleos de precisión mixtos como Tensor Core en nuevas microarquitecturas para optimizar las operaciones matriciales en el aprendizaje profundo, por lo que GPU con Tensor Core es la mejor opción para el aprendizaje de IA.

Es bien sabido que los modelos de aprendizaje profundo de hoy ocupan una gran cantidad de memoria de video, y muchas GPU que solían ser poderosas en términos de rendimiento ahora pueden experimentar una falta de memoria. El artículo analiza qué GPU pueden enseñar modelos sin errores de memoria y qué tarjetas de video son más adecuadas para PC y estaciones de trabajo pequeñas. La conclusión principal del artículo es que la cantidad de memoria de video importa. Sí, la cantidad de memoria de video está frenando el entrenamiento de muchos modelos de aprendizaje profundo.

Debido al rápido avance de la tecnología de aprendizaje profundo, los viejos tiempos de 12 GB de RAM son cosa del pasado, y en febrero de 2020, para entrenar a los mejores modelos de la industria, tendrá que gastar al menos $2.500 en uno de los más nuevos Titan RTX de NVIDIA, y para finales de este año, Es imposible siquiera imaginar cómo se verá.

Consumidor
Para un usuario individual, la opción preferida es la serie GeForce de grado de consumo de NVIDIA. Las opciones más económicas son:

GeForce RTX 2080 Ti: 1200 dólares, cámaras de vídeo de 11 GByte, microarquitectura Turing (sustrato Tensor Core)
Titan RTX: 2500 muñecas., Tarjetas de vídeo 24 GByte, microarquitectura Turing (sustrato Tensor Core).
Es importante tener en cuenta que estas tarjetas de video para el consumidor no admiten muy bien el paralelismo de varias tarjetas, por defecto no admiten la comunicación directa entre varias tarjetas, si queremos que 1 tarjeta y 2 tarjetas se comuniquen entre sí, Los datos se copiarán de la memoria de vídeo de la tarjeta 1 de vuelta a la memoria principal a través del bus de PIC-E. Y luego de la memoria principal a la memoria de la tarjeta 2 a través de PCI-E, lo que obviamente es una gran pérdida de tiempo y no es propicio para la conexión entre varias tarjetas. El 2080 Ti y el Titan RTX no tienen un buen soporte P2P (Peer-to-Peer) sobre múltiples líneas PCI-E de tarjetas, pero esto no significa que no sean compatibles con NVLink, que está disponible para los usuarios que compran el puente NVLink para crear un enlace entre varias tarjetas. Algunos argumentan que el problema es un defecto de diseño para ambas GPU, mientras que otros creen que NVIDIA fue deliberadamente a él para conseguir que las personas con necesidades de computación paralela en múltiples tarjetas compren una GPU de la serie Telsa.

Empresa
Los procesadores gráficos del centro de datos son más caros y adecuados para usuarios corporativos, tienen una mayor memoria de video y un mejor soporte de paralelismo de múltiples tarjetas.

Quadro RTX 6000: 4000 dólares, tarjetas de video de 24 GByte, microarquitectura Turing (soporte Tensor Core)
Quadro RTX 8000: 5500 dólares U.S.A., 48 Video de Regalo, T.
Telsa V100: tarjetas de vídeo de 16 o 32 GB en dos variantes, PCI-E y NVLink, microarquitectura Volta (sustrato Tensor Core)
Telsa V100S: cámaras de vídeo de 32 GByte, bus PCI-E, microarquitectura Volta (sustrato Tensor Core)
Las GPU corporativas generalmente están conectadas a servidores o estaciones de trabajo, que no son baratas en sí mismas, especialmente si se considera que el costo de los servidores con soporte para la plataforma Telsa es de 100 mil. $. Por supuesto, los costos como la construcción de salas de servidores y la electricidad no se tienen en cuenta aquí.

En mayo de 2020, en GTC 2020, NVIDIA lanzó una nueva generación de microarquitectura Ampere, así como la tarjeta de video Telsa A100. La capacidad de la tarjeta gráfica A100 para aprender y razonar en inteligencia artificial se ha fortalecido, y una A100 se puede dividir en siete GPU independientes para resolver diversos problemas informáticos.

Para aquellos con múltiples mapas para resolver tareas de aprendizaje paralelo, se recomienda seleccionar tarjetas de video de la serie Telsa con soporte NVLink.

Resumen
Para la investigación en aprendizaje profundo, GeForce RTX 2080 Ti (11 GB) es probablemente el estándar de inicio; Titan RTX (24 GB) es una buena opción, proporcionando un equilibrio entre precio, memoria de video y rendimiento computacional. Para usuarios corporativos, las tarjetas como Quadro RTX 8000 (48 GB) y Telsa V100 (32 GB) son adecuadas para investigadores avanzados en el campo del aprendizaje profundo. En la segunda mitad de 2020, se entregarán nuevas plataformas de computación NVIDIA, que, por un lado, aumentarán la productividad y, por otro, reducirán los precios de los productos existentes.

Ahora que el equipo físico es caro, puede valer la pena prestar atención a las GPU en la nube.