Prepara tu GPU para IA Local: NVIDIA Toolkit y Docker en Ubuntu 26.04

Prepara tu GPU para IA Local: NVIDIA Toolkit y Docker en Ubuntu 26.04
Video técnico en YouTube: Prepara tu GPU para IA Local: NVIDIA Toolkit y Docker en Ubuntu 26.04

Contexto y problema al ejecutar modelos IA en contenedores

Cuando despliegas herramientas de Inteligencia Artificial local como Ollama, vLLM o Open WebUI dentro de Docker, el motor de contenedores aísla por defecto los dispositivos PCIe del sistema anfitrión. Como resultado, incluso teniendo una tarjeta gráfica dedicada potente en tu servidor Ubuntu, los contenedores terminan ejecutando inferencia únicamente sobre CPU, disparando la latencia de respuesta y saturando el procesador.

Para exponer la aceleración CUDA hacia contenedores de forma segura y reproducible en Ubuntu 26.04 LTS, es necesario combinar dos piezas: el controlador propietario de NVIDIA en el host y el paquete NVIDIA Container Toolkit conectado al runtime de Docker.

Requisitos previos

  • Servidor o estación de trabajo con Ubuntu 26.04 LTS y una GPU NVIDIA compatible.
  • Docker Engine instalado desde el repositorio oficial (evita el paquete docker de Snap para prevenir restricciones de montaje de dispositivos).
  • Privilegios de administrador (sudo) y conexión a Internet para descargar las llaves GPG y paquetes APT oficiales.

Pasos de implementación en Ubuntu 26.04

1. Instalar o validar el controlador NVIDIA en el host

Comprueba los controladores disponibles para tu hardware e instala la rama recomendada si aún no está presente:

sudo apt update
sudo apt install -y ubuntu-drivers-common
sudo ubuntu-drivers autoinstall

Si instalaste el controlador por primera vez, reinicia el equipo y confirma que nvidia-smi detecta correctamente la GPU y su memoria VRAM antes de continuar.

2. Configurar el repositorio de NVIDIA Container Toolkit

Importa la llave GPG oficial, añade el listado APT estable de libnvidia-container e instala el toolkit:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkit

3. Registrar el runtime NVIDIA en Docker

Configura el archivo /etc/docker/daemon.json automáticamente mediante nvidia-ctk y reinicia el demonio de Docker:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Verificación del resultado

Lanza un contenedor efímero con la bandera --gpus all para confirmar que el espacio de usuario del contenedor accede directamente al controlador y a la VRAM de tu tarjeta gráfica:

docker run --rm --gpus all nvidia/cuda:12.6.3-base-ubuntu24.04 nvidia-smi

Si el comando imprime la tabla estándar de nvidia-smi con el modelo de tu GPU, temperatura, versión de CUDA y memoria disponible, tu plataforma queda lista para ejecutar cargas de inferencia local en Docker Compose.

Buenas prácticas de seguridad

  • Asigna GPUs por dispositivo en entornos multi-servicio: Cuando ejecutes varios contenedores, especifica el índice exacto (device_ids: ['0']) en lugar de ceder acceso indiscriminado a todas las tarjetas.
  • No ejecutes contenedores IA como root sin necesidad: Mantén contenedores con usuario no privilegiado y evita --privileged salvo diagnóstico puntual; el toolkit ya expone únicamente los nodos /dev/nvidia* necesarios.
  • Monitorea temperatura y VRAM en Zabbix: Configura alertas de saturación de memoria de video y temperatura para prevenir reinicios térmicos durante inferencias prolongadas.

Brindamos consultoría especializada en el diseño, la implementación, el despliegue y el mantenimiento de servidores con aceleración GPU, contenedores Docker e Inteligencia Artificial privada desde Valencia, Estado Carabobo (Contáctanos).