Crea tu propio Laboratorio de Inteligencia Artificial Local con un solo comando
Levanta un stack privado de Inteligencia Artificial local con Ollama, Open WebUI y automatización en Docker mediante un despliegue reproducible y seguro.

Video técnico en YouTube: Prepara tu GPU para IA Local: NVIDIA Toolkit y Docker en Ubuntu 26.04
Cuando despliegas herramientas de Inteligencia Artificial local como Ollama, vLLM o Open WebUI dentro de Docker, el motor de contenedores aísla por defecto los dispositivos PCIe del sistema anfitrión. Como resultado, incluso teniendo una tarjeta gráfica dedicada potente en tu servidor Ubuntu, los contenedores terminan ejecutando inferencia únicamente sobre CPU, disparando la latencia de respuesta y saturando el procesador.
Para exponer la aceleración CUDA hacia contenedores de forma segura y reproducible en Ubuntu 26.04 LTS, es necesario combinar dos piezas: el controlador propietario de NVIDIA en el host y el paquete NVIDIA Container Toolkit conectado al runtime de Docker.
docker de Snap para prevenir restricciones de montaje de dispositivos).sudo) y conexión a Internet para descargar las llaves GPG y paquetes APT oficiales.Comprueba los controladores disponibles para tu hardware e instala la rama recomendada si aún no está presente:
sudo apt update
sudo apt install -y ubuntu-drivers-common
sudo ubuntu-drivers autoinstallSi instalaste el controlador por primera vez, reinicia el equipo y confirma que nvidia-smi detecta correctamente la GPU y su memoria VRAM antes de continuar.
Importa la llave GPG oficial, añade el listado APT estable de libnvidia-container e instala el toolkit:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkitConfigura el archivo /etc/docker/daemon.json automáticamente mediante nvidia-ctk y reinicia el demonio de Docker:
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart dockerLanza un contenedor efímero con la bandera --gpus all para confirmar que el espacio de usuario del contenedor accede directamente al controlador y a la VRAM de tu tarjeta gráfica:
docker run --rm --gpus all nvidia/cuda:12.6.3-base-ubuntu24.04 nvidia-smiSi el comando imprime la tabla estándar de nvidia-smi con el modelo de tu GPU, temperatura, versión de CUDA y memoria disponible, tu plataforma queda lista para ejecutar cargas de inferencia local en Docker Compose.
device_ids: ['0']) en lugar de ceder acceso indiscriminado a todas las tarjetas.root sin necesidad: Mantén contenedores con usuario no privilegiado y evita --privileged salvo diagnóstico puntual; el toolkit ya expone únicamente los nodos /dev/nvidia* necesarios.Brindamos consultoría especializada en el diseño, la implementación, el despliegue y el mantenimiento de servidores con aceleración GPU, contenedores Docker e Inteligencia Artificial privada desde Valencia, Estado Carabobo (Contáctanos).