Skip to Content
DokumentationKIGPU-Setup

GPU-Setup

Note

Dieser Artikel wurde zunächst anhand der Versionshinweise zu Ubuntu 26.04 LTS vom April 2026 überprüft. Der AI/GPU-Treiber und die Versionen CUDA/ROCm müssen weiterhin anhand der Hersteller-Supportmatrizen validiert werden.

Die GPU ist die wichtigste Hardware für die Ausführung der meisten KI-Workloads. Dieser Artikel enthält eine detaillierte Anleitung zum Konfigurieren der NVIDIA-GPU-Umgebung unter Ubuntu 26.04, einschließlich Treiberinstallation, CUDA Toolkit, cuDNN und Überprüfungsschritten. Außerdem wird kurz auf die Konfiguration der AMD-GPU ROCm eingegangen.

26.04 Repository-Status

Die Ubuntu 26.04-Repositorys stellen jetzt das NVIDIA CUDA Toolkit (sudo apt install cuda-toolkit) und AMD ROCm 7.1.0 bereit (sudo apt install rocm). Sie sind standardmäßig nicht vorinstalliert. Für Produktionsschulungen, bestimmte PyTorch/TensorFlow-Versionen oder Multi-GPU-Server werden weiterhin die NVIDIA/AMD-Anbieter-Supportmatrizen und Framework-Versionshinweise als letzte Quelle der Wahrheit betrachtet.

NVIDIA Treiberinstallation

Ubuntu 26.04 bietet das praktische ubuntu-drivers-Tool für die Treiberinstallation von NVIDIA.

Überprüfen Sie die Hardware

# View NVIDIA GPUs in the system
lspci | grep -i nvidia
 
# Check recommended driver versions
sudo ubuntu-drivers devices

Beispielausgabe:

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00002684sv...
vendor   : NVIDIA Corporation
model    : AD102 [GeForce RTX 4090]
driver   : nvidia-driver-560 - third-party non-free recommended
driver   : nvidia-driver-550 - third-party non-free
driver   : nvidia-driver-555 - third-party non-free

Automatische Installation (empfohlen)

# Automatically install the recommended driver version
sudo ubuntu-drivers autoinstall
 
# Reboot to activate the driver
sudo reboot

Manuelle Installation einer bestimmten Version

# View available driver versions
apt list nvidia-driver-* 2>/dev/null | grep -v "Listing"
 
# Install a specific version
sudo apt install -y nvidia-driver-560
 
# Reboot
sudo reboot

Installation vom offiziellen NVIDIA-Repository (neueste Version)

# Add the NVIDIA official repository (Ubuntu 26.04 uses ubuntu2604)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
 
# Install the latest driver
sudo apt install -y nvidia-open
 
# Reboot
sudo reboot

Überprüfen Sie die Treiberinstallation

# Check driver version and GPU status
nvidia-smi

Beispiel für eine normale Ausgabe:

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03              Driver Version: 560.35.03      CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090       Off  | 00000000:01:00.0  On  |                  Off |
|  0%   35C    P8              18W / 450W |     512MiB / 24564MiB  |      0%      Default |
+-----------------------------------------+------------------------+----------------------+
Tip

Die in der nvidia-smi-Ausgabe angezeigte „CUDA-Version“ gibt die höchste vom Treiber unterstützte CUDA-Version an, nicht die tatsächlich installierte CUDA Toolkit-Version. Sie müssen das CUDA Toolkit separat installieren.

CUDA Toolkit-Installation

Das CUDA Toolkit ist die GPU-Computing-Plattform und das Programmiermodell von NVIDIA, die von den meisten KI-Frameworks (PyTorch, TensorFlow usw.) benötigt werden.

Wie Treiber- und CUDA-Versionen zusammenhängen

Jedes CUDA-Toolkit erfordert eine Mindesttreiberversion von NVIDIA, und neuere CUDA benötigen einen neueren Treiber. Verlassen Sie sich vor der Installation auf die NVIDIA CUDA Toolkit-Versionshinweise  und die Versionsunterstützungsmatrizen von PyTorch  / TensorFlow, um eine mit allen drei kompatible Kombination auszuwählen. Ein gängiger Ansatz: Führen Sie nvidia-smi aus, um die höchste CUDA-Version anzuzeigen, die der Treiber unterstützt, und wählen Sie dann das CUDA-Toolkit und die Framework-Räder entsprechend aus.

Methode 1 (empfohlen): Installation aus dem Ubuntu 26.04-Repository

Ubuntu 26.04 liefert das CUDA Toolkit in seinem Repository aus. Für die meisten lokalen Entwicklungen ist dies die einfachste Option:

# Install the CUDA Toolkit from the Ubuntu repository
sudo apt install -y cuda-toolkit
 
# Verify
nvcc --version

Methode 2: Installieren Sie eine bestimmte Version aus dem NVIDIA-Repository

Wenn Sie eine bestimmte CUDA Toolkit-Version benötigen (z. B. passend zu einem bestimmten PyTorch-Rad):

# Add the NVIDIA official repository (Ubuntu 26.04 uses ubuntu2604)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
 
# List available CUDA Toolkit versions in the repository
apt-cache search cuda-toolkit
 
# Install a specific version (replace XX-Y with an actual available version, e.g. cuda-toolkit-13-0)
sudo apt install -y cuda-toolkit-XX-Y
Note

Ubuntu 26.04 liefert jetzt das NVIDIA CUDA Toolkit in seinen offiziellen Repositories aus, sodass sudo apt install cuda-toolkit direkt funktioniert. Das ubuntu2604-Repository von NVIDIA bleibt nützlich, wenn Sie eine bestimmte CUDA-Version benötigen (z. B. um mit einem bestimmten PyTorch-Rad übereinzustimmen).

Umgebungsvariablen konfigurieren

# Add CUDA to PATH
cat >> ~/.bashrc << 'EOF'
 
# CUDA Toolkit
export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
EOF
 
source ~/.bashrc

Überprüfen Sie die Installation von CUDA

# Check CUDA compiler version
nvcc --version
 
# Example output:
# nvcc: NVIDIA (R) Cuda compiler driver
# Cuda compilation tools, release X.Y, VX.Y.xxx
 
# Run CUDA samples (optional)
# Newer CUDA versions no longer ship samples with the Toolkit; clone them from GitHub
sudo apt install -y cmake build-essential git
git clone https://github.com/NVIDIA/cuda-samples.git
cd cuda-samples
cmake -B build && cmake --build build -j$(nproc)
 
# Run device query (path may vary by version)
./build/Samples/1_Utilities/deviceQuery/deviceQuery
 
# If output shows "Result = PASS", installation is successful

Installieren Sie mehrere CUDA-Versionen

# With the NVIDIA repository you can install multiple versions (replace XX-Y with actual versions)
sudo apt install -y cuda-toolkit-XX-Y
sudo apt install -y cuda-toolkit-ZZ-W
 
# View installed versions
ls /usr/local/ | grep cuda
 
# Switch default version (by updating the symlink; replace X.Y with the target version)
sudo rm /usr/local/cuda
sudo ln -s /usr/local/cuda-X.Y /usr/local/cuda
 
# Verify current version
nvcc --version

cuDNN-Installation

cuDNN (CUDA Deep Neural Network-Bibliothek) ist die Deep-Learning-Beschleunigungsbibliothek von NVIDIA. Sowohl PyTorch als auch TensorFlow sind davon abhängig.

Installation über apt (empfohlen)

# Ensure the NVIDIA repository has been added
# Install cuDNN for CUDA 12
sudo apt install -y cudnn9-cuda-12
 
# Or install specific packages
sudo apt install -y libcudnn9-cuda-12 libcudnn9-dev-cuda-12
 
# Verify installation
dpkg -l | grep cudnn

Installation über das tar-Paket

# Download cuDNN from the NVIDIA developer website
# https://developer.nvidia.com/cudnn-downloads
# Requires a free NVIDIA developer account
 
# Extract to the CUDA directory
sudo tar -xzf cudnn-linux-x86_64-9.x.x.x_cuda12-archive.tar.xz
sudo cp cudnn-linux-x86_64-9.x.x.x_cuda12-archive/include/* /usr/local/cuda/include/
sudo cp cudnn-linux-x86_64-9.x.x.x_cuda12-archive/lib/* /usr/local/cuda/lib64/
sudo ldconfig

CuDNN überprüfen

# Check if cuDNN can be found
ldconfig -p | grep cudnn
 
# Verify via Python (requires PyTorch to be installed first)
python3 -c "import torch; print('cuDNN version:', torch.backends.cudnn.version()); print('cuDNN enabled:', torch.backends.cudnn.enabled)"

Überprüfen Sie die GPU-Verfügbarkeit

Führen Sie nach der Installation aller Komponenten eine umfassende Überprüfung durch.

Überprüfung auf Systemebene

# 1. Check driver
nvidia-smi
 
# 2. Check CUDA
nvcc --version
 
# 3. Check cuDNN
ldconfig -p | grep cudnn
 
# 4. View detailed GPU information
nvidia-smi -q | head -50
 
# 5. Monitor real-time GPU status
watch -n 1 nvidia-smi

PyTorch GPU-Überprüfung

# Install PyTorch (inside an activated virtual environment)
# pip install torch installs the wheel for the current CUDA by default;
# older drivers can pin a lower CUDA, e.g. cu126
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
 
# Verify GPU availability
python3 << 'EOF'
import torch
 
print(f"PyTorch version: {torch.__version__}")
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"CUDA version: {torch.version.cuda}")
print(f"cuDNN version: {torch.backends.cudnn.version()}")
print(f"GPU count: {torch.cuda.device_count()}")
 
if torch.cuda.is_available():
    print(f"Current GPU: {torch.cuda.get_device_name(0)}")
    print(f"GPU VRAM: {torch.cuda.get_device_properties(0).total_memory / 1024**3:.1f} GB")
 
    # Simple GPU compute test
    x = torch.randn(1000, 1000, device='cuda')
    y = torch.randn(1000, 1000, device='cuda')
    z = torch.mm(x, y)
    print(f"GPU compute test passed! Matrix multiplication result shape: {z.shape}")
else:
    print("Warning: CUDA not available. Please check driver and CUDA installation")
EOF

TensorFlow GPU-Überprüfung

# Install TensorFlow
pip install tensorflow
 
# Verify
python3 << 'EOF'
import tensorflow as tf
 
print(f"TensorFlow version: {tf.__version__}")
gpus = tf.config.list_physical_devices('GPU')
print(f"Available GPU count: {len(gpus)}")
 
for gpu in gpus:
    print(f"  GPU: {gpu.name}")
 
if gpus:
    # Simple test
    with tf.device('/GPU:0'):
        a = tf.random.normal([1000, 1000])
        b = tf.random.normal([1000, 1000])
        c = tf.matmul(a, b)
        print(f"GPU compute test passed! Matrix multiplication result shape: {c.shape}")
EOF

ROCm (AMD GPU) Übersicht

ROCm (Radeon Open Compute) ist die Open-Source-GPU-Computing-Plattform von AMD, ähnlich wie CUDA von NVIDIA.

Unterstützte AMD-GPUs

ROCm unterstützt hauptsächlich die folgenden AMD GPU-Serien:

  • Radeon RX 7900 XTX / 7900 XT (RDNA 3)
  • Radeon RX 7800 XT / 7700 XT (RDNA 3)
  • Radeon PRO W7900 / W7800
  • Instinct MI300X / MI250X / MI210 (Rechenzentrum)

Installieren Sie ROCm

Ubuntu 26.04 ist die erste Version, in der Sie ROCm mit einem einzigen apt-Befehl installieren können. Bevorzugen Sie das Paket, das im 26.04-Repository geliefert wird:

# Method 1 (recommended): use the ROCm packaged in the Ubuntu 26.04 repository
# Full runtime stack
sudo apt install -y rocm
 
# Or just the libraries and headers for development
# sudo apt install -y rocm-dev
 
# Add user to render and video groups
sudo usermod -aG render,video $USER
 
# Reboot
sudo reboot
Note

Das Ubuntu 26.04-Repository enthält ROCm 7.1.0. Wenn Sie eine neuere Version benötigen, verwenden Sie unten das offizielle Repository von AMD und befolgen Sie die aktuelle Versionsnummer aus den offiziellen Dokumenten von AMD.

# Method 2: install a newer version from AMD's official repository
# Check the current version at https://repo.radeon.com/rocm/apt/ and replace <version> below
# Until AMD ships an Ubuntu 26.04 (resolute) repo, the 24.04 (noble) repo can be used as a fallback
wget https://repo.radeon.com/rocm/rocm.gpg.key -O - | \
  gpg --dearmor | sudo tee /etc/apt/keyrings/rocm.gpg > /dev/null
 
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/rocm/apt/<version> noble main" | \
  sudo tee /etc/apt/sources.list.d/rocm.list
 
sudo apt update
sudo apt install -y rocm
sudo usermod -aG render,video $USER
sudo reboot

Überprüfen Sie ROCm

# View AMD GPU information
rocm-smi
 
# Check ROCm version
rocminfo | head -20
 
# Install PyTorch ROCm version
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.2
 
# Verify
python3 -c "import torch; print('ROCm available:', torch.cuda.is_available()); print('Device:', torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'N/A')"
Note

AMD Das Software-Ökosystem von ROCm ist nicht so ausgereift wie NVIDIA CUDA. Einige KI-Tools werden möglicherweise nicht oder nur eingeschränkt unterstützt. Wenn Ihr Haupteinsatzgebiet die KI-Entwicklung ist, bleiben NVIDIA-GPUs die sicherere Wahl. ROCm wird jedoch kontinuierlich verbessert, und PyTorch und mehrere wichtige Frameworks werden jetzt gut unterstützt.

Allgemeine Fehlerbehebung

Problem 1: nvidia-smi zeigt keine Ausgabe oder Fehler

# Check if the driver is loaded
lsmod | grep nvidia
 
# If no output, try reloading the driver
sudo modprobe nvidia
 
# Check for Secure Boot issues
mokutil --sb-state
# If Secure Boot is enabled, you may need to sign the driver or disable Secure Boot
 
# Check kernel logs
dmesg | grep -i nvidia
sudo journalctl -b | grep -i nvidia

Problem 2: Treiberversionskonflikte

# Remove all NVIDIA drivers
sudo apt purge -y 'nvidia-*'
sudo apt purge -y 'libnvidia-*'
sudo apt autoremove -y
 
# Reboot
sudo reboot
 
# Reinstall
sudo ubuntu-drivers autoinstall
sudo reboot

Problem 3: CUDA-Version und PyTorch stimmen nicht überein

# Check current CUDA version
nvcc --version
 
# Check PyTorch expected CUDA version
python3 -c "import torch; print(torch.version.cuda)"
 
# If mismatched, install the PyTorch wheel for the corresponding CUDA version
# Default (current CUDA)
pip install torch
 
# CUDA 12.6
pip install torch --index-url https://download.pytorch.org/whl/cu126
 
# CUDA 12.8
pip install torch --index-url https://download.pytorch.org/whl/cu128
 
# Available cuXXX indexes are listed at https://pytorch.org/get-started/locally/

Problem 4: GPU Out of Memory (OOM)

# Check current GPU memory usage
nvidia-smi
 
# Find processes using the GPU
nvidia-smi --query-compute-apps=pid,name,used_memory --format=csv
 
# Free GPU memory (kill the occupying process)
# First confirm the process PID
kill -9 <PID>
 
# Clear PyTorch cache
python3 -c "import torch; torch.cuda.empty_cache()"

Problem 5: Nouveau-Fahrerkonflikt

# Nouveau is the open-source NVIDIA driver, which may conflict with the official driver
# Check if nouveau is loaded
lsmod | grep nouveau
 
# If there is output, disable nouveau
sudo bash -c 'cat > /etc/modprobe.d/blacklist-nouveau.conf << EOF
blacklist nouveau
options nouveau modeset=0
EOF'
 
# Regenerate initramfs
sudo update-initramfs -u
 
# Reboot
sudo reboot

Problem 6: Verwendung der GPU in Docker-Containern

# Install NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
 
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
 
sudo apt update
sudo apt install -y nvidia-container-toolkit
 
# Configure Docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
 
# Test Docker GPU access
docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi
# Tip: nvidia/cuda image tags are organized by CUDA version and base OS;
# pick an existing tag at https://hub.docker.com/r/nvidia/cuda/tags
Tip

Nach der Installation der NVIDIA-Treiber empfehlen wir die sofortige Installation des NVIDIA Container Toolkits. Dadurch können Sie die GPU-Beschleunigung verwenden, wenn Sie KI-Tools in Docker-Containern (z. B. Open WebUI, ComfyUI usw.) ausführen, ohne Treiber separat im Container zu konfigurieren.

Vollständiges Installationsskript

Das folgende Skript konsolidiert den gesamten Einrichtungsprozess der GPU-Umgebung:

#!/bin/bash
# gpu-setup.sh -- Ubuntu 26.04 NVIDIA GPU Environment One-Click Setup
set -e
 
echo "=== 1. Install NVIDIA Driver ==="
sudo apt update
sudo ubuntu-drivers autoinstall
 
echo "=== 2. Install CUDA Toolkit (Ubuntu 26.04 repository) ==="
sudo apt install -y cuda-toolkit
 
echo "=== 3. (Optional) For a newer version from the NVIDIA repository, use the following instead ==="
# wget -q https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb
# sudo dpkg -i cuda-keyring_1.1-1_all.deb
# sudo apt update
# sudo apt install -y cuda-toolkit-XX-Y   # replace with an actual available version
 
echo "=== 4. Install cuDNN ==="
sudo apt install -y cudnn9-cuda-12
 
echo "=== 5. Configure Environment Variables ==="
if ! grep -q "CUDA_HOME" ~/.bashrc; then
  cat >> ~/.bashrc << 'ENVEOF'
 
# CUDA Environment
export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
ENVEOF
fi
 
echo "=== 6. Install NVIDIA Container Toolkit ==="
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkit
 
echo ""
echo "=== Installation Complete! ==="
echo "Please reboot and then run nvidia-smi and nvcc --version to verify."
echo "Reboot command: sudo reboot"
# Save and run the script
chmod +x gpu-setup.sh
./gpu-setup.sh
OpenClaw