DiffusionGemma ist ein experimentelles offenes Modell, das die Textdiffusion untersucht, einen außergewöhnlich schnellen Ansatz zur Textgenerierung. DiffusionGemma basiert auf der Gemma 4-Architektur mit 26 Milliarden Parametern (4 Milliarden aktiv) und Mixture-of-Experts (MoE) und generiert Tokens mithilfe von diskreter Diffusion. Dieses Modell mit offenen Gewichten ist multimodal und kann Text-, Bild- und Videoeingaben verarbeiten, um Textausgaben zu generieren.
DiffusionGemma basiert auf einer MoE-Grundlage und wurde entwickelt, um die Generierungsgeschwindigkeit (Tokens pro Sekunde) zu verbessern und gleichzeitig auf verschiedenen Hardwareumgebungen bereitgestellt werden zu können. DiffusionGemma baut auf den architektonischen und funktionalen Verbesserungen von Gemma 4 auf und bietet mehrere Kernfunktionen:
- Diskrete Textdiffusion:Hier wird nicht mehr auf die herkömmliche kausale Token-Generierung gesetzt, sondern auf die block-autoregressive Multi-Canvas-Stichprobenerhebung. Das Modell generiert Text, indem es Blöcke von Tokens (ein „Canvas“) iterativ parallel entrauscht, um die Decodierungsgeschwindigkeit erheblich zu steigern.
- Multimodale Verarbeitung:Akzeptiert nativ Text-, Bild- (mit variabler Unterstützung für Seitenverhältnis und Auflösung) und Videoeingaben. Hinweis: Audioeingabe wird nicht unterstützt.
- Encoder-Decoder-Architektur:Hier wird ein autoregressiver Encoder verwendet, um den Prompt-Kontext zu verarbeiten und im Cache zu speichern. Außerdem wird ein Denoising-Verfahren angewendet, bei dem bidirektionale Attention auf die Generierungsoberfläche angewendet wird.
- Effizienz von Mixture-of-Experts (MoE):Das Modell nutzt ein spärliches MoE-Design, das auf der 26B-MoE-Variante (4B aktiv) basiert. Es bietet umfassende Reasoning-Funktionen bei minimalem Overhead. Bei der Quantisierung passt es in die VRAM-Grenzwerte von 18 GB von Consumer-GPUs und ist daher ideal für die lokale Ausführung.
- Denkmodus:Integrierte konfigurierbare Kanäle für logisches Denken ermöglichen es dem Modell, schrittweise zu denken, bevor es eine endgültige Antwort ausgibt.
Kompromiss mit traditionellen Modellen
Herkömmliche Sprachmodelle sind zwar sehr effizient für groß angelegte Cloud-Bereitstellungen, da sie Tausende von Anfragen in einem Batch verarbeiten können. Wenn sie jedoch lokal für einen einzelnen Nutzer ausgeführt werden, wird die Hardware nicht optimal genutzt. DiffusionGemma löst dieses Problem, indem es einen ganzen 256-Token-Block gleichzeitig generiert und nicht ein Token nach dem anderen. So wird die Leistung der lokalen Hardware maximiert.
Dieser Ansatz ist jedoch ausschließlich für die lokale Nutzung durch Verbraucher mit geringer Parallelität vorgesehen. Da die parallele Decodierung bei Cloud-Arbeitslasten mit hohem QPS nur noch geringe Vorteile bietet, ist der Durchsatzvorteil bei kleinen bis mittleren Batchgrößen auf einem einzelnen Beschleuniger am größten.