Google DeepMind hat sein KI-Modell Gemini 2.5 um ein neues Spezialmodell namens „Computer Use“ erweitert. Dieses markiert einen bedeutenden Fortschritt in der Mensch-Maschine-Interaktion, indem es KI-Agenten ermöglicht, grafische Benutzeroberflächen (GUIs) direkt zu bedienen – eine Fähigkeit, die bisher menschlichen Nutzer:innen vorbehalten war.
KI bedient Oberflächen wie ein Mensch
Während traditionelle KI-Modelle vorwiegend mit strukturierten Schnittstellen arbeiten, stellt die direkte Interaktion mit grafischen Oberflächen für viele Systeme eine Herausforderung dar. Das neue Spezialmodell adressiert dieses Problem, indem es Webseiten und mobile Interfaces visuell erfasst, analysiert und eigenständig bedient. Dazu gehören Aktionen wie Klicken, Tippen oder Scrollen.
Anwendungsbeispiele umfassen das Ausfüllen und Absenden von Formularen, die Bedienung von Dropdown-Menüs oder das Navigieren durch Login-Prozesse. Die Modelllogik arbeitet in Schleifen: Nach jedem Handlungsschritt wird ein neuer Screenshot an das Modell übermittelt, auf dessen Basis die nächsten Aktionen geplant werden.
Schneller und präziser als Wettbewerber
Im Vergleich zu bestehenden Lösungen, etwa von Browserbase, erzielt Gemini 2.5 laut Google in Benchmarks wie „Online-Mind2Web“, „WebVoyager“ und „AndroidWorld“ Bestwerte hinsichtlich Genauigkeit und Latenzzeit. Ein Streudiagramm zeigt, dass das Modell mit rund 70 Prozent Genauigkeit bei gleichzeitig geringer Reaktionszeit vor der Konkurrenz liegt. Während Desktop-Betriebssysteme aktuell noch nicht unterstützt werden, zeigt das System im mobilen Bereich großes Potenzial.
Sicherheit als zentrales Prinzip
Die Steuerung von Benutzeroberflächen durch KI birgt Risiken wie Fehlverhalten, Sicherheitslücken oder Missbrauch. Daher ist das Modell mit einem separaten Sicherheitssystem ausgestattet, das jeden Handlungsvorschlag vor der Ausführung bewertet. Entwickler:innen können zudem festlegen, dass sensible Aktionen – beispielsweise Käufe oder sicherheitsrelevante Änderungen – nur nach expliziter Nutzerfreigabe erfolgen. In kritischen Bereichen wie medizinischer Software kann die KI vollständig eingeschränkt werden.
Erste praktische Einsatzszenarien
Das System wird bereits intern bei Google für automatisierte UI-Tests eingesetzt, etwa zur Behebung fehlerhafter Zahlungsworkflows. Externe Unternehmen wie Poke.com und Autotab berichten von deutlich verbesserten Ergebnissen in der Prozessautomatisierung und einer bis zu 50 Prozent höheren Effizienz im Vergleich zu bisherigen Lösungen.