PhD Position - Efficient Long-Context Large Models for Vision and Vision-Language-Action Systems (f/m/d)

For more than one decade the Institute of Measurement and Control Systems (MRT) at KIT has been one of Germany’s leading autonomous driving labs. Its unique advantage is the availability of experimental vehicles with sensors, actuators and a complete software stack for automated urban driving. The existing equipment and experience not only enables continuous cutting-edge research in all areas of autonomous driving, but also a wide range of collaborations with leading industrial partners. Research highlights of the MRT are, among others, the successful participation in autonomous driving competitions as well as the development of highly influential benchmark suites like KITTI and KITScenes.

Ihre Aufgaben

Large foundation models and vision-language-action models increasingly rely on long context windows to reason over high-resolution images, videos, multi-camera sensor streams, maps, interaction histories and language instructions. However, standard attention mechanisms scale unfavorably with context length, and large models remain difficult to deploy under real-time, memory and energy constraints in autonomous systems. You will investigate efficient long-context models for computer vision and VLA systems and apply it to autonomous driving. The research will combine attention optimization, token reduction, model pruning and quantization to make large models scalable while preserving accuracy, robustness, and downstream action quality. The research will build on established ideas from Transformers, long-sequence attention, memory-efficient attention, vision transformers, deep compression, and recent VLA systems.

Ihr Profil

You are a dedicated and creative person with

• an excellent Master’s degree in engineering, computer science, robotics or similar
• proven knowledge of deep learning and large model architectures
• experience in software development for deep learning
• interest in working independently and scientifically, and eagerness to actively participate in a great international team.

Wir bieten

• Forschung mit Wirkung: Arbeiten Sie an Themen von gesellschaftlicher Relevanz – in einem exzellenten wissenschaftlichen Umfeld, das Veränderungen möglich macht.
• Karriere und Entwicklung: Wir unterstützen Sie mit einer strukturierten Einarbeitung, vielfältigen Weiterbildungsmöglichkeiten und individueller Förderung. So stärken wir Ihr persönliches Wachstum.
• Flexible Arbeitszeitgestaltung: Nutzen Sie Gleitzeit, mobiles Arbeiten und 30 Tage Urlaub für eine optimale Work-Life-Balance.
• Familienfreundlichkeit: Das Programm „KIT-Family +“ unterstützt Sie bei der Vereinbarkeit von Familie und Beruf – durch Kinderbetreuung, Ferienangebote, ein Eltern-Kind-Büro und Hilfe bei der Angehörigenpflege.
• Gesundheit: Unter dem Motto „Fit im KIT – mit Körper, Geist und Seele“ fördern wir Ihre Gesundheit mit Sportkursen und Angeboten zur psychischen Gesundheit.
• Individuelle Zusatzleistungen: Profitieren Sie von einer betrieblichen Altersvorsorge (VBL), einem monatlichen Zuschuss von 25 Euro zum Jobticket BW sowie vielfältigen Angeboten rund um Kultur und Freizeit.

Arbeitsort: Karlsruhe (und Eggenstein-Leopoldshafen)
Eingruppierung: EG 13 TV-L; die Eingruppierung erfolgt entsprechend den persönlichen und fachlichen Voraussetzungen.
Vertragsdauer: 3 Jahre

Fachliche Auskünfte erteilt Ihnen gerne Dr. Martin Lauer [email protected]
Bei allgemeinen Fragen zur Bewerbung wenden Sie sich bitte an Julia Boldt Personalservice (PSE) [email protected]

Am KIT schätzen wir die Vielfalt unserer Mitarbeitenden - unterschiedliche Perspektiven und Hintergründe sind eine Bereicherung für unsere Arbeit. Wir freuen uns daher über alle Bewerbenden. Frauen sind besonders zur Bewerbung eingeladen. Bewerbungen von anerkannt schwerbehinderten Menschen werden bei gleicher Eignung bevorzugt berücksichtigt.

Bewerbungsfrist: 08.11.2026
Ausschreibungsnummer: 1252/2026