Tras acabar su etapa universitaria entró a trabajar en la empresa Henschel & Sohn pero un año más tarde dejó su empleo para empezar a construir la máquina programable con la que llevaba soñando desde su época de estudiante.

Sus esfuerzos se vieron recompensados cuando en 1936 creó la primera calculadora mecánica binaria de programabilidad limitada que leí­a las instrucciones desde una cinta perforada y funcionaba con electricidad. Su nombre: Z1. A pesar de que nunca acabó de funcionar correctamente por la mala calidad de los materiales empleados en su construcción, sentó las bases de los futuros proyectos de Zuse.

Con la llegada de la Segunda Guerra Mundial, Zuse fue llamado a filas, pero se libró de acudir al frente a cambio de utilizar sus conocimientos para desarrollar nuevas computadoras más potentes y funcionales. Así­, y tras conseguir el apoyo del Aerodynamische Versuchsanstalt (algo así­ como Instituto de Investigaciones Aerodinámicas), en 1939 terminó el diseño y construcción de una versión mejorada de la Z1 que incorporaba circuitos eléctricos con relés a la que llamó, cómo no, Z2.

A partir de ese momento, Zuse comenzó a diseñar un nuevo prototipo que vio finalmente la luz el 12 mayo de 1941. Bautizado como Z3, ha pasado a los anales de la historia moderna como el primer ordenador programable y completamente automático del que se tiene constancia. Contaba con 2.000 relés, tení­a una frecuencia de reloj de entre 5 y 10 Hz, una longitud de palabra de 22 bits y realizaba los cálculos con aritmética en coma flotante puramente binaria.

El Z3 utilizaba una cinta externa para almacenar los programas con los que trabajaba y, a pesar de que no disponí­a de ninguna instrucción de salto condicional, se podí­an construir bucles y llevar a cabo tareas y cálculos que resultaban muy complejos para la época de la que estamos hablando.

Desgraciadamente, esta joya de la computación fue destruida en 1944 durante un bombardeo aliado sobre Berlí­n. Aún así­, existe una réplica completamente funcional del Z3 expuesta de manera permanente en el Deutsches Museum, sito en la ciudad germana de Múnich.