Kaltz 1953. január 6-án született Ludwigshafenben, és kiscsapatoknál töltött utánpótlás évei után 1970-ben került a Hamburger SV-hoz, amelyet egy kisebb megszakítással több mint 20 évig szolgált.
A jobb oldali védő 1971-ben mutatkozott be a felnőtt csapatban, és tündöklése egybeesett a Hamburg talán legszebb időszakával. Ott töltött ideje alatt a Hamburg három bajnoki címet nyert, emellett a KEK-et (1977) és a BEK-et is elhódította (1983).
Kaltz a hetvenes évek közepétől majd egy évtizedig a legjobb jobbhátvédnek számított. Remek védőmunkája mellett rendszeresen segítette a támadásokat, kanyarodó „banánbeadásairól” máig beszélnek a szurkolók, ezekből elsősorban a hórihorgas center, Horst Hrubesch profitált az együtt töltött években. Emellett a góllövésből is kivette a részét, igaz, 76 találatából 53-at tizenegyesből szerzett.
Úgy tervezte, hogy a Hamburgból vonul vissza, de 36 éves korában Erich Ribbeck úgy döntött, nincs rá tovább szükség. Kaltz Franciaországban felé vette az irányt, szerepelt a Bordeaux-ban és a Mulhouse-ban, hogy 1990-ben visszatérjen Hamburgba, és ott lezárja sikeres karrierjét. 581 Bundesliga-meccsével a második helyen áll az örökrangsorban, csak Karl-Heinz Körben előzi meg a mai napig.
A válogatottban az 1974-es világbajnoki címről lemaradt, a következő, 1978-as világbajnokság csalódást hozott számukra. Helmut Schön azon próbálkozása kudarcot vallott, hogy Kaltzot játszassa az Amerikába szerződő, így a válogatottságtól eleső Franz Beckenbauer helyén. Két évvel később kárpótolhatta magát: a nyugatnémet válogatott ugyanis nyolc év után ismét megszerezte az Európa-bajnoki címet. Kaltz az 1982-es vb-n is alapember volt, de csapata elbukta az Olaszország elleni vb-döntőt.
Nem sokkal később a jobbhátvéd válogatott pályafutása is lezárult, 69 meccset követően 1983-ban búcsúzott a címeres meztől, miután viszonya igencsak elmérgesedett Jupp Derwall szövetségi kapitánnyal. Kaltz ugyanis többször kritizálta a szakember taktikáját.
Visszavonulása után a civil életben is megtalálta számításait, de a futballtól sem szakadt el, több csapatnál is dolgozott másodedzőként. Hamburg mellett labdarúgó-iskolája is van, és hosszú évek óta irányítja a Bochum akadémiáját.