Klaus Schmidt passe l'ensemble de sa carrière dans son pays d'origine, l'Autriche. Après avoir démarré en tant qu'assistant kinésithérapeute, puis entraîneur adjoint, il est ensuite en charge d'une Academy de jeunes joueurs, avant d'être à son tour entraîneur principal, dans des clubs comme Mattersburg, Hartberg ou encore Altach. Il rejoint Adi Hütter et l'AS Monaco en tant qu'entraîneur adjoint en juillet 2023.