Présent dans le staff de Waasland-Beveren pendant le passage sur le banc de Philippe Clement, Johan Van Rumst rejoint l'actuel entraîneur de l'AS Monaco au KRC Genk en juillet 2018, en tant que coach individuel et analyste. Il devient ensuite entraîneur adjoint à partir de 2019, lors de son arrivée au Club Bruges, et conserve ce rôle à Monaco.