La construction du château est lancée en 1749 par le comte Anzelmo Kazimir Eltz, propriétaire du fief vukovarien. Dans un premier temps, il fait construire la partie centrale du château, qui sera élargie à plusieurs reprises par l'ajout de nouveaux éléments. Le premier grand élargissement a lieu déjà en 1781, tandis que le château acquiert sa physionomie actuelle au début du XXème siècle selon le projet élaboré par l'architecte viennois Siedeka. C'est un château spacieux au décor somptueux, qui abonde en détails stylistiques, tout en gardant l'harmonie des proportions. Il fait partie des édifices les plus représentatifs de l'art baroque en Croatie. Depuis l'an 1968, le château Eltz abrite Le Musée de la ville de Vukovar. En 1991, le bâtiment a subi d'importantes destructions, et a été entièrement reconstruit dans le cadre du projet du Conseil de l'Euope et du Ministère de la Culture de la République de Croatie "Vukovar - Vučedol - Ilok : Recherche - Reconstruction - Revitalisation".