La costruzione del castello iniziò nel 1749 per volere del proprietario e signore del feudo di Vukovar, il conte Anzelmo Kazimir Eltz. La parte centrale del castello è quella più antica. Più tardi l’edificio fu ripetutamente ampliato. Il primo intervento d’ampliamento risale al 1781, mentre l’aspetto e le dimensioni definitive gli furono conferiti all’inizio del XX secolo in base ad un progetto dell’architetto viennese Siedak. Nonostante la sua imponenza, il suo sfarzo e la ricchezza di dettagli architettonici, l’edificio ha conservato la propria armonia. È annoverato tra gli edifici barocchi più rappresentativi della Croazia. Dal 1968 ospita il Museo civico di Vukovar. Il palazzo, durante l’ultima guerra (1991-1995), ha subito danni devastanti. Per fortuna, però, è stato completamente restaurato nell’ambito del progetto promosso dal Consiglio d’Europa e dal Ministero della Cultura della Repubblica di Croazia e chiamato “Vukovar - Vučedol - Ilok: Ricerca - Rinnovamento - Rivitalizzazione”.
