Gradnju Dvorca počeo je 1749. godine vlasnik vukovarskog feuda grof Anzelmo Kazimir Eltz. U početku je bio izgrađen samo središnji dio, a kasnije je Dvorac više puta dograđivan. Već 1781. izvršeno je prvo veće proširenje, a konačan izgled dobio je početkom 20.st. po nacrtima bečkog arhitekta Siedeka. Velikih je dimenzija, raskošne koncepcije, obiluje bogatstvom stilskih detalja, ali zadržava skladne odnose. Ubraja se među najreprezentativnije objekte baroknog razdoblja na hrvatskom tlu. Od 1968. godine u Dvorcu Eltz smješten je Gradski muzej Vukovar. Zgrada je 1991. pretrpjela strašna oštećenja a dvorac je u cjelini obnovljeno u sklopu projekta Savjeta Europe i Ministarstva kulture RH 'Vukovar - Vučedol - Ilok: Istraživanje - Obnova - Revitalizacija'.