Osnovan je 1948.godine donacijom rimskog novca,namještaja,oružja i umjetničkih slika koje je svom gradu poklonio dr.Antun Bauer. Muzej je s radom započeo u zgradi diližansne pošte u staroj baroknoj jezgri,a 1966.preseljen je u dvorac Eltz. Do 1991.muzej je sadržavao fond od oko 50 tisuća eksponata što su činili četiri zasebna odjela:

 Zavičajni muzej: -prikazivao je prošlost Vukovara od prapovijesti do danas,a među najznačajnije zbirke su se ubrajale iskopine s arheološkog lokaliteta Vučedol te kulturno-povijesna zbirka koja je dokumentima ,namještajem i umjetničkim predmetima pružala vjeran prikaz života vukovarskog građanskog sloja i obitelji Eltz.

Zbirka Bauer: -sadržavala je najcjelovitiji presjek moderne hrvatske umjetnosti s kraja 19 st. i prve polovice 20.st.s posebnim naglaskom na razdoblje između dva svjetska rata. Među više od tisuću umjetnina Zbirka je sadržavala djela Vlahe Bukovca,Mate Celestina Medovića,Ice Kršnjavog,Ivana Meštrovića,Frana Kršinića,Emanuela Vidovića i mnogih drugih.

Spomen- muzej nobelovca Lavoslava Ružićke: -smješten u njegovoj rodnoj kući,prikazivao je orginalne dokumente i medalje vezane uz život i rad poznatog nobelovca,koji je ovu prestižnu nagradu dobio 1939.godine za kemiju.

Spomen-muzej II.kongresa KPJ: -bio je smješten u zgradi Radničkog doma,ranije Grand hotela,gdje je isti bio održan 1920. Tu je bila izložena i prezentirana građa o razvoju radničkog pokreta i osnivanju Komunističke partije Jugoslavije.

Tijekom Domovinskog rata dvorac Eltz je pretrpio velika oštećenja,a zbirke koje su se tu čuvale također su stradale:dio je potpuno uništen,dio je nepovratno nestao,a dio je odvezen u Srbiju. Nakon dugogodišnjeg truda i diplomatskih aktivnosti Ministarstva kulture RH taj dio zbirke vraćen je u Vukovar 13.prosinca 2001.u periodu od 1991.-1997. Gradski muzej Vukovar djeluje u Muzeju Mimara u Zagrebu. Potkraj 1992.godine osnovana je zbirka pod nazivom Muzej Vukovara u progonstvu i tako nastaje zbirka donacija hrvatskih,a potom i europskih,umjetnika za grad Vukovar. Do danas je u toj zbirci prikupljeno više od 1400 djela suvremene hrvatske i europske umjetnosti. Ova zbirka predstavlja početak kulturne obnove Vukovara i bit će stalno izložena u obnovljenom Dvorcu Eltz uz ostale muzejske zbirke. Gradski muzej Vukovar danas djeluje u kompleksu Dvorca Eltz koji će kad bude u cjelosti obnovljen,biti jedinstveni muzeološko-galerijski,znanstveni i multimedijalni centar u kojem će se čuvati i prezentirati kulturna baština kao element nacionalnog identiteta i kontinuiteta života na ovom području.

2013.godine Gradski muzej Vukovar osvojio je  je prestižnu nagradu Anton Štifanić za poseban doprinos u razvoju turizma Republike Hrvatske.