Istorija ovog grada može se pratiti od vremena cara Oktavijana Augusta i njegovog pohoda na Ilirik (35.-33. pre .n.e), pa sve do 582. godine kada grad pada pod avarsku vlast. Za vreme flavijevske dinastije Sirmijum je dobio status kolonije (Colonia Flavia). Veoma često je korišćen kao vojna baza za pohode protiv varvara koji su neumorno ugrožavali granicu ovog dela Carstva.
Takođe znamo da je u gradu i njegovoj okolini rođeno 5 rimskih careva: Decije Trajan, Aurelijan, Prob, Maksimijan Herkulije i Gracijan.
Grad doživljava najveći procvat krajem III i tokom IV veka, kada postaje jedna od prestonica Rimskog carstva i povremeno sedište rimskih imperatora Dioklecijana, Licinija, Konstantina Velikog, Konstancije II, Juliana, Valentinijana I, Gracijana i Teodosija.
Pronađene su luksuzne gradske vile, ali i višespratne stambene zgrade, zvane insulae, u kojima je živelo siromašnije stanovništvo.
Grad je bio zaštićen moćnim bedemima, a snabdevao se vodom preko akvadukta sa izvora fruškogorskog potoka Vranjaša.
Ulice su imale portike, kanalizaciju i bile su popločane kamenom. U gradu je tada radila kovnica novca, radionice za izradu raznih predmeta od plemenitih metala, stakla, keramike, a proizvodile su se i opeke.
Poznati rimski pisac iz IV veka Amijan Marcelin naziva ga „slavna i mnogoljudna majka gradova“.
