Se crede că a existat o altă așezare rurală în zona Sebeșului, cu populație română și pecinegă, la Estul orașului actual. Orașul însuși a fost construit de coloniștii Germani, numiți mai târziu Sașii Transilvaniei, ei provenind în acest caz din zona Rinului și a Moselei, ajungând aici în a doua jumătate a secolului al XII-lea. Orașul a devenit un important centru din Transilvania.
Zidurile orașului au fost fortificate după invaziile Tătare (Mongole) ce au avut loc între anii 1241–1242, orașul fiind ocupat de Imperiul Otoman în 1438. Voievodul Transilvaniei Ion I Zápolya a murit la Sebeș în 1540. Dieta Transilvaniei s-a reunit la Sebeș în 1546, 1556, 1598 și 1600. Locația întâlnirilor, casa Zápolya, a devenit muzeu în ziua de astăzi.