Počátky kostela Neposkvrněného početí Panny Marie ve Starém Městě jsou úzce spojeny se založením Bruntálu jako nejstaršího institucionálního (tj. v právním slova smyslu) města v českých zemích před rokem 1213. Zakladatelem města byl patrně moravský markrabě Vladislav Jindřich, který novým osadníkům, většinou těžařům a nákladníkům zlatorudných dolů v okolí, udělil svolení řídit se magdeburským městským právem. Původní Bruntál pravděpodobně sestával právě ze sítě hornických osad, jejichž duchovním centrem byl kostel P. Marie v dnešním Starém Městě. Areál kostela se hřbitovem byl z okolní krajiny vyčleněn stále zčásti patrným příkopem. Při jeho rozšíření byla vystavěna kamenná obvodová zeď na západní a jižní straně lemovaná zářezem úvozové cesty.

Kostel dostal asi mezi léty 1230–1240 podobu trojlodní baziliky s chórem ukončeným apsidou a před ním situovanou příčnou lodí s apsidami, západní část kostela mohla být vybavena tribunou a nad ní vystavěnou převýšenou částí (westwerk) s jednou či dvěma věžemi. Románský chrám ve Starém Městě se svojí podobou řadil ke skupině raných městských kostelů, které vznikaly ve významných středoevropských městech napojených na těžbu drahých kovů a obchodní trasy. Z původní románské stavby se dochoval velký západní portál, jehož část později zakryla přístavba věže.

Ve 2. polovině 14. století byl románský kostel z větší části zbořen a na jeho základech vystavěna gotická novostavba s polygonálně ukončeným presbytářem s opěráky, ke kterému na severu přiléhala sakristie a na jihu obdélná kaple. Iniciátory přestavby byli vévodové Jan I. († 1380) nebo jeho syn Jan II. Železný († 1424). Tito příslušníci opavsko-ratibořské přemyslovské sekundogenitury byli také objednateli umělecké výzdoby presbytáře.

Po roce 1645 byla k západnímu průčelí kostela přistavěna věž, kolem roku 1787 pak následovala další zásadní přestavba realizovaná stavitelem J. M. Badstieberem, v rámci níž byla středověká loď s výjimkou části západní zdi nahrazena raně klasicistní stavbou, nově zaklenut byl také presbytář s výjimkou závěru adaptovaného na sakristii. V ní se pod vrstvou mladších omítek dochovaly cenné gotické nástěnné malby, jejichž odkryv a restaurování byly dokončeny v letech 2019–2020. V těchto letech také proběhla rekonstrukce kostela a ohradní zdi jeho areálu podpořená prostředky EU v rámci Integrovaného regionálního operačního programu prostřednictvím Místní akční skupiny Hrubý Jeseník. Součástí projektu byla také realizace expozice gotické umělecké výzdoby sakristie, restaurovaného románského portálu a archeologicky odkrytého půdorysu románského kostela.