马邑自古就是一个防御北方游牧民族南下骚扰的重镇，战略地位十分重要。北周武帝灭齐后，在太原设置并州总管府的同时，在马邑亦设立了朔州总管府。隋炀帝即位后，废天下总管府建置，并改州为郡，朔州改称为马邑郡。
据《隋书•地理志》载：马邑郡，治善阳。旧置朔州，开皇初置总管府，大业初废，统县四：
善阳，后齐置县曰招远，郡曰广安。开皇初郡废。大业初县改曰善阳，置代郡，寻曰马邑。又有后魏桑干郡，后齐以置朔州及广宁郡（据考，桑干郡应在朔城区西影寺村东，朔州应在马邑即今朔城区，广宁应在桑干郡，即西影寺村东）。后周郡废，大业初州废。
神武，后魏置神武郡（据考，后魏神武郡应在今内蒙古清河县附近），后齐改曰太平（据考，神武郡在此之设置，应在北齐高洋破柔然取陉北之后），后周罢郡。有桑干水。据考，隋之神武县是在今朔城区之神武村。
云内，后魏立平齐郡，寻废。后齐改曰太平县，后周改曰云中，开皇初改曰云内。有后魏都，置司州。据考，云内县在今大同市西北15公里，或曰口泉附近。
开阳，旧曰长宁，后齐置齐德、长宁二郡。后周废齐德郡。开皇初郡废，十九年县改曰开阳。据考，开阳在今朔城区西南神池县附近。
其时，马邑郡之境域，南起宁武，北至丰镇，西起五寨、偏关，东至蔚州。恒安镇（今大同市）也隶属于马邑郡之云内县。四县共计4674户，每户5.17人计，折合24164人。与其他各郡比较，马邑郡人口是很少的。
当时，马邑郡是隋朝北边国防线上的一个重要地方，隋炀帝曾三次巡幸北部边塞。
第一次北巡，是于大业三年（607）四月底出发，所率六宫及百官家属，在禁卫军的护卫下，旌旗千里，浩浩荡荡，入山西到雁门（今代县），太守丘和主动进献精馔美食，炀帝大喜，当即擢任其为博陵太守。至马邑（今朔城区），太守杨廓无所贡献，炀帝就罢了他的官，让他到博陵去向丘和学习为官之道。六月，炀帝一行到达榆林郡（今内蒙古托克托县）。八月，炀帝在入塞南返途中，又路经朔州、入楼烦关到太原。下诏营建晋阳宫，然后回到东都。
第二次北巡，是于大业四年（608）三月，炀帝车驾冉次出塞，其庞大的队伍出雁门、经朔州，再出杀虎口，幸五原（今内蒙古呼和浩特市），巡长城。同时下诏在楼烦营建汾阳宫（楼烦在今静乐县境，汾阳宫在今宁武县境管涔山）。八月，炀帝在“亲祠恒岳”之后，南下汾阳宫围猎。
第三次北巡，是于大业十一年（615）三月，大队人马先到汾阳宫居住了5个月，到八月，才出巡北塞，其本意是对突厥进行威慑，使其不再支持北方的反隋武装势力，而突厥此时不但停止朝贡，断绝对隋的臣属关系，而且敢于同隋朝公开对抗。
本来，突厥与隋朝长期和睦相处，启民死后，其子始毕可汗继位，“部众渐盛”。隋对突厥一贯采取分化瓦解之策。炀帝第三次出巡前，大臣裴矩提出分化离间突厥的连环之策：先是建议炀帝嫁宗女与始毕之弟叱吉设，并拜其为“南面可汗”，以离间其兄弟，但叱吉设不敢受，始毕闻而怨恨。进而裴矩又提出，“突厥本淳易可离间，但由其内多有群胡，尽皆桀黠，教导之耳”，因此，只要除掉那班为可汗出谋划策的“群胡”，自可收离间之效。于是选择了“尤多奸计，幸于始毕”的心腹谋臣史蜀胡悉“诱杀之”：假托马邑举办盛大互市交易，“天子大出珍物”，“若有来者，即得好物”，贪婪的胡悉信以为真，遂背着始毕“率其部众，尽驱六畜，星驰争进”赶来，被隋伏兵“诱而斩之”马邑（今朔城区）城下，然后诬称胡悉“背叛，我当共杀”，以此“招报始毕”，“始毕亦知其状，由是不朝”（《隋书•裴矩传》）。于是始毕加深了对隋的仇恨。
隋炀帝一行刚入雁门，始毕得知这一军事情报后，立即率数十万骑风驰电掣而至。此即历史上有名的“雁门之变”。炀帝在雁门（故治在今代县）被围了长达32天之久，抱着他的9岁小儿子赵王杨杲昼夜号啕大哭，把双眼都哭肿了。几乎成了始毕之俘虏。始毕解围走后，炀帝派人出关侦探，山谷皆空，无胡马，乃派二千骑追蹑，至马邑，获得突厥老弱二千余人而还。炀帝由太原返回东都洛阳。
炀帝回洛阳后，不思悔改，骄奢依旧。依然坚持南下江都巡游。在他南下江都时，命镇守太原的李渊率兵北上，与马邑太守王仁恭一起抵抗突厥。李渊到马邑后，与王仁恭共击突厥。取得几次胜利后，突厥不再轻易南下了。李渊撤离马邑后，王仁恭孤立无援，屡为突厥所败。炀帝在江都闻讯后大怒，遣使至马邑，要将王仁恭斩首，并要锁系李渊到江都治罪。此事虽未实行，但却导致了王仁恭威信扫地，李渊决意反隋。
马邑的老百姓，继续在王仁恭的统治下，一方面遭受突厥铁蹄的蹂躏，一方面又遇灾荒“死人相枕于野”。于是刘武周领导的马邑起义爆发了。
