当时对匈奴用兵，消除匈奴人的军事威胁，成为了秦朝统一六国后的当务之急。自此始皇帝开始对匈奴用兵作两手准备，一方面他任命蒙恬为主帅，率兵驻守上郡（郡治肤施，今陕西榆林东南），长期经营北部边防，保守秦都咸阳的安全。蒙恬从此开始十余年守边，对北部的山川地形作好深入了解，为日后反击匈奴作好了准备。另一方面，始皇帝下令修缮长城，秦朝与匈奴等北方少数民族的边界长达万里，处处派兵防驻是不现实的，而匈奴人以骑兵为主，机动性强，移动速度快，为了更好防御匈奴人南下，秦朝下定了以墙防骑的防御方针，下令全面修复原秦、赵、燕修筑的长城，并将其相连，形成了一道西起临洮东至辽东的万里长城。为解除匈奴对秦的威胁，命蒙恬率30万大军北击匈奴。三十二年，秦始皇巡视北方边境。据史记《始皇本纪》记载，因燕地方士卢生进献图书曰“亡秦者胡也”，秦始皇回到咸阳后，便派遣将军蒙恬发兵三十万人北击胡人匈奴。秦始皇三十二年，秦始皇令蒙恬北征匈奴。蒙恬的作战目的如下：将侵入陇西河套地区及原赵国边境的匈奴军队击破，并驱逐其至贺兰山脉及狼山山脉以西，以及原赵国所建长城以北，为把诸国长城连接而做准备。蒙恬决定以主力军从上郡（今陕西省绥德县）进入河套北部，而以一部分军力从北地郡（今甘肃庆阳市）出萧关，进入河套南部地区，以扫荡河套地区的匈奴军队。待扫清河套地区之敌后，再分兵两支，主力军由河套西北渡黄河，进攻高阙（今内蒙古五原县）与狼山山脉。另一部由河套西南渡黄河，攻占贺兰山脉高地，以侧应主力军。
秦始皇三十二年夏秋之季，按原定的作战计划，蒙恬自上郡出发，经榆林进入河套北部，一部军由义渠萧关之道进入河套南部，两军所至攻击散落的匈奴部落，未遭遇重大抵抗。到本年初冬，已经将河套地区的匈奴部落全部扫荡肃清，匈奴残部向西北方向渡河而逃。蒙恬乃将两军推至黄河南岸，度过冬季，以待来年春季的战斗。秦始皇三十三年初春，蒙恬主力军由九原（今内蒙古五原县）渡过黄河，攻击高阙与陶山（今狼山山脉），一部军西渡黄河进入贺兰山脉。匈奴震于秦之兵威，向北远遁。于是秦赵原被匈奴侵占之地全部恢复。为了经营好北部边防，保守秦都咸阳的安全，蒙恬从此开始十余年守边，对北部的山川地形作好深入了解，为日后反击匈奴作好了准备，另一方面，始皇帝下令修缮长城，秦朝与匈奴等北方少数民族的边界长达万里，处处派兵防驻是不现实的，而匈奴人以骑兵为主，机动性强，移动速度快，为了更好防御匈奴人南下，秦朝下定了以墙防骑的防御方针，下令全面修复原秦、赵、燕修筑的长城，并将其相连，形成了一道西起临洮东至辽东的万里长城。三十三年春，蒙恬统主力军从上郡(郡治肤施，今陕西榆林市南)北出长城攻其东；杨翁子率偏师由肖关(今宁夏固原东南)出长城攻其西。匈奴败逃。秦遂取河南地(今内蒙古乌加河以南及伊克昭盟地)。沿河置44县，移民垦守。因匈奴不断来攻，次年秋（秦时以十月为岁首正旦，此时当始皇帝三十三年），秦始皇复命蒙恬军又北渡黄河，取高阙(今内蒙古狼山中部计兰山口)，攻占阳山(今内蒙古乌加河北的狼山、阴山)、北假(今乌加河以南夹山带河地区)。
匈奴不敌，向北迁徙。三十四年，为巩固河南地区，秦置九原郡(郡治九原，今内蒙古包头市西北)。为防匈奴南下，蒙恬奉命征发大量民工在燕、赵、秦长城基础上，修筑了西起临洮(今甘肃岷县)，东到辽东的万里长城，对巩固秦北部边地发挥了重要作用。秦始皇同时还修驰道、筹粮饷，在统一六国后的当年，秦始皇就下令在全国修筑驰道，第一条就是通往北地（郡治义渠，今甘肃宁县西北）和陇西（郡治狄道，今甘肃临洮），而秦始皇当上皇帝后的第一次视察工作，就是去北地和陇西，视察防务。随着始皇帝又设黄（今山东黄县东）、陲（今山东福山）、琅邪（今山东胶南）三大粮仓，为北事提供后勤保障。于是当年秦始皇东巡，特别视察了右北平、渔阳、上谷、代郡、雁门、云中、上郡等地，视察工作结束后，秦始皇下达了发兵三十万，北打匈奴的决定。之后，秦始皇派蒙恬驻兵上郡，防御匈奴。秦帝国把此次战役的目标定为收复河南地，恢复当初赵武灵王所开辟的边界，是比较明智和务实的，匈奴的主力大部在阴山地区和贺兰山地区，南下河南地的力量相对比较薄弱。秦国作了多年战争准备，攻击非常猛烈。蒙恬率三十万大军经陇西北上，迅速攻占了河套北部地区，同时在北地、陇西的秦军也向河套南部地区发攻。面对秦帝国的忽然发力，匈奴人没有什么准备，在河南地的匈奴兵又多为分散的部落，丝毫不能抵抗大秦的铁骑，纷纷溃败，秦国很快就收复了河南地，一直推到了北河（今乌加河）。
在争夺了河南地后，蒙恬清醒的认识到匈奴人必然不甘心失去河南地，肯定会组织反扑，于是他先下手为强，在第二年又向率主力渡河，杀入阴山和贺兰山高地，在高阙、阳山、北假等地寻找到匈奴主力，与其展开激战。匈奴领袖头曼单于正集结起兵力，准备南下，不料秦军又一次杀来，措手不及，而秦军的士兵、数量、兵种上都拥有优势。蒙恬的部队连战连捷，给予了匈奴巨大的打击。头曼单于被迫退出了阴山和贺兰山高地，北撤七百余里，退到阴山以北的漠南一带游牧。至此蒙恬对匈奴用兵，轻松取得完胜。而此后，蒙恬的三十万大军一直驻扎北边，威慑匈奴，秦始皇随后在河南地设置了九原郡，置三十四县，并在公元前211年北迁三万户开发河南地，使这里成为了富庶的新秦，成为了抗击匈奴的后方基地。由于形势所迫，在同匈奴奴隶主贵族的斗争中，秦朝修筑了举世闻名的伟大工程万里长城。公元前213年（秦始皇三十四年），秦朝把过去秦、赵、燕三国长城连接起来，修筑一条从临洮（甘肃岷县）一直到辽东碣石的万里长城。这条长城，对于抵御匈奴的骚扰，保障内地人民生产和生活的安定，起了重要的作用。修建长城，是为了保护北部边境人民的生命财产的安全，其目的也是为了减少人民的负担。由于匈奴是游牧民族，其骑兵活动范围很大，没有长城的话，要很多军队来防守，这会给人民增加很大的负担。