秦汉时期，县境大部属豲道，洛门镇以东属冀县。

东汉中平五年(188年)，析襄武、豲道地置新兴县，址设今县城西15公里 新兴川(今广武坡西颉家门一带)，属南安郡。

三国魏更名武城县，不久即废，复名新兴县。置中陶县，故址在今鸳鸯镇附近。

东晋十六国时期，为前赵、后赵、前凉、前秦、后秦、西秦、大夏等北方七国先后争占，历时百余年。

北魏太平真君八年(447年)，中陶并入新兴，隶渭州广宁郡。隋开皇十年(590)，新兴并入陇西县，隶陇西郡。

唐代宗宝应二年(763年)，县境沦于吐蕃，历时78年。咸通七年(866年)收复，属陇右道渭州。

五代时期，县域为羁縻地(授予归附的吐蕃族居住)，历53年。

北宋真宗天禧三年(1019年)，在今县城北建宁远寨，属秦凤路秦州。熙宁五年(1072年)，以古渭寨地(今陇西)建通远军，宁远寨属通远军。徽宗崇宁三年(1104年)，升宁远寨为宁远县，属巩昌路巩州。

金天会九年(1131年)正月，宁远陷金。泰和七年(1207年)又降为宁远寨，属临洮路通远军。金天兴三年、南宋端平六年、蒙古汗国太宗六年(1234)，宋蒙联军灭金，宁远寨归属蒙古汗国。

元世祖至元十六年(1279)，复置宁远县，隶属巩昌路巩州。

明、清沿袭宁远县制，属巩昌府，县域包括现有地域和马坞、新寺两镇。清代末年，马坞划归岷县。

民国二年(1913年)，因与湖南省宁远县重名，北洋军阀政府内务部决定更名武山县，属渭川道。民国十七年(1928年)7月废道，设渭川行政区，不久即撤销。民国二十三年(1934年)设天水行政督察区，辖武山等15县;民国二十四年(1935年)7月，改甘肃第四行政督察区，武山属之。民国二十九年(1940年)4月，县西边境骆家沟、骆家镇、牟家窑、川口下、川口岘、何家坡、淡家沟、蔡家坪、黄家里、伍家山、瓦窑下、柳树沟、石板上、铨庄下、单道下、丁家咀上、桦林河17村及插入漳县的王家坪、爷池下、新咀里3村划归漳县，漳县插入武山境内的徐家门划归武山。民国三十一年(1942年)，漳县孙家门划归武山。民国三十五年(1946年)8月，调整武山、甘谷石庙儿附近的插花飞地。由石庙儿沿洮天公路至张家山堡东西棱线至贾家沟，东属甘谷县，西属武山县;由石庙儿起，沿洮天公路顺李家坪左侧山梁至管家沟东下，北折高家山堡直到甄家山一线，东属甘谷，西属武山。

中华人民共和国成立后，沿用武山县名，属甘肃省天水分区督察专员公署。

1951年4月，属天水区。

1953年，县东边界划出米家庄归甘谷县，划甘谷县属管家沟、台子上、吴庄、多家湾、张家沟、彭家坡5村归武山县。县西边界划出当中岭、徐家门、李家河、赵家坪、东家屲、景家屲、宋家沟9村归漳县。