山丹原名删丹，历史悠久。 据《山丹县志》载，删丹古城在焉支山谷地近钟山寺处，"以晓日出映，丹碧相间如'删'字，又名删丹山，而县以此得名。"

山丹秦时为月氏地，汉初属匈奴，后由骠骑将军霍去病收复，为张掖郡所辖。

夏帝禹元年，山丹属《禹贡》雍州之域，西戎氏之故墟。禹封少子于西戎，世代为首领。

周穆王十三年 祭公率师随穆王西征，西戎归顺。

汉代(前206-220年)以前，月氏国称雄于敦煌祁连间，山丹为其属地。

西周时期，戎、狄两族在这里居住。

春秋战国时，乌孙与月氏共居河西。其后，月氏逐乌孙而独居。

秦汉之际，北方的匈奴族强大起来，击败并赶走了月氏人，河西遂为匈奴右贤王的领地。黑河东、西分别由休屠王、浑邪王分领。’

西汉时期，武帝元狩二年(前121)，骠骑将军霍去病进军河西，战败匈奴，浑邪、休屠二王率众归汉。

汉元鼎六年(前111年)，取"张国臂掖，以通西域"之意，置张掖郡，山丹为张掖郡治。

始建国元年(9年) 王莽废汉立新，令天下改郡、县名。张掖郡改名设屏郡、觻得改名官式。山丹为设屏郡治。

建武三年(27年) 光武帝刘秀令各郡、县恢复旧名。张掖郡及各县恢复原名称。

献帝兴平元年(194年)六月，分张掖郡之日勒、山丹置西郡。

两晋南北朝时期，沮渠蒙逊在山丹建立北凉国，都建康(今高台县骆驼城)。

隋初改为山丹卫，大力发展农业生产，山丹成为中国对外贸易的重要场所。

五代时，后梁乾化元年(911年)，甘州回鹘攻沙州，张承奉力屈，订城下之盟。后唐庄宗同光二年(924年) 六月，甘州回鹘遣使向后唐纳贡，乃册封王仁美为英义可汗。后唐明宗天成三年(928年) 甘州回鹘王仁裕(仁美之弟)遣使纳贡，被封为奉化可汗。

北宋时期，天圣六年(1028年)，党项族首领李元昊击败甘州回鹘，建立西夏。

元时期，置甘肃行省，山丹为省会。意大利旅行家马可波罗前往上都途中，曾在甘州停留一年，在《马可 波罗游记》中记述了张掖的富庶、城市的规模以及宗教寺庙的宏伟。

明时期，山丹为陕西行都司及甘肃镇的治所。