中国历史上第一个奴隶制国家政权夏朝建立在山西南部。商代，山西是商的主要统治区。周代，晋国由山西境内崛兴，晋文公曾为春秋五霸之一。战国初期，韩、赵、魏三家分晋，是谓三晋。秦、汉、魏、晋时期，山西无论在政治、军事、经济、文化等各个方面，都起着举足轻重的作用。南北朝时期，山西是北朝统治的中心地带，而且北魏曾以平城（今大同）为都，之后的东魏、北齐也曾以晋阳（今太原）为“别都”、“陪都”，这对促进山西的发展起了积极的作用。唐太宗李世民起兵太原，建立了大唐王朝，由此，山西被唐太宗认为是“龙兴”之地，一直把山西作为唐帝国的腹脏地区，封太原为唐王朝的“北都”、“北京”。宋、辽、金、元时代，山西与山东、河北，并称为元朝“腹里”，太原、大同、平阳（今临汾）三城成为黄河流域的著名城市，商业发达、经济繁荣、文化昌盛、人口稠密曾受到伟大旅行家马可波罗的盛赞。到了明代初年，太行山东麓的河北平原地区，经战乱之后，人口稀少，于是就发生了明初的大举官方强制性移民。民谚“问我家乡在何处，山西洪洞大槐树”即出于此。明清两代，山西的商业迅猛发展，曾领全国之先。特别是晋商十分活跃，扬名海内外，其足迹东出日本，北抵沙俄。最著名的是山西票号，可谓中国金融之鼻祖。
此外，山西在中国的各个历史时期，曾涌现出许多政治家、军事家、科学家、文学家、历史学家。最著名的有春秋时期的霸主之一晋文公重耳，有中国唯一的女皇帝、唐代杰出的政治家武则天，有中国的“武圣”、三国时期名将关羽，有唐朝名相狄人杰、裴度，有抗击匈奴而名垂青史的汉朝名将卫青、霍去病，有中国第一部编年体通史《资治通鉴》的作者、宋代著名史学家司马光，有创立“制图六体”的西晋地图学家裴秀，有中国古代四大名著之一《三国演义》的作者罗贯中，有唐代著名诗人王勃、王之涣、王维、王昌龄、白居易，唐代著名的文学家、哲学家、政治改革家柳宗元，有金朝文学家、诗人元好问，有元曲四大家中的三位著名戏曲家关汉卿、白朴、郑光祖，有明末清初的思想家、文学家、医学家、书画家傅山，清末戊戌六君子之一杨深秀。他们都是从这里走向人文精神的圣坛，走向人生的巅峰，都离不开山西优秀传统文化的滋养。
山西人讲忠，介休绵山上还流传着逃难时介子推割肉给晋文公重耳食用的故事。山西人讲孝，《二十四孝》第一则孝感动天，就是年幼的舜帝因为能对虐待、迫害他的父母坚守孝道而闻名。山西人讲仁，运城稷山县仁义村里还传留着待逃难者如同亲人的仁义之举。山西人讲义，阳泉盂县藏山上流传着程婴牺牲自己的孩子，救下赵氏孤儿的故事。
当然，说起山西的优秀传统文化，不得不提晋商。俗语有“富不过三代”的说法，而晋商鼎盛多代，历时500余年，最主要的原因就是有良好的家庭文化传承。在山西的晋商大院里，先辈们都用行动传颂着“仁、义、礼、智、信、温、良、恭、俭、让”的优秀传统文化。
