1902年，在太原当店员的阎锡山，考上了山西武备学堂学军。1904年被保送到日本留学，先入东京振武学校，毕业后入日本陆军士官学校第十六期。在资产阶级民主革命思潮的影响下，他于1905年加入同盟会和同盟会的军事核心组织“铁血丈夫团”，曾会见孙中山并参与制订了同盟会的“南响北应”的战略决策，即同盟会在“南部各省起义时，须在晋省遥应”。从此，阎锡山登上了政治舞台。1906年，阎锡山从振武学校结业后入弘前步兵第三十一联队实习，次年正式进入日本陆军士官学校学习，为第六期生。
1909年3月，26岁的阎锡山从日本毕业返国。他探知山西新军第四十三混成协协统姚鸿法之父姚锡光在清政府陆军部任左丞，回国时特意绕道北京谒见姚锡光，谎称自己是留日归国学生代表，施展出他阿谀奉承的伎俩，讨得姚锡光的欢心。姚锡光于是写信给其子姚鸿法，授意对阎锡山予以关照。
这样，阎锡山一回太原，便担任了山西陆军小学教官，三个月后升任监督。
其后，他又在太原的五大衙门大肆活动，晋见抚台、藩台、臬台、学台和道台，拜访咨局议长梁善济等上官，并同梁善济的门生邢殿元订“金兰之交”，以期得到梁善济的青睐。果然梁善济到处逢人对阎锡山赞美有加。标统夏学津是山西巡抚丁宝铨的亲信，阎锡山就设法与夏学津接近，经夏学津介绍成为丁的门生。这年10月，他又参加清政府陆军部门举行的留日归国学生会试，考得陆军步兵科举人，被任为陆军第八十六标（也称第二标）教练官，相当于副标统，而标统正是夏学津。
当时清廷在山西驻军为1个混成协，辖2个步兵标（即85标和86标），骑兵、炮兵各一个营，工兵、辎重兵各一队，归山西陆军督练公所节制指挥，公所总办就是曾任混成协协统的姚鸿法。第二年，由于丁宝铨和夏学津二人被参劾而离晋，阎锡山升为标统。
此时阎锡山一面与清廷权贵勾结，取得朝廷的信任，一面又以同盟会会员和“铁血丈夫团”成员身份，成立了一个核心组织，培植亲信，并结交不少革命党人，把山西新军的领导权基本上掌握在同盟会员和革命同情者的手中。
武昌起义爆发后，在太原的同盟会员密谋响应，但因新军有枪无弹（当局害怕起义收走了子弹），未能发难。10月28日，第85标奉命出发南下平乱，领到了子弹，阎锡山等同盟会员当即决定起义。29日晨，该标同盟会员杨彭龄、张煌等宣布起义，公推管带姚以价为起义军总司令。起义军攻入城内，杀死山西巡抚陆钟琦，攻占巡抚署，起义大获全胜。
后来为人熟知的阎锡山之骑墙作风此时就露出端倪了。据阎锡山表侄张瑞生回忆：1911年10月29日，山西起义军加入反满复汉的辛亥革命。阎锡山在这一仗中带着亲信躲在树丛中观望——“如果起义成功，他跟进的部队可以参与邀功；如果失败，造反的责任可推到别人身上。”民国人士孟默闻回忆说：少年时代，同学间对脚踏两只船的人常用“你这阎锡山”戏称。
在太原起义成功当天，阎锡山、温寿泉、张树帜等曾在阎锡山的标本部开会，提前酝酿山西都督人选。阎锡山主张选姚鸿法为大都督，理由是：一、姚鸿法原任第四十三混成协协统，是自己原来的直接长官，办事较方便；二、如起义失败，姚鸿法的父亲任清廷陆军部侍郎，事情好缓和。大家一致同意，并推温寿泉与姚鸿法接洽，但姚鸿法坚辞不允。温寿泉回报后，大家主张选阎锡山为大都督，阎锡山也有此意。
起义后的山西都督选举开始了。选举大会由山西咨议局长梁善济主持。选举中，张树帜发觉有选立宪派首领梁善济的倾向，便立持手枪跳到主席台上，将梁善济挤到身后，大声号召说：“选阎锡山为大都督，赞成的举手！”全体议员在惊愕中，相顾举手，一致通过。粱善济见势不佳，从后门溜走。张树帜又大声号召说：“应当推选温寿泉为副都督。”大家也一致通过。这样，阎锡山当上了山西大都督，年仅28岁。
张树帜效犬马之劳，阎锡山论功行赏，委任其为晋北镇守使。张树帜在任多年，贪污腐化，搜刮民财，私开煤矿，可谓是官大财多，未受艰险，享福终身者。
当晚20时，阎锡山回到八十六标标部。八十五标三营管带熊国斌前来拜见，一进门，就掏枪射击。阎锡山迅速卧倒，躲过子弹。熊国斌是满族人，忠于清廷。阎锡山的护兵吴体官开枪打中熊国斌腿部，夺下手枪，将其拖到营门外灰窑内活埋。熊部闻讯溃散，在市内放火抢劫。阎锡山、温寿泉亲率执法队巡街，杀死乱兵100余人，平息骚乱。
太原是继武昌起义后，在全国响应起义的第三个省份，在北方是继陕西起义后的第二个省份。以阎锡山为首的山西革命党人在清廷对北方控制极严，又是在京畿之内的太原发动起义，确实是一件了不起的大事。其中，阎锡山所起的作用是很重要的。参加辛亥革命是阎锡山一生中最光彩的一页。孙中山于1912年9月视察太原时曾说：“去岁武昌起义，不半载竟告成功，此实山西之力，阎君百川之功。……倘非山西起义，断绝南北交通，天下事未可知也”。
阎锡山任山西大都督以后，立即组织山西执政政府，委派各部负责人，发布安民告示。他将部队整编为四个标，设东、南、北三路总司令，另建一个前敌委员会。令一部扼守娘子关，把守要冲，又令一部攻打雁门、大同、临汾、运城等地。同时一面派人前往北京与清廷联络通融，以期缓和局势；一面派人到武昌联络义军，争取军事援助，以防备清军兴兵讨伐。果然，清廷派第六镇统制吴禄贞为山西巡抚，带兵入晋，以图镇压革命。
袁世凯的真面目，早为一部分革命党人所认识，吴禄贞就是其中之一。阎锡山在吴禄贞的劝说下，与吴禄贞共组了“燕晋革命联军”，吴禄贞任大都督兼总司令，阎锡山和张绍为副。两军相联，公然打出反清旗号，出兵石家庄，一时在北方造成强大的革命声势，并决定会师北京，推翻清朝。
此时正在湖北指挥清兵与革命军作战的新任内阁总理大臣袁世凯听闻此讯，气急败坏，对二人恨之入骨，以重金收买吴的旧部周符麟将吴刺杀。联军一时群龙无首，立即瓦解，不久，阎锡山则率部撤回娘子关。不久袁世凯回京后派兵进攻山西，娘子关失守，阎锡山率部撤出太原，一路攻入包头。
1912年2月，清帝退位，袁世凯窃据临时大总统之位。阎锡山见大势已定，便率部返晋。谁知袁世凯仍计前嫌，说他在清军进攻山西时弃城出走，不承认山西是起义省份，电令其部队不准擅自行动。
阎锡山又开始了他最擅长的钻营活动，他找到和袁世凯拜过把子的定襄县董崇仁，邀其随员入京星夜拜见袁世凯，表达自己竭诚拥护袁世凯之意，同时派人到上海找孙中山求援。经两方面的努力，袁世凯才同意阎锡山为革命党人，并任其为山西都督。阎锡山因此得以重返太原，从此成为山西王。
当时，山西的新旧两派倾轧较烈，阎锡山玩弄两面三刀，对同盟会则拥护共和，对袁世凯则支持立宪。同年8月，同盟会改组为中国国民党，阎锡山被选为参议，可是他表面上应付孙中山，暗地里向袁世凯周围的亲信行贿，还不惜将自己的父亲阎书堂送往北京长住，表示向袁世凯送押了人质，以取得袁世凯对他的信任，并巩固了他在山西的地位。
1913年国民党发动的第二次革命失败以后，袁世凯把各省由原同盟会会员任都督的人大都撤换了，只留下山西的阎锡山和云南省的唐继尧未动。同年10月，袁世凯正式就任大总统，11月4日下令解散国民党，阎锡山马上执行，三个月内将山西全省的国民党党部一律解散了，自己也声明脱离国民党，并听任袁派到山西的爪牙金永（山西巡按使、民政长）肆意打击迫害以至杀害同盟会员。
第二年夏，袁世凯改各省的都督为将军，阎锡山被任为同武将军，督理山西军务。从此他完全投靠了袁世凯，残酷镇压革命党人，并在全省军政机关中安排自己的同乡和亲信，以巩固自己的统治。
袁世凯的称帝心理此时无限膨胀，一时各省劝进之风弥漫，阎锡山争先请愿，三次致电北平，说什么“诚以中国之情，决不宜沿用共和制度”，“今日改定君主国体，正全国人民希望诞登彼岸之机会，其关系中国前途治安更巨且大。我大总统为四万万人所托命，以大有为之才，乘大有为之势，毅然以救国救民自任，无所用其谦让。”并指示山西商务总会和各处票号，假借山西公民等名义分电请愿，早废共和，而立君主。果然袁世凯称帝后封阎锡山为一等侯。袁世凯倒行逆施，遭到全国人民的反对。蔡锷、唐继尧等在云南成立护国军，发布讨袁檄文，向北京进军之时，阎锡山仍站在袁世凯一边，致电北京国务院，声称“滇黔等省竟以少数地方二三首领擅立政府，私举总统，实属破坏大局，不顾国家”。
当袁就护国军反对帝制征询各地大员意见时，阎指斥唐继尧等为“不忠不义不仁不智”之徒，恳请皇帝“褫革唐继尧、任可澄、蔡锷等官职荣典，宣示罪状”。
1916年3月，当袁被迫撤销帝制后，阎犹通电要求滇黔诸君“痛加悛悔”，否则他将把护国军将领“视为公敌，与众共弃，愿效前驱，以伸挞伐”。
阎锡山拥戴袁世凯称帝，可谓不遗余力。后来他竟然说，这乃是根据孙中山的指示，为了保存北方革命力量而采取的措施。
不料袁世凯称帝后引起全国一片讨伐声，83天的皇帝梦很快就被粉碎了，袁世凯在惊恐中一命呜呼。这时阎锡山又开始其残酷的排斥异己的活动：逼迫曾一同革命的旅长黄国良交出军权，离开山西；撤掉原来曾为他在袁世凯前大力周旋的董崇仁的晋南镇守使之职；又逼迫早年他弃城而逃远走包头时，为他出过大力的孔庚交出晋北镇守使之职。同时将旅长以下的军官均换成自己的亲信。此外，他又策划夺取山西省行政大权，赶走了前后两任省长，自己以护理（即代理）名义擅刻印信，兼任了山西省省长。
这时已是1917年的9月了，当时在北京的中央政府由段祺瑞任总理。他是北洋军阀中的核心人物，实权在握。阎锡山立刻遣员入京活动，并拜段祺瑞为师。当时北京政府内部分裂加剧，总统黎元洪与总理段祺瑞矛盾日益加深，阎锡山第一个拥戴段反对国会。不久段祺瑞的总理被撤，他又紧随安徽省长倪嗣冲，宣布脱离北京政府。张勋搞复辟带兵入京，他又和段祺瑞一起声讨张勋。
1917年9月，孙中山先生领导的护法战争爆发，阎锡山按段祺瑞的旨意，派旅长商震率部赴湖南参战，反对护法战争，不料全军覆没。自此他接受教训，提出“保境安民”的口号，标榜“三不二要主义”，即不入党，不问外省事，不为个人权利用兵；要服从中央命令，要保卫地方治安。这样，他把力量集中用于本省的经营治理上，提倡以****为内容的“用民政治”。他说：“无论帝国主义、国家主义或****国家的政治，都是用民政治，非用民不足以图强。”“政府政策是军国政策，人民教育是军国教育，社会组织是军国组织。”这是他“用民政治”的思想基础，其内容则为推行六政三事：六政者，水利、种树、蚕桑、禁烟、天足、剪发（男人剪辫子）；三事者，种棉、造林、畜牧。在行政区划的管理上，他借用日本的“村本政治”，建立了行政网，编定村制，5户为邻，有邻长，25户为闾，设有闾长，选举地主豪绅为村长和村副，成立保卫团对青年进行军事训练。
阎锡山的一系列政治措施，主观上是加强了对人民的统治，客观上对山西省的经济发展也起到了一定的保护作用，又由于山西所处的地理位置关系，使其摆脱了南北之争，暂时出现了社会比较安定、生产有所发展的景象。加上他大力宣传，以金钱名位拉拢名流和政客为他吹嘘，北洋政府遂授予山西“模范省”称号。
1924年，直奉战争爆发，直系和奉系军阀双方先后都派人和阎锡山联系，争取支援。阎锡山见此场战争前途未卜，便借口力量薄弱，保持中立，并派人入京探查消息。不久，冯玉祥发动北京政变，曹锟和吴佩孚大势已去，政局了然，他即刻联合冯玉祥，拥护段祺瑞出山。两年后，直奉军阀联合发起反对冯玉祥的战争，阎锡山又借机扩张势力，一面拉拢冯玉祥，一面应付吴佩孚，最后又公开与张作霖、吴佩孚合作，夹击冯玉祥，使冯玉祥部败北，退守西北地区。阎锡山乘机将地盘扩大到绥远，收编了冯军诸部，部队扩充为17个师又8个炮兵团，并改名为晋绥军。
1926年，北伐战争开始后不久，阎锡山曾派兵支援刘镇华围攻西安的杨虎城，而对全国战局持观察态度，不轻易出兵。北伐军占领武汉后，他应邀派代表赵丕廉去武汉研讨北伐事宜。赵丕廉到武汉后转至南昌与蒋介石会面，蒋说阎是老前辈，又是丈夫团里的人，盼他能早日举事。国民军委会并授予阎锡山北方国民革命军总司令之职，以促其出兵。但当赵丕廉返晋向阎锡山详述后，他仍不表明态度，也不就任总司令一职。
1927年6月，老谋深算的阎锡山才以国民党山西省党部提议的名义，自任为北方国民革命军总司令，开始悬挂青天白日旗。此举使张作霖十分不满，派员来晋与阎好言相劝，要其与张合作，并以军政府副元帅相许，阎锡山未允。
