转眼到了1928年的大选，连任四届的纽约州州长史密斯一枝独秀，他那些积极进步的改革，卓有成效，且影响早已超出纽约州的边界。他在首轮投票中，就以绝对优势获得提名。罗斯福再次作了提名史密斯的演说，与上次不同的是，现在他走得轻松很多。代表大会之后，他去了温泉。
党魁们决定提名罗斯福竞选纽约州州长，但是一开始他并不愿意接受提名，他的心思一度几乎全扑在经营温泉和恢复健康上，另外一个重要的原因就是他已经敏锐地预感到1928年局势仍对民主党不利，他不愿陪着史密斯去失败。当时他已经是一名举足轻重的没有陷入派系斗争的全国性人物了，纽约州州长则毕竟是一位地方人士。他准备放长线钓大鱼，以便时机成熟时从容地入主白宫。但史密斯和纽约州民主党首领却不这么看，他们现在急需一位强有力的人物来填补史密斯离任后的空白，以免纽约州落入共和党之手。罗斯福找了许多理由来推脱，但是都没能如愿。他所提出的理由和难处被一一化解，甚至包括经营温泉的资金缺口也由杜邦财团业务总经理、“通用汽车公司”的老板约翰·J拉斯科布给自动填补上了。没有办法，罗斯福只能顺应潮流。
罗斯福接受提名的消息迅速在各地传开。共和党的报纸立即指出：被权势欲蒙住了双眼的史密斯硬是把最后的预备队员——不幸的残疾人罗斯福推进了政治斗争的火炕。报纸号召凡是具有良知并爱护罗斯福的选民，最好的表达方法就是投票反对他。史密斯奋起反击，他说：“州长不需要一个运动员来当。我们选择他，不是因为他会向后连翻两个筋斗或能倒立行走。”罗斯福本人也站出来表白自己并非为人所迫而行不得已的事。他宣称：“我自己也感到，史密斯州长建立的州政府的整个宏伟结构以及他树立的为人民服务的一切崇高理想正处于危难之中，所以我才接受了提名……这事关重大，我决不能丝毫考虑个人的得失。”
10月17日，他正式接受了提名。尘埃落定，他决定同共和党对手、州司法部长犹太人阿尔伯特·奥延格展开强力对攻战。这与1910年的情况有点类似，罗斯福乘汽车到全州各地作巡回演说，平均每天行程180英里，演说7至12次。只是他的竞选班子比那时更加出色了，这其中有萨缪尔·I罗森曼——纽约州议会前届议员，曾在州立法法案委员会里供职3年，现为律师；詹姆斯·A法利——大个子爱尔兰人，承包商，州民主党委员会秘书；爱德华·J弗林——布朗克斯区民主党党魁；当然还有路易斯·豪和玛格丽特·利汉德小姐。这个工作班子还得到了学术界的援手，路易斯·豪请来了哥伦比亚大学雷德蒙·莫利教授。这些人后来都跟随他进入白宫，成为助手、智囊团成员或出任公职。
在3周的竞选运动中，罗斯福就种族和宗教偏见、每周48小时工作制、卫生计划、圣劳伦斯河发电站非私有化、养老退休金法、普及教育、劳工问题、农场救济计划、卫生计划等问题作了广泛的演说，但都带有因地制宜、见机行事和浮光掠影的味道，并且前任州长成绩太好，以致罗斯福无法宣布更为理想的新计划，但罗森曼准备的资料十分丰富，而罗斯福又善于深入浅出地将其表达得精彩、生动，故演说大受欢迎，但听众事后印象并不深刻。罗斯福在竞选中还利用无线电广播对听众发表演说。
11月6日大选之日，史密斯和罗斯福在纽约一家饭店里等待公众的裁决。到了午夜，投票进程的通报表明，史密斯大势已失，他这次又败于宗教和禁酒两大难题，又一次成了偏见和他高度忠于自己特有教养的牺牲品，共和党人赫伯特·胡佛则在“柯立芝繁荣”的背景下大获全胜。而次日凌晨的结果表明，罗斯福在总共420多万选民中，仅以比对手多25564票的微弱优势险胜，他完全有理由称其为个人的胜利。所以在两年后，他常以“05%的州长”自诩。但这次胜利——不管多么微弱——把他推到了全国政界的关注点上。弗吉尼亚的州长哈里·F伯德说：“民主党的希望寄托在你身上。”
1928年元旦前一天，罗斯福和埃莉诺驾驶一部小汽车在那鸣着刺耳笛声的摩托车队的簇拥之下，开向奥尔巴尼华丽的州长官邸。艾尔·史密斯在大门口的台阶迎接他。“上帝保佑你，富兰克林”，他说，“欢迎欢迎，屋里已经生了火，你会觉得在这里生活是很舒服的。”
次日，罗斯福在人如潮涌的议会大厅里，两手紧紧地按着家里那本荷兰版《圣经》宣誓就职。30年前的今天，西奥多·罗斯福也是在这个房间里宣誓就职的。权力移交时表露出来的亲切掩盖了新旧州长之间的紧张关系。
罗斯福一家很快就适应了州长官邸的生活。这幢陈设着格罗弗·克利夫兰时代家具的维多利亚式大厦也和海德公园住宅一样使人觉得无拘无束。男孩子们从学校回家时带来他们的朋友，也经常与政治家们及官员们厮混在一起。安娜的德国种牧草犬“奇夫”在大厅里嬉戏。书籍、杂志随意乱放着。秘书们进进出出拿着重要文件让州长签署。用膳时也是乱哄哄的，好像每个人都爱争先恐后地说话。雷克斯·特格韦尔后来说：“把所有来访者都当做高贵客人一样招待，这是罗斯福的习惯。”埃莉诺在奥尔巴尼时，每天下午餐厅里总要摆上茶和糕点。当时家里的每个人，不管他是朋友，还是记者、秘书或是州警察，都一律被邀请去用茶。
当时的纽约州，一切都正常运转。史密斯已经为实行有益的社会改革奠定了基础，因此，罗斯福的主要任务是履行前任州长的职务。罗斯福一直盯着白宫，对未来不抱侥幸心理。罗斯福所推行的新政的基本思想和社会目标在奥尔巴尼四年期间的讲话及文告中都能找到：“从1929年到1932年的这些文告和讲话中，你能看到他建议州采取适当行动的那些领域就是后来他敦促国会采取行动的那些领域：最低工资、最高工作时数、老年保险、用公共工程及其他手段减少失业人数、失业保险、管理公用事业、对银行和对别人的金钱的使用加强控制。”罗斯福在奥尔巴尼的确表露了他想进行新政试验的意图和充分利用政府权力的决心。
作为纽约州州长，他制定了一个旨在使民主党加强在本州内的地位并引起其他州的好感的计划。他强调对农业的救济、植树造林、由州政府来开发电力资源等。实际上这是一个根据田纳西河流域采用的方式制定的治理纽约州的地区性计划。这个计划是为了消除农村和城市生活的巨大差别的。农民没有分享20世纪20年代经济繁荣的果实，而不断增长的税额及销售费用又加重了他们的负担。罗斯福把城市和乡村紧紧联系在一起。他着重指出美国不能继续处于这种一半繁荣一半萧条的状态中。他说：“如果农村人口没有足够的购买力来购买新鞋、新衣裳、新汽车，那么工业中心也要受苦。”
水力发电是罗斯福的建设计划中的一个重要部分。像农民问题一样，究竟是由政府还是由私人来开发水力资源这个问题也超出了纽约州的范围。罗斯福在这个问题上的立场会影响到西部政治家对他的候选人资格的态度。
1929年3月，罗斯福在议会上就水电开发问题发表了一个特别咨文。在圣劳伦斯河上要建造大坝和电站来发电，只要私营电力公司索价合理，它们可以签订合同把电力输送给消费者。但是摩根集团正准备对电业进行垄断，预料这种合并会使电费大大提高，因此，罗斯福给水电问题的争执增添了新的内容。他警告说，如果私营公司不愿意以低廉的价格把公有电厂发的电输送给消费者，那么，州政府就会架设自己的输电线。他担心长期以来受这些公司控制的公共服务委员会不能保护消费者的利益，建议成立一个由五人组成的圣劳伦斯电力开发委员会，就发电以及和私人公司签订输电合同起草一个计划。共和党人拒绝这一建议，但他们被罗斯福“为廉价电力而奋斗”的口号击得粉碎。他委派路易斯·豪把使用公营电力的加拿大消费者所付的电费与使用私营电力的纽约人所付的电费加以比较。如他所预料的那样，两者之间的差别是很大的，加拿大的电费要低得多。这些公司的老板们担心，舆论现在是在州长这边，因此他可能会干预北方电力公司的合并，所以他们劝说共和党领导人让步，罗斯福建议的圣劳伦斯电力开发计划就这样通过了。
在抨击共和党统治下政治和经济权力日益集中时，他说：“每度过一天……就有100家小商店停业，或是被称作联号的商业机构所吞并。这就是说，这100个原来自己独立做生意的人不是改行，就是成了一架毫无人性的机器的雇员。我们在各种制造业、运输业、公用事业和银行业中都能看到这种倾向。”作为一个州长，他坚决反对权力集中于联邦政府。“如果某个州不能为本州的孩童供给足够的教育设施，马上就会有人叫喊，要求在华盛顿成立一个教育部。如果某个州不能提供现代医疗设备，马上就会有热心人主张在华盛顿成立一个卫生部。”
没有多少人——包括富兰克林·罗斯福在内——预料到股票市场的崩溃会引起大萧条。大家看到某些城市从一派繁荣景象到工厂关门、商店倒闭、人们排起长队购买面包这种恐怖的情况并不是一夜之间的事。萧条就像轮胎慢慢漏气那样一步步到来。罗斯福花了很长时间才意识到这种艰难局面。他曾预言，这时期一旦到来，共和党就不能安稳地坐在白宫了。当纽约《美国人》杂志记者请他就“黑暗的星期四”事件发表评论时，富兰克林回答说，他缺乏详细情报，但他觉得经济状况基本上还过得去。
对罗斯福说来，1930年的主要任务是连任州长。这样，两年后他就有了赢得民主党总统候选人提名的资本。在他就任州长的第二年，他提出了一项对共和党和民主党都有吸引力的计划：改革刑事审判制度、养老金制度，改革银行法以防止利用小额存款者的钱去作投机买卖，严格管理公用事业，提供廉价电力。由于股票市场崩溃所产生的影响还没有被大家感觉到，所以除了为已经安排的新建筑工程拨款2000万美元外，尚未制订对付失业问题的计划。但是，他一直关注着失业人数，经常打电话向弗朗西斯·帕金斯索取最新统计数字。当他知道他和胡佛总统在失业问题的严重性方面发生争论时，他由衷地感到高兴。
竞选州长的日子愈益临近了。共和党当时并不打算在提供廉价电力、农业救济及失业问题上展开一轮竞选活动，他们想利用坦慕尼厅的腐败和禁酒法这些老问题与民主党进行竞争。随着经济停滞不前，失业人数与日俱增。那年夏天，华盛顿政府办公楼中有200名女工的空缺，结果有近5000名妇女排队要申请这份工作。在千千万万城镇中，挂着勋章的退伍军人们在街头叫卖苹果……但是政治家们所关心的问题与选民们真正关心的事情却风马牛不相及。
然而，贪污问题却使罗斯福处境困难，因为塔特尔拿出证据证明坦慕尼厅在任命法官方面大作交易。但罗斯福仍有戏法可变。在人家要求他采取行动的压力下，他表现出来的积极性出乎人们的预料。他把这件事交给共和党的司法部长去处理，指定一个共和党的州最高法院法官去组成特别陪审团，并要求上诉受理司对低级法院进行调查。他还选择很久以来就反对坦慕尼厅的民主党人塞缪尔·西伯里去负责这次调查。他在采取这些不寻常的步骤后，就想法让共和党的这些调查人员陷入繁文缛节中，而自己则退居一旁。当坦慕尼厅的头目被召到陪审团面前，表示拒绝放弃豁免权时，他拒绝陪审团扩大权力的请求。他的哈佛同学，皈依教会的W拉塞尔·鲍伊牧师写信批评他。罗斯福在回信中提请他注意，在盎格鲁撒—克逊法律制度下，陪审团不能强迫证人放弃豁免权。他又说：“看在上帝份儿上，请你记住我像你一样急于想根除这种贪污现象。”
这次竞选也许是罗斯福所有竞选中最顺利的一次。纽约是被他独占了，因此坦慕尼厅只得支持他，没有其他的选择。如果罗斯福不能再度当选，那么这个组织就只能受查尔斯·塔特尔的摆布了。法利在北部重建民主党组织的工作做得也有声有色。这一地区的组织原来一直是很混乱的。罗斯福预计自己能赢得大多数选票。他想借助共和党的选票来增大这个多数，于是他攻击共和党人在奥尔巴尼“蓄意妨碍议案通过”并在华盛顿表现出“无能”，而不是攻击共和党本身。豪让保险公司的医生给罗斯福检查身体，粉碎了关于罗斯福健康状况的流言——说他所患的不是小儿麻痹症，而是梅毒的谣传。保险公司的医生批准了他的总数为56万美元的人寿保险单。保险金的受益者是佐治亚温泉基金会。罗斯福在全州各地积极竞选了两个礼拜，取笑他的对手，而且从来不提及他们的姓名。
共和党集中全力清算坦慕尼厅的罪行，因此，在罗斯福鼓吹他的成就时，他们很少去反驳。罗斯福嘲笑胡佛关于繁荣即将来临的乐观预言，指责说，如果政府1928年或1929年就设法制止投机活动的话，崩溃也许是可以避免的。
胡佛派了三名内阁成员到纽约去帮助塔特尔从竞选的泥潭中解脱出来。他们是国务卿亨利·L史汀生、陆军部长帕特里克·赫尔利和财政部副部长奥格登·L米尔斯。罗斯福奚落了他们，说赫尔利是俄克拉荷马州人，对纽约一无所知；史汀生和米尔斯两人都曾经竞选州长，然而皆以败北告终。他说：“这个州的人民既然抛弃了他们，所以都能判断谁适合担任州长的职务。”
罗斯福起初并不理睬对他宽恕贪污的指责，到了11月1日，在卡内基厅的最后一次集会上，他才勇敢地正视了这个问题。他向到会的人说：“如果现在还有贪污的法官坐在法院里，那就要把他们撤掉，采用法律手段而不是调查的办法撤去他们的职务，不是利用报纸的形式审判他们，而是依照法律规定的审判来撤去他们的职务。”
选举的日子渐渐临近了。在民意测验中，罗斯福自己预料能获得437万张票的多数。但是当选举结果公布的时候，他以750001票的多数赢得了胜利。罗斯福不仅把两年前由于他以微弱多数取胜而引起的怀疑一扫而尽，甚至还在看来难以取胜的纽约州北部地区取得了可喜的成绩，前所未有地赢得了许多地方的信任。看来，他很有可能在1932年进入梦寐以求的白宫——富兰克林·罗斯福是下一届总统候选人中大有希望的人选了。
