1908年徐悲鸿13岁，家乡有一次发了大水，徐悲鸿的父亲便携徐悲鸿去外地谋生，随父辗转于邻近的乡村镇里，以卖画为生。1942年他在一幅作品题诗中曾说：“少小也曾锥刺股”，以此来形容他年轻时的生活艰难。
父子二人为人画人物、山水、花卉、动物，刻图章，写春联。那时只有城市才有人像摄影，所以他们经常为人画肖像。这对少年的徐悲鸿来说，是一种极严格的考验，对他日后在人物画方面的卓越成就有重大影响。当然，这种卖艺的生涯不只是对艺术功力的磨练，也使他更多地接触了下层社会和劳苦大众，激发了他忧国忧民的感情。
少年时代的徐悲鸿已在摸索创造新的绘画风格，当时的强盗牌香烟盒中附有动物画片，徐悲鸿很爱搜集，又见到各种动物标本，便对标本进行严格认真的写生。一些西方艺术大师的作品复制品更使他萌发了到欧洲去学习美术的朦胧愿望，然而冷酷的现实却横亘在他面前，流浪江湖的卖画生涯因徐达章身染重病而中止，徐悲鸿扶着全身浮肿的父亲回到了家乡。
当时17岁的徐悲鸿已成为宜兴小有名气的画家，作为长子，他挑起了家庭的重担。不久，父亲去逝，家里却连一文安葬费也没有。徐悲鸿含泪向亲戚告贷，热心的陶留芬先生不但立刻送来了钱，还亲自帮助安排了丧事。徐悲鸿含着深沉的哀痛埋葬了父亲后，发现自己面对着沉重的家庭负担，家里负债累累，年幼的弟妹也要供养，作为家里的顶梁柱，他决定担负起自己的责任，赚钱来贴补家用，徐悲鸿开始在宜兴女子师范、彭城中学、始齐小学教授美术，过早地体会到了生存的艰辛和人世的无常。
但是沉重的家庭担子压不住他上进的决心，为了学美术，在安顿好家人后，他决定去上海寻找半工半读的机会。宜兴初级师范的语文教师张祖芬送别他时，殷切地勉励说：“你年轻聪敏，又刻苦努力，前途未可限量。我希望你记住一句话：‘人不可有傲气，但不能无傲骨’，我没有什么东西可送你就以这话为赠吧！”徐悲鸿从心底涌起无限感激，并终身铭记着这句嘉言，将它们作为座右铭。直到他生命的晚年，他仍带着温情说：“张祖芬先生可称我的第一位知己啊！”
可是当时纸醉金迷的上海，并没有善待这位才华横溢的年轻画家。一位在中国公学担任教授的同乡徐子明曾将徐悲鸿的画推荐给复旦大学校长，很受赞赏，并得到安排工作的许诺。当徐子明陪同徐悲鸿来到校长面前时，校长十分诧异，用耳语对徐子明说：“他年轻得像个孩子，如何能工作呢？”徐子明热烈地争辩说：“只要他有才艺，你何必计较他的年龄呀！”后来，徐悲鸿几次写信给复旦大学校长，都得不到回音。于是，徐悲鸿流落在上海。正在彷徨无计时，徐子明介绍他去找《小说月报》的编辑恽铁樵。徐悲鸿挟了自己的画和徐子明的信去见恽铁樵，很受青睐，并应允为徐悲鸿在商务印书馆谋一个画插图的小职，嘱徐悲鸿过几天去听回音。
这时，已是秋雨绵绵的季节，徐悲鸿没有雨伞，冒雨去探回音，恽铁樵先生愉快地说：“事情成功了！你不久便可搬到商务印书馆住。”一种温暖的感觉涌到徐悲鸿寒冷的身上，他立即赶回旅店，给母亲及故乡的朋友写信，说他已找到了工作。信刚刚发出，忽然响起急促的叩门声。恽铁樵站在门前，手里拿了一个纸包，神色仓皇地说：“事情绝望了！”徐悲鸿急忙拆开纸包，只见里面除了自己的画以外，还有一个批件：“徐悲鸿的画不合用。”徐悲鸿觉得心猛然裂开了，血不断地涌上来，一种难以遏制的痛苦和失望强烈地攫住了他，他狂奔到黄浦江边，想要结束自己的生命。混浊而奔腾的江水汹涌地冲击着江岸，轮船的汽笛尖锐地吼叫着。徐悲鸿解开衣襟，让无情的风雨打在他年轻的胸膛上。当一阵寒冷的战栗从脚跟慢慢传递到全身时，他才清醒地对自己说：“一个人到了山穷水尽的地步而能自拔，才不算懦弱啊！”
徐悲鸿回到了故乡，送走了第一个没有父亲的忧郁的除夕。镇上的一位民间医生用深厚的同情慰勉了他，并赠他一笔小款。于是，徐悲鸿再一次来到上海，但仍找不到工作。一个偶然的机会，上海富商黄震之看到徐悲鸿的作品，十分赞赏他的天才和同情他的遭遇，慷慨地为他提供食宿。但不久，黄震之不幸破产，徐悲鸿又无所依靠。当时著名的岭南派画家高剑父、高奇峰兄弟在上海开设审美书馆，徐悲鸿画了一幅马寄去，大受赞赏。回信说：“虽古之韩幹，无以过也！”并请徐悲鸿再画4幅仕女图。这时，徐悲鸿身上只剩5个铜板，而4幅仕女图要一星期才能画完。徐悲鸿仅能每天以一个铜板买一团糍饭充饥。第6天和第7天便整日不食。当他终于挟着4幅仕女图送往审美书馆时，天上正下着大雪，而高氏兄弟不在，徐悲鸿只好将画交给看门人收下，因饥饿难忍，不得不脱下身上单薄的衣服去当掉。
这一时期，是徐悲鸿人生最艰难的时期。正是这段艰辛的生活，让他认识到了社会的黑暗和不公，对他以后的绘画生涯产生了极大的影响。
