张横是江州人氏，长于小孤山下，在浔阳江做撑船艄公，绰号船火儿。他和弟弟张顺同霸浔阳江，常在摆渡到江心时杀人劫财，与揭阳岭李俊、揭阳镇穆弘兄弟合称揭阳三霸。后来，张顺到江州做卖鱼牙子，张横便独自在江边摆渡做私商。
结识宋江
宋江刺配江州时，在揭阳岭与李俊结拜，却在揭阳镇得罪了穆弘兄弟，被穆家兄弟率庄客追至浔阳江边，慌乱之下上了张横的黑船。张横不顾穆弘的呼唤，撑船驶离，却在宋江庆幸之时突然翻脸，要夺取财物，并逼宋江跳江。李俊恰巧撑船碰见，将宋江救下。张横这才得知宋江身份，忙拜倒赔罪，并托宋江捎信给弟弟张顺。穆弘也与宋江化敌为友。
宋江到江州后，依靠张横的书信，结识了张顺。后来，宋江醉酒题反诗，遭黄文炳告发，与戴宗被判斩首，却被李逵以及梁山泊十七位头领劫法场救出。张横与李俊、穆弘等人也驾船赶赴江州，要营救宋江，却在江边白龙庙与宋江等人相遇，后参与白龙庙聚义。大闹无为军后，张横随宋江入伙梁山。
梁山聚义
祝家庄之战后，张横与张顺一同镇守山后旱寨。宋江继任梁山寨主后，调整将佐职司。张横改镇水军寨，居第五位。
宋江远征大名府时，命张横等水军头领留守梁山。关胜行“围魏救赵”之计，趁机攻打梁山泊，欲解大名府之围。张横立功心切，不顾张顺劝阻，率二三百人去劫关胜营寨，结果被关胜生擒。后来，宋江回师梁山，用计降服关胜。张横方被救出。
梁山排座次时，张横排第二十八位，星号天竟星（一作天平星），担任水军头领，与张顺一同镇守西南水寨。朝廷第一次招安时，张横是反对最激烈的十二位头领之一，与李俊等水军头领一同骂下关去。三败高俅时，梁山水军大显神威。张横先后生擒统制官党世雄、步军校尉牛邦喜，并与李俊一同生擒京北弘农节度使王文德。
南征北战
梁山受招安后，张横随宋江南征北战，屡立战功。
征讨田虎时，张横随李俊水灌太原城，协助张顺斩杀守将张雄，并夺取太原北门。
征讨王庆时，张横随军夺取云安州，而后与张顺一同负责留守。班师回朝后，张横对不许梁山诸将擅自入城的诏令非常不满，便与李俊、三阮等水军头领去请军师吴用做主，表示要劫掠东京，复回梁山落草。但吴用却不敢主张，张横等人只得作罢。
征讨方腊时，张横斩杀润州统制官潘文得。后与石秀、张顺一同收复嘉定。宋江准备攻打杭州时，命张横与阮小七、侯健、段景住由海路进发，到杭州南门外放炮树旗，惊扰南军。四人在即将驶入钱塘江时，却被大风打破座船。侯健、段景住落海而死，张横与阮小七则跳水逃生。
人物结局
杭州之战时，守将方天定在涌金门指挥部众射死了张顺。张顺幽魂不散，杭州城破时缠住方天定，一直跟到五云山脚下，正好遇到张横。他便附上张横肉身，借张横之手杀死方天定。张横清醒后，听闻兄弟战死，当场昏晕过去，后染上瘟疫，被寄留在杭州。江南平定时，张横已在杭州病逝，被追封为忠武郎。
