東京・山谷のドヤ街に、ふらりと一人の少年が現われた。
矢吹丈（ジョー）と名乗るその少年に一方的にたたきのめされたアル中の元ボクサー・丹下段平は、ジョーと地元暴力団・鬼姫会の連中との乱闘から天性のボクシングセンスを見いだし、一流のボクサーに仕立て上げようと口説き始める。
しかしジョーは、自分に向けられる段平の情熱を利用し、小遣いをもらってはドヤ街の子供たちを引き連れて乱行を繰り広げた揚げ句犯罪にも手を染め、警察に逮捕されて鑑別所へと送られてしまった。