游荡毫无职业，不但养不起母亲，连自己都是到人家混吃混喝。他母亲因儿子不能养她，只好做些女工勉强度日，过了些时候也就死了。韩信见母亲已死，家无一物，只得草草殡殓埋葬。
韩信漂泊无依，仍在人家寄食。有一人是他朋友，现为下乡南昌亭长，韩信时常到他家中吃饭。亭长妻子见韩信日日到来，心中甚是厌烦，又不便当面拒绝，遂想得一计，起个绝早将饭煮好，放在床上吃食。待得早饭时间韩信方到，谁知他家饭已吃过，也不替韩信备办。
韩信见此情形知道自己被人讨厌，他却有些志气，此后便绝迹不来。韩信既与亭长断绝，此外可以寄食的又无几家，自然有一餐无一餐，甚至终日不得一食。自想也非久计，就想寻一事业，无奈世间几百种生计，都无一件合他的意。想来想去只有钓鱼一事，既不费力气又不必本钱。从前姜太公未遇文王时，也曾垂钓磻溪。“我今学他行径，不至失了身份。”于是韩信觅得钓竿，就到淮阴城下淮河边钓鱼。钓得鱼时卖钱过活，钓不得时仍旧挨饿。
一日忽有一班妇人到河边漂洗线絮，因为都是老妇，人遂称她们为漂母。线絮就是蚕茧上剥下来的粗丝，如今持向水边漂之使白。一班漂母作此生活，自然也是寒苦人家。但她们家虽然寒苦，日食倒也不缺，每到吃饭时间各家都有人送饭，比起韩信来自然较胜。
却说一位漂母十分慈善，自己家道不丰，却喜怜贫济困。见韩信常常忍饥过日，心中不忍，便吩咐家中每日多送饭来，分与韩信同食。韩信向来寄食人家已经习惯，况且腹中饥饿难受，也不推辞。从此漂母日日漂絮，韩信日日得食，一连数十日都是如此，漂母毫无厌倦之色。别个漂母见了也不帮贴一餐。到得絮已漂完，漂母将去，韩信心中感激异常，便向漂母道谢，并且说道：“我若他日得志，定当从重报答您的恩德！”漂母听了不但不喜，反而怒道：“大丈夫不能自食其力，还说什么厚报?我不过是同情你罢了，所以供给饮食，何曾想你报答！”说罢竟自去了。
韩信如此贫困不知谋生，可他有一剑却经常佩在身上。乡里人见他都鄙笑他，市井上的一班轻薄少年更是将他当作玩物，时时戏弄以为笑乐，一日韩信偶在市上游行，忽遇一个少年将他拦住，讥笑道：“你身体虽然长大，而且喜欢带剑，其实不过胆小心怯而已。”说罢张开两足立在街心，当着众人面前羞辱韩信道：“你若肯拼一死，就拔剑将我刺杀；如其不能，当由我胯下爬过。”说罢面上现出一种鄙薄之色。韩信端看其人想了一会，便俯伏
。。