什么时候家道中落的，肥师没讲，小肥也没问过。又或许赌徒败家原非朝夕促就，而是始如涓流而终若山洪，待人察觉之时，已无逃避的可能了。至少在中学时期，肥师就开始打工糊口。六十年代的香港，社会还十分落后，没有进入经济腾飞的阶段，而彼时十岁出头的孩子，挣钱补贴家用的常见方式之一，就是去做码头工。
我很难相信一个发育未完全的孩子可以一边做重苦力，一边求学，但是肥师现今的学养就摆在那里，不由得你不信。他夜里去做码头工抗包袱，白天到学校里上课，为了避免犯困，他就靠苦咖啡来强撑。
“学校的学生只允许喝水，咖啡就不行，因为有香味嘛，会影响到别人——只有我是例外。”
放学以后，肥师要回家帮忙做家事，做功课，温书，之后再睡觉。短暂的睡眠以后，他就要提前一段时间出发，到码头附近的书店里去看书，经年累月，只看，不买。香港人对这种行为有个形象的说法，叫“打书钉”。好在店员并不反感肥师的这种白嫖行为，因为肥师看完书以后，都会帮忙整理附近的书架。
肥师对学习的渴望和长期的白嫖行为造就了他绝佳的记忆力，这种记忆力并不是一两个人的随口夸赞，看过的材料他可以轻松记住，只见过一次的人很久以后再见他还能记得名字，至今如此。所谓的“至今”，要知道，他如今已是一位七十多岁高龄，多年抱病的老人。
