张楚楚的父亲叫张余宽，武德年间曾在通直郎太史丞王孝通门下谋事，官拜算历博士，是一个不知名的小官，主要负责天文历算方面的事务。
张余宽有才学，精数术，乃是晋代大数学家张邱建之后，祖上遗留张邱建手迹，《张邱建算经》三卷，张余宽对此深有研究。在天文，算术方面也颇有造诣。
按理，像他这样有实才的官吏迟早都会被朝廷重用，断不会在算历博士这种小职上呆得太久。但是，张余宽却一直都没有升迁的机会。
张余宽性淡漠，不善结交和逢迎权贵之士，属于那种专搞研究类的知识分子式的人物。所以他的仕途在那个靠出身，靠关系的时代走得并不是很顺畅，在王孝通的门下做了六年，却还只是一个芝麻大的小官。
直至武德九年，玄武门事变之后，太子建成被诛，朝中的政局发生重大震荡，很多大臣官吏纷纷落马，就连张余宽这种小官儿也受到了波及，因被查出与前*某位大臣有些关联，于贞观元年被贬回家。
回家的路上，张余宽心郁难发，在加上他的体质一直缺乏锻炼，所以在他们路经三原县小辛庄时一病不起，幸被当时遇到好心的张卟亮将他们收留并救起。从此父女二人便在张家住了下来。养病期间，张余宽见张家小子张楚闻性聪颖，懂礼节，很和他的脾气，便动了收徒之意。一是报张卟亮救命之恩，二是想给自己留下一个传人。张家的算术之学，不能就此埋没。
不过张楚闻的表现却让张余宽很失望，张楚闻虽然聪颖，但是对数字却不是很敏感，对计算，历法之类的东西更是不通一窍。不管张余宽怎么教，张楚闻都是记不住要领，反而在一旁玩耍的楚楚听上一遍便能快速地理解。
几番教导无果后，张余宽不得不承认，算术也是要讲究天赋的。他便死了教导张楚闻算术之学这条心。让他专攻文史，将来搏个功名，他也算对得起张卟亮的救命之恩了。
至于算术，张余宽便将目光瞄向了那时只有五岁的楚楚身上。或许是因为遗传，或是家学渊源，又或是从小受张余宽的影响，张楚楚在数学方面的理解能力，和实际中的换算能力，常常令张余宽叹为观止。在他教授张楚楚算术之学时，经常挂在嘴边的话语便是‘恨楚楚不为男儿！’。
从此，张楚楚学数术，张楚闻学文史，在张余宽这位腹有诗书的大才的教导下，一学就是两年。
贞观二年，张余宽因久病不治，于三月中旬撒手而去，时年三十五岁。当时张楚楚也才不过七岁。七岁之龄
…。。