绩三岁而孤，为外祖韦孝宽所鞠养。尝与诸外兄博奕，孝宽以其惰业，督以严训，愍绩孤幼，特舍之。绩叹曰：“我无庭训，养于外氏，不能克躬励己，何以成立！”深自感激，命左右自杖三十。孝宽闻而对之流涕。
皇甫绩后来在宇文直之乱中护太子有功（？），又在杨坚夺权之路有重大作用，晚年病重时经常有中使探问，算是当年杨坚功臣中结果比较好的了
这段倒可以窥见牢韦更有血有肉的一面，他不但是钢铁战士情报头子，还是一家之主，也会因小孩子落泪，就是不知究竟因为感动还是心痛了