早年许衡曾经跟很多人一起逃难，经过河阳（今河南省孟州市），由于行走长远路途，天气又热，喉干口渴，同行的人发现道路附近有一棵梨树，树上结满了梨子，大家都争先恐后地去摘梨来解渴，只有许衡一人，端正坐在树下，连动也不动，大家觉得很奇怪，有人便问许衡说：“你怎么不去摘梨来吃呢？”许衡回答说：“那梨树不是我的，我怎么可以随便去摘来吃呢？”那人说：“现在时局这么乱，大家都各自逃难，这棵梨树，恐怕早已没有主人了，何必介意呢？”许衡说；“纵然梨树没有主人，难道我的心也没有主人吗？” 平日凡遇丧葬婚嫁时，许衡一定遵照风俗礼仪办理，全乡人士，都受感化，乡里求学的风气，逐渐盛大。

乡内的果树每当果实成熟，掉落在地上，乡里小孩从那边经过也不看一眼，乡民都这样教导子弟，不要有贪取的心理。

许衡的德行传遍天下，元世祖闻知，要任用许衡为宰相，但是许衡不慕荣利，以病辞谢。

许衡去世后，四方人士都来聚集灵前痛哭，也有远从数千里外赶来拜祭痛哭在墓下的。

皇上特赐谥号为“文正”。