王袆先祖王彦超，五代吴越王钱镠时，任越州节度使，因避乱而从会稽(今绍兴)迁到义乌，居住于凤林乡。以后子孙渐多，所居村落就叫王村，其地在今义乌南部毛店镇朱店村。及王袆祖父时，已在义乌县城内居住。王袆祖父王炎泽，字威仲。致力经籍，业从朱子理学。历任东阳、常山教谕，石峡书院山长。以善教著称，学者尊为“南校先生”。王袆父亲王良玉，字怀璞，秉性高介，研访经史。亦为婺州路儒学训导，后至常山教谕。王良玉生有三个儿子：王裕、王袆、王补，王袆居仲。宋濂在《送王子充字序》中说，“袆”，就是古时候的“蔽膝”，即围裙。最早用兽皮，后来改用布帛制作，取名为袆是为了存古之道。
黄溍觉得不能将王袆与一般弟子同等相看，以后跟王袆相交都不以师自居，而以同道相待。书信来往，则以先生相称。以后，人们都知道王袆受师命所嘱，代为撰文，凡有求于黄溍的，就都直接找王袆，一得王袆所撰，莫不欣喜，视如珍稀。王袆文名益发远扬，与同门弟子宋濂齐名。元顺帝至正八年(1348)，王袆目睹当时国政弊败，民俗衰微，忧国忧民之心油然而生。他写了一篇文章，纵论天下事势，对朝廷的选将、择相、建官、治民、取土、用兵等诸方面如何变革，提出自己独到的见解。文章洋洋洒洒，长达七八千言。王袆北上京城大都(今北京)，上呈朝廷。