蒯祥出生于洪武三十一年(1399年)。永乐十五年(1417年),朱棣征召全国各地工匠,前往北京大兴土木建设皇宫。蒯祥作为朱棣的随从人员,先期北上,参加皇宫建筑设计。由于蒯祥的设计水平高人一等,被任命为皇宫重大工程的设计师。当时,在进京城讨生计的工匠中有一个叫香山帮的派别,这里面的工匠们都是吴县香山人或者是香山人的门徒。香山帮建筑工匠群体,不但工种齐全,而且分工细密,能适应高难度建筑工艺的需求。
这些工匠师傅们比较擅长木工,木匠分为“大木”和“小木”。大木从事房屋梁架建造,上梁、架檩、铺椽、做斗栱、飞檐、翘角等。小木进行门板、挂落、窗格、地罩、栏杆、隔扇等建筑装修。小木中还有有专门从事雕花工艺,清朝以后,木工中才产生了专门的雕花匠。香山帮除了分工细密外,使用的工具也是很先进的。比如木匠用的凿子就分手凿、圆凿、翘头凿、蝴蝶凿、三角凿五种,而每一种又有若干不同尺寸或角度的凿子。香山帮还有非常出色的泥水匠、漆匠、石匠、堆灰匠、雕塑匠、彩绘匠等等各色手艺人。