郑州清真寺始建于元末明初，因地处北大街，故又被称为北大清真寺，或者北大寺。北大寺是伊斯兰教在郑州建造最早、规模最大的清真寺，为郑州伊斯兰教传播发源地。
清真寺为中国传统宫殿式建设，两进院落相对而立，由正门、宣礼塔、大殿、南北讲堂、浴室、殡仪馆组成。正门面阔三间，进深二间，单檐歇山顶，房顶覆以灰筒瓦，脊上浮雕莲花，戗脊前端置以云盘，檐下饰斗拱一斗二升。宣礼塔又叫望月楼，高10米，为上下两层，重檐歇山楼阁式建筑，小巧玲珑，为此寺建筑的精华。
大殿又称礼拜殿，面阔五间，进深四间，有卷棚、前殿、后殿和庑殿式后窖，可容纳500多人同时做礼拜。寺内存有明宣德年间两个紫铜香炉、清代大小碑刻16通及数百年树龄的古槐两株。