鼓楼位居中卫市区正中，清初名曰文昌阁，始建于明崇祯四年(1631)。清嘉庆二十二年(1817)七月十四日庙会时不慎失火焚毁，仅存基址。道光十一年(1831)，知县艾椿年率典史沈垣与当地士绅一道捐资重建，翌年建成。解放后，鼓楼受到人民政府的高度重视。1955年，拨专款对鼓楼包砖修整；1984年被列为原中卫县县级重点文物保护单位；1988年、1992年、1997年原中卫县人民政府又先后3次拨专款粉饰彩绘，使鼓楼以崭新的面貌屹立于市区中心。鼓楼底基呈长方形，南北长为224米，东西宽为1665米。基座正中为“十”字形门洞，分别通四面街道。门洞高3.75米，中心为穹窿顶，正中有八卦藻井，八卦图周围悬木雕八仙像，4个角嵌有石雕龙首，昂然相对。基座四面门楼上有匾额，是按方位反映中卫地理形胜的。其东曰“锁扼青铜”，南曰“对峙香岩”，西曰“爽挹沙山”，北匾原为“控制边夷”。1984年维修时，按照党的民族政策，遵循文物维修原则，改为“控制边陲”。鼓楼楼高23米，通高30米，重楼3层，是一座四方台基拱洞型的楼阁建筑，楼型为四面八方一体式，楼之西南角有一小门可通达楼基上