Theo kết cấu địa chất núi được chia thành hai vùng riêng biệt. Phía từ đỉnh núi chạy dài theo dốc Mã Tim chủ yếu là núi đá vôi tai mèo với địa hình hiểm trở, hang sâu vách đá dựng đứng, như con Sư Tử với dáng oai vệ. Từ trên đỉnh núi trải dài về phía sông Lô là rừng núi đất, sườn núi vách dốc trải dài suốt từ đường 19/5 đến Quảng trường 26/3. Dưới chân núi “Cấm Sơn” là những phố phường đông đúc dân cư làm ăn sầm uất.

Nhưng chắc rằng người dân Hà Giang ít ai có thể hiểu, thấy hết được những vẻ đẹp tự nhiên, song cũng đầy huyền bí của “Cấm Sơn”, vì là núi đá hiểm trở nên có rất ít đường lên núi, chỉ có một con đường độc đạo duy nhất có thể leo lên đỉnh núi. Trên đỉnh núi, nơi có một hang sâu thẳm, thẳng đứng như một cái “giếng trời”. Chính với địa thế hiểm trở và độc đáo này mà khi thực dân Pháp xâm lược, đã chọn nơi đây là chốt canh giữ chính, để bảo vệ thị xã.

Theo truyền thuyết được lưu truyền trong dân gian, đội quân “cờ đen” của Lưu Vĩnh Phúc, khoảng những năm 1870 - 1875, địa hạt Hà Giang có đội quân “cờ vàng” của Hoàng Sùng Anh kéo đến để cướp bóc, chúng bị đội quân của đồng bào các dân tộc là “Quân cờ trắng” đánh trả quyết liệt, bao vây truy kích, năm 1875, quân “Cờ vàng” của Hoàng Sùng Anh bị co cụm, đội quân của mình lên núi Cấm để cố thủ, lương thực cạn kiệt dần, xung quanh núi Cấm lại bị bao vây chặt chẽ, biết không thể thoát, cả tướng lẫn quân “Cờ vàng” đã nhảy xuống hang sâu trên núi tự vẫn. Với tấm lòng bao dung và nhân ái nhân dân địa phương đã lập ngôi miếu thờ nhỏ, cầu nguyện cho những linh hồn oan khuất được siêu thoát. Núi đã trở thành nơi linh thiêng ít có người dám lên, núi “Cấm sơn” càng trở nên huyền bí. Trải qua những năm tháng thăng trầm của thời gian miếu thờ cũng không còn nữa dân địa phương đã đưa về thờ tại “Cấm Sơn Linh Từ” dịch là ngôi đền núi Cấm(nay là đền Mẫu). Trên đỉnh núi hiện vẫn còn vết tích của những hang đá sâu, hệ thống hầm hào, lô cốt của Pháp.