В XVII веке Рогачевский замок входил в систему пограничной обороны по Днепру, и в 1654 году был сожжен.
В 50–60-е годы XVIII века замок был обнесен земляным валом (который существовал еще с XI века, но в рассматриваемый период был подсыпан) со рвом, оборонительные стены имели вид острога. В центре детинца находился 1-этажный дворец со вспомогательными постройками, который по традиции называли замком королевы Боны. Однако уже к началу 70-х годов XVIII века замок пришел в упадок, вместе с ним стал разрушаться и дворец.
В 1772 году г. Рогачев отошел к Российской империи.
В XIX веке Рогачевский замок использовалось как погреб. Его остатки окончательно исчезли во время Великой Отечественной войны.
В данный момент на Замковой Горе установлен каменный мемориал, посвященный 850-летию г. Рогачева (праздновалось в 1992 году).