30 марта 1683 года князь Голицын, фаворит царевны Софьи Алексеевны, в челобитной царю Ивану V попросил отдать ему во владение "порозжее (т.е. пустое) место за Пречистенские вороты, за Земляным городом, позади Хамовной слободы", чтобы сделать из него для себя "загородное место". Иван V прошение удовлетворил, и в собственность Голицына перешли 12,5 десятин земли из земского приказа в указанном месте.

После того, как Петр I стал единовластным государем и регентство царевны Софьи прекратилось (1689), Василий Голицын был лишен всего имущества и сослан на север, в крупный по тем временам населенный пункт Пинежский волок Архангелогородской губернии, где и скончался 21 апреля 1714 года (территорию парка он перед ссылкой успел подарить сыну своей покойной сестры Ирины, которая была замужем за князем Юрием Трубецким, Юрию Юрьевичу).

Пинежский волок, а затем город Пинега - одно из древнейших поселений в Архангельской области и долгое время являлся местом ссылки. Кроме Голицына сюда были сосланы многие известные люди, например, писатель Александр Грин (1911 год).

Василий Голицын прожил в Пинеге 22 года. Согласно завещанию, его похоронили в Красногорском мужском монастыре (основан в 1606 году) - на самой высокой точке Пинежского района в деревне Красная горка. Сохранившиеся до наших дней монастырские постройки относятся к чуть более позднему времени - 1726 году. Точное расположение могилы князя неизвестно, поэтому памятная плита просто стоит, прислоненная к полуразрушенной алтарной стене.

В 1920 году монастырь был закрыт. В его зданиях располагалась коммуна, потом — лагерь отдыха для детей. До 1990-х годов в уцелевших монастырских постройках размещался психоневрологический интернат.
В 2006 году были восстановлены жилое здание монастыря, его пристройки и обустроена прилегающая территория. Однако через некоторое время восстановленные корпуса снова пострадали от пожара и сейчас находятся в плачевном состоянии.