Парк лежит на плато между берегом Немана, Городничанкой и ручьем, который носит имя Литовский. Считается, что топоним Коложа возник после похода князя Витовта на Псков, где он взял большое количество пленных пригорода Пскова, который назывался Коложа. Эти коложане были поселены рядом с Борисоглебской церковью. Часть территории сегодняшнего парка принадлежала когда-то старому монашескому ордену в городе – чернецам с Коложи, позднее базилианам. Самый древний документ, который свидетельствует об их владениях на правом берегу Городничанки, датируется 1485 г. 

Незастроенное пространство рядом с историческим центром города подталкивало власти в разные времена к его хозяйственному использованию. В 1812 г. существовал проект строительства фортов Гродненской крепости на Коложском плато. В начале ХХ в. имелся план размещения казарм, а в 30-е гг. промышленники планировали построить здесь фабрику. В послевоенные годы разрабатывалось несколько проектов создания здесь центрального парка культуры и отдыха, через него планировали проложить транспортные артерии и построить центральный стадион.