После крещения Литвы на этой горке был построен небольшой костёл Святого Юргиса, фундамент которого сохранился до наших дней.