1841至1842年间，香港动植物公园的地段是曾作为香港总督的官邸。及后于1848年，香港政府已有兴建一个植物公园的计划，但因财政不足而需要押后。后来建筑工程于1860年展开，并于1864年8月6日把第一期设施开放给民众使用。由于公园以北的上亚厘毕道即为港督府的所在地，而香港市民称统领香港三军的香港总督为“兵头”，所以这座公园普遍又被称为“兵头花园”。1871年，公园全面开放，并正式定名为“香港植物公园”。 　　顾名思义，当时的香港植物公园内以植物为主。但由1876年起，公园开始饲养雀鸟及哺乳类动物，供观光客观赏。1883年，公园竖立了前港督坚尼地的铜像，以纪念他促成了公园全面开放及在港其它贡献。而公园于1931年至1933年暂停开放，以便在其底部兴建配水库。