高而潘出生成長於中西文化交融的台北大稻埕，是當地望族，畢業于台南工學院建築工程系，李乾朗老師說，高而潘先生是一戰後，台灣所培養出來的第一代建築師。

1956年高而潘進入關頌聲建築師設立的基泰工程司，並獲得機會到日本研習建築設計，因而其建築理念深受東西方的影響。高而潘曾經執教於淡江大學及中國文化大學建築系，並曾任台北市建築師公會理事長高而潘所設計的建築作品遍佈全省，像是台北市立美術館、華視大樓、台北市銀行大樓（現在的富邦銀行）、日月潭觀光大飯店為代表作，其作品以造型簡潔、機能實用為特色。

其作品當中，大家最熟知的就屬台北市立美術館了，該美術館於1983年落成，是台灣第一座公立美術館，該建築融合了柯比意的管狀概念，以及中國四合院及斗拱的意象，明顯的就是個中西合璧的作品。