前身是创建于1953年的中国人民解放军军事工程学院（“哈军工”）。1970年，在哈军工原址，以海军工程系全建制及其它各系(部)部分干部教师为基础，组建哈尔滨船舶工程学院，1994年更名为哈尔滨工程大学。1978年，学校被国务院确定为全国重点大学；1982年成为首批具有博士、硕士学位授予权的单位；1996年进入首批“211工程”建设高校行列；2002年由教育部批准设立研究生院；2007年，由国防科工委、教育部、黑龙江省政府、海军四方共建。学校现隶属于工业和信息化部。