中国农业银行历史上第一位行长是乔培新。中国农业银行的名称是1955年3月确立的，其前身为1951年7月10日成立的农业合作银行。农业合作银行的行长是何松亭，何松亭也是中国人民银行的创始人之一。
乔培新于2007年5月去世，何松亭于1986年去世。农业合作银行成立之初，隶属中国人民银行领导，承担金融服务新中国农村经济社会恢复和发展的职责。随着何松亭的调任到中国人民银行总行任职教育司司长，农村合作银行撤销。
1952年7月，农村合作银行与中国人民银行合并，职能并入中国人民银行。根据为农业合作化提供信贷支持的要求，1955年3月成立了中国农业银行，乔培新任中国农业银行的行长。
1955年10月，乔培新调任中国人民银行副行长，由李绍禹接任中国农业银行第二任行长。1957年4月，中国农业银行与中国人民银行再次合并。
1963年11月，根据统一管理国家支援农业资金的要求，中国农业银行再次建立，作为国务院的直属机构，由中国人民银行副行长胡景沄兼任中国农业银行行长。