1932年、愛知県生まれ。1961年、東京大学大学院博士課程中退。東京国立文化財研究所美術部技官、東北大学文学部教授、東京大学文学部教授、国立国際日本文化研究センター教授、千葉市美術館館長、多摩美術大学学長、MIHO MUSEUM館長を歴任。
2016年、朝日賞受賞、文化功労者に選出される。2018年、瑞宝重光章受章。
1970年刊行の『奇想の系譜』（美術出版社）により、歴史に埋もれつつあった近世の絵師たちに光を当て、今日の若冲をはじめとする江戸絵画ブームの先鞭をつけた。また、「かざり」「あそび」「アニミズム」をキーワードに日本美術を幅広く論じている。『若冲』（講談社学術文庫）、『あそぶ神仏：江戸の宗教美術とアニミズム』（ちくま学芸文庫）、『日本美術の歴史』（東京大学出版会）、『辻惟雄集』全6巻（岩波書店）、『奇想の発見：ある美術史家の回想』（新潮社）など著書多数。