เดิมเป็นวัดร้าง ไม่มีหลักฐานชัดเจนว่าสร้างขึ้นในสมัยใด ต่อมาสมเด็จเจ้าพระยาบรมมหาพิชัยญาติ (ทัต บุนนาค) ซึ่งขณะนั้นยังดำรงตำแหน่งเป็น พระยาศรีพิพัฒน์รัตนราชโกษา เป็นผู้ปฎิสังขรณ์วัดใกล้นิวาสสถานของท่านขึ้นใหม่ทั้งหมดในปี พ.ศ.2384 และถวายเป็นพระอารามหลวง รัชกาลที่ 3 พระราชทานนามว่า วัดพระญาติการาม ครั้นถึงสมัยรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวได้พระราชทานนามใหม่ว่า วัดพิชยญาติการามเพื่อให้พ้องกับพระราชทินนามของผู้สร้าง คือ สมเด็จเจ้าพระยาบรมมหาพิชัยญาติ  แต่ชาวบ้านมักนิยมเรียกว่า วัดพิชัยญาติ