วัดนี้สร้างขึ้นในสมัยรัชกาลที่ 3 โดยท่านผู้หญิงน้อย ภริยาสมเด็จเจ้าพระยาบรมมหาพิชัยญาติ (ทัต บุนนาค) ได้สร้างวัดขึ้นบริเวณสวนกาแฟซึ่งอยู่คนละฝั่งคลองบริเวณนิวาสสถานของท่านในปี พ.ศ.2393 เดิมชื่อวัดน้อยขำแถม สันนิษฐานว่าชื่อ “น้อย” คงเป็นนามท่านผู้หญิงน้อยผู้สร้างวัด ส่วนคำว่า“ขำแถม” นั้นเป็นนามเดิมของท่านเจ้าพระยาทิพากรวงศ์มหาโกษาบดี (ขำ บุนนาค) ผู้มีส่วนช่วยในการสร้างพระอารามนี้  แต่ชาวบ้านมักเรียกวัดนี้ว่า วัดใหม่ เพราะวัดอนงคาราม เป็นวัดที่สร้างขึ้นใหม่ ส่วนวัดพิชยญาติการามและวัดบุปผาราม เป็นวัดโบราณที่ปฏิสังขรณ์ในสมัยรัชกาลที่ 3 ต่อมาในสมัยรัชกาลที่ 4 ได้พระราชทานนามวัดใหม่ว่า วัดอนงคาราม