อาคารทรงตำหนัก เหลือแค่ผนังด้านสกัดที่มีจั่วสามเหลี่ยม ยกพื้นสูงก่ออิฐถือปูน หน้าต่างเจาะเป็นรูปโค้ง ความสวย ชนิดที่เห็นแล้วต้องหยุดดู คือ หน้าบันที่เป็นลายปูนปั้น เครือเถาว์แบบฝรั่ง ใบอะแคนตัส ใบไม้ที่นิยมใช้ในงานออกแบบในสมัยพระเจ้าหลุยส์ที่ 14 หางหงส์เป็นรูปชายผมยาวเป็นลอนแบบฝรั่ง ส่วนแยกของลายเป็นลายนกคาบอันนี้เป็นของไทยแทรกไว้ ทำให้สงสัยว่าเหตุใด สิ่งก่อสร้างสวยงามวิจิตรถึงมาตั้งอยู่ตรงนี้
คำอธิบายเรื่องนี้ มาจากสองหลักฐานคือ พงศาวดาร ฉบับ สมเด็จพระพนรัตน์ วัดพระเชตุพนวิมลมังคลาราม บันทึกไว้ว่า สมเด็จพระอัครมหาสีฝ่ายซ้ายฝ่ายขวา แห่งสมเด็จพระพุทธเจ้าหลวงในพระบรมโกศ ซึ่งทรงพระนามว่า กรมหลวงโยธาทิพ กรมหลวงโยธาเทพนั้นก็ทูลลาสมเด็จพระเจ้าแผ่นดิน แล้วพาเอาพระราชบุตร ซึ่งทรงพระนามว่าตรัสน้อยนั้น ออกไปตั้งพระตำหนักอยู่ในที่ใกล้พระอารามวัดพุทไธสวรรย์ บอกไว้ว่า คำวินิจฉัยของ อาจารย์ประยูร อุลุชาฎะ หรือ น. ณ ปากน้ำ ผู้ที่ศึกษาเกาะเมืองกรุงศรีอยุธยาเป็นเวลานาน ให้ความเห็นไว้ว่า อาจเป็นที่ประทับของเจ้าฟ้ากรมหลวงโยธาทิพ เจ้าฟ้ากรมหลวงโยธาเทพละกระมัง ท่านบวชชีอยู่วัดพุทไธสวรรย์ สำนักนางชีย่อมจะอยู่ไม่ให้ไกลวัด อีกประการหนึ่ง เหล่านางข้าหลวงและนางบริวารก็คงจะบวชตามเสด็จจนเป็นสำนักนางชีใหญ่โต สมัยนั้นคงจะรุ่งเรืองมาก ตัวท่านเป็นเจ้านายที่พระเจ้าแผ่นดินหลายพระองค์กลัวเกรงมาก
เจ้านายสตรีที่มีสิริโฉมงดงาม มีพระจริยวัตรที่ได้รับความชื่นชมมาก ในสมัยสมเด็จพระนารายณ์มหาราช ก็คือ 2 องค์ นี้ ถ้าไปอ่านพระประวัติ อาจทำให้จินตนาการถึงวัดเตวัดในอดีต
ส่วนคำ ปทาคูจาม แปลความหมายถึง
