يأتي السيد غرانت مونرو لاستشارة هولمز بخصوص زوجته ايفي، ويقول أنها كانت متزوجة سابقا في أمريكا، لكن زوجها وطفلهما توفيا بسبب الحمى الصفراء، فقررت العودة إلى انجلترا وتزوجت منه، وكان زواجهما يسير بشكل طبيعي إلى أن طلبت منه زوجته يوما مبلغ 100 جنيه وتوسلته أن لا يسألها ماذا ستفعل به.بعد شهرين من ذلك، يكتشف زوجها أن لها ارتباط سري مع المقيمين في الكوخ المجاور لمنزلهم!
في أحد الأيام يرى السيد مونرو وجها أصفرا غامضا يطل من نافذة الكوخ، ويدفعه الفضول إلى اقتحامه لكنه يجده خاليا، إلا أن الغرفة التي رأى الوجه الأصفر يطل من نافذتها تكون مريحة ومفروشة بطريقة جيدة، وتوجد بها صورة لزوجته.
يرسل هولمز السيد مونرو إلى منزله بعد أن يعطيه تعلميات بإخطاره في حالة رأى أشخاصا في الكوخ من جديد، بعد ذلك يقول هولمز لصديقه واطسون أنه يعرف صاحب الوجه الأصفر!