吴佩孚回到北平之日,张学良亲率北平的文武官员数百人到火车站迎候,并以子侄之礼相待。但刚一下车的吴佩孚却没有给大侄子面子,劈头盖脸就问九一八事变的时候张学良为什么不抵抗。此后,吴佩孚便入住东四什锦花园胡同的大宅院,张学良每个月都送去4000元以供家用。在吴佩孚抵达北平之后,日方便想要拉拢这位赫赫有名的北洋军阀,特务头子土肥原贤二更是多次登门造访,后来连直系军阀齐燮元也在伪政府任职,受日本人委托来劝他,但是都被吴佩孚拒绝。早在四川的时候,吴佩孚就撰了一副对联自勉:
得意时,清白乃心,不纳妾,不积金钱,饮酒赋诗,犹是书生本色。
失败后,倔强到底,不出洋,不进租界,灌园抱瓮,真个解甲归田。
1937年,当南京大屠杀的消息传来,吴佩孚绝食一天以示抗议。1939年11月24日,吴佩孚在吃饺子时,饺子馅里的骨头渣子卡在了牙缝里,异常疼痛,几天后竟然愈发严重。12月4日下午3时,其“学生”川本芳太郎带着日本军医寺田以及护士,在齐燮元的陪同下来到什锦花园胡同的吴宅,寺田经过检查,决定进行手术。下午3时45分,吴佩孚正式接受手术,但是在手术之后即陷入昏迷,于当晚去世,终年65岁。