徐志摩死後，陸小曼可謂是衆叛親離，王赓一出事，民間以訛傳訛更是将其視為禍國殃民的不祥之人――代名嫒落得如此名聲，可謂凄慘之至。

　　1933年清明，陸小曼獨自一人來到硖石給徐志摩上墳，這是陸小曼第五次到海甯硖石，也是最後一次――徐家自始至終沒能接受她。

　　此時，陸小曼的身邊隻剩下一個翁瑞午。

　　翁瑞午對陸小曼始終不離不棄，時常上門噓寒問暖，給養供奉絲毫不差，其時陸小曼意志相當消沉，整天睡在煙塌上吞雲吐霧醉生夢死，翁瑞午殷勤伺候，隻要陸小曼開口，他無不盡力而為。

　　一次國民黨禁毒抄家，發現陸小曼家有煙具，就把她關了一夜。
第二天一早，翁瑞午到處托人打通關節，把她保了出來。

　　翁瑞午為陸小曼出頭，無疑将兩人的說不清道不明的關系再次展現在世人面前，上海灘的小報每天都編制一些花邊新聞，陸小曼再次成為焦點人物――與“王赓丢地圖”一樣，完全是一邊倒的責難。
連在北京的胡适也看不慣了，寫信給陸小曼，主要講了三點：一、要顧及徐志摩的名聲；二、跟翁瑞午斷絕關系；三、到北京來，我養你！

　　陸小曼反問：你養我？
你跟志摩一樣，一介書生，養得起麼？

　　陸小曼的胞弟陸效冰曾勸姐姐用自己的才華出去做點實實在在的事情，既可利己，又可利人，他說：“你的品貌、學問、才幹、聲譽，沒一樣不出人頭地，為什麼不貢獻給社會？
也等于散散心，免得郁郁寡歡。
而且知道你的人很多，他們将歡迎之不暇，也不會使你委屈，而你還是名利雙收。
”陸小曼聽了，答道：“第一，我不喜歡虛榮，第二，我不會服侍人家。
”

　　名媛是需要男人們來供養的，倘若為了生活去對權威讨好，也就不是名嫒了！
陸小曼絕對不會委屈自己。

　　此後不久，陸小曼與翁瑞午同居了，多半出于感恩――因為她并沒答應嫁給翁，一直以徐志摩的未亡人自居。
據王亦令所記，翁瑞午曾對他說：“……小曼可以稱為海陸空大元帥。
因為：王赓是陸軍，阿拉（翁是江南造船廠的主任會計師）是海軍少将，徐志摩是從飛機上跌下來的，搭着一個‘空’字。
”當時陸小曼在場，雖然她被編派得有些過頭，卻不以為忤。

　　為了保證陸小曼的生活，翁瑞午可謂盡心盡力。
陸小曼花費很大，出入小汽車，衣服和化妝品都要用最高級的，家裡的傭人一直不曾減少。
她依然熱衷于購物，還向身邊人歎苦經，說：“每月至少得花銀洋500元，有時要高達600元，家難當。
”按那時候的物價，五百多銀元相當于現在的五六萬人民币。

　　翁瑞午也有老婆孩子，一大家人都靠着他，可是他對陸小曼無微不至，隻要陸小曼“過得比他好”，要他怎麼樣付出都可以，什麼事情都習慣說：“我來，我來！
”

　　翁瑞午的女兒翁香光回憶：有一次他到陸小曼家去見到一個奶媽，覺得很奇怪，心想：他們家裡又沒有嬰兒，怎麼會請奶媽呢？
後來她才弄明白，原來陸小曼不吃牛奶，愛吃人奶，說是人奶非常有營養。
那時蜂蜜比較貴，陸小曼總買很多，因為吃鴉片的人腸胃不好，容易便秘。
陸小曼就請人将蜂蜜放入針筒，注人體内，讓腸胃蠕動。
陸小曼吃了鴉片後，鼻子下面就出現兩道黑黑的印痕很難看。
她就用嫩豆腐揉擦，将印痕擦掉後先塗上蛋清，最後再用化妝品。

　　翁瑞午供養着開銷甚大的陸小曼，經濟負擔很重，但他始終精神樂觀，每逢錢不夠了，就變賣祖上傳下來的書畫古玩。

　　陸小曼一直惦記着為徐志摩出套全集，可徐的許多書信和文章都在林徽因與淩叔華手中，直到1936年，徐志摩過世的第五個年頭，陸小曼才收集到薄薄的一紮《愛眉小劄》，由良友圖書公司出版，她在序中表達了她的心願：今天是志摩四十歲的紀念日子，雖然什麼朋友親戚都不見一個，但是我們兩個人合寫的日記卻已送了最後的校樣來了，為了紀念這部日記的出版，我想趁今天寫一篇序文，因為把我們兩個人嘔皿寫成的日記在這個日子出版，也許是比一切世俗的儀式要有價值有意義得多。

　　徐志摩尚在人世的時候，托付紅顔知己林徽因、淩叔華，以及好友胡适、沈從文，說萬一自己先走了，請他們整理詩文書信，弄一套全集，也算對後人有個交代――可詩人去世，朋友們各自飄零，僅有陸小曼為其遺願忙碌奔波。
更凄涼的是，胡适、林徽因等人根本不把徐志摩的一些書信交給她。

　　陸小曼背負着“害死”徐志摩的罪名，時常自責。

　　早知現在，何必當初？
名媛是錦盒裡的美玉，溫室中的玫瑰，豈是窮詩人能占據的？

　　八年抗戰，翁瑞午和陸小曼倒也挺了過來。
當時的陸小曼已經離不開鴉片，據才女蘇雪林回憶：“小曼長年卧病，連見我們也是在病榻上。
我記得她的臉色白中泛青，頭發也是蓬亂的，一口牙齒脫落精光，也不另鑲一副，牙龈也是黑黑的，可見毒瘾之深。
”也許覺得該重新振作，陸小曼強撐病體忙碌起來，依舊是為徐志摩。
1947年3月，晨光圖書公司再出版《志摩日記》，裡面包括《西湖記》、《愛眉小劄》、《眉軒瑣語》、《一本沒有顔色的書》和《小曼日記》五個部分，小曼在序中再次表達了自己的心願：我決心要把志摩的書印出來，讓更多的人記住他，認識他。
這本日記的出版是我工作的開始……我預備慢慢地把志摩的東西出齊了，然後再寫一本我們兩人的傳記，隻要我能夠完成上述的志願，那我一切都滿足了。

　　解放前夕，故交舊友四散飄零。
等到新中國成立，陸小曼已然淡出了人們的視野。

　　1953年，翁瑞午的發妻逝世，陸小曼搬到了翁的家中。

　　1956年，在上海美協舉辦的一次畫展中，有陸小曼的一幅作品參加展出。
陳毅元帥去參觀，看到畫上署名“陸小曼”，就問身邊的人：“這畫很好嘛！
她的丈夫是不是徐志摩？
徐志摩是我的老師。
”得到肯定的回答後，陳毅詫異沉寂多年的陸小曼居然還健在，又問知陸小曼就住在上海，生活無着。
陳毅就說：“徐志摩是有名的詩人，陸小曼也是個才女，這樣的文化老人應該予以照顧。
”不久，陸小曼被安排為上海文史館館員。

　　不久後，陸小曼又被聘為上海中國畫院的畫師，在上海中國畫院保存着陸小曼剛進院時寫的一份“履曆”：我廿九歲時徐志摩飛機遇害，我就一直生病。
到1938年卅五歲時與翁瑞午同居。
翁瑞午後來生嚴重的肺病，一直到現在還是要吐皿，醫藥費是很高的……我又時常多病，所以我們的經濟一直困難。
翁瑞午雖有香港的女兒給他寄一點錢，也不是經常的。
我在1956年之前一直沒有出去做過事情，在家看書，也不出門，直到進了文史館。

　　陸小曼曾說自己跟翁瑞午談不上愛，但有感情，在自己落魄的時候，“翁雖貧困已極，但始終照顧得無微不至，廿多年了，吾何能把他逐走呢？
”念及徐志摩，陸小曼這樣說：“我的所作所為，志摩都看到了，志摩會了解我，不會怪罪我。
”她還說：“情愛真不真，不在臉上、嘴上、而在心中。
冥冥間，睡夢裡，仿佛我看見、聽見了志摩的認可。
”

　　陸小曼的學生王敬之曾經如此評論翁瑞午：“翁瑞午跟陸小曼的關系，卻不能簡單地責之以‘朋友妻不可欺’。
陸小曼從來不事生産，全賴翁一直是黑（煙）白（飯）供應無缺，在陸年老色衰之後翁仍侍奉不改，也不能不算是情義很重的了。
”台灣學者陳定山在他的《春申舊聞續篇》中寫道：“現代青年以為徐志摩是情聖，其實我以為做徐志摩易，做翁瑞午難。
”