那年冬天，当他们和美国朋友艾森哈特夫妇一起吃饭的时候，爱因斯坦多次提到埃尔莎如何无微不至地照顾他。艾森哈特太太问道，“看来你太太确实是所有的事都为你做了。那么你为她做了些什么呢？”他眼光一闪，答道，“我献给她我对她的理解。”
然而在另一位朋友——生物化学家利昂？沃特斯——那儿，他的说法却大不一样。他像萧伯纳或诺埃尔？科沃德那样满腹牢骚。他说——当时他脑子里显然想着埃尔莎——女人就像精密的科学仪器那样难以把握。从爱因斯坦对沃特斯的评价来看，这位朋友并不需要任何和婚姻有关的建议：“你一定是个非常体贴非常爱妻子的丈夫。要是能把阿尔伯特送到这儿来拜你为师，那我该多高兴啊。”
1935年12月，埃尔莎在离了婚的玛戈特搬来美国之后因心脏和肾脏疾病住进了医院。后来虽然获准回家，但是她仍旧颤抖得很厉害，医生要求她完全卧床。不过她仍旧十分自豪地写信告诉她的朋友安东尼亚？瓦伦丁：爱因斯坦“相信他最近所做的工作是他有生以来最好的。”她说爱因斯坦改变了很多，他非常担心她的病，像个失落的灵魂那样坐立不安。“我从来没有想到他对我会有这么多的爱，”她写道。“这使我感到莫大的安慰。”
爱因斯坦的同事——物理学家利奥波德？因费尔德——证实，虽然爱因斯坦“看来很平静而且从未停止工作，他给了妻子最大的关爱和同情。”
埃尔莎于1936年12月20日去世，那是个风雪交加的日子。爱因斯坦的同事和传记作者巴内什？霍夫曼说，埃尔莎的死对爱因斯坦是个沉重的打击。当霍夫曼建议他暂停工作、休养一段时间的时候，他回答说，现在他比任何时候都更需要工作。
在一位每周来做四天的爱尔兰女工的帮助下，海伦？杜卡斯承担起额外的管家工作。虽然杜卡斯在爱因斯坦家被当作自家人，并且和他们住在同一所房子里，她对爱因斯坦的尊重“自始至终丝毫未减”，她也始终没有摆脱最初的腼腆。
埃尔莎的葬礼刚刚结束，爱因斯坦就收到了好几封求婚信。其中之一来自一位住在长岛的犹太寡妇，她在信中说，如果爱因斯坦同意和她结为夫妻，她的人生就会焕然一新。她保证尽一切努力让他过上快乐和富足的生活，让他远离烦恼和忧虑。
另一封信来自一位维也纳的寡妇。她说，希望她的表白没有任何不得体的地方，因为她听到一个神秘的声音呼唤她把自己的一生贡献给他，而这个声音是从来不会欺骗她的。她可以肯定地告诉他，她之所以希望做他的妻子绝对不是出于虚荣心，而是出于想使他过上最美好的晚年生活的强烈愿望。虽然她不属于那种染着指甲的时髦女郎，许多人都说她美丽、动人、有魅力。最重要的是，她有纯洁的灵魂、开朗的性格和一颗善良的心。
还有一位寡妇希望和他结为伉俪，因为他的鼻子和耳朵使她想起已故的丈夫。另一位住在缅因州的寡妇告诉他自己的名字和地址，她写到：“我爱你，虽然我知道我配不上你。”
杜卡斯把这些信整理到一个文件夹里。爱因斯坦把它称做die komische Mappe，意思是奇特，滑稽，怪诞或感伤。
“我不相信他还会结婚，”艾丽斯？卡勒（爱因斯坦的朋友，已故历史学家埃立克？卡勒的妻子）说。“他仍旧对女士们有极大的兴趣，但他把工作看得比女人更重要。有一次我为他买了一件带蓝色领子的瑞士全棉针织套衫（他看来对羊毛有些过敏），他给我打电话时像孩子一样兴高采烈。‘我这辈子还从来没穿过这样漂亮的衣服呢。就连我那老眼昏花的清洁女工也夸我。’”
卡勒送给爱因斯坦那件套衫后不久，编辑萨克斯？康明斯的太太多萝西？康明斯应邀去爱因斯坦家和他一起喝茶。她在楼上爱因斯坦的书房里转了一圈。她看到堆得满满的书架和许多封面已经磨得很旧的书、一幅甘地的照片、法拉第和麦克斯韦的肖像，以及一架小小的收音–留声机。她还瞅了一眼他的卧室，那里只有很少的家具。杜卡斯为他们端来茶点后就离开了。他们谈到行星的运动、德彪西的音乐（它使爱因斯坦感到神秘莫测）、花园里即将从积雪下萌发出来的花苞，还有爱因斯坦的新套衫。“也许你能告诉我，”他问康明斯，因为他知道她会做衣服，“这件衣服是怎么做起来的？”他卷起一只袖子，“我连一个针脚都找不到。这件衣服没有任何机器或手工缝的针脚。”他说，“我想这一定是件神奇的衣服。”他大笑起来。
《爱因斯坦－偶像背后的真人》 第二部分爱因斯坦是仇视妇女和玩弄女性的人？（6）
“他第一次来我们家是为了听诗歌朗诵，”艾丽斯？卡勒说。“查尔斯？贝尔说，爱因斯坦是‘我在迷恋科学的青年时代所崇拜的偶像：他那羊皮纸般的脸，他那光环般的满头银发，他那与世无争的斯芬克斯般的神秘智慧；他既像圣徒伯纳德，又像是一个天使；他似乎经历了人类进化的全过程，而他本人就是那试验和成功的全记录。’这显然有些夸张。当他心情好的时候，他会成为你想象中最讨人喜欢的朋友。他喜欢说笑话，而且是最好的听众，他的纵声大笑是那样令人难忘。在他去世前的那一年，1954年，为了祝贺他的生日，数学家库尔特的太太阿黛尔？戈德尔让人送给他一个花环，上面有两条很宽的缎带。爱因斯坦一看到这个礼物就大笑起来，‘这东西看起来好像是为我的葬礼制做的！’
“他喜欢抽烟，他的秘书海伦？杜卡斯和继女玛戈特毫不妥协地要他听从医生的命令。他有了烟就寄给我丈夫，还附上一张纸条。他来我家时就会求埃里克，‘给我一点儿烟吧，至少我可以闻闻它的气味。’他是那么渴望抽烟，有时甚至会捡起路边的香烟头——够可怜的。
“爱因斯坦喜欢解谜，”卡勒回忆道，“他收到人们从世界各地寄给他的最奇特的智力玩具。我去萨拉那克湖拜访他的时候＇当时爱因斯坦正在那里度假＇给他带去了有名的Chinese Cross，那是最复杂的智力玩具之一，但他只花了三分钟就把它给解决了。要是换了我，就是给我一千天也做不出来。我把这话对他说了，他就动手做给我看。他把那些木块全部拆散，然后不一会儿就把它们一个不漏地装配完毕。当他的儿子汉斯？阿尔伯特来看他时，爱因斯坦非常得意地看到，他的儿子也继承了他解谜的本事。‘他干得真棒，和我一模一样，’他说。
“虽然他提出了E=MC2这条公式，他从未想过这条理论的实际运用。原子弹爆炸成功后，爱因斯坦对我丈夫说，‘我真后悔给罗斯福写了那封信。’
“有一次，一位男子在街上拦住爱因斯坦，问他，‘这个世界会不会在下一次大战时被原子弹毁掉？’爱因斯坦答道，‘如果这种情况真的发生的话，那就太糟糕了，因为我们再也听不到莫扎特了。’”
谈到爱因斯坦是否真的像某些人所说的那样是个仇视女性的人，卡勒大笑着回答，“听着，亲爱的，他非常喜欢女人。他让女士们着迷，女士们也让他着迷。不过他有次对我说，‘这种情况只持续十分钟就结束了。’＇大笑＇ 不错，爱因斯坦非常喜欢女人。我最珍贵的照片就是那张和他一起拍的，他在那张照片背后写着：很遗憾，我不愿和他一起睡觉。我把它放在我的卧室里。如果我没有丈夫的话，我肯定会爱上他。
“当初＇和米列娃＇结婚的时候，他是那样年轻无知。你想象不出他是多么天真。”
在1937年的夏天，当爱因斯坦在位于长岛皮科尼克的避暑别墅休假的时候，一艘游艇带来了满船的客人，他们中间有剧作家克利福德？奥德茨和他的妻子，奥斯卡奖影星露易丝？雷纳。爱因斯坦帮助他们从游艇下到一条小船上。“当轮到露易丝和奥德茨时，”奥德茨的传记作者玛格丽特？布伦南–吉布森写道，“奥德茨看到爱因斯坦开玩笑地扯了一下露易丝的头发。在他看来，爱因斯坦显然对露易丝很感兴趣。她一紧张，把小船弄翻了，差点儿把我们的科学伟人给淹死。”那天，客人们拍了不少照片，那些照片印出来后，奥德茨顿时嫉妒得发狂，他拿起剪刀剪掉了其中一张照片上爱因斯坦的脸。幸好他没来得及把其他照片毁掉，其中有两张显示雷纳和爱因斯坦在一起。
在所有和爱因斯坦有过交往的女性中，他的妹妹玛娅很可能是他最亲近的人。由于墨索里尼开始实行迫害犹太人的种族主义法律，她于1939年离开意大利的家去普林斯顿和哥哥同住，她的丈夫保罗？温特勒则定居在瑞士。她希望能在战争结束后去那儿和丈夫团聚。
所有见过爱因斯坦和玛娅在一起的人都感到，他们俩不仅非常合得来，而且在外貌、声音、手势和面部表情上都惊人地相似。“她说话的方式和声音，以及那既单纯又略带几分怀疑的陈述，都和她哥哥的表达方式非常相似，”爱因斯坦的朋友和传记作者菲利普？弗兰克写道。“听她说话常使人感到惊讶和不安，因为即使在微不足道的细节上，你都会看到那位天才的复制品。”
玛娅在1949年患过一次中风，越来越严重的动脉硬化使她长期卧床不起。玛戈特成了她的看护。
在他们的朋友艾丽斯？卡勒看来，爱因斯坦兄妹之间的关系“实在是非常非常的美。他们的眼睛经常看着对方。即使在她还没有生病的时候，他每晚都要大声念书给她听。在纽约的萨拉纳克湖度假的时候，我经常在这个时候到他们家坐坐。有一次，他在读古希腊历史学家希罗多德的著作，正好碰上一个不那么有趣的章节。于是我就说，‘也许我们应该跳过这一段。’爱因斯坦吃惊地说，‘这怎么行！我们可能会失去一些重要的东西！这里的每一句都不能漏掉。’”
玛娅病倒后，爱因斯坦仍旧每天晚上念书给她听。虽然她说话已经很吃力，但是她的思维却高度活跃，这使爱因斯坦感到宽慰。她于1951年6月25日死于肺炎。火葬过后一个月，爱因斯坦对朋友说，难以想象他对她的想念是多么强烈。
在普林斯顿的那些年里，爱因斯坦身边一直有女性陪伴。玛戈特和杜卡斯和他住在一起，他的朋友约翰娜？范托娃是他家的常客。她经常和他一起在附近的卡内基湖上泛舟，差不多每天都要和他通电话。她还为他理发、给他读哥德的诗。
爱因斯坦和范托娃的朋友吉勒特？格里芬说，爱因斯坦同意范托娃记下他们之间的谈话，因为他知道她家境比较困难，他们的谈话也许会使她在经济上多一份保障。他还送给她他关于统一场理论的手稿和他写的诗。格里芬说，他们之间的谈话生动地显示爱因斯坦是个多么“智力超群、谦虚热情的人”。
爱因斯坦和范托娃的第一次见面是在1929年的柏林。当时范托娃的丈夫奥托？范塔教授建议爱因斯坦让范托娃来帮他整理那些乱七八糟地堆放在房子各个角落里的“奇特的藏书”。
十年后，范托娃从捷克斯洛伐克移居美国，爱因斯坦建议她当个图书管理员。1944年秋天，在完成北卡罗莱纳大学的学业之后，范托娃成了普林斯顿大学费尔斯通图书馆的雇员。1952年，她成了该图书馆的地图部第一任主任。
据格里芬说，爱因斯坦写诗给范托娃是为了让她振作起来，因为他觉得她对生活的看法太悲观。
有一首诗是在他多日没见到她的情况下写的：
漫长的寂静使我精疲力竭，
但愿你能看到，
在我的大脑里有个小小的阁楼，
那里永远藏着对你的思念。
有一次，爱因斯坦对范托娃谈起他收到的潮水般的信件，他说自己“像磁铁一样吸引了世界上所有的疯子和怪人”，不过他承认，他发现“改变他们的思维方式是个非常有趣的尝试。他说他同情他们，并且常常设法帮助他们……在一封1953年的来信中，某个女士哀叹自己太穷，以至于没有能力给孩子留下任何遗产。她要求爱因斯坦给她七个亲笔签名，因为他的签名一定很值钱。那个女人很可能在夸大事实，爱因斯坦对范托娃说。＇她也可能是个不择手段专门猎取名人手迹的人。＇不过，也许是因为佩服这位女士的胆量，他打算满足她的要求。”
有一位女士赢得了爱因斯坦无保留的佩服和尊重，她就是美国的非裔女低音歌唱家玛丽安？安�