在所有关于金岳霖的轶事中，最引人注目的一件事是他终生未娶。人们对此的解释相当一致：他一直恋着建筑学家、诗人林徽因。他们的故事最奇特和精彩的地方，就是金岳霖的“逐林而居”。
1931年，金岳霖在徐志摩的引荐下，敲开了北总布胡同那扇门，见到了京城“四大美女”之一、徐志摩曾为之如痴如醉的人物—林徽因。因为感到十分投缘，金岳霖就搬到了梁林一家的后罩房，亦即北总布胡同12号，开始了他二十余年“逐林而居”的生活。
老金是1932年搬到北总布胡同与梁家同住在一处的。后院很小，没有什么树。金岳霖种了一棵姚黄。仲春时节，姚黄开得灿烂如火。老金把最大的一间南房当作客厅，客厅靠北墙摆放着八个大书架，书架上以英文书居多。客厅南面围着一圈沙发，墙上挂着邓叔存作的水墨山水。老金有一个洋车夫，一个会做西餐的厨师。在他这里，朋友们喝咖啡，吃冰淇淋。因为老金是湖南人，朋友们笑称这里为“湖南饭店”。
按老金的说法：“他们住前院，大院；我住后院，小院。前后院都单门独户。30年代，一些朋友每个星期六有集会，这些集会都是在我的小院里进行的。因为我是单身汉，我那时吃洋菜。除了请了一个拉东洋车的外，还请了一个西式厨师。‘星期六碰头会’吃的咖啡冰激凌和喝的咖啡都是我的厨师按我要求的浓度做出来的。除早饭在我自己家吃外，我的中饭、晚饭大都搬到前院和梁家一起吃。这样的生活一直维持到‘七七事变’为止。抗战以后，一有机会，我就住在他们家。”这段话是老金晚年的回忆，并自称“一离开梁家，就像丢了魂似的”。
梁林一家与老金之间，文化背景相同，志趣相投，交情也就自然地非寻常人可比。这个“太太的客厅”里，哲学家金岳霖先生是每天风雨无阻，总是在3点半到梁家，是梁家沙龙中的座上常客。他就住在隔壁一间小屋子里。梁氏夫妇的客厅有一扇小门，穿过“老金”的小院子就到了他的屋子。他常常穿过这扇门，参加梁氏夫妇的客厅聚会。一到就开始为林徽因诵读各种读物，绝大部分是英文书籍，内容有哲学、美学、城市规划、建筑理论及英文版的恩格斯著作等。他们常常在诵读的过程中一起热烈讨论。就是在这种交往中，金岳霖对林徽因的人品才华赞羡至极，十分呵护。而林徽因对老金也十分钦佩敬爱，他们之间的心灵沟通达到了只可意会、不可言传的境界。
林徽因为何具有吸引力？老金在写给费正清夫妇的信中说：
年轻人来这里倾听一位女子的妙语连珠，
人所共知她的爽直前卫，拥有天赋天分和聪明，
她**无限、创造力无限，
她的诗意，她敏锐的感受力和鉴赏力，
总之，人所渴求的她应有尽有，
除却学究气。
学究气的反面是丰富多彩，
一个人的学究气越重就越丧失色彩。
我宁愿自己更富于色彩，
看看徽因是多么丰富多彩，
而可怜的我！
如此苍白，彻头彻尾的苍白！
暮年金岳霖谈到林徽因，是这样一种不灭的印象：“林徽因这个人了不起啊，她写了篇叫《窗子以外》的文章，还有《在九十九度中》，那完全是反映劳动人民境况的，她的感觉比我们快多了。她有多方面的才能，在建筑设计上也很有才干，参加过国徽和人民英雄纪念碑设计，不要抹杀了她其他方面的创作啊……”
林徽因就是这样一个无论到哪里都闪烁着光芒的女人，当然这光芒远远不限于她的美丽、多彩、博学，更多的是她能穿透你内心对这个世界的认识：
我认为最愉快的事情都是一闪亮的，
在一段较短的时间迸出神奇的如同两个人透彻的了解，
一句话打到你心里，
使得你的理智和情感，
全觉到一万万分满足；
如同相爱，
在一个时候里，
你同你自身以外另一个人，
互相以彼此存在为极端的幸福；
如同恋爱，
在那时那刻，眼所见，耳所听，心所触，
无所不是美丽，
情感如诗歌自由的流动，
如花香那样不知其所以。
胡适曾这样说过：“志摩的人生观是一种单纯信仰，这里面有三个大字：一个是爱，一个是自由，一个是美。”林徽因恰恰把这三者水乳般地交融成完整的一体。也许正是如此，她欣赏老金的幽默、真诚、博学；老金爱慕她的睿智、灵慧、美丽。以致最后心心相印、难舍难离。
经过林徽因“同时爱上两人”，梁思成交由夫人抉择，金岳霖感动退出的事件后，三人之间毫无芥蒂，终生为友。梁思成、林徽因吵架，总是找理性冷静的金岳霖仲裁。甚至林徽因和母亲有了矛盾，也要找老金来理一理。因为金岳霖总是那么冷静理性，能够把他们因为情绪激动而搞糊涂了的问题分析得清清楚楚。
大约1936年的一天早晨，金岳霖正在书房里做研究。忽然，他听见天空中有一声男低音叫道：“老金。”他赶快跑出院子去看，梁思成和林徽因正站在正房屋顶上，看着他哈哈大笑。金岳霖生怕他们掉下来，就喊道：“你们给我赶快下来。”他们又大笑了一阵下来了。金岳霖常常看到梁思成为了古建筑上某个数据而在房顶上上下下搞测量，就为梁林夫妇编了一副对联：“梁上君子，林下美人。”
“梁上君子”是反话正用，这里自然是指常常攀楼登塔搞调查测绘的梁思成了。这“林下美人”原本指的是东晋才女谢道韫，有咏絮之才，其人曾被品评有恬淡萧散的“林下风致”。明代高启有赞美梅花的诗句：“雪满山中高士卧，月明林下美人来。”可见金岳霖有心赞美林徽因是才女，像梅花一样美丽高洁。这“林下美人”，还让人想起《红楼梦》里那位“玉带林中挂”的林黛玉。不幸的是，后来林徽因和林黛玉得的竟是一样的“女儿痨”。
当时，梁思成听了这两句对联很高兴，评说道：“很好呵，不然我怎么才能打开一条新的研究道路，岂不是纸上谈兵了吗？”可林徽因并不领情：“真讨厌，什么美人不美人，好像一个女人没有什么可做似的。我还有好些事要做呢！”金岳霖听了大为钦服，连连鼓掌。
此后，金岳霖就过起了游牧民族的生活。游牧民族是逐水草而居，而金教授一直是逐“林”而居，长期跟着梁林一家做邻居。在北平总布胡同3号，他住在梁林一家旁边。两家有小门相通。那边的林徽因有“太太客厅”，这边的老金有“湖南饭店”。
1937年，“卢沟桥事变”后，北平、天津沦陷，梁思成、林徽因夫妇和当时的许多知识分子一样被迫离开古都北平，迁往云南昆明、蒙自两地。所有内迁学校集体联合办学，改称“国立西南联合大学”，简称“西南联大”。梁林夫妇在昆明北郊龙泉镇棕皮营设计建造了一所住房。金岳霖靠着梁家主屋一面墙，搭建了一间耳房。云南人叫“偏厦”，比正屋低矮一些，面积不足十平方米。最让人惊诧的不是这间屋子的矮小，而是它没有独立外开的门。也就是说，金岳霖每次出入必须穿过梁家的主客厅。
金岳霖与梁思成、林徽因夫妇以及他们的孩子生活在同一个屋檐下，已俨然是这个家庭中的一员。林徽因曾经在致好友费慰梅的信中说：“这个春天，老金在我们房子的一边添盖了一间耳房，这样，整个北总布胡同集体就原封不动地搬到了这里。”
后来，梁思成、林徽因夫妇迁往四川南溪县李庄。金岳霖还留在昆明西南联大教书。借休假的机会，他由云南一路跋山涉水，来到李庄看望梁林夫妇。没想到才短短几个月，林徽因患肺病经常不得不卧病在床，已经形销骨立，面容苍白，不复当年那个风华绝代的女子。
为了让林徽因尽早恢复健康，金岳霖到市场上买来十几只刚刚孵出的小鸡，在门前一块小小的空地上喂养起来。盼望着它们生下蛋来，好给林徽因补养身体。老金是文化圈内知名的养鸡能手。早在北总布胡同时代，他就养着几只大斗鸡，并有同桌就餐的经历。当然也有请杨医生“助产”的笑话。到了昆明后，当时在西南联大读书的汪曾祺也回忆：“金先生是个单身汉，无儿无女，但是过得自得其乐。他养了一只很大的斗鸡，这只斗鸡能把脖子伸上来，和金先生一个桌子吃饭。”林徽因的儿子梁从诫也有很深的印象：在昆明的时候，“金爸在的时候老是坐在屋里写呀写的。不写的时候就在院子里用玉米喂他养的一大群鸡。有一次说是鸡闹病了，他就把大蒜整瓣地塞进鸡口里。它们吞的时候总是伸长了脖子，眼睛瞪得老大，我觉得很可怜”。
果然，金岳霖在李庄集镇上买来的十几只鸡长势很好，不但没生病，后来还开始下蛋了。这让难得吃到鸡蛋的人们十分开心。
那时，梁思成和林徽因正在写作《中国建筑史》。老金也借营造学社的一张白木桌子，开始重新写他那部皇皇巨著《知识论》。每天下午3点半，他们便放下手中的工作，弄一个茶壶喝起下午茶来。病中的林徽因也把行军床搬到院内，与大家一道喝茶聊天。老金便雷打不动地出现在林徽因的病榻前，或者端上一杯热茶，或者送去一块蛋糕，或者念上一段文字，然后带两个孩子去玩耍。
金岳霖终身未娶。他爱着林徽因，也爱着林徽因的家人，他后来几乎一直和梁家住在一起。晚年，他与林徽因之子共同生活，颐养天年。他在回忆录中说，梁思成和林徽因是他人生中最好的朋友。其实，在金岳霖心中，林徽因已经超越了朋友的域限，成为完美女性的象征。而在林徽因心中，金岳霖也不仅仅是好朋友，而成为家庭编外的一分子，精神上的知己。
梁林金三个人如是平静地相处相知，倏忽就是数十年，最后直到生死的力量把三人分开。颇有点像小说里的传奇故事。金岳霖终生未娶以待徽因。而林徽因红颜早逝，梁思成死于“文革”动**，独留金岳霖成为一个孤独的骑士和爱情行旅。
在金岳霖心里，林徽因就是八十岁了，还是他眼里那个白衣翩翩的花季女子，清新超逸，美丽得无与伦比。这一世，她那风华绝代的身影，自红尘深处涉水而过，轻轻停靠在他的身边，仿佛痴守着那一窗摇曳的灯火。她的目光永远沉静如秋水，深湛如晴空。
“庄生晓梦迷蝴蝶，望帝春心托杜鹃。”那曾经是世界上最独特的三人行，那世间耳语相传的永恒风景，已经渐成传奇，渐成绝响。
这也许就是大师的人格力量。
梁思成、林徽因和金岳霖，他们每个人的学识、涵养和人格使得这种情感问题处理得很妥当，达到一种令人钦佩的平衡与和谐。林徽因身上有着生性敏感的诗人气质，让她容易动情。可是，她本性善良加上清醒的理智，让她不可能做伤害梁思成的事情，也不可能轻易辜负纯洁的感情。梁思成更是坦**君子，相信妻子和朋友，因此表现出难得的气量和风度。最难能可贵的是金岳霖。他深深地爱了林徽因一辈子，发乎情止乎礼，终身未娶。他一辈子都站在离林徽因不远的地方，默默关注她的尘世沧桑，苦苦相随她的生命悲喜。静静地付出，默默地守候。不奢望走近，也不祈求拥有，即便知道根本不会有结果，也仍然执着不悔。理性、克制、温和，毕生一以贯之。
世间精于理者未必不深于情。在金岳霖那里，爱情无疑是一种使人向善、向上的圣洁力量。这不禁让人想起柏拉图的那句话：“理性是灵魂中最高贵的因素。”
有人曾说男人和女人之间没有真正意义上的友情可言。其实，这男女“友情”也许比较暧昧、比较模糊，无法完全准确地拿捏。但是，理性与信任无疑是这种友情得以存在的前提。当事人内心的坦诚、包容，使得他们能够泰然镇定、理智从容地对待这种感情。他们都曾经历过年少的痴狂，青春的懵懂。慢慢明白岁月一去不复返，人生要学会珍惜，懂得感恩。用一颗安恬淡定的心与岁月对饮，让生命因为懂得而更加的厚重、隽永。
于是，这一辈子就这样淡淡地走向尽头。回头看见的是夕阳，还有身后那个人熟悉的脸庞。她能给予你的，只能是一个懂你的微笑。然后就是寂灭。
流年似水，浮生若梦。爱是流年里不老的风景。人生相知相惜的那一刻，时光会驻足，繁花会盛开。