1905年生于天津，祖父严信厚乃清季大吏李鸿章幕僚，为上海钜富。父亲为著名实业家严子均。1925年，入读沪江大学，1927年转入复旦大学商科，成为复旦首届女毕业生。后嫁清华大学教授杨光泩。1930年，杨光泩任国民政府驻菲律宾领事，严幼韵相随出洋。1942年初，日军攻占马尼拉，杨光泩遭拘禁，4月17日被日军枪杀。太平洋战争结束，严幼韵携三女杨蕾孟、杨雪兰及杨葸恩前往纽约。未几，任联合国礼宾官，直至1959年10月联合国大会结束后退休。1959年9月，与旧时情人顾维钧结婚，婚后尽心照顾丈夫，顾维钧于1985年去世，享年97岁，其健康长寿，在很大程度上得益于严幼韵的悉心照料。严氏晚年喜欢参加社交活动。
她与姐姐严彩韵、严莲韵被合称为“严氏三姐妹”。其长女杨蕾孟（Genevieve Young）为原Bantam Books出版公司副总裁、总编辑；次女杨雪兰为原通用汽车副总裁；幼女杨葸恩（Frances Young）则是金融家与慈善家唐骝千之妻。