桓車騎在荊州，張玄為侍中，使至江陵，路經陽岐村，俄見壹人，持半小籠生魚，徑來造船雲：“有魚，欲寄作膾。”張乃維舟而納之。問其姓字，稱是劉遺民。張素聞其名，大相忻待。劉既知張銜命，問：“謝安、王文度並佳不？”張甚欲話言，劉了無停意。既進膾，便去，雲：“向得此魚，觀君船上當有膾具，是故來耳。”於是便去。張乃追至劉家，為設酒，殊不清旨。張高其人，不得已而飲之。方共對飲，劉便先起，雲：“今正伐荻，不宜久廢。”張亦無以留之。

　　南陽劉驎之，高率善史傳，隱於陽岐。於時符堅臨江，荊州刺史桓沖將盡訏謨之益，徵為長史，遣人船往迎，贈貺甚厚。驎之聞命，便升舟，悉不受所餉，緣道以乞窮乏，比至上明亦盡。壹見沖，因陳無用，翛然而退。居陽岐積年，衣食有無常與村人共。值己匱乏，村人亦如之。甚厚，為鄉閭所安。

　　王汝南既除所生服，遂停墓所。兄子濟每來拜墓，略不過叔，叔亦不候。濟脫時過，止寒溫而已。後聊試問近事，答對甚有音辭，出濟意外，濟極惋愕。仍與語，轉造清微。濟先略無子侄之敬，既聞其言，不覺懍然，心形俱肅。遂留共語，彌日累夜。濟雖俊爽，自視缺然，乃喟然嘆曰：“家有名士，三十年而不知！”濟去，叔送至門。濟從騎有壹馬，絕難乘，少能騎者。濟聊問叔：“好騎乘不？”曰：“亦好爾。”濟又使騎難乘馬，叔姿形既妙，回策如縈，名騎無以過之。濟益嘆其難測，非復壹事。既還，渾問濟：“何以暫行累日？”濟曰：“始得壹叔。”渾問其故？濟具嘆述如此。渾曰：“何如我？”濟曰：“濟以上人。”武帝每見濟，輒以湛調之曰：“卿家癡叔死未？”濟常無以答。既而得叔，後武帝又問如前，濟曰：“臣叔不癡。”稱其實美。帝曰：“誰比？”濟曰：“山濤以下，魏舒以上。”於是顯名。年二十八，始宦。