謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　客問樂令“旨不至”者，樂亦不復剖析文句，直以麈尾柄確幾曰：“至不？”客曰：“至！”樂因又舉麈尾曰：“若至者，那得去？”於是客乃悟服。樂辭約而旨達，皆此類。

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。