於法開始與支公爭名，後精漸歸支，意甚不忿，遂遁跡剡下。遣弟子出都，語使過會稽。於時支公正講小品。開戒弟子：“道林講，比汝至，當在某品中。”因示語攻難數十番，雲：“舊此中不可復通。”弟子如言詣支公。正值講，因謹述開意。往反多時，林公遂屈。厲聲曰：“君何足復受人寄載！”

　　潘嶽妙有姿容，好神情。少時挾彈出洛陽道，婦人遇者，莫不連手共縈之。左太沖絕醜，亦復效嶽遊遨，於是群嫗齊共亂唾之，委頓而返。

　　孫秀既恨石崇不與綠珠，又憾潘嶽昔遇之不以禮。後秀為中書令，嶽省內見之，因喚曰：“孫令，憶疇昔周旋不？”秀曰：“中心藏之，何日忘之？”嶽於是始知必不免。後收石崇、歐陽堅石，同日收嶽。石先送市，亦不相知。潘後至，石謂潘曰：“安仁，卿亦復爾邪？”潘曰：“可謂‘白首同所歸’。”潘金谷集詩雲：“投分寄石友，白首同所歸。”乃成其讖。