卫青敬重、爱惜人才。卫青曾派使者在家乡河东买马，使者发现供职于太守衙门的减宣非常能干，报告给他，他就将减宣推荐给武帝。减宣被任命为管理养马的大厩丞，后来又升为御史，一时成为朝中名臣。齐人主父偃在穷困潦倒中入京求见卫青，卫青发现他很有才能，多次向武帝推荐，可惜未被采用。主父偃后来凭自己的奏书被武帝看中而被重用，他曾建议武帝立卫子夫为皇后，主观上一定包含是对卫青的感恩。随着卫青地位的日益尊贵，群臣见到卫青都会行跪拜礼，只有耿直的汲黯依然行揖礼，有人就劝汲黯，汲黯说：“让大将军有拱手行礼的客人，正是对他的敬重。”卫青听说后，更加尊重汲黯，经常向他请教国家和朝中的疑难之事，看待他胜过平素所结交的很多人。
卫青虽然战功显赫，地位尊崇，但从不养幕僚门客。苏建曾劝他说：“您的职位极其尊贵，却未得到天下知名人士的称赞，希望您能像古代名将学习，招贤纳士，获取美誉。”卫青辞谢道：“魏其侯窦婴和武安侯田蚡结交宾客，天子对这种做法非常痛恨。作为朝廷重臣，如果过于亲近士大夫，在贤者、不肖中分出亲疏，恐怕会招来帝王猜忌。作为大臣，能够奉旨守法就行了，何必要招贤纳士，惹祸上身。”霍去病也跟卫青有同样的看法。
后来，卫青娶了武帝的姐姐平阳公主。平阳公主原来的丈夫曹寿患有恶疾，回封国养病，不久去世了。平阳公主想再找一个列侯与她匹配，公主和身边的人商量，长安城里有哪一个人可以做她的丈夫，大家都说大将军卫青可以。平阳公主笑了，说：“这个人是从我家里出去的，原来作为我的护卫骑着马跟从我，现在怎么能让他做我的丈夫呢？”身边的人都劝她说：“现在不比当初了，现在大将军的姐姐是皇后，他的三个儿子都是侯爵，他的富贵威震天下，不能小瞧他啊。”于是平阳公主暗示皇后卫子夫，皇后又向武帝禀报，武帝便下诏让卫青娶平阳公主。
卫子夫后来被汉武帝渐渐冷落，太子刘据和皇后常常担忧地位不保。汉武帝察觉后，主动找到卫青，表示太子温厚好静、能安天下，是最合适的守成贤主，并让卫青转告太子、皇后。因此，卫青在世时，没有人敢构陷太子。等卫青去世之后，一些臣子认为太子失去了外戚的支持，企图诬陷太子的才逐渐多了起来。
霍去病去世后，卫青的长子宜春侯卫伉因为犯法，失去侯爵。又过了五年，卫伉的两个弟弟，阴安侯卫不疑、发干侯卫登，因为献祭的酎金不足，也失去侯爵。两年后，因霍去病的儿子霍嬗去世，没有子嗣，撤销封国。
四年后，武帝元封五年，漠北之战后的14年后，卫青去世，时年近50岁，武帝下诏将卫青与先去世的平阳公主合葬于茂陵东北，和霍去病的墓相毗连，把他的墓冢修成像穹庐和山丘的形状，以纪念卫青的赫赫战功。卫青谥号为烈侯，嗣子卫伉继承长平侯爵，六年后犯法，被免去爵位。
当年卫氏兴盛时，家有四侯，贵幸无比，民间有歌谣道：“生男无喜，生女无怒，独不见卫子夫霸天下！”自卫子夫入宫到太子刘据之难，卫氏在西汉政治舞台上活跃了近半个世纪。从卫青任将为侯，直到与平阳公主成婚，是卫青最为辉煌荣耀的十多年。天底下没有不败的红花，卫青从一个奴婢之子凭战功拜将封侯，虽权倾朝野，但始终谨慎自守，最终得以善终。纵观卫青的一生，可以说他是一位极其出色、德才兼备的军事将领，不仅成就了自己的辉煌，也在汉代军事史上写下了气壮山河的篇章。
霍去病、卫青两位抗匈名将先后殒逝，无疑是汉武帝巨大的损失。他们二人将匈奴的力量大大削弱，使汉朝在很长一段时间内不必担忧北方边境的安全，也为武帝在南方灭东越、南越，在东方平定朝鲜创造了好的环境，为汉朝疆域的扩大做出了巨大的贡献。