刘备取的益州后,麋竺也入蜀去了,而麋芳留在荆州当南郡太守。统领荆州的关羽向来都看不起他和将军士仁。关羽北伐后,留下麋芳守江陵,士仁守公安。关羽所有军用物资都要他们供给,有时供应不足或误了日期,关羽就扬言北伐回来后要治他们的罪。二人都十分惶恐不安。有一次,南郡城失火,烧掉不少军备,关羽不问原由就责怪麋芳,使他更加畏惧难安。
后来吕蒙率军白衣渡江,偷袭荆州。来到公安时,士仁据城拒守。吴军将公安城团团包围,又派虞翻来劝降。士仁不肯与虞翻相见,虞翻就写信劝他,士仁权衡利弊后,哭着出城投降。吴军占领公安,进而包围江陵。麋芳也据城拒守,吕蒙又重施故技,又来劝降。这时候关羽还不回来救援,荆州多数郡县都投降了。麋芳本来就害怕关羽治他的罪,这时又看到吴军善待士仁。种种无奈促使他下定决心,投降吴军。
说实话,糜芳并没有大的过错。