I Habibis kölvatten lämnade också den afghanska militärens kommendör Qadam Shah Shaheem sin post.
Under besöket ska Mattis bland annat träffa president Ashraf Ghani.
Habibi och Shaheem har suttit löst sedan över hundra soldater dödades av talibaner i Mazar-i-Sharif i fredags. Exakt hur många som dödades i attacken har inte uppgetts, men enligt obekräftade uppgifter kan det ha varit så många som 130.
I mars dödades tiotals människor när talibanerna attackerade ett militärsjukhus i Kabul.
Utrikes
24.4.2017
Försvarsminister avgick timmar före Mattis besök
USA:s försvarsminister James Mattis anlände på måndagen på ett besök i Afghanistan, bara några timmar efter att hans afghanska kollega Abdullah Habibi avgått.