1921年，馮玉祥率部進(jìn)入陜，8月升任第11師師長，陜西督軍閻相文無法應(yīng)付復(fù)雜的局勢而自殺，當(dāng)了16天的師長馮玉祥就成了新的陜西督軍。當(dāng)時(shí)的陜西各路武裝加起來有十幾萬，馮玉祥這個(gè)督軍控制的地盤很有限，手下官兵的生活非常困苦。
馮玉祥的第11師基本班底還是他帶去陜西的第16混成旅，全師官兵共9000多人。陜西沒有大米，苞谷比麥子賤一半，官兵每日一頓白面，一頓苞谷面窩窩頭。馮玉祥也是一樣。官兵夜晚只有一件棉大衣當(dāng)被子蓋，馮玉祥也是一件棉大衣。
副官長建議給馮玉祥做條棉被，馮不肯。以后旅、團(tuán)長們也紛紛建議，但馮玉祥說：“我們應(yīng)當(dāng)與士兵同甘苦。兵未入室，將不入舍，兵飯未熟，將不言饑，軍井未達(dá)，將不言渴，冬不服裘，夏不揮扇，雨不張蓋，皆無蓋也。我希望大家都要與士兵共甘苦。
手下又勸說：“你是我們的首領(lǐng)，你的身體健康，關(guān)系全軍，應(yīng)當(dāng)保重”。最后有人出主意給馮玉祥加一條軍毯，馮說：”士兵都沒有軍毯“。這時(shí)有人建議說現(xiàn)在織呢廠有軍毯。馮玉祥趕緊讓加快趕制，每個(gè)班后來發(fā)了三條軍毯。
第11師轄二個(gè)主力旅，李鳴鐘任二十一旅旅長，張之江任二十二旅旅長，張維璽任修械所所長，四個(gè)團(tuán)長是孫良誠、趙席聘、宋哲元、韓復(fù)榘，其中韓復(fù)榘是騎兵團(tuán)團(tuán)長。馮玉祥一手組建的模范連后來擴(kuò)編為兩個(gè)連，改為學(xué)兵隊(duì)，他的貼身手槍隊(duì)后來也擴(kuò)為兩隊(duì)，改稱衛(wèi)隊(duì)團(tuán)，共四個(gè)連，石友三任團(tuán)長。
馮玉祥當(dāng)督軍時(shí)并不常駐在督軍署，而是住在西安西北城角處，他把那里改名為新城，馮玉祥在那里搭上帳篷，衛(wèi)隊(duì)團(tuán)駐在左邊，學(xué)兵隊(duì)駐在右邊，馮玉祥居當(dāng)中。這個(gè)地方當(dāng)時(shí)一片荒草和亂石磚瓦，很長時(shí)間才打掃干凈。但馮玉祥仍嫌不清潔。
有一天，馮玉祥把學(xué)兵隊(duì)的連長張自忠、衛(wèi)隊(duì)團(tuán)的隊(duì)長陳毓耀叫到操場里，對他們說：”操場里磚頭瓦塊而不知撿，塵土荒草而不知除，足見其術(shù)科之不講也；講堂里黑板顏色脫落而不刷，桌凳歪斜而不整，足見其學(xué)科之廢弛也。學(xué)兵隊(duì)，衛(wèi)隊(duì)團(tuán)是全軍模范，如此疏忽，理應(yīng)處罰?！?br/>說完，馮玉祥讓二人摘下指揮刀跪下，二人對面跪下，并傳值日排長帶隊(duì)，馬上進(jìn)行打掃。從此以后，張自忠、陳毓耀每日起床先帶人打掃衛(wèi)生。
馮玉祥經(jīng)常檢查衛(wèi)生，有時(shí)親自去連里檢查，有時(shí)在閱兵時(shí)或下操時(shí)檢查士兵身體，看看牙刷了嗎，耳朵里有灰塵嗎，脫下鞋襪看看洗了腳嗎，解開扣子看看襯衣清潔嗎，有虱子嗎，手指甲剪了嗎。
馮玉祥有一次在集合時(shí)說：“千百人住在一起，既容易得病，又容易傳染病，要力求清潔”。他還講了一個(gè)故事，說：“有一家兄弟三人，都是有名的大夫。老三號稱“國手”，他能一服藥見效，二服藥病愈，三服藥除根，大家稱他為“國手”。老三說：慚愧，不敢當(dāng)，實(shí)際上我大哥第一，二哥第二，我是第三，怎能算“國手”呢。大家說未聽到你大哥二哥的本領(lǐng)如何。老三說：我二哥一年四季吃預(yù)防藥，吃了他的預(yù)防藥，就不得病了，我大哥平時(shí)事事講究衛(wèi)生，連預(yù)防藥也用不著，根本就不得病，比起病后還得吃三次苦水強(qiáng)得多了”。
講完這個(gè)故事后，馮玉祥總結(jié)說：“從此看來，要想沒病，唯一的辦法就是平時(shí)講究衛(wèi)生”。
陜西當(dāng)時(shí)情勢復(fù)雜，吳新田的第七師占據(jù)漢中，郭堅(jiān)率部占據(jù)鳳翔，胡笠僧部占據(jù)渭北，井岳秀部據(jù)守陜北。馮玉祥認(rèn)為陜西無法發(fā)展，一直考慮換個(gè)地方。
1922年，直奉戰(zhàn)爭爆發(fā)，馮玉祥向直系曹錕、吳佩孚表示愿意出戰(zhàn)，吳佩孚正和張作霖打得難分難解，自然是求之不得，他和曹錕答應(yīng)了馮玉祥的請求。
馮玉祥在新城集合11師官兵講話時(shí)說：“丟掉陜西督軍如同丟掉舊鞋”。說話時(shí)，馮玉祥即抬起腳來，把一雙舊鞋丟得遠(yuǎn)遠(yuǎn)的。之后，馮玉祥率部向鄭州迅速開去。他令李鳴鐘旅參加直奉戰(zhàn)爭，張之江旅駐防鄭州。
河南督軍趙倜當(dāng)時(shí)倒向奉系，他派所部第三師圍攻鄭州。馮玉祥親自指揮應(yīng)戰(zhàn)，經(jīng)過五天激戰(zhàn)，趙倜部被徹底擊潰。直奉大戰(zhàn)，奉軍慘敗，1922年5月，馮玉祥因功調(diào)任河南督軍。
馮玉祥駐軍開封，由于有了兵工廠，他大肆擴(kuò)軍，在5個(gè)月的時(shí)間里，成立了六個(gè)步兵團(tuán)。六個(gè)團(tuán)的團(tuán)長是張維璽、石友三、劉汝明、過之綱、葛金章、劉玉山。馮玉祥把從趙倜部繳獲的槍都發(fā)給了新兵，鞏縣兵工廠的子彈也發(fā)下來了。經(jīng)過幾個(gè)月的訓(xùn)練，新兵的基本教練和戰(zhàn)斗教練都完成了，上戰(zhàn)場就能用了。
對于馮玉祥一直很有戒心的吳佩孚，見再這樣下去馮部的兵力就會(huì)越來越多，于是將其明升暗降為陸軍檢閱使，讓其率所部駐防南苑，不過此時(shí)馮玉祥的力量已經(jīng)得到了很大的發(fā)展，駐防南苑時(shí)，馮玉祥除了第11師之外，還擴(kuò)編了3個(gè)混成旅，成為了一支舉足輕重的力量。