6月17日，胡适与杨亮功商谈，劝他做中国公学的副校长，杨亮功最后答应了。

这一年的暑假，杨亮功到校任事。有了杨亮功替胡适管理日常校务，胡适可以集中精力想大事，办大事，管他这个校长该管的事。他也不必每天都到校了。

6月25日，胡适到中国公学参加校长就职典礼。

胡适在当天的日记中说：“套上这一箍，不知何日能解下。我所以不忍丢就走的缘故有三：(1)熊锦帆、但怒刚、丁觳音诸同学真热心办此事，我不忍丢了他们就走；(2)这个学堂当初确然于我个人的发展曾有大影响；我若不进中公，后来发展的方向当不同；(3)此时我行就职礼，可以表示一种态度，表示我不想北去。”

最后一点是指胡适反对李石曾担任北大校长，有人怀疑胡适自己有北上担任北大校长的打算。

9月12日，中国公学开学，胡适本想辞去一切课程，专心管理学校和从事研究，但中国公学的学生都希望能够亲炙胡适教诲，亲眼目睹胡适讲课的风采，胡适于是选了一门别的教授不愿教的课——中国文化史。这门课对胡适来说也很陌生，只好从头学起，认真备课，现“蒸”现“卖”。

中国公学经费异常困窘，濒于破产的境地，却贪大求全，设有文、商、法、理工4院17学系，而学生仅三百余人。

胡适从1928年暑假开始调整学校的院系设置，最终改为文理学院、商学院、社会科学院等三个学院六个系。此举一方面便于课程的安排和学生的全面培养，另外，有助于节省经费，减轻学校经济上的压力。

在教师的选聘上，胡适继承了蔡元培“兼容并包”的作风，遵循“不分派别，不限资格”的原则，将学术水平和能力作为标准，坚持不拘一格选聘优秀教师。例如沈从文只有小学文凭，胡适也大胆聘用他为大学老师，诚如沈从文所说，“这是胡适校长给予我的难得的机会，是一种很大胆的尝试”。

为了提高教学质量，胡适先后请来一大批著名的学者前来任教，其中有人们熟悉的高一涵、张慰慈、杨亮功、罗隆基、梁实秋、郑振铎、陆侃如、冯沅君、全增嘏、叶公超、饶孟侃、黄白薇等。

对于教授的聘请，胡适非常重视，并且有明确的标准，如中国文学教授，他认为必须旧学有根基而对于新知识也有相当研究者，才算合格。同时胡适又不拘于资格和学历，不分派别。以中国文学系为例，当时聘请王运的学生马宗霍教先秦文学、左派作家白薇教戏剧、后来结为夫妇的陆侃如和冯沅君教古典诗词考释。

前边说到的，青年作家沈从文教小说创作、郑振铎教西洋文学史、梁实秋教文学。其中陆侃如、冯沅君，沈从文都不满30岁，而沈从文只有高小学历。

胡适聘用沈从文是徐志摩的推荐，虽然沈从文第一堂课因为紧张站在讲台上十多分钟说不出话，但后来的事实证明，沈从文以专深的知识和才气得到了学生们的认可。

胡适的名气不仅吸引了许多有真才实学的学者到中国公学任教，也吸引了不少人报考中国公学。

据罗尔纲回忆，当时他所在的班有一位六十岁左右的老学生，比胡适还要大二十多岁。本来已经高等师范毕业，教了多年中学，因为仰慕胡适而放弃工作重新来中国公学求学。

胡适认为“教育的成功，此实系环境所使然”，因此，他开除了一批不注册、不上课、打架斗殴、使用假文凭的学生，整饬了学风，树立了学校威信。与此同时，他积极支持《吴淞月刊》《中公学生》《中国文学季刊》等刊物以及各种学会的创办发展，活跃了学术气氛，给老师和学生提供了提高学术水平和表达思想的平台，为学校建设起了良好的学风。

胡适在自己求学期间积极参加课外活动，非常活跃，对于中国公学学生的各种学术研究会和讲演会也非常支持，有时还亲自担任演讲竞赛的评判员。

胡适自己非常擅长演讲，也很有心得，他告诉学生演讲的要点：第一是口齿要清楚，第二是说话要慢，而演讲稿的好坏则取决于思想组织的能力。

由于胡适的提倡和支持，学生的演讲水平有很大提高。1929年12月，中国公学、复旦大学、持志大学、劳动大学四所淞沪大学在持志大学举行演讲比赛，结果中国公学夺得第一名。

胡适也非常重视学生的体育运动，认为体育运动不仅可以强健体魄，还可以磨练意志，培养坚忍进取的精神和集体荣誉感。在胡适任校长期间，学校每年春秋两季都举办运动会。

1930年4月28日，他亲自作《中国公学运动会歌》：“健儿们，大家上前！只一人第一，要个个争先。胜固然可喜。败也要欣然。健儿们，大家上前！健儿们，大家全体的光荣，要我们担戴。胜，要光荣的胜，败，也要光荣的败，健儿们，大家齐来！”

经过改革，中国公学的教师队伍不断壮大，学生数量和质量普遍提高，学校知名度和招生情况逐渐改观。在胡适掌校的两年时间里，学生数目从300多人增加到1300多人，发展很快，经济情况也有了好转。学校原有的规模已经不能容纳学生现有的数量，为此扩建开设了分校区，新建了校舍。