“走过操场，胡先生被导引到一个朴陋的老楼房里去。这是前清台湾道署遗留至今未毁的一栋仅存的房子，它在这个学校里，本来因为位置最偏、光线最坏，所以一向就被当做仓库。……不管它是不是胡先生的旧居，总算是道署旧物，应该与他有关系。于是清理打扫，挂起‘胡适纪念馆’的招牌来……参观以后，就是照相的节目，接着又植树，种了一棵榕树。
“题字算是胡先生访问故居中最重要而严肃的节目了。纸笔墨早已准备好，胡先生走到幕内提起笔来，沾墨略加思索，便在纸上写‘维桑与梓’四个字。笔太粗了，当他沾墨再要写下去时，一点墨滴在‘维’字的左上角边了，湮了一块。他叫人拿来小刀，把湮了的那一截亲自割去(一位教师接去那割去的纸要揉时，旁边的几个人马上不约而同地出声禁止，那位教师也才觉得那一片纸的贵重，而收了起来，这真是他意外的收获)。他换了一支较小的笔重新题上“维桑与梓??必恭敬止”八个两寸见方的字，站在他后面的他的一个朋友，看了连声赞美他典故用得确当。……胡先生写字时全收敛起笑容，左手还执着他刚才割纸的小刀，聚精会神地在题字。……他写完‘兄’字，不意又重复了一个‘兄’字，他的一个朋友叫他换纸，他说不必，略一停顿便把‘兄’字改成看不出别扭的‘弟’字了。写完了，永福国校的家长会长黄伯禄先生又拿来一张纸请题，这回他毫不思索，大大地题上“游子归来”四个大字。从这两幅字，我们可想像出此时胡先生怀念故居的恭敬。同时也可知道这桑梓旧地一定教他怀念他那为官干练正直的父亲，和那发长垂地既是慈母又兼严父的母亲。”
当时在胡适故居，有记者问胡适这房子是先生当年的故居否，胡适笑着说：“那时候太小，记不得了。”
10点45分，胡适离开永福国民学校，中午，台南市各界联合设宴欢迎胡适，宴会上，市长对胡适推崇备至，并称胡适为台南人，胡适也十分高兴地起立致谢，并愉快地接受市长称他为台南人。
第二天中午，也就是1952年12月27日中午，胡适赶到台东，重温他儿时的旧梦。1963年7月，台北建国出版社出版的姚汉秋的《采访十五年》一书，在《胡适与台东》一文中记述到：
“也许台东是胡氏少时的故居，因此他对台东的事务都很感兴趣。在各地欢宴席中，吴县长提起菜盘中的生鱼是台东的特产，他特别感到好奇，多吃它一二斤。也许重临台东，曾经激起他儿时的模糊记忆，所以当演讲完毕，当坐车缓缓驰行于人群当中，看见环绕汽车的儿童，倍觉亲热，不断抚摸这些孩童……
“??胡氏滞留台东的时候，曾到卑南乡槟榔村阿里摆番社去凭吊他儿时故居。据调查，胡博士少时住所已变成小荒丘，附近已成河道，而他父亲当年的朋友已去世数月，使胡氏不能获悉当年状况而感到遗憾！因此胡先生只有和当地山胞合拍一照而已。但是值得留念的是胡父交卸知州时，曾把官服一袭送给名海丹的山胞，此袭官服已由台东文献会征求海丹的女儿同意，交给该会保存，胡氏并曾亲眼看到，此服现仍完整如新。”
台东县政府为了纪念胡适莅临，还把火车站前的光复路改为铁花路(胡适父胡传字铁花)，胡适高兴之余，还为各界首长题字，甚至为伺候他的女佣及为他照相的师傅题字，这让他们个个喜出望外。临离开台东时，胡适又栽种了两棵树，捐出了7200元，作为奖励台东籍的大专学生的奖学金。
台湾学者黄纯青最佩服胡适的学问、人品，他比胡适年长18岁。这一次胡适从美国来到台湾，他写了一篇2000字的文章，发表在11月29日的《中央日报(副刊)》上，题目为“台湾与胡适”，文章中，黄纯青带着骄傲的心情宣布：“台湾确是胡适博士之识字发祥地；台湾确是名闻天下的权威学者胡适之识字发祥地”。
胡适赴台南、台东故地访旧后，回到台北。
1953年1月6日，在台湾省文献委员会欢迎会上演讲时，他大声称自己是“半个台湾人”，并且说：“黄(纯青)先生说我是台湾人，的确台湾是我的第二故乡，幼年时我曾在台湾住过一年又十个月。这次我到台南、台东等地，曾种了一株榕树，两株樟树，据说这两种树都有很长的寿命，将来长大了，也许有一个小小掌故的地位，也可以说替将来的台湾文献捏造一些掌故。”
的确，台南、台东给幼年的胡适留下了美好的回忆，多年过去了，胡适回忆起来依然是清晰的，“我虽然小时候在台湾住过，可是并不会讲台湾话，现在还记得的，只晓得吃饭叫‘呷板’，吃粥叫‘呷米’。”当时，台湾岛内有许许多多随国民党败退来台的外省人，台湾人称这些人为“阿山”，而自称“阿海”，他们许多人认为胡适是台湾人是阿海。
除了蒋氏父子外，胡适这次回台湾还和其它政要与党国元老如陈诚、朱家骅、谷正纲、王宠惠、吴稚晖、于右任、程天放等有或多或少的接触。
胡适在台湾一共逗留了两个月。离开之前的晚上曾晋谒蒋介石，两人进行了范围广泛的长谈。谈话中，胡适说台湾没有言论自由，说“宪法只许总统有减刑与特赦之权，绝无加刑之权。而总统屡次加刑，是违宪甚明。然整个政府无一人敢向总统如此说！总统必须有诤臣一百人，最好一千人。开放言论自由，即是自己树立诤臣千百人也”。
蒋介石在日记里说这次谈话“对余个人颇有益也”，认为胡适的意见是“金石之言”，让他颇为感动，评价胡适是其“平生之诤友”。
第二天（1953年1月17日），胡适乘机赴日本东京转飞美国，他对代表蒋介石到机场送行的蒋经国说：“总统对我太好了。昨天我们谈得很多，请你替我谢谢他。”