进入了中国的利玛窦对中国文明非常称赞，除了还没有沐浴“我们神圣的天主教信仰”之外，“中国的伟大乃是举世无双的”“中国不仅是一个王国，中国其实就是一个世界。”
他感叹“柏拉图在《共和国》中作为理论叙述的理想，在中国已被付诸实践。”
而且他还发现中国人非常博学，“医学、自然科学、数学、天文学都十分精通。”
但是他也发现“在中国人之间科学不大成为研究对象。”
1584年8月，利玛窦在肇庆建立了“仙花寺”，开始传教工作。起初传教十分低调。神父们行事小心谨慎，主要精力都在学习汉语和中国的礼节习俗，以博得中国人尤其是官员们的信任。他们身穿佛教僧侣的服饰，认为这样能够博得人们的好感，而且他们也觉得这与天主教神父的装束相差不大。这也使中国人更加相信他们是远道而来的僧人。他们在这里挂上了圣母玛利亚的画像，许多士人官吏，甚至僧人都来跪拜，他们感到非常兴奋。但是从中国人的角度来讲这更多是出于礼节性的，而没有宗教意义。也有记述说，他们担心中国人看到玛利亚的画像会误认为他们的神是女性的，而改挂了jī dū像。
1584年利玛窦制作并印行《山海舆地全图》，这是中国人首次接触到了近代地理学知识。利玛窦利用解释各种西方事物的机会，同时介绍了他们的天主教信仰。他们翻译了《十诫》、《主的祈祷》、《圣母赞歌》和《教理问答书》。并派发罗明坚撰写的《天主实录》，以中文解释天主教的教义。利玛窦在肇庆居住六年，除带来了欧洲文艺复兴的成果外，系统地学习了中国传统文化，期间传入的现代数学、几何、世界地图、西洋乐等西方文明。
1589年夏天，即万历十七年，广东新任总督把传教士驱逐出肇庆。
1590年，利玛窦奉范礼安之命起草一封以教宗名义致大明皇帝的信札，其中亦称教宗西师都五世乃居住在“天竺国”的“都僧皇”，因期盼能传“天主正教”，“推广慈悲，普济世人”，特遣“博雅儒僧”四出扬教，并派“德行颇优，儒文宏博”的“上僧”等四人入华，希望明帝能对此四僧“给有札牒，沿途迎送，以华其行”。经过多方努力，利玛窦得以被派往韶州，在那儿他建立了第二个传教驻地。
1594年，利玛窦和中国的一名被派遣到朝鲜边境的将军一起，初步尝试进入北京。但到达南京，又不得不返回驻地。1595年（万历二十三年）利玛窦借口为一位北上任职官员之子治病，而获得了去南京的机会。但是到了南京以后，利玛窦陪同的官员对他逐渐失去了兴趣，利玛窦只好自己设法留在南京。然而这一次失败了。他只好折返南昌，并获得批准在此居住并建立了第三个传教驻地。
明朝王室成员、各级官员都对地球仪、玻璃器皿、西式装订的书籍等礼物极感兴趣，利玛窦便在自己的住宅再一次举行“科普”展览，表演先进的记忆方法，出版《交友论》，并开始撰写《天主实义》，选择适合中国人lún_lǐ观的西方伟人语录加以刊行。他放弃建造教堂，公开传教的方法，进一步用中国自古就有的“上帝”偷换“天主”概念。
利玛窦在南昌传教的三年，也是他的传教策略在探索和实践中逐步形成的过程。他与江西的官绅阶层进行了密切交往和友好的对话，并在这个过程中形成了一套成功的传教策略——“南昌传教模式”。
1596年利玛窦被范礼安任命为耶稣会中国教区的负责人，由利玛窦全权负责在中国的传教活动。并且指示利玛窦想办法到北京去觐见中国的皇帝，以达到在中国传教的有力保障。而且还从澳门送去了许多准备送给中国皇帝的礼物。在南昌，利玛窦知遇了江西巡抚陆万垓，向他展示三棱镜、西国记数法和钟，并讲解西方书籍的内容，他还向当地学人讲解数学问题与日晷记时问题。
1596年9月22日利玛窦在这里成功的预测了一次日食，使他很快成为了一个有名的人物。期间结交了许多儒士权贵，受当时名士章潢之邀在著名的白鹿洞书院讲学交流，与分封在南昌的皇族后裔建安王和乐安王建立了友好的关系等等。
1597年，利玛窦被任命为中国传教的主管。
1598年6月25日利玛窦与另一位郭居静神父同王忠铭一起离开南昌奔赴南京。
1598年7月初，他们一行到达南京，1598年，利玛窦首次进京是由南京礼部尚书王忠铭促成的。王忠铭是利玛窦在韶州传教时结识的老友，当时正要赴北京述职。
时值万历皇帝寿诞，王忠铭便邀请利玛窦一同进京贺寿，利玛窦也准备了自鸣钟、八音琴等欧洲方物献予皇帝。一行人由水路启程离开南京，沿大运河北上。
1598年9月7日利玛窦历经两个月后到达北京。漫长的旅途加之夏日的酷热，使传教士们一度病倒，而初到北京的喜悦，又令他们忘却了旅途的艰辛。利玛窦在札记中写道：“这真是一桩令人欣喜的事，我们不应缄默着把它放过去；只要想想jī dū信仰跨过多少海洋，经过这样长时期的接近之后，终于进入这个国度，它的使者终于进入了皇都。”然而，之后的事情远不如利玛窦想像中的顺利。由于当时正值日本侵犯朝鲜的战争，整个京城戒备森严、气氛紧张，人们都怕因