在文学创作的实践过程中，刘师培认为文学语言要达到雅驯渊懿的审美效果，就必须“扫除陈言”，做到“临文之际，对于字句，务求雅驯，汰繁冗，屏浮词。”这样的提倡可以看作是刘师培文学语言观的核心要义——既要通过雅驯之词使文章洁净整齐、典雅得体，又要避免繁杂浮夸的过分修饰和虚无缥缈的无意义辞藻堆砌。
“扫除陈言”首先讲求的是使事用典的精当和遣词造句的高雅，努力改变文学语言的浅白空洞。正如刘知几所说：“言近而旨远，辞成而义深，虽发语已殚，而含意未尽。”严羽也明确表示要对文章的体、意、句、字、韵等形式要素倍加用心，要除俗求雅，做到文词含蓄，不可浅露，所谓“语忌直，意忌浅，脉忌露，味忌短，音韵忌散缓，亦忌迫促。”刘师培在前人相关论述的基础上，从文学创作论的角度具体阐发文学语言的本体特征，他认为文学作品应当用字古雅，有内涵；遣词文雅，工修辞；运笔淡雅，求韵味；风格高雅，有境界。他肯定偶语韵词、沉思瀚藻的雅驯语言是文学区别于其他学科、艺术的根本特征，并且主张要使文学作品在语言特色方面取得与应用文字、科学报告等文体不一样的审美特性，获得独立的文学特性和审美价值。传统的雅驯文学语言观在这里得到进一步理论提升，这种对文学语言的雅驯要求和对文学形式的本体关注，传达出刘师培对文学审美特性的把握。
“扫除陈言”还意味着要注意文学语言与文学风格的密切联系。所谓“两字相联，或音判刚柔；两义相符，或用分雅俗”，即，表示相同含义的两个不同文字，有可能由于声调的刚柔有别、格调的雅俗之分，而对整篇作品的风格产生重要的影响，所以在刘师培看来：“铭功颂烈，其音大而弘；范水模山，其音清以远。美人香草，其音婉转而弥长；玉宇琼楼，其音慷慨而激越。杂绮语则音多柔靡，诵军歌则音入浑雄。文韵异同，各视其体。”这就对作家提炼语言的能力提出了较高的要求，语言表达既要与所选文体高度契合，又要在整体风格方面力求典雅，语言与风格息息相关。这种对文学语言逐字逐句的打磨钻研，一向是中国传统文人的自觉追求，杜甫“为人性僻耽佳句，语不惊人死不休”的创作倾向和艺术追求，正是通过对文学语言的新奇和反常组合实现作品美学效果的表现。从对“推”与“敲”的揣摩，到“春风又绿江南岸”的美谈，一字之师的例子在文学史上经常传为佳话，充分说明了重视文学语言修养之于文学创作风格的关键作用。
“扫除陈言”的做法还体现了文学语言与日常语言的距离感。刘师培认为以宋代学者借义理之名开创的语录体文章，由于多方言俚语，与高雅的文学语言相去甚远，不能视为正宗的文学作品，因此他严格区分“语录”与“文”的界限，认为“夫以语录为文，可宣之于口，而不可笔之于书，以其多方言俚语也……不可目之为‘文’。”朱自清也曾指出，中唐时期的禅宗和尚开始用口语记录大师的说教，其目的是为了“求真与化俗，化俗就是为了争取群众。”之后，随着道学家对这一文体的使用，“语录”逐渐成为一种著述体。刘师培的这种认识比较符合文学语言与日常语言的客观关系。一般而言，日常语言注重实用性和通俗性，而文学语言则注重艺术性和独创性，为读者营造一种可以进行艺术观照的想象空间和审美的艺术体验。但是文学语言往往离不开日常语言，而且来源于日常语言，刘师培在强调日常语言不是纯粹文学语言的同时，并没有对日常语言简单排斥，而是指出要对其进行主观能动的加工提炼，使之成为符合文学趣味和审美格调的文学语言，因此历史上许多纵横家的游说之词之所以能够成功地化口头语录为文学经典，关键就是得到了史臣的“修饰”之功，这种“修饰”正是对日常语言的艺术加工。刘师培认为，只有经过艺术处理的日常语言，才能成为规范的文学语言，而这种艺术处理可以使读者在欣赏过程中感受到语言的新颖别致，经过一定的审美过程完成审美感受活动。