纵观《江南游记》不难发现，文本的大部分篇幅在于对江南景观（自然景观与人文景观）的叙述。这从各章多以游览地名命名中可见一斑。在谷崎润一郎、青木正儿等的笔下，江南展现出美丽水乡、浪漫乌托邦的图景，他们的笔调是温暖的，虽然江南的不洁或异样的气味有时会令人感到不快，但他们善于从中体味出江南韵味。江南令他们感到亲切、亲近。而在《江南游记》中，芥川一方面极尽构筑诗文书画中的江南图景，另一方面文笔间却充满讥讽与唏嘘，使文章呈现出违和感与张力。
芥川来中国最先登上的便是上海码头，西风东渐的上海令芥川颇为反感，而江南旧都和老城，更易激起他内心的共鸣。从上海去杭州的火车上，“偶向窗外一望，只见家家临水而建，其间石桥高高拱立。水中似乎也清晰地倒映出两岸的粉壁，加之两三艘仿佛是南画里画出来似的船儿系在水际，透过嫩芽初吐的柳枝，望着如许风景，陡然涌起某种类似中国情结的感觉。”
也许是中国的古典在芥川的脑海中印象太深，也许是他的想象力超越了常人，每每邂逅江南实景，他的头脑中往往会浮现出古典书卷中的图景。于是刹那间，诗意与现实交织在一起，幻化成一幅混沌的画面。
当他来到被誉为“人杰地灵”、“人间天堂”的杭州，试图寻找“欲把西湖比西子，淡妆艳抹总相宜”的西湖时，看到的却是，“湖水不如想象的深。……笼统地说，与其称之为湖，毋宁更近于巨大的水田。”不仅如此，西湖岸边“灰红二色的砖结构建筑，犹如巨大的臭虫一般，蔓延于江南一带，其结果不论古迹也罢，名胜也罢，将风景悉数破坏无遗。”当他来到苏小小的墓前, 他所期待的是孙子潇诗中“段家桥外易斜曛 ,芳草凄迷绿似裙 ,吊罢岳王来吊汝, 胜他多少达官坟”的潇洒风流，可是看到的却“是个上面盖以瓦顶、四周涂着类似白灰之类，全无诗情画意的土馒头。尤其是墓所在的一带，由于修造西泠桥，被糟蹋得无以复加，愈益显得索漠之极。”此外，孤山、白堤、断桥无一例外会唤醒作家关于汉诗的记忆，但一一在残酷的现实面前被摧毁。
随后，芥川踏上苏州，看到了“目光越过道旁寂寥的桑园，便可望见瑞光寺淡白色的废塔。那塔的每一层茑萝攀援，荒草芊蔚。”在这一瞬间，作者产生了“苍茫万古意”的既可悲又喜悦的复杂之情。芥川赞美“苏州好比威尼斯，至关紧要的是有水”，感慨于“姑苏三百六十桥，吴门三百九十桥”，沉浸于菜田和紫云英的田园风光，深悦于古色苍然的城墙。可是美好在下一秒便被颓败的现实所击碎。近代以来，由于常年动乱和管理不善，中国的文化古迹一片破败。相较于自然景观，人文景观更是一国文化的载体。芥川刚进入苏州孔子庙的大殿，看到荒草野径、布满尘埃的古乐器、蝙蝠梁间飞，让其深感中国“孔乐之衰矣”。“然而至少对于远道而来的我来说，唯因有了这般，方才会萌生了怀古的诗兴。我究竟应当嗟叹呢，还是应当怿悦呢？”二元交错的矛盾与张力跃然纸上。从前的文官考场也是“荒草丛生”、“臭味扑鼻”。“我被从怀古的诗境推到了戈雅的画境里。如此境界从何而谈古意苍茫，简直宛如鬼狐横行的世界。”芥川怀着无比矛盾的心情，一边走过苔痕斑斑的石桥，口中不由自主地吟出了“休言竟是人家国，我亦书生好感时”的诗句。