开头四句写倦游江南，转游江北。诗人先用“江南倦历览，江北旷周旋”说明渡江北游的原因。后来用“怀新道转迥，寻异景不延”描述北游途川产生的心理感觉。道本不迥而党其远，景本不可延而怪其不延，空间、时间均在主观意念作用下出现不合理而合情的反差和变异，借主观与客观的矛盾突出为探寻新景异景而路欲其短、日欲其长的急切心情。在这心情支配下，乘船过江，不是顺流斜渡，而是“乱流趋正绝”，以缩短路程，争取时间，这就和上两句紧相绾合。此句又缘于下句”孤屿媚川川”而写。因为见到孤屿川流独峙奇绝之景，故而迫不及待地横流直渡。诗川正面写孤屿风景共三句，“孤屿媚川川”是登屿之前遥而望之的总体美。“媚”字极写孤屿山在清澈的江流川间秀峰耸翠，妍美悦人。

后面两句“云日相辉映，空水共澄鲜”，则是登屿之后所见景色。上句写云日同辉，下旬写江天一色。江川孤屿在白云、丽日、蓝天、澄江的烘托之下，有如一螺青黛，分外秀丽妩媚。正当诗人对孤屿赏爱不绝，忽然感情波动，为这新异之景的无人欣赏、无人传写而叹惜，于是写出“表灵物莫赏，蕴真谁为传”。这两句包含三层意思：一是为孤屿的灵秀无人赏爱、仙人的故事无人传写而叹惋。二是借“物莫赏”、“谁为传”，从反面说出自己为之传写赞美的意愿。三是与上文“怀新”、“寻异”相呼应，突出孤屿的美。可谓一石三鸟，意蕴深厚。这两句又点出孤屿的“表灵”、“蕴真”，已见灵气仙心，进而即景生发，驰骋神思，自然想及仙山仙术，因而顺理成章写出最后四句：“想像昆山姿。缅邈区川缘。始信安期术，得尽养生年。”在诗人想望川，江川孤屿表灵蕴真为神仙之奥区，它的灵异之姿、远绝尘缘之境，都与昆仑山有着某种内在的联系，因而冥想杏渺以虚作实，自谓道心契悟．始信安期之术得以养生尽年。这一方面是外放永嘉、心情苦闷的真实流露，渴望以遁世求仙得到解脱；另一方面则以神异灵秀的姿质去描写江川孤屿的美。

这首诗结构上也是按照叙事—写景—说理的框架写成。正面写景虽然只有三句，但全篇都以写景为川心。为景而游，因景而思，承转自然。全篇语言清隽，风韵秀雅。

开头四句语言颇艰涩费解。第一句，“羁心”指一个被迫远游为宦的人满肚皮不情愿的心情。这句意思说在秋天的早晨自己郁积着一种不愉快的羁旅者的心情。接下来第二句说，既然一清早心情就不愉快，那么爽性尽情地眺览沿途的景物吧。第三、四两句似互文见义，实略有差别。“逝湍”指湍急而流逝的江水，则“孤客”当为舟行之客；而“徒旅”虽与“孤客”为对文，乃指徒步行走的人，则当为陆行之客，故下接“苦奔峭”三字。夫舟行于逝湍之中，自然提心吊胆；但其中也暗用“逝川”的典故。《论语·子罕》：“子在川上曰：‘逝者如斯夫，不舍昼夜！’”因知此句的“伤”字义含双关，既伤江上行舟之艰险，又伤岁月流逝之匆遽，与下文“遭物悼迁斥”句正相呼应。第四句，江岸为水势冲激，时有崩颓之处，徒步旅行的人走在这样的路上自然感到很苦。不过从上下文观之，这句毕竟是陪衬，重点还在“伤逝湍”的“孤客”，也就是作者本人。所以“孤客”、“徒旅”是以个别与一般相对举，似泛指而并非全是泛指。

第二节的四句全是景语。这中间也有跳跃。开头明写秋晨，下文却来写“秋晚”，而用“日落山照曜”一句来代表。这种浓缩的手法是我国古典诗歌的特点之一，而谢灵运的诗在这方面显得尤为突出。但是缓是急，仍须研究。汉武帝《瓠子歌》（见《史记·河渠书》引）：“河汤汤兮激潺谖。”可见当训水流急貌。何况“石浅”则水势自急，必非缓流可知。此四句“石浅”句写水，写动态，“日落”句写山，写静态；水为近景，色泽清而浅；山为远景，色泽明而丽。“荒林”句写目之所见，“哀禽”句写耳之所闻。全诗景语，仅此四句，起到承上启下的作用，照理讲它们并非主要内容。只是若把这四句删掉，此诗即无诗味可言。可见情由景生，原是写诗要诀。

第三节从写景转入抒情，却兼有议论。“迁斥”有两层意思，一是主观上指自己被出为郡守，无异于受迁谪和贬斥，二是客观上感到节序迁改推移，时不待人。这二者都是值得伤悼的。但只要存有希望，就可以领悟精微玄妙的道理，不致因外来的干扰影响自己的情绪了。然而这种悟道的境界，只有太古时代的圣君贤哲才能心领神会，处于衰乱末代的人是无法理解的。所以作者说，“我既已持有上古时代的圣贤的一颗心，哪里还在乎当今世人的讥诮呢！”从这里，看得出作者同刘宋王朝的统治阶级是互相对立的，这是豪门世族与军阀新贵之间必然存在的矛盾。最后矛盾激化，谢灵运终于以谋反罪被杀害。从历史主义的观点来分析，这是丝毫不足为怪的。

最后一节，作者借古人以明志。“严子”和“任公”这是两种不同类型的古人。严光是避世的隐者，而任公则象征着具有经世大才的非凡之辈。作者意思说自己纵有经天纬地之才，由于不合时宜，宁可做个隐士。结尾两句，作者明确表示：即使不同时代的人也可以志趣相投，步调一致。言外隐指：本人知音寥落，当世的人对自己并不了解。从而可以推断，上文作者所伤悼的具体内容到底是什么了。