苏东坡此后一年零八个月的命运足以表示官身不由己。读书人能用别的方法谋生，最好不要做官，他的遭遇便是充分的理由。苏东坡当前的道路，真是崎岖坎坷瞬息万变，一直到他人生的末日，不是出乎他的本意，却与皇后大有关系。皇帝有意使他掌史馆，却被左右所阻。皇帝最后亲书一道旨意，把苏东坡的谪居地由黄州调到汝州（今临汝），汝州离京师较近，生活亦较为舒适。他听到这个消息，是在神宗元丰七年（一○八四）三月初。
他当然躲避这个任命，按他自己的话，这犹如“小儿迁延避学”。人做官不外乎为名为利，或为权势，或为报效国家。我们知道苏东坡非以做官为发财致富之道，至于权势，他根本不愿控制别人。有些人身上有一种天性，他本已有钱有名，但想钻入政治圈儿去，只为了去支配别人。初尝权利的滋味，还颇觉味美，但除少数例外不提，二度竞选美国总统的人，不是不知“何以利吾身”，大概就是身不由己。他去再度竞选，因为他所属的政党要他去竞选。若说报效国家，于理欠通，因为反对派里不是也有人如此呼喊吗？至于为名，苏东坡知道，即便是身为宰相，也不能在他不朽的文名上有丝毫增减。他又何求于政治？他又能有何成就？
但是另外有三个朋友，一直陪他到九江。一个是老朋友陈慥。另外一个是和尚参寥，他和苏东坡是在徐州认识的，后来在黄州突然出现，和他住了大概一年。在中国古代，没有人像出家人游踪之广的，不但因他们完全空闲行动自由，也因为他们走到何处都有他们的旅馆住，那就是有他们的寺院。参寥决定到九江庐山去住。
可是，甚至在他这样困难情况之下，调职之后，他的政敌还不肯把他放松。当时一个作家记了下面一个故事：苏东坡给皇帝上了谢表，皇帝向四周一看，告诉群臣道：“苏轶真是天才。”
苏东坡在六月，到山东沿海去就新职。由青岛附近，开始乘船，绕山东半岛而行。十月十五到达登州后五天，他又应召晋京。全家开始行动起来，将近元丰八年十二月半，到达京都。
一大群人送他启程。那群人里有士绅，有穷人，有各色人等。我们知道名字的那些邻居朋友，一直把他送到船上的，计有十九人。路两旁也有他的朋友、陌生人、农人，也有感激他的穷父母，怀里抱着孩子，那孩子的命就是这位行将离去的文人搭救的，十九个送他的人一直送到慈湖，在苏东坡最后离去之前，大家又一齐消磨了几天。
皇帝感到意外，问道：“怎见得？”
“我有一栋房子，一百多年来一直是我们的财产。我有个败家儿子，把那房子卖给了别人。今天我不得不从那栋老房子里搬出来，我在那老房子里已经住了一辈子——这就是我为什么哭的缘故。”
皇帝泰然道：“我很了解他，他心里是好意。”
最后，几个最亲密的朋友之中，有一个滕元发，劝他安居在常州的太湖左岸宜兴，滕元发那时正任太湖南岸的湖州太守。苏东坡和滕元发二人暗中订了一项计划，在宜兴买了一块田地，然后奏请皇上允许他在宜兴安居，因为那块田地是他唯一的生活之所出。滕元发的一个亲戚能找到一块地，在宜兴城二十里外，深在山中。那块地很不小，一年可产米八百担，会使苏家生活得满舒服。苏东坡当时只剩下几百缗钱，此外只有父亲以前在京都买的一栋房子，但是早已托范镇以八百缗钱卖出去。
苏东坡准备搬家，也费了几十天工夫。他决定先到高安看弟弟子由，留下孝顺的长子迈带领家眷，在他从子由处回来时，大家在九江碰头。
苏东坡说：“不错，不在其位，不谋其政。不过皇上待你以非常之礼，你也应当以非常之礼事君才是。”
苏东坡说：“汉唐亡于党祸与战事，我朝过去极力避免此等危机。但是现在却在西北兵连祸结，很多书生都被送往东南。你为何不阻止？”
东坡说：“今之君子，争减半年‘磨勘’，便不惜杀人。”
在三月初三，他还胸怀坦荡，与朋友畅游甚乐，在定惠院后面商家花园逍遥终日，酒宴之后，他还在一个小楼上酣睡一觉。醒后，漫步踱出东门，在东门看见商店一个大木盆，买下来，预备存水浇瓜。然后沿着一条小溪，进入何氏花园。何家正在房旁添盖厢房，请他稍留，在竹林中喝几盅。一个朋友端出一盘糕，东坡巧予命名为“何甚酥”。大家都喝酒，只有参寥和尚只喝枣汤。苏东坡忽然急想回家。他看见何氏园有橘子树，他要了几棵树苗，要回去种在雪堂的西畔。
王安石立刻脸上变色道：“你要提起往事？”