韦执谊最后在这篇《翰林故事》里写道，在翰林院里工作过的，还有李白，他只在翰林院里有一席之地，但具体的工作天差地别，根本算不上翰林学士。韦执谊二十多岁就成为翰林学士，他已经获得了前代诗人心念终生却不能得的，在这么年轻的时候，很难不心生骄傲庆幸。在刚过去的永贞元年（805年），四十岁不到的韦执谊做到了李白甚至只能私下想想没敢说出口的宰相，但他的荣耀与同时的“永贞革新”一样稍纵即逝。

元和元年（806年）的这个冬天，他身在遥远的崖州（今海南海口）做一个没有职权，形同坐监的司马员外置同正员（司马员外置同正员：唐太宗时期，确定朝廷中正职官员的总数为七百三十人，但是由于有资格做官的人数远多于官位空缺，为了安置这些人，发明了员外置、特置、同正员、检校等一系列只有头衔而无实际工作内容的“挂名官”。（《新唐书·百官志》）州一级的行政长官中，最高为刺史，刺史以下为司马，定制为一人。司马的官职品位由所在州的人口决定，上州司马官位最高，从五品下，薪俸五十贯。柳宗元被贬的永州属于中州，正六品，薪俸为上州司马的三分之二。“司马员外置同正员”即正职司马之外的闲员，没有官舍，也没有实际的工作内容和职权，并且，“员外”不得干预政务。“司马员外置同正员”多为朝廷中被贬的官员准备。与正职司马相同的只有薪俸，大约有三十贯。）。

韦执谊年轻时做翰林学士，曾经与同事一起看地图，每当看到岭南各州时，都闭目不看，命令赶紧撤下去。现在他真的来到岭南更南的海南，一无所有的时候，忽然记忆起年轻时的翰林院，右银台门右手，大明宫最西北的院廊，笼罩着如云的紫薇花。当他们骄傲地自称“紫微郎”时，没有谁知道，人竭尽全力的追求与命运漫不经心的指向总是南辕北辙。