天宝二年(743年),,李白四十三岁。诏翰林院。初春,玄宗于宫中行乐,李白奉诏作《宫中行乐词》,赐宫锦袍。暮春,兴庆池牡丹盛开,玄宗与杨玉环同赏,李白又奉诏作《清平调》。对御用文人生活日渐厌倦,始纵酒以自昏秽。与贺知章等人结“酒中人仙”之游,玄宗呼之不朝。尝奉诏醉中起草诏书,引足令高力士脱靴,宫中人恨之,谗谤于玄宗,玄宗疏之。
天宝十四年(公元755年),安史之乱爆发,李白避居庐山,胸中始终存在着退隐与济世两种矛盾的思想。恰在此时,永王李璘出师东巡,李白应邀入幕。他认为天下乱局已定,此时大唐的情形十分类似于东晋永嘉南渡,正是割据江南的大好时机。因此力劝永王直取会稽,并在永王发动叛乱之后写下《永王东巡歌》十一首,其中有“永王正月东出师,天子遥分龙虎旗”,“三川北虏乱如麻,四海南奔似永嘉,但用东山谢安石,为君谈笑净胡沙“,“南风一扫胡尘静,西入长安到日边”等语,自比谢安,怂恿李璘割据称帝意图昭然。
永王不久即败北,李白也因之被系浔阳狱。这时崔涣宣慰江南,收罗人才。李白上诗求救,夫人宗氏也为他啼泣求援。将吴兵三千军驻扎在浔阳的宋若思,把李白从监牢中解救出来,并让他参加了幕府。至德元年(756年),正月,安禄山在洛阳自称大燕皇帝。五月,郭子仪、李光弼大破史思明,收复河北十余郡。六月,安禄山率部攻破渔关,生擒哥舒翰。李白五十六岁。岁初,与妻子宗氏一道南奔避难。春在当涂。
旋闻洛阳失陷,中原横溃,乃自当涂返宣城,避难会稽(今浙江绍兴市)。至漂阳(今江苏省滦阳县),与张旭相遇。夏至越中。闻郭子仪、李光弼在河北大胜,又返金陵。秋,闻玄宗奔蜀,遂沿长江西上,入庐山屏风叠隐居,永王数次下达聘书,几经犹豫,终于决定下山入其幕府,李白成为宋若思的幕僚,为宋写过一些文表,并跟随他到了武昌。李白在宋若思幕下很受重视,并以宋的名义再次向朝廷推荐,希望再度能得到朝廷的任用,但是最终反被长流夜郎(今贵州桐梓)。
至德二年(757年),李白五十七岁。正月,在永王军营,作组诗《永王东巡歌》。永王兵败丹阳,李白自丹阳南逃。旋被搏入寻阳狱中。妻宗氏为救其四处奔走。江南宣慰使崔涣与御史中承相宋若思极力救之,乃获释。宋若思辟白为军幕参谋,以掌军中文书事务。并随宋若思一同至武昌(今湖北省鄂城县)。九月,病卧宿松(今安徽省宿松县)。曾两次赠诗宰相张镐求救。终以参加永王东巡而被判罪长流夜郎。是年杜甫四十六岁,四月,从贼营逃出,谒肃宗于风翔,授右拾遗。
乾元元年(758年),四月,史思反。五月,肃宗罢张镐宰相,出为荆州大都督长史。十二月,史思明陷魏州(今河北省南部)。李白五十八岁。李白自寻阳出发,开始长流夜郎,妻弟宗嫌相送。春末夏初。途经西塞驿(今武昌县东),至江夏,访李邕故居,登黄鹤楼,眺望鹦鹉洲。秋至江陵,冬入三峡。是年杜甫四十七岁,为华州司功参军。
乾元二年(759年),朝廷因关中遭遇大旱,宣布大赦,规定死者从流,流以下完全赦免。李白经过长期的辗转流离,终于获得了自由。他随即顺着长江疾驶而下,而那首著名的《早发白帝城》最能反映他当时的心情。到了江夏,由于老友良宰正在当地做太守,李白便逗留了一阵。乾元二年,李白应友人之邀,再次与被谪贬的贾至泛舟赏月于洞庭之上,发思古之幽情,赋诗抒怀。不久,又回到宣城、会稽旧游之地。差不多有两年的时间,他往来于两地之间,仍然依人为生。