这个成语源自于西汉爱国英雄苏武被困匈奴这一历史故事。汉武帝在位期间一心想要解决北方匈奴所带来的安全隐患,为此没少派遣使者前往匈奴,这苏武就是其中之一。天汉元年,匈奴率先向汉朝示好将早前扣留的汉朝使者送还,汉武帝见状便也缓和态度,遂派出苏武前往匈奴送礼。不曾想苏武抵达匈奴之后就被卷入了一场谋杀计划之中。
缑王与虞常等人想要谋反,为了提高成功率他们打算先将匈奴单于的母亲绑架。由于虞常此人与一同随苏武出使匈奴的张胜熟识,于是便将这个计划告知了张胜。而张胜则觉得这个计划如果能够成功,与汉朝有利无弊,于是非但没有提醒单于还赞助了虞常不少钱财。时隔一个月之后虞常一行人趁着单于外出发动进攻,但是最后并未成功。张胜见状担心受到牵连就将之前的事情告知了苏武,苏武得知之后因担心单于迁怒汉朝便举剑自刎。
苏武因此深受重伤,但是最后被抢救了回来。在这之后单于多番劝降苏武,但是苏武不管对方如何威逼利诱均不为所动。单于见他如此冥顽不灵就将他流放至荒芜的北海,这一待便是十数年。汉昭帝即位之后遣使前往匈奴讨要苏武,而匈奴则谎称苏武已故。但是先前从他人口中得知真相的汉朝使者并未当真,但是又不好明说消息的来源,于是便编造了一个大雁传书的故事。
汉朝使者声称汉昭帝有一日从天空中射下一只大雁,底下宫人将这只大雁呈给昭帝时发现这只大雁的脚上系着帛书。该帛书的内容便是说苏武身在北海。匈奴单于一听便知道苏武还活着这件事情已经暴露,所以最后只能心不甘情不愿地归还苏武。此事之后人们便开始使用?鸿雁传书?这一成语。