“翰林”之名在汉代就有了，本指文学之林，是文翰荟萃之所在。唐代开始将其作为官及官署名。
唐玄宗时，置翰林院，内设有翰林待诏，翰林供奉，后来又称翰林学士，为文学侍从之官。如唐代大诗人李白被称为翰林学士。后来，翰林院演变为草拟机密诏制的重要机构，任职者称待诏。
安史之乱后，军事活动频繁，“深谋密诏，皆从中出”说的就是翰林院，翰林学士的地位越来越重要，不但在草拟诏制方面分割了中书舍人之权，而且，也在参谋密计方面分割了宰相之权。故当时翰林学士又号称“内相”，首席翰林学士称承旨。
宋代进一步提高了翰林学士的地位，设立翰林学士院，与实际掌政事堂（中书门下）枢密院居平等地位，很多宰相都从翰林院学士中选拔，因此很为文学之士羡慕。
辽代在南面官中设置翰林院。元代设翰林院兼国史院，分别掌管制定诏旨，编修国史和翻译文学经典等。
明代开始将修史、著作、图书等事务归并翰林院，翰林院正式成为外朝官署。翰林学士作为翰林院的最高长官，主管文翰，并备皇帝咨询，实权已相当于丞相。
清代沿用明代制度，设置翰林院，主管编修国史，记载皇帝言行的起居注，进述经史，以及草拟有关典礼的文件。翰林院长官为掌院学士，以大臣担任，属官如侍读学士、侍讲学士、侍读、侍讲、修撰、编修、检讨和庶吉士等，统称为翰林。
