Көне жазбалар секілді кітапханалардың да тарихы өте ескі дәуірлерден бастау алады. Асур, Бабил және Хитит мәдениеттерінен қазіргі таңға дейін жетіп келген жазба ескерткіштер өте ескі дәуірлерге тән болған кітап және кітапханашылыққа қатысты деректер беруде. Аталған мәдениеттерде уақыт өтуімен жиналған жазбалардың сақталуы үшін арнайы бөлмелер болған. Осылайша алғашқы кітапханалар қалыптасқан. Кі-тапханаға қатысты жасалған зерттеулер мен қазба жұмыстарында қол жеткізілген деректер б.з.б. 2400 жылдарға ұласады. Асур мемлекетінің патшасы Асурбанипал тарапынан б.з.б. 625 жылы құрылған «Нинова Кітапханасы» деп аталатын кітапхана ең ескі кітапхана болып саналады. Римдіктер тарапынан қиратылған Мысырдағы мәшһүр Искандарийа (Александрия) кітапханасы болса өз дәуірінің ең үлкен кітапханасы статусында еді.
Ал Ислам мәдениетінің өркендеуімен пайда болған кітапқа деген құлшыныс, көптеген кітапханалардың құрылуына және кітапханашылық дәстүрінің қалыптасуына едәуір септігін тигізді. Бұл дәстүр Әмәуилер, Аббасилер, Андалусия әмәуилері және Селжүктер, Қараханидтер секілді түркі мемлекеттері кезеңдерінде қарқынды дамып, жер жүзіне тараған. Өкінішке орай Орта Азиядан Андалусияға дейінгі аралықтағы мемлекеттерде құрылған кітапханалардың басым бөлігі Испан және Моңғол басқыншылығы кезінде жойылып кетті. Көлемі жағынан екінші орындағы Отырар кітапханасы Шыңғысханның басқыншығы кезінде жойылғаны айтылады. Өз дәуірінің білім және мәдениет орталығы болған Бағдат қаласын жаулап алған Монғолдар қаланың тас-талқанын шығарып, кітаптарды я жағып жіберді, я Тигр өзеніне ағызып жіберді. Тигр өзенінің қаншама күн сияның түсінде аққаны риуаят етіледі. Осындай қырғындар кесірінен жалғыз нұсқалы көптеген кітаптар біздің дәуірімізге дейін жетіп келе алмады.
Ислам әлемінде алғашқы кітапхана халифа хазреті Муауиа заманында құрылды. Аббасилер заманында көптеген ғалымның мыңдаған кітаптан тұратын кітапханалары бар еді. Кейіннен қолында кітабы жоқ адамның да оқи алуы үшін жалпыға (халыққа) арналған кітапханалар құрыла бастады. Алғашқы жалпыға арналған кітапхананы «Бәйтул-хикмә» (хикмет үйі) деген атпен Аббаси халифасы Харун Рашид ашқан. Мұнда әр түрлі тілде мыңдаған кітаптар жиналды. Уақыт өтуімен кітапхана қызметкерлері де көбейіп, кітапхананың сыйымдылығы да үлкейе берді. Аудармашылар, жазушылар және оқырмандар үшін бөлек бөлек арнайы бөлмелер тағайындалды. Бұған қоса мешіттер мен медреселерге де тиесілі кітапханалар бар еді. Кардобадағы Әндулус Әмәуилер құрған 400 мың кітабы бар кітапхана әлемге әйгілі еді. Бұл кітапхана да, бұдан өзгелері сияқты алдымен Берберлер тарапынан, кейін Испандықтар тарапынан тоналып, өртеліп жойылды. Еуропаның қараңғылықтан оянуына, ренесанс (өркендеу дәуіріне) қадам басуына да осы Әмәуи мәдениетінің әсері мол болды. Сәлжуктер заманында тек Улу жами кітапханасының өзінде бір миллион қырық мың кітап бар еді. Османлылар заманында бұл дәстүр кеңінен етек жайды. Османлы дәуірінің алғаш кітапханасы Осман патша заманында Изникте (Никея), екіншісі Эдирнеде құрылған. Кейін келе ірі аймақтардың барлығында кітапхана мәдениеті дамып, кітаптар қоры көбейіп заманымызға дейін жетіп келді. Стамбул қаласында шыққан өрттің салдарынан кітапхананың зардап шегуінен кейін кітапханалар қалыңдығы бір метрлік дуалдармен, темір жақтаулы терезелермен ерекше сәулетте салына бастады. Кітапхана қызметкерлері өрт шыққан жағдайда терезелерді жауып кітаптардың зиян көруіне жол бермейтін. Бұл ғимараттар өртке ғана емес, зілзалаға қарсы да төзімді болды.