Литературный отдел при галерее вырос из собрания книг, которые Ф.А. Коваленко коллекционировал так же, как и картины. К 1904 году в библиотеке насчитывалось более тысячи книг по различным отраслям знаний. Был там полный Энциклопедический словарь Брокгауза и Евфрона, книги по географии и естествознанию, по истории и географии, альбомы по искусству и архитектуре.

После открытия галереи библиотека активно пополнялась центральными периодическими изданиями. Многие книги специально выписывались из букинистических магазинов Москвы и Петербурга, на них, рядом со штампом Ф.А. Коваленко, стояли экслибрисы и печати прежних владельцев. С книжными шкафами в библиотеке соседствовали шкафы с археологическими и палеонтологическими древностями. Это были монеты, глиняные урны и кувшины, аммониты, которые находили при раскопках на берегах Кубани и Лабы.