В   письме историку Борису Митрофановичу Городецкому, датированном 15 марта 1907 года, Федор Акимович Коваленко отмечал: «Мысль у меня о собирании коллекции художественных произведений явилась после того, когда я был лишен всякой возможности поступить в художественную школу и быть художником. Этому миновало уже с лишком 20 лет. И с того времени я энергично по мере возможности начал приобретать сначала дешевые картины от слабых художников, а потом и лучших. На покупку картин я утрачивал все свои средства. С той же поры началом было и собирание литературных изданий, а по археологии — пятью годами позже. Все три специальности я очень полюбил и наравне заботился (…) о пополнении их».

В этом же письме Ф.А. Коваленко подчеркивал, что причиной того, что он не получил художественное образование «было отсутствие средств, я вынужден был пойти в торговлю и добывать [средства]… для существования».

В начале 1890-х годов в провинциальном Екатеринодаре на несколько дней открылась выставка картин Товарищества передвижных художественных выставок. Впечатления Федора Акимовича от выставки были настолько сильны, что он только укрепился в мысли «о собирании коллекции» с тем, чтобы потом передать ее городу, в котором жил.

Когда в художественной коллекции собралось достаточно много полотен, Ф.А. Коваленко стал именовать ее галереей.

В доме по улице Базарной, 44 (ныне Орджоникидзе, 50), принадлежавшем Клавдии Петровне Пятковой, жене купца 2-й гильдии, в своей небольшой съемной квартире, коллекционер устроил экспозицию, которую открыл для посещения городской публики в 1890 году. Этот год Ф.А. Коваленко считал годом основания своей художественной галереи.

Домашняя галерея Ф.А. Коваленко вызвала большой интерес. Горожане посещали ее охотно, живо обмениваясь впечатлениями. Любимым художником собирателя с юности был Рафаэль, копии произведений которого он заказывал во Флоренции.