Иван Герасимович Харитоненко родился в посёлке Нижняя Сыроватка, тогда Харьковской губернии. Сын крестьянина, получил образование в сельской приходской школе. Служил конторщиком в бакалейных лавках купцов.

Предметом законной гордости торгового дома «Харитоненко с сыном» были леса, где вместе с вырубками проводились лесокультурныt работы, существовали лесопитомники, вырубленные площади засаживались ценными породами деревьев.

Главная контора торгового дома «Харитоненко с сыном» находилась в Сумах. Конторы были в Москве, Харькове, Томске, Владивостоке, Турции, Персии. Огромные богатства, нажитые за такой короткий срок, щедрость, благотворительность Харитоненко и его наследников способствовали процветанию города и уезда. В селе Кияница, что к северу от Сум, построил семейный дворец.

На средства семьи Харитоненко основано приют для девочек-сирот, названный в народе «Пансион благородных девиц» уровня образования и воспитания в нем, крестьянский банк, общежитие для студентов Харьковского университета, реальное училище, церковь в с. Нижняя Сыворотка, женскую гимназию, Троицкий собор. Значительные средства выделялись для расширения здания Сумского окружного суда, богадельни у церкви на кладбище. Первый бетонный мост в Сумах через реку Сумку был построен на средства П. И. Харитоненко в 1910 году - как раз напротив главной конторы.

При Сумском реальном училище была утверждена стипендия имени И. Г. Харитоненко.

Основал в Сумах детскую больницу, выделил деньги для основания кадетского корпуса. Кроме этого были многочисленные пожертвования учебным заведениям, духовенству для раздачи бедным, пенсии, стипендии.

Умер 30 ноября 1891 года в Сумах и похоронен на Центральном городском кладбище, возле Петропавловской церкви. На похороны его собралось до 15 000 человек. На его могиле установлен памятник работы французского скульптора Аристида Круази. В память о меценате на Покровской площади города Сумы в 1996 году был установлен памятник.