Родился 12.01.1903 г. в селе Петровском, ныне город Светлоград, Ставропольского края в крестьянской семье. Русский. Член ВКП(б) с 1928 г.
Окончил начальную школу. Работал в домашнем хозяйстве.
С 1925 по 1927 гг. проходил действительную воинскую службу в Красной Армии. В 1932 г. окончил Ставропольскую совпартшколу, в 1940 г. курсы усовершенствования командного состава запаса.
Повторно был призван в армию в 1941 году. В действующей армии – с марта 1943 г. Воевал на Северо-Кавказском, Юго-Западном, Степном, 2-м и 1-м Украинском фронтах. Принимал участие в битве за Кавказ, освобождении Левобережной Украины.
Особо отличился в боях на подступах к Днепру, форсировании реки и расширении плацдарма. В ходе продвижения полка, находясь в головной походной заставе, при встрече с противником действовал смело и решительно, сбивая вражеские заслоны и обеспечивая развёртывание полка в боевой порядок. Форсировав реку Днепр, в ночь на 27 сентября 1943 года в районе села Сошиновка, ныне Верхнеднепровский район Днепропетровской области Украины, взвод автоматчиков 248-го стрелкового полка (31-я стрелковая дивизия, 46-я армия, Степной фронт) под командованием лейтенанта П.И Харченко захватил участок берега и обеспечил переправу остальных подразделений с малыми потерями. В ходе боёв за расширение плацдарма П.И. Харченко был дважды ранен, но не покинул поля боя и продолжал управлять подразделениями.
Указом Президиума Верховного Совета СССР от 22 февраля 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство лейтенанту Харченко Павлу Ивановичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
Награждён также орденом Красной Звезды, медалями.
В дальнейшем принимал участие в Корсунь-Шевченковской, Уманско-Ботошанской, Ясско-Кишинёвской, Сандомирско-Силезской, Нижнесилезской, Берлинской и Пражской наступательных операциях.
С 1945 г. старший лейтенант П.И. Харченко – в запасе. Жил в городе Светлограде Ставропольского края. Работал управляющим учреждения «Зооветснаб».
Умер 19 января 1971 г.
В 2016 г. по инициативе Регионального отделения Российского военно-исторического общества в Ставропольском крае на здании МБОУ гимназия № 1 г. Светлограда Петровского района была установлена мемориальная доска Герою Советского Союза П.И. Харченко.