Родился 22.08.1913 г. в городе Пятигорске ныне Ставропольского края в семье рабочего. Русский. Член ВКП(б) с 1941 г. Окончил 7 классов. Работал слесарем.
С 1935 г. служил в Красной Армии. Окончил Качинскую военную авиационную школу пилотов в 1937 г. Участник освободительного похода советских войск в Западную Украину и Западную Белоруссию 1939 г.
В боях Великой Отечественной войны с июня 1941 г. Командир 1007-го истребительного авиационного полка 9-го истребительного авиационного корпуса Войск ПВО страны майор Терновой к июлю 1944 г. в воздушных боях лично сбил 11 самолетов противника, 8 – в группе, при штурмовке – 4.
Из наградного листа:
«За время его руководства эскадрильей лётчиками было сбито 27 вражеских самолётов».
Звание Героя Советского Союза Терновому Борису Яковлевичу присвоено 18 августа 1945 г. с вручением ордена Ленина и медали «Золотая Звезда».
Награждён орденом Ленина, двумя орденами Красного Знамени, орденом Александра Невского, орденом Красной Звезды, медалями. После войны полковник Терновой Б.Я. продолжал службу в Войсках ПВО страны. Жил в Днепропетровске.