"Itapebi" é um termo tupi que significa "água da pedra achatada", através da junção dos termos itá ("pedra"), peb ("achatado") e 'y ("água).
O município de Itapebi teve sua origem depois que moradores do pequeno povoado de Cachoeirinha começaram a migrar para uma região um pouco mais distante devido a sucessivos acontecimentos naturais que devastaram o povoado. Cachoeirinha era um pequeno vilarejo localizado as proximidades do Rio Jequitinhonha, no sul do estado da Bahia. Sua população era composta de agricultores, pescadores, artesãos e pequenos comerciantes, que utilizavam a navegação através de canoas para se deslocarem aos maiores centros onde realizavam atividades comerciais. Com o êxodo em massa de sua população, o povoado de Cachoeirinha se extinguiu em meados de 1851, em consequência da mudança na legislação que protegia os aldeamentos indígenas.
O novo povoado começou a se desenvolver e a aumentar sua população. Antes de receber o nome atual, o povoado teve vários outros, como: Italva, Itamarati e Pedra Branca. O povoado que se localizava às margens do Rio Jequitinhonha foi elevado a distrito em 1938, sendo subordinado ao município de Belmonte, permanecendo nessa condição até 1958, quando, por força da Lei Estadual 1 022, de 14 de agosto, foi elevado a município, tendo, como parte integrante de seu território, os distritos de Itagimirim e Caiubi. A tranquilidade do pequeno município era interrompida em épocas de enchentes do Rio Jequitinhonha, o que obrigou sua população a uma nova migração. Assim começou a surgir um novo núcleo de povoamento em uma região um pouco mais afastada das margens do Rio Jequitinhonha, que foi denominada Cidade Nova ou Cidade Alta, por se localizar em uma planície mais elevada de que a sede do município. Aos poucos, a Cidade Alta foi se desenvolvendo e, em pouco tempo, já superava a sede em número de habitantes. Consequentemente, houve a transferência da sede para a Cidade Alta.
Possui como limítrofes Eunapolis e Itagimirim.