Поселение на месте нынешнего Кохтла-Ярве возникло очень давно. Первое документальное упоминание о деревне Ярве относится к 1241 году, когда она была внесена в датскую оценочную книгу. Тогда название деревни писалось как Jeruius. Современный район Кукрус впервые упоминается в 1241 году (Kukarus), а Сомпа - в 1420 году (Soenpe).

Город Кохтла-Ярве появился благодаря горючему сланцу, залежей которого в нашем регионе немало. Местные жители давно знали, что этот камень горит. Легенды рассказывают, как его заметили.

По словам одного из них, в старину карджцы строили вокруг костра круг из камней. Обычно они использовали известняк, но однажды вокруг костра нагромоздили желтовато-коричневые камни, которые то и дело валялись на земле. Пастухи не поверили своим глазам, когда увидели пылающие в огне камни. По другой легенде, один крестьянин построил баню из сланца. Когда он натопил сауну, стены здания вспыхнули, к удивлению фермера и его соседей.

Долгое время сланцы воспринимались местными жителями как странное явление, не имеющее практического значения. Использовать его в качестве топлива было незачем, ведь вокруг полно лесов. Кроме того, при горении сланец выделяет сажу, которая сжигает все в округе, а это не привлекало сельское население.

По-настоящему интерес к сланцу вспыхнул только в XX веке. Известно, что в 1916 году в Петроград была отправлена партия эстонского сланца для использования в качестве топлива, а также для изучения его состава и свойств. Эксперименты ученых показали, что сланец - ценный минеральный ресурс, который можно использовать как в качестве топлива, так и в качестве сырья для химической промышленности.

В 1919 году в Эстонской Республике была создана Национальная сланцевая промышленность. Сланцы добывались как под землей в шахтах, так и над землей в карьерах. Вокруг шахт и карьеров строились поселки. В 1924 году рядом с железнодорожной станцией Кохтла был построен завод по производству сланца. Рядом с ним был построен рабочий поселок, который назвали Кохтла-Ярве. В середине 1930-х годов поселок включал в себя несколько рабочих поселков.

После Второй мировой войны добыча сланца увеличилась, и значение этого минерала как сырья для производства топлива и химической промышленности возросло. 15 июня 1946 года самый важный населенный пункт в сланцевом бассейне получил статус города.

С тех пор Кохтла-Ярве появился на географических картах.