Своим появлением тепловоз М62 обязан одному интересному факту: в 1961 году Венгерские железные дороги закупили у шведской фирмы «Nydqvist och Holm AB» (NOHAB) 20 тепловозов «Di3» мощностью 1950 л. с., которым дали обозначение M61. Советское руководство (в частности, первый секретарь ЦК КПСС Никита Хрущёв) было очень недовольно, когда узнало об этой покупке. После этого случая странам социалистического лагеря была запрещена закупка локомотивов у капиталистических стран^{[источник не указан 1169 дней]}. В то же время на Луганский тепловозостроительный завод был отправлен приказ в срочном порядке разработать тепловоз в габарите европейских железных дорог для колеи 1435 мм с мощностью силовой установки 2000 л. с.

По крайней мере в начале 60-х годов претендентом на эту роль многие видели ТГ102. Однако, после полного фиаско с этим тепловозом было принято решение о создании нового тепловоза с электропередачей, получившего венгерскую серию М62, следующую после нохабовского М61.

Первые опытные экземпляры были построены в 1965 году.

Как было указано, в Венгрии тепловоз получил обозначение серии М62, которое стало применяться и в Советском Союзе вместо запланированного ТЭ112 (что нетипично для наших железных дорог). Тепловоз строился на Луганском тепловозостроительном заводе и поначалу поставлялся только в социалистические страны. В Польше он получил индекс ST44, в ГДР сначала V 200, потом BR 120, затем BR 220 (смена единой классификации), в ЧССР Т679.1 — потом изменили на 781, в КНДР — К62, на Кубе — 61.6. Тепловоз также поставлялся в МНР в двухсекционной модификации под индексом 2М62М [1].

В новой машине многое было заимствовано из конструкции тепловозов ТЭ3 и ТЭ10. Но, благодаря удачной компоновке и некоторым другим конструктивным особенностям, машинисты оказались очень довольны этим тепловозом. Хотя тут не обошлось без одного курьеза — проектируя тепловоз под западный габарит, пришлось немного пожертвовать КПД тепловоза, который оказался чуть ниже, чем у ТЭ3. Из крупных недостатков, выявившихся в ходе эксплуатации, можно назвать сочетание малой ёмкости топливного бака с чрезмерной прожорливостью двухтактного дизеля. Этот недостаток естественно перекочевал на 2М62, только на 2М62У топливный бак стал больше.

В связи с началом выпуска М62 в Чехословакии на ЧКД был прекращён выпуск тепловоза T 678.0.

С 1970 года тепловозы этой серии (с номера 1003) стали строиться для эксплуатации на железных дорогах колеи 1520 мм Советского Союза. Часть локомотивов, построенных для Советских железных дорог, предназначались для эксплуатации на колее 1435 мм в приграничных районах. Всего построена 721 машина (№ 1003—1723).

• 2М62 [2] — двухсекционный вариант М62, 1976 год, пришёл на замену устаревшим ТЭ3. В ходе выпуска в конструкцию вносились изменения, в частности с 751-го номера изготавливался с блочными буферными фонарями. Выпущен в количестве 1261 тепловоза.

• 2М62У [3] — двухсекционный 1987 год, с бесчелюстными тележками, увеличенной ёмкостью топливного бака и блочными буферными фонарями (выпущено 393 машины, не включая экспорт).
• 3М62У [4] — трёхсекционный 1986 год, с бесчелюстными тележками и блочными буферными фонарями (выпущено 104 штуки). Часто (особенно после капремонтов) работают только в две секции.

• ДМ62 — односекционный, 1982—1994 гг. Использовался в составе боевых железнодорожных ракетных комплексов (БЖРК) РВСН «Молодец»; каждый из поездов БЖРК оснащался 3 тепловозами. Отличается от «базового» М62 рядом изменений, призванных повысить надежность и «живучесть» тепловоза, некоторые из них позже были использованы при создании 2М62У. Внешне можно отличить от обычного М62 по бесчелюстным тележкам, блочным буферным фонарям, панелям секционирования, связи и управления (ПССУ — «коробки» под лобовой номерной табличкой), регулируемому путеочистителю. На номерной табличке литера Д не ставилась (если ставится сейчас, то это местная самодеятельность). Всего было построено 154 машины (№ 1724—1877). После расформирования БЖРК все тепловозы были переданы на железные дороги общего пользования и в промышленность для обычной работы.
• М62УП [5] — фактически односекционный вариант 3М62У. Используется только в промышленности (в основном на Украине). Выпущено 40 штук.
• 3М62П — трёхсекционный, 1988 год. Тепловоз для вывоза ракеты-носителя на стартовую площадку космодрома Байконур. Изначально были трехсекционными, но третьи секции с самого начала не использовались и были списаны. В общей сложности их было выпущено три, как ранее три ТЭ3П, причем номер 0003 (уже после развала СССР) был переделан в обычный 2М62У с присвоением номера «0394», и остался на Украине. Номера 0001 и 0002 долго не использовались, частично демонтированы и в 2012 году выставлены на продажу.
• 2М62М [6] — двухсекционный для Улан-Баторской железной дороги. Приспособлены для полупустынных условий Монголии и имеют изменённую конструкцию очистки воздуха, подаваемого в дизели, от песка и пыли. Всего было построено 60 тепловозов 2М62М. [7], [8](№ 001—060).

Последний тепловоз (в модификации 2М62У) построен на ЛТЗ в 2007 году.