У меня было похожее. Проявлялось и на холодную и на горячую. В большинстве случаев помогало машину потолкать/покачать на передаче немного (Втягивающему не хватало силы протолкнуть шестерёнку, когда немного упиралась в маховик). Менял втягивающее, проверял стартер - ничего не помогало. Оказалось, что дело в проводке - провод позеленел в районе клеммы, что на втягивающее крепится болтом. Разбираться не стал, кинул новый провод и реле поставил, чтобы посадки напряжения убрать на всех разъёмах и уставшей клемме замка зажигания. Работает без нареканий по сей день.
Вообще, заметил, что можно косвенно диагностировать проблему в просадке напряжения из-за проводки. У меня при севшем аккумуляторе не щелкало реле, а после устранения проблема стало отчетливо щелкать. Если замечали что-то подобное зимой, например, то советую измерить напряжение, которое на втягивающее приходит.