もとは、伊那電気鉄道（現在のJR東海飯田線の一部）が1923年（大正12年）8月に芝浦製作所（電気部分）及び石川島造船所（機械部分）で製造したデキ1形（1 - 6）で、1943年（昭和18年）、同社の戦時買収により国有鉄道籍となったものである。
買収後も伊那電気鉄道時代の番号のまま使用されたが、1952年（昭和27年）の車両形式称号規程改正により、ED31形（ED31 1 - ED31 6）に改められた。
一貫して伊那松島機関区に配置され、天竜峡以北の飯田線で使用された。1955年（昭和30年）から廃車が始まり、翌年までに全車が除籍された。
除籍後は、1号機及び2号機が西武鉄道に譲渡され、1形（2代。1, 2）として多摩川線で貨物列車牽引に使用されたが、1960年（昭和35年）に近江鉄道に譲渡され、同社のED31形（ED31 1, ED31 2）となった。
3 - 5号機は、直接近江鉄道に譲渡され、国鉄時代の番号のまま使用された。近江鉄道には5両の本形式が揃うこととなったが、1990年（平成2年）に5号機が廃車となり、運用を失って彦根工場内に留置されていた1号機と2号機が2004年（平成16年）7月1日付けで廃車となった。
3号機と4号機は、イベント、工事列車の牽引及び車両基地入換用として2008年現在も車籍を保持しているが、ATSの装備が困難な点、そして機関車の運転免許を持っている運転士の数がほとんどいない状態から事実上、本線走行は困難な状態である。
6号機は、上信電鉄に譲渡され、同社でも国鉄時代の番号のまま使用された。本機は、箱型車体に改造されたうえ、台車も交換され、全く原形を失ってしまった。本機も、2008年現在車籍を保持している。
ファンの間からは「装甲車」という名前で親しまれています。
ボンネットが特徴的ですね。
