Írásos emlékeinkben 1317-ben tűnik fel először a falu neve Carlon, Karlou, Karlo alakban. Ekkor a település a Rátót nemzetséggel rokon Jolsvai család birtokában volt. Valószínűleg már ekkor nagyobb falu lehetett, mert 1356-ban itt tartották Borsod vármegye nemesi gyűlését.

A 15. században vámszedőhelyként tartották számon, a Jolsvai-dinasztia kihalása után több család, köztük a Rédeyek és a Thornaiak is igényt tartottak rá. E századból származó emlékek Karlow, Karloy, Kallo -ként emlegetik, értékének kulcsa talán abban rejlett, hogy malma is volt a Sajón.(A falu neve talán a kallózó, ványoló vizimalomra vezethető vissza.) 
 A török hódoltság idején az északi részen portyázó seregek töbször kifosztották a falut, 1555-ben leégett, majd a harcok után pestis pusztított a környéken. Nem csoda tehát, hogy ezidöben a község többször elnéptelenedett, egészen a 17. századig pusztaként tartották számon. Amikor a falut újjáépítették a Szuha patak melleti sík részen kerestek menedéket a Sajó áradásai elől. A falu neve ekkor Kálló, majd 1783-tól a rajta keresztülfolyó patak után kapta a Szuhakálló nevet. Lakosai a 16. század óta reformátusok voltak, az új rutén telepesek azonban magukkal hozták görögkatolikus vallásukat is. Ekkor iskolája csak a görögkatolikusoknak volt, a templomot a két felekezet közösen használta. 

A 19-20. században a falu fő megélhetési forrását a szénbányászat jelentette. Az első bányákat 1869-ben nyitották meg (Kisházy Kálmán, Kantner Adolf), de a várt siker elmaradt. A szénbányákat ettől kezdve a II.világháborúig a kereslet függvényében hol megnyitották, hol bezárták. A bányászat csak az államosításokat követően lendült fel, ekkor nyitották meg a Szeles aknákat, amiket egészen a rendszerváltásig aktívan használtak.

A község nevéhez fűződik a magyar szénbányászat egyik legsúlyosabb balesete. Az 1952. december 15-i, I.-es aknán történt vízbetöréskor a föld alatt rekedt 17 bányász élete forgott kockán, és a szerencsétlenség az egész magyar "bányásztársadalmat" mozgósította. A mentés végül is sikerrel járt, bár három bányász életét vesztette. (Az eseményről film is készült Életjel címmel.) 

1969-ben a községet Mucsonyhoz csatolták, így 1990-ig elvesztette önállóságát. A település 1991-ben lett közigazgatási szempontból újra önálló, melynek köszönhetően az infrastruktúrája nagymértékben fejlődött, ez a mutatója meghaladja a megyei átlagot is.