Die Raffenburg war eine stark befestigte kurkölnische Landesburg und wurde offenbar um die Mitte des 13. Jahrhunderts als ein Gegengewicht zur Hohenlimburg angelegt. Ihre erste urkundliche Erwähnung geschah 1275. Während des Erbfolgekrieges um das Herzogtum Limburg wurde sie Anfang Mai 1288 von Truppen des Grafen Eberhard von der Mark angegriffen, mit schweren Wurfgeschützen belagert und von ihren Verteidigern schließlich aus Wassermangel übergeben.
Die Belagerung kann nicht besonders lange gedauert haben, denn die Raffenburg besaß keinen eigenen Brunnen, sondern nur eine Zisterne. Nach der Schlacht bei Worringen wurde die Raffenburg im Juni 1288 von den Märkern niedergebrannt, um eine spätere Auslösung durch das Erzbistum zu verhindern. Danach wurde sie allerdings noch partiell genutzt und sicherlich provisorisch wiederhergestellt.
Obelisk erinnert an letzten Regenten
Bis in das 15. Jahrhundert waren die Herren von Hattingen mit der Burg belehnt. Archäologische Funde in der Form von Keramik, Geschossspitzen und Gebrauchsgegenständen werden in das 13. bis 16. Jahrhundert datiert.
Die Ruine Raffenburg war einst eine Höhenburg mit Randhausbebauung: Die Häuser klebten gleichsam an der Innenseite der Ringmauer; die Auswertung von Brandspuren hat ergeben, dass sie größtenteils in Fachwerk ausgeführt waren.
Im Zentrum des Burghofs stand der runde Bergfried auf einem künstlichen Hügel, neben ihm befand sich die Zisterne. – Ein Obelisk von 1837 erinnert an den letzten Regenten von Bentheim-Tecklenburg.