Die südwestlichen Ausläufer des Rothaargebirges prägen die Mittelgebirgslandschaft rund um Ferndorf mit den markanten Bergrücken von Kindelsberg (618 m) und Martinshardt (616 m) im Norden der Gemarkung. Im Süden liegen Mühlenkopf (385 m) und Kilgeshahn (424 m).
An Kindelsberg und Martinshardt entspringen die Quellen von "Irlenbach" und "Zitzenbach", die in der Dorfmitte bzw. beim Aherhammer in den Ferndorf-Bach münden. Im Tal der „Ferndorf" befinden sich auch das Gewerbegebiet „Auf der Ahe" und der „Industriepark Ferndorftal".
Der historische Ortskern liegt nördlich der Hauptstraße (Marburger Straße/ B 508) - früher Chaussee bzw. Wittgensteiner Straße. Die alte Enklave „Vorm Berge“ liegt südlich der „Ferndorf", ebenso wie der in den 1950er Jahren erschlossene „Nöchel".
Schon um 1910 war damit begonnen worden, das Gebiet östlich der Weiherstraße zu bebauen - den „Ebertshahn". Die Neubaugebiete „Alter Bruch" und „Auf der Rennwiese" folgten Anfang der 1980er Jahre bzw. im Jahr 2000.
Die mittlere Höhenlage von Ferndorf liegt 305 m ü.NN (Höhe Irlenhof) bzw. 283 m ü.NN an der Kirchenmauer. Nachbargemeinden sind Littfeld im Norden, Müsen im Nord-Osten, Kredenbach und Lohe im Osten, Bottenbach und Buschhütten im Süden sowie Kreuztal (Stadtmitte) und Ernsdorf im Westen.