Manegolt von Sulmetingen wird als Erbauer der 1100 errichteten Burg auf dem Neuffen genannt. Er war von vornehmer Herkunft, hatte weiteren Landbesitz und war mit einer Tochter des Grafen Egino von Urach verheiratet. Im Investiturstreit kämpfte der Graf auf Seiten der Welfen und Zähringer und fiel im Gefecht mit dem staufertreuen Bischof von Würzburg im Jahr 1122.
Der Edelfreie Berthold von Weißenhorn nannte sich seit 1198 nach seinem Hauptsitz "von Neuffen". Er brachte seine Familie zu Reichtum und hohem Ansehen. Berthold von Neuffen stand auf Seiten der Staufer, die er politisch und finanziell unterstützte. Er war im sogenannten Königsdienst und ritt im staufischen Gefolge. Von Neuffen ist in Kloster Zwiefalten beerdigt. Nach seinem Tod teilte sich sein Besitz unter dreien seiner fünf Kinder. Zwei hatte er Kleriker werden lassen, sodass sich die Zersplitterung des Familienguts in Grenzen hielt.
Der Sohn Bertholds erhielt 1211 den Auftrag, den siebzehnjährigen Friedrich Roger von Staufen, vom Papst begünstigter Gegenkönig, von Sizilien nach Deutschland zu holen. Auch Heinrich von Neuffen ist von nun an im staufischen Gefolge zu finden. 1220 wird ihm der Sohn Friedrichs, der zur Kaiserkrönung nach Rom zog, zur Erziehung anvertraut. Heinrich von Neuffen wird zum Regenten Schwabens ernannt, eine Gunst, die ihm 1221 wieder entzogen wird. Er unterstützt, nach Jahren mit dem Kaiser in Italien und auf Feldzügen, 1234 Heinrich bei seinem Aufstand gegen den Vater und wird 1235 mit der Reichsacht bestraft. Wohl nur aufgrund seiner früheren Verdienste begnadigt ihn Friedrich II. 1237. Den ersehnten Grafenrang hat er zeitlebens nicht erhalten.
Gottfried von Neuffen ist der berühmteste Sohn seines Geschlechts. Ein Teil, insgesamt 51, der Lieder Gottfrieds hat Aufnahme in die Manessische Liederhandschrift, eine prächtige und ambitionierte Sammlung des Minnesangs, gefunden. Mit dem Minnedienst wurde mit einer verheirateten, hochstehenden Dame, die unerreichbar war und bleiben sollte, das Ideal des Hohen und Schönen verehrt. Als höfische Gesellschaftsdichtung wurde der Minnesang zu Fidel oder Harfe vorgetragen. Bedeutend ist die Loslösung von der lateinischen Dichtung der Klöster und die Durchsetzung der deutschsprachigen Lyrik. Nach der Niederlage seines Vaters gegen Kaiser Friedrich II. führte Gottfried ein zurückgezogeneres Leben. Sein Grabmal ist nicht erhalten.
Eberhard von Württemberg, Sohn Graf Ulrichs I. von Württemberg, hat, zum Teil unter schweren Rückschlägen, den Aufbau der württembergischen Landesherrschaft fortgesetzt und gegen Rudolf von Habsburg verteidigt. Er kaufte große Herrschaften, Städte und, wie auch den Hohenneuffen, Burgen, um sein Territorium zu vergrößern. Eberhard I. machte Stuttgart zur Grablege und zum Herrschaftsmittelpunkt. Er ist in der Stiftskirche in Stuttgart beigesetzt.
Ulrich von Württemberg verbrachte eine unglückliche Kindheit: Seine Mutter starb nach seiner Geburt, der geistesgestörte Vater wurde 1490 auf Hohenurach festgesetzt. Seine Vormünder, die verschiedene politische Interessen verfolgten, gestalteten die Erziehung und Ausbildung des Knaben nachlässig. Als Erwachsener zeichnete sich Ulrich durch Rücksichtslosigkeit und Mißtrauen gegenüber den Menschen in seiner Nähe aus. Sein privates und politisches Leben war turbulent, so verlor er für lange Jahre sein Herzogtum, als der Schwäbische Bund dieses Karl V. überließ. Unter seiner Regierung wurde der Hohenneuffen ausgebaut und zur Landesfestung erhoben. Mit der Einführung der Reformation stellte Ulrich entscheidende Weichen im Erziehungs- und Bildungswesen. Herzog Ulrich von Württemberg starb 1550 und liegt in der Stiftskirche in Tübingen begraben.
Die Mutter Herzog Christophs, Sabina von Bayern, floh vor ihrem Mann Herzog Ulrich aus einer unhaltbaren Ehe. Der zurückgelassene Sohn, dem sein Vater zeitlebens mit großem Mißtrauen begegnete, wurde in Innsbruck am Hof Ferdinands I. erzogen. Er war lange Zeit in dynastische Konflikte verwickelt. Herzog Christoph schreib die lutherische Ausrichtung der württembergischen Kirche endgültig fest und richtete zur Theologenerziehung dreizehn Klosterschulen ein und übernahm die politische Führungsrolle des deutschen Protestantismus. Sein Hof im Alten Schloss war der eines Renaissancefürsten, der höfische Repräsentation und Selbstdarstellung sehr hoch schätzte. Herzog Christophs Regierungswerk legte für über zweihundert Jahre die Grundlage für Württembergs Staatswesen. Er baute, wie sein Vater, den Hohenneuffen als Verteidigungsbastion weiter aus.
Eberhard genoß eine mehrjährige gründliche Erziehung, die den fürstlichen Ansprüchen seiner Zeit entsprach. Das Bewusstsein für seinen Stand blieb ihm auch nach langen Jahren der politischen und wirtschaftlichen Krise seines Herzogtums erhalten: Barocke Repräsentation stand häufig im Gegensatz zum Elend des Landes, das sich von den Verheerungen der kaiserlichen Truppen nach der Niederlage von Nördlingen (1634) auf der Seite der Protestanten lange nicht erholte. Eberhard, der ins Exil nach Straßburg floh, erhielt erst 1638 sein um die Hälfte verkleinertes, entvölkertes und mit hohen Schulden beladenes Herzogtum zurück. Während seiner Regierung war er vornehmlich mit dem Wiederaufbau des Landes beschäftigt. Die außenpolitische Stellung Württembergs war schwach, es konnte sich aber aus den europäischen Konflikten heraushalten. Eberhard III. liegt in der Stiftskirche in Stuttgart begraben. Im Dreißigjährigen Krieg verlor Eberhard für einige Jahre den Hohenneuffen.
Der aus einer wenig begüterten Nebenlinie stammende Carl Alexander schlug bereits als Zwölfjähriger die militärische Laufbahn ein. Er kämpfte in den Türkenkriegen an der Seite seines Förderers Prinz Eugen von Savoyen und hatte 14 Jahre lang die Stellung des Generalgubernators in Belgrad inne. Nach 1729 zeichnete sich seine Nachfolge als regierender Herzog von Württemberg ab, er blieb jedoch zunächst als kaiserlicher Militär tätig. Mit Hilfe des jüdischen Finanziers Joseph Süß Oppenheimer gelang es Carl Alexander, sich gegen die territorialen Eliten einen größeren Finanzspielraum zu verschaffen und damit unabhängiger zu werden. Herzog Carl Alexander starb plötzlich im Jahr 1737 und liegt in der Gruft der Schlosskirche Ludwigsburg begraben.
Der Geheime Finanzrat, diffamierend auch "Jud Süß" genannt, führte unter Herzog Carl Alexander von Württemberg nach merkantilistischen Prinzipien ohne Zustimmung der Stände Steuern und Abgaben ein. Der Bruch der Verfassung und persönliche Bereicherung im Amt führten dazu, dass er sofort nach dem Tod des Herzogs verhaftet wurde. Unter anderem saß er auch auf dem Hohenneuffen ein. Am 4. Februar 1738 wurde Oppenheimer in Stuttgart hingerichtet.