Die Wurzeln der Familie Neipperg reichen zurück bis ins hohe Mittelalter. Im 13. Jahrhundert entstand die mächtige Stammburg am Heuchelberg mit ihren eindrucksvollen Türmen. Von alters her ist sie umgeben von Weinbergen. So hatte die Familie schon immer mit Wein zu tun, und es wird ihr nachgesagt, sie habe im 18. Jahrhundert den Lemberger nach Württemberg gebracht. Zu jener Zeit waren die Neipperg als „Paladine des Kaisers“ in Wien und Europa unterwegs und wurden 1726 in den Stand von Grafen erhoben. Bereits 1702 entstand in Schwaigern über den Gräben einer mittelalterlichen Burg ein neues Schloss, in dessen tiefen Gewölbekellern – den einstigen Burggräben – die Familie seit vielen Generationen ihre Weine in Eichenfässern ausbaut.