Taschenberg wird als Stammgut des Geschlechts v. Stülpnagel angesehen. Von 1375 bis 1886 hatte die Familie v. Stülpnagel hier ihren Sitz. Die Gesamtgröße Taschenbergs betrug im Jahre 1375 44 Hufen, an denen Claus (VI) aber nur einen Anteil von 1½ Hufen besaß. Es ist anzunehmen, dass er hier nur ein einfaches Haus bewohnte
und für seinen Unterhalt Einkünfte aus weiterem Landbesitz in Papendorf, Bandelow und Lindhorst bezog. Die restlichen Anteile gingen sukzessive in den Besitz der Familie v. Stülpnagel über, bis  1663 Wolff Leopold (VIII/42, 1674-1730) ganz Taschenberg besaß. Er veranlasste 1691 den Bau der Kirche, Patronatskirche der Familie
v. Stülpnagel, für 400 Taler. 1736 wurde die Patronatsloge eingebaut. Um 1781 begann der umfangreiche Um- und Ausbau des Herrenhauses. In der Zeit von 1800 bis 1830 entstanden die ungewöhnlichen Hofgebäude aus reich verziertem Ziegelmauerwerk; 1853 wurde ein Witwensitz hinzugefügt. Mit der Heirat Elisabeths (XIII/186,
1867-1912), des einzigen Kindes von Alfred (XII/129, 1875-1834), ging der Stülpnagelsche Besitz nach 511  Jahren 1886 an die Familie v. Kalitsch über.
Nach dem Krieg und in der DDR wurden die Wirtschaftsgebäude durch landwirtschaftliche Betriebe genutzt oder dem Verfall preisgegeben; in das Herrenhaus zogen erst Flüchtlinge, dann staatliche Einrichtungen ein. Nach dem Zerfall sozialistischer Strukturen wurde das Land unter Nachfolgebetrieben und Neugründern aufgeteilt.