Die St. Cosmas und Damian-Kirche wurde wahrscheinlich im Früh- bis Hochmittelalter als Eigenkirche auf dem Hof der adeligen Grundherren von Herberhausen gestiftet. Zu dem grundherrlichen Hof gehörte das Gelände des jetzigen Stadtforstamts.Das Patrozinium der beiden Märtyrer Cosmas und Damian (um 300 n. Chr.) verdankt die Kirche wahrscheinlich Beziehungen der Stifterfamilie zur Bischofskirche von Hildesheim; dabei gehörten Kirche und Pfarrei bis zur Reformation zum Erzbistum Mainz. 1293 muss eine Kirche in Herberhausen bestanden haben, da in diesem Jahr erstmals der Pfarrer von Herberhausen urkundlich erwähnt wird.
1372, beim Verkauf von Herberhausen an die Stadt Göttingen durch die Herren von Gladebeck – als Lehensträgern des Bischofs von Hildesheim – wird die Kirche genannt, da sie mit dem Pfarrlehen von dem Verkauf ausdrücklich ausgenommen und der Patronat über die Kirche bei den Herren von Gladebeck blieb.
Bis 1613 und vorübergehend noch einmal von 1623 bis 1626 hatte Herberhausen einen eigenen Pfarrer. Der Pfarrhof lag an der Stelle des heutigen Gemeindehauses, des Pfarrwitwenhauses. Seit 1631 ist Herberhausen ständig mit Roringen unter einem Pfarramt verbunden. Das Patronatswahlrecht übt seit 1855 die Stadt Göttingen aus.
Der in Bruchsteinmauerwerk aufgeführte Kirchenbau besteht aus einem querrechteckigen Westturm mit Pyramidendach und einem anschließenden flachgedeckten Langhaus mit leicht eingezogenem und gerade geschlossenem Chor im Osten. Der älteste Teil der heutigen Kirche ist der ursprünglich auch der Verteidigung dienende Westturm. Diesem wurde noch im Mittelalter ein Langhaus in der Breite des Turms angefügt, das aber wohl kürzer als das heutige Langhaus war. Im Dreißigjährigen Krieg wurde die Kirche stark beschädigt (1626).
Wann die Kirche ihre heutige Länge und den geraden Ostabschluss erhielt, ist nicht bekannt; spätestens im 18. Jahrhundert wurde über der Ostwand der Fachwerkgiebel mit Krüppelwalmdach errichtet. Zahlreiche Bau- und Reparaturmaßnahmen vom 17. bis zum 20. Jahrhundert sind bezeugt, aber kein durchgreifender Neubau, obwohl er mehrmals angestrebt wurde. So ist mit mittelalterlicher Bausubstanz nicht nur im Turm, sondern auch noch in der Südwand des Kirchenschiffs zu rechnen. Ihr heutiges Erscheinungsbild verdankt die Kirche verschiedenen Baumaßnahmen Ende der 1950er und Anfang der 1960er Jahre unter Pastor Schiller (1953-1984): Das Kirchenschiff wurde nach Norden erweitert, der Chorraum nach Entfernung der Kanzelaltarwand von 1812 umgestaltet und schließlich der Turm im Erd- und Emporengeschoss zum Schiff geöffnet. 1967 erhielt die Kirche ihre erste Orgel (von Albrecht Frerichs). Zuletzt wurde die Kirche 2018/2019 sowohl außen als auch innen renoviert. Im Zuge dieser Renovierung wurde die Orgel vom Altarraum auf die Empore versetzt und überholt.
