Ihr Vater war Präzeptor an der Mädchenschule des Waisenhauses in Potsdam, er starb, als Karoline neun Jahre alt war. Während ihr Bruder Ludwig die Lateinschule in Halle besuchen konnte, mußte sie mit Handarbeiten und später mit Stundengeben zum Lebensunterhalt beitragen. Rückblickend bezeichnete Rudolphi ihre Jugendzeit als »düster und regnicht«. Die Autodidaktin begann früh zu dichten, neben religiösen Jahreszeiten-, Morgen- und Abendliedern verfaßte sie auch kleine Fabeln sowie Gelegenheits- und Widmungsgedichte. Die Gedichte wurden in verschiedenen Journalen veröffentlicht (Iris; Deutsches Museum; Teutscher Merkur), im Jahre 1781 erschien ihre erste Gedichtsammlung (Gedichte, Erste Sammlung. Mit einigen Melodien von Reichardt. Berlin, 1781). Nachdem die von ihr gewünschte Heirat nicht zustandekam, verzichtete Rudolphi für immer auf eine Ehe. Sie wurde zunächst Erzieherin bei der Familie von Röpert in Trollenhagen bei Neubrandenburg. 1785 gründete sie ein Mädchenpensionat in Hamm bei Hamburg. Dort schloß Rudolphi Freundschaft mit Klopstock und verkehrte im schöngeistig-aufgeklärten Reimarus-Kreis. 1803 verlegte sie ihre Erziehungsanstalt nach Heidelberg, wo sich mit der Reorganisation der Universität durch Kurfürst Karl Friedrich von Baden so berühmte Persönlichkeiten einfanden, wie Creuzer, Görres, Achim von Arnim, Brentano, Voß und Friedrich Heinrich Christian Schwarz, mit denen Rudolphi - als »weiblicher Sokrates« hochgeachtet und berühmt - freundschaftlichen Umgang pflegte. In ihrem Gemälde weiblicher Erziehung (2 Bde., Heidelberg 1807) hielt sie ihre pädagogischen Erfahrungen fest und setzte sich mit den pädagogischen Strömungen der Zeit auseinander.