Die Vorgängerbauten auf dem Areal der heutigen Universitätsbibliothek
Noch bevor das Ministerium die endgültige Entscheidung für einen Neubau getroffen hatte, machte der Oberbibliothekar Karl Zangemeister 1893 Vorschläge bezüglich eines geeigneten Bauplatzes. Neben dem Marstallhof und dem „Museum”, gelegen im Bereich der heutigen „Neuen Universität”, schlug er den Platz an der Ecke Grabengasse/Plöck vor. Im Mai 1897 entschied sich die Baudirektion nach langen Diskussionen für das Areal an der Peterskirche. Da durch die bereits bestehende Bebauung allerdings hohe Kosten für Ankauf und Abriß der Gebäude entstanden, legte sich das Ministerium erst Ende 1899 endgültig auf dieses Grundstück fest.
Im nördlichen Geländeteil stand der Komplex des Augustinerinnen- oder Schwarznonnen-Klosters. Der Frauenorden war Ende des 17. Jahrhunderts in Heidelberg neu angesiedelt worden, um hauptsächlich für die katholische Mädchenerziehung Sorge zu tragen. Der Dreiflügelbau entstand um 1700, im Süden erstreckte sich der dazugehörige große Garten.
Nach der Säkularisierung wurde das Gebäude der katholischen Gemeinde, die zusammen mit dem katholischen Almosen auch das hohe Defizit der vorher im Klosterfonds verwalteten Institution übernommen hatte, als Lehrinstitut überlassen. In dem Schulhaus waren elf Schulsäle, die Mädchenturnhalle, die Wohnung des Rektors der Volksschule, fünf Hauptlehrer-Wohnungen und sechs Unterlehrer-Wohnungen untergebracht. Außerdem war im südlichen Teil des Bauareals in den 70er Jahren des 19. Jahrhunderts innerhalb des Gartengeländes eine Knabenturnhalle erbaut worden, an der Ecke Grabengasse/Plöck stand das Fallersche Haus.
Nachdem der Landtag bereits 1898 den Kauf dieses im Privatbesitz befindlichen Hauses für die hohe Summe von 95.000 Mark gebilligt hatte, stellte das Großherzogliche Ministerium der Justiz, des Kultus und Unterrichts mit Erlaß vom 11. November 1899 für den Erwerb des städtischen Grundstücks insgesamt 342.500 Mark zur Verfügung.
Neun Monate später, im Hochsommer 1900, wurde im südlichen Teil des Baugeländes mit den Abrißarbeiten begonnen. Auf Vorschlag der Groß-herzoglichen Baubehörde wurde zuerst der Verwaltungstrakt gebaut, um das Schulgebäude (Schulhaus I) noch einige Jahre erhalten zu können. Für den Neubau, der in direkter Nachbarschaft in der Sandgasse entstand (Liselotte-Schule [Schulhaus III]), mußte die notwendige Zeit gewonnen werden.
Ende 1903 war der Verwaltungstrakt fertiggestellt und der Vertrag über den Bau des Magazintrakts abgeschlossen, so daß nun auch das ehemalige Augustinerinnen-Kloster „niedergelegt” wurde. An seiner Stelle entstand in gut einem Jahr Bauzeit der eigentliche Bücherspeicher des Bibliotheksneubaus.
Nach dem Innenausbau konnte Mitte August 1905 mit dem Umzug vom Gebäude der nun „Alten Universitätsbibliothek” in der Augustinergasse 15 in das neue Domizil begonnen werden. Für den Transport der ca. 440.000 Bücher, der mit Karren abgewickelt wurde, benötigten die Bibliotheksbeamten unter der Mithilfe von 15 Arbeitern einer Möbelspeditionsfirma 32 Arbeitstage.