臺南市立圖書館前身是始於日治時期1919年（大正8年）成立的財團法人臺南公館附屬圖書館。大正10年，由辜顯榮出資為臺南公館附屬圖書館建造新館舍，並新購圖書，1924年圖書館納入政府機構。由於使用年代長久、主體館舍已不敷大量成長的讀者使用，藏書量無法增加，台南市政府決定在永康區興建全新的市圖總館，預計明年動工，舊總館將改為台南市北區圖書館。
目前的台南市立圖書館因館齡老舊在去年重新整修內部，進行閱讀空間改造，在老舊的建物注入全新風貌，大廳挑高三層樓，成為亮點。
台南市圖是全台第二歷史悠久的公共圖書館，日文書籍有多達萬冊以上，具歷史參考價值，特別在地下一樓設立「日文舊籍書庫」，但只提供館內閱讀不能外借。另外，很多圖書館都將舊報紙掃瞄電子檔收藏，南市圖仍保留實體報紙，讓讀者自由翻閱。最令人甘心的服務是視障圖書區，提供點字書、有聲書，讓視障者也享能有閱讀的愉悅。台南市圖為了保存舊書的可讀性，將許多封面破損的書刊，重新手工再製，也是館方特色之一。
另外，各層樓梯轉角空間的再利用，布置舒服的座椅，每日開館都成為最搶手的位置。台南市圖位於公園內，一樓的落地窗外有著天然的綠意景緻，更是南市圖的驕傲。
