39年前澎湖縣西嶼鄉設立文化康樂中心圖書室，1980年改為「西嶼鄉立圖書館」，幾經縣府撥款補助重建，1996年一棟富有當地建築特色的圖書館在澎湖西嶼鄉的小路上竣工落成重新啟用，她前不著村、後不著店，很孤獨的豎立在那裡，成為方圓幾百公尺內最高的建物。不同於澎湖縣其他鄉立圖書館或縣立圖書館，她除了國定假日(清明、端午、中秋和春節等)，每天開門營運，提供鄉民求知的好去處。
在圖書館落成碑記上記載節錄如下:「本鄉地處海隅，居民平日匱乏提昇精神文化建設場所供其閱讀求知、增廣見聞、發揮社教功能……，知識爆發之今日，現有館舍狹隘面積，已不敷使，功能更感未臻理想。宇宙間古往今來，世事洞明皆學問，人情練逵總文章，處處都是知識的時代，興建一理想館舍，滿足民欲，已是當務之急…..，計總工程費13978200元整……，嗣於85年舉行落成典禮。第十二屆西嶼鄉長呂正黨 謹識」。
圖書館一樓有服務台、民眾上網區、兒童閱讀區、成人閱讀區、書庫；二樓則有展覽室、演藝廳。據館方表示，雖地處偏遠，但暑假期間仍是學子來此閱讀的熱門時段。
圖書館除了以咕咾石為外觀建築特色外，紅色的大門更是全國唯一。有趣的是大門兩側各有對聯一付「正修瑰麗館藏盈衍文獻」、「黨秉孜孜矻矻恢宏其珍」，巧妙的把當初在任的鄉長大名寫入其中。
圖書館外庭有牛雕一隻，牛是生產力的表徵，也是中厚刻苦的特性，以刻苦耐勞的「澎湖牛」精神，緬懷先人，更可惕勵後生。
西嶼圖書館地處偏遠，從馬公市區必須途經跨海大橋，開車約莫四十分鐘，到澎湖旅遊者，如有到西嶼二嵌村，可順道前往欣賞她的建築之美。
