日本国会国家图书馆有两个起源。一个是贵族院的院图书馆，建于1890年，根据旧宪法属于帝国议会，另一个是帝国图书馆，建于1872年，隶属于教育部。其中，帝国图书馆经历了从图书图书馆(1872)、东京图书图书馆(1875)、东京县图书图书馆(1877)、东京图书馆(1880)到帝国图书馆(1897)的变迁。1947年更名为国家图书馆。

　　日本国会国家图书馆成立于1948年，是一个法定的收藏图书馆，收藏日本出版物和美国政府、联合国、教科文组织、劳工组织、世卫组织等机构的出版物。这个图书馆是IFLA亚太中心、ISSN中心和日本国际图书交流与信息中心。它分为一个办公室和六个部门，由三个主图书馆和35个子图书馆组成。

　　日本国会图书馆由中央图书馆国会分馆(总务部、调查与立法审查局、收藏部、图书馆部、续编出版部、专业资料部、图书馆合作部)、国际儿童图书馆(原上野图书馆)、东方分馆、行政司法部门35个分馆组成。