- 作者帖子
Gravity游客此话题下有两个资源:
一,内阁文库古籍元数据
自从上次分享(www.shuge.org/meet/...ic/205340/)之后没过多久我就注意到国立公文图书馆的网站链接格式发生了变化,
以《傷寒分経》为例:
旧URL为:www.digital.archives.go.jp/DAS/m...#038;TYPE=
新URL为:www.digital.archives.go.jp/file/1079354
所以针对新的链接格式又对内阁文库进行了一轮元数据抓取,同时还附加了四个月以来新增的条目(约200条),配合一下脚本批量下载(若有需求)会更方便
表格中的簿册名之后跟的数字为该簿册下的不同卷,可以根据情况使用,而在使用批量下载脚本时,则使用其中一条链接即可
链接:1.对于大陆:sourcepoint.lanzoue.com/iE5MR3ulx1ed 密码:b1bs
2.对于其他地区:docs.google.com/sprea...38;sd=true
二,国立公文图书馆批量下载脚本
又花了一些时间,写了一个针对批量下载需求的脚本,在复制簿册其中一卷的链接后(一个或多个不同簿册)脚本会开始自动遍历簿册下的每一卷,之后批量下载簿册下的所有卷至脚本同目录文件夹内。
若是.PDF文件则下载后以簿册名命名文件夹,子目录中的.PDF文件全部使用每一卷的不同名称对文件进行命名,若是.JPEG或.JP2(.JPEG2000)则下载后除了会出现簿册文件夹外,子文件夹会以每一卷的名称命名,分卷存储。
网站存在100页最大选取限制,脚本会分批下载后进行合并
根据网络和计算机性能不同,脚本的表现也会不同
其他详细介绍和依赖情况可以见Github
脚本链接:github.com/Sourc...l-Archives
代码若有不完善,还望大家多多海涵,联系邮箱:jssdfccd@163.com
赤霄游客非常感谢分享辛苦劳动的成果。个人的看法,国外馆可以这样直接贴元数据出来,国内馆不建议这样,怕哪天抓崩了,还有就是不断改版增加难度。
开开心心游客@Gravity #215848
能否出一个韩国国立图书的下载方式
野草游客脚本亲测好用
Gravity游客
岭南散人游客谢谢
Gravity游客@赤霄 #215850
小馆不爬,但是我觉得大馆应该没什么问题,正在筹划国图的内容
赤霄游客@Gravity #215938
我也在下载些国图的数据,不是图书馆玻璃心,是这种整库链接放出来,爬的人数就疯长,他们会非常快改版,之前bookget改成只支持下载单本就是实在不想更新了。
赤霄游客@Gravity #215938
大馆也改版啊,最夸张的是古籍智慧服务平台,一个月改四五版。
Gravity游客@赤霄 #215944
我研究下,实在不行先搞个脚本吧
未曾管理员@Gravity #215848
你这个JP2是下载的JPG转换的JP2格式吗,好像不是下载的官方的JP2文件
官方的JP2清晰度更高(原大),其JPG很多情况下限制在3000像素- 作者帖子
正在查看 11 个帖子:1-11 (共 11 个帖子)
正在查看 11 个帖子:1-11 (共 11 个帖子)
正在查看 11 个帖子:1-11 (共 11 个帖子)


