游客们观测到了小球飞鱼在水面上游玩的讯息。

首先,这是我的叠甲部分

AO3本身支持离线下载,作品页面开放 Download 按钮。官方 FAQ 也明确说明,可以下载作品供离线访问。但在中文环境下,一部分作者非常在意读者私下保存 Ta 的作品,如果作者有这方面的明确提及,请作者意愿为先,务必尊重作者要求,并无论如何,拒绝二次传播。
本文的讨论范畴仅限于个人离线阅读和书库管理。

以及,AO3的相关政策和机制

在AO3的服务条款常见问题解答中,AO3对robots和爬虫做了明确规定

Do you have a policy on bots or scraping? These are ways of extracting information from or indexing websites.

The use of bots or scraping for spam, commercial promotion, or other purposes that violate our policies is forbidden. This includes scraping AO3 for the purposes of obtaining material for commercial generative AI or creating an app that hosts or paywalls AO3 content.

The use of bots or scraping for purposes that do not violate our policies is generally allowed. However, we reserve the right to implement robots.txt or other protocols limiting what bots can do, or to notify you and ask you to discontinue if a bot or scraping program is causing problems for the site. At our discretion, we may also ban specific bots or other programs from accessing AO3.

你们对机器人或网络爬虫有相关政策吗?这些是从网站提取信息或建立索引的方法。

禁止使用机器人或网络爬虫进行垃圾邮件、商业推广或其他违反我们政策的行为。这包括为了获取用于商业生成式人工智能的素材而抓取AO3的内容,或创建托管或付费访问AO3内容的应用程序。

一般而言,我们允许出于不违反我们政策的目的使用机器人或网络爬虫。但是,如果机器人或网络爬虫程序对网站造成问题,我们保留实施 robots.txt 或其他协议来限制机器人权限的权利,或通知您并要求您停止使用。我们亦可酌情禁止特定机器​​人或其他程序访问AO3。

而在技术层面上,AO3也对自动化访问进行了限制,比如在2025年10月的董事会会议纪要中提到,已经引入了新的 Cloudflare 工具来防止批量机器人爬取内容。以及从AO3的开源代码中也可以看到,AO3加入了根据 IP 的限流代码:默认限制 300 秒内 300 次请求,不过,根据 FanficReadeR 作者的经验,AO3实际使用的限流阈值远低于此,大概要降速到每5.5秒一个请求才能持续运行。

那么,如何批量存档AO3的 Bookmark?

为什么是 Bookmark

因为从代码层面上,AO3不支持获取“我点过 kudos 的作品列表”。首先,AO3不提供面向第三方和个人开发者的 API 供工具请求作品列表,其次,这也是官方的一种设计考虑,一个2014年的 comment 提到,个人 kudos 列表会造成服务器的负载压力,并对后续维护的扩展性造成影响。虽然距离这个 comment 已经过了12年,但考虑到AO3的体量问题,这个决定应该也不会改变。

当然我们也可以用笨办法,AO3提供了单个作品的 kudos 用户列表,我们可以在一批已知的作品(比如history)里逐个检索,但考虑到限流问题,笨办法显然是太笨了,我们还是放弃吧。

批量存档需要借助的工具

厘清了上述问题之后,剩下的事情其实很简单,写一段代码批量获取 Bookmark 中的作品信息,之后借助自动化工具进行下载即可。在这个过程中,我希望尽量好维护、易检索、减少对AO3服务器增加的负担,同时保证速度。太好了,前人已经造好了轮子,感谢伟大的互联网。

我用到的工具是:

  • Calibre:本地电子书管理软件,负责保存、分类、阅读和转换电子书。
  • FanFicFare:Calibre 插件,开源的作品下载工具,支持超过100个网站,可以将AO3页面整理成电子书。

使用 FanFicFare 的好处是,接入 Calibre 可以非常方便地维护电子书元数据,它不使用AO3自带的 Download 功能制作电子书,一定程度上降低了网站服务器压力,同时,针对连载作品的后续更新做了优化,目前仍然在频繁维护阶段。

如何使用插件

用户配置

下载 Caliber 和插件过程按下不表,下载插件并重启 Caliber 之后,需要先打开配置选项卡的 personal 页面,编辑 personal.ini,我使用的配置是:


[defaults]
# 是否移除章节标题开头的原有编号
strip_chapter_numbers: false

# 是否在章节标题前添加统一编号
# 若保留原有编号并开启此项,可能出现两套编号
add_chapter_numbers: true

[epub]
# 是否下载正文和简介中的图片
include_images: true

# 是否保留简介中的 HTML 排版,如分段、斜体和链接
keep_summary_html: true

# 没有专门封面时,是否自动把第一张图片设为封面
make_firstimage_cover: false

[archiveofourown.org]
# 是否确认自己达到访问相关成人内容的年龄要求
# 此项不能代替账号登录
is_adult: true

# AO3登录用户名和密码:需要登录时填写,并删除行首的 #
# 不需要添加引号;请勿公开分享填写后的配置
#username: 你的AO3用户名
#password: 你的AO3密码

注意, personal.ini 根据分区来读取对应功能配置,补充配置时需要写入对应分区。

保存配置之后,可以找一篇作品试下载,确定账号密码等配置正确(主要针对登录后才能查看的作品)和网络流畅。下载完成后,Calibre 右下方会弹出对话框,显示下载日志,询问是否更新书库,这时候需要点击“是”才能正常汇入书库。

正确的作品链接格式类似于:

https://archiveofourown.org/works/作品编号

利用 BrowserCache 功能解决网络问题

正常情况下,FanFicFare 自己向AO3请求页面,再整理成电子书。但有时候,浏览器能正常打开作品,插件却会遇到 525 等连接错误,无法直接获取页面,这个时候,插件提供了 BrowerCache 功能,简单来说,就是通过浏览器的本地缓存来读取作品内容。

以 macOS 的 Chrome 为例,先在地址栏输入:

chrome://version

找到“个人资料路径”,比如缓存路径是:

/Users/你的系统用户名/Library/Caches/Google/Chrome/Profile 1/Cache/Cache_Data

在 personal.ini 中追加相关配置:

[defaults]
# 浏览器缓存目录,需要改成自己电脑上的实际路径
# 此参数只能放在 [defaults] 分区
browser_cache_path: /Users/你的系统用户名/Library/Caches/Google/Chrome/Profile 1/Cache/Cache_Data

# 接受多少小时以内的缓存;4.0 表示最近 4 小时
browser_cache_age_limit: 4.0

[archiveofourown.org]
# 尝试从浏览器缓存中读取页面
use_browser_cache: true

# 找不到缓存时,不回退到普通的直接网络请求
use_browser_cache_only: true

# 缓存缺失时,尝试用系统默认浏览器打开相应页面
open_pages_in_browser: true

之后,插件在执行下载时,会自动通过浏览器打开对应作品的章节列表和全文页面,这里建议再在配置中加入自动打开多章节作品全文,或者在AO3网站配置中设置自动加载作品全文:

[archiveofourown.org]
# 多章节作品是否尝试读取全文页面,而不是逐章读取
# 默认已开启;结合浏览器缓存功能,缺少全文缓存时可尝试打开全文页面
use_view_full_work: true

注意:插件自动打开作品页面的时候,请不要动浏览器,更不要关闭页面,否则容易出现下载错误。

从 Bookmark 页面收集链接

单篇测试成功之后,就可以处理书签列表了。

先在浏览器中登录AO3,打开自己的 Bookmarks,复制 Bookmark 网址,然后选择:FanFicFare → Get Story URLs from Web Page,插件会提取书签页中的作品链接,自动加入下载列表中。需要注意的是,FanFicFare 不会自动遍历全部书签,如果书签有多页,需要分别提交不同分页的链接。

正确的 Bookmark 网址类似于:

https://archiveofourown.org/users/你的用户名/bookmarks
https://archiveofourown.org/users/你的用户名/bookmarks?page=3

书签里也可能包含系列、站外作品,或者已经删除、无权访问的作品。因此,书签条目数量不一定等于最终能够下载的单篇作品数量。

针对仍在更新的作品

FanFicFare 作者明确不建议批量检查整个书库的更新:即使只有一篇文章需要更新,检查本身仍然会产生大量请求。更推荐的方式是通过AO3的订阅邮件获知更新,再只更新对应作品。

其实也可以不只是 Bookmark

FanFicFare 的“从网页获取作品链接”不只适用于 Bookmarks,也可以提取作者作品列表等页面中的作品链接。

列表 示例网址 说明
作者作品 https://archiveofourown.org/users/用户名/works 提取当前页的作品
某个笔名的作品 https://archiveofourown.org/users/用户名/pseuds/笔名/works 只获取该笔名下的作品
系列 https://archiveofourown.org/series/系列编号 可以获取系列中的作品
标签下的作品 标签页面中的 /works 地址 可以提取当前页链接
搜索或筛选结果 搜索结果页的网址 可以提取当前页链接
收藏集作品 https://archiveofourown.org/collections/收藏集名/works 可以提取当前页链接

最后

让我们充满感激地赞颂伟大的AO3,这同人女流淌着奶与蜜的圣地,谢谢你赐予我们恒久的热情、宁静和持续维护,阿门!

Yes, you can! Archive of Our Own (AO3) automatically formats the work page for printing. Please note that printer-friendly formatting will remove both the default site skin and any custom skins. Different devices and browsers may have different steps for printing from a web page. Please reference the help documentation for your device or browser for more detailed instructions.

需要注意的是,这里限制的是请求次数,不是作品数量。下载一篇作品可能需要读取目录、元数据和多个章节。

❤️ 本文点赞 · 🔁 / ⭐ by Fediverse

内容来自 小球飞鱼,版权归原作者所有。

阅读原文 ↗

把喜欢的内容,留在你的新标签页。

打开我的订阅