AI公司“旧书数字化”:技术狂飙下的版权与伦理困局
近期,多家AI公司被曝通过中间商大规模收购2022年前出版的旧书,扫描数字化后用于模型训练,随后销毁实体书。这一现象的核心,是AI行业深陷“数据墙”危机,而2022年前的旧书因全由人类创作、经专业审校,被视为规避“模型崩溃”的“纯净语料”。
AI模型训练虽需海量数据,但质量远比数量关键。随着生成式AI普及,互联网充斥AI生成的低质内容,若模型持续用这类数据训练,错误与偏差会不断放大,最终引发“模型崩溃”,导致输出质量持续退化。相较之下,ChatGPT问世前的旧书,是天然避开AI毒化的优质语料,也因此被称作“纯净训练素材”。
具体操作上,AI公司多通过ISBNdb等平台匿名采购,单笔采购量从1000本到100万本不等,且对价格不敏感。为降本提效,普遍采用“破坏性扫描”:用液压切割机切掉书脊,将散页送入高速扫描仪提取内容后,直接销毁实体书。有书商透露,其销量较此前增长约5倍,足见采购规模之大。
这一做法引发多重争议。法律层面,美国法院曾裁定合法购买的实体书用于AI训练属“合理使用”,但AI公司使用盗版数据库也面临巨额罚款,如Anthropic因保存700万本盗版图书数据库,被判赔偿15亿美元。伦理层面,稀有绝版书与古籍可能被无差别销毁,造成不可逆的文化遗产损失;扫描后的数字内容进入AI公司私有数据库,仅供模型训练,普通公众无法获取,实质是将公共知识私有化,阻碍知识共享。
以Anthropic的“巴拿马项目”为例,其斥资数千万美元购书,建立销毁式扫描流水线,试图借“首次销售原则”和“合理使用”规避版权风险,却因行为隐蔽性暴露了道德悖论——即便知晓行为欠妥,仍为商业目标推进。这种模式虽披着法律外衣,却触碰了文化保护底线。
不过,行业已现反思与转变。马斯克明确要求团队采用无损扫描,保护珍贵书籍;OpenAI、微软与哈佛图书馆合作,对公版书数字化时妥善保存实体。同时,全球监管逐步收紧,中国启动专项治理,欧盟AI法案要求披露训练数据版权状态,倒逼企业合规。
这场围绕旧书的博弈,是技术狂奔与伦理底线的碰撞。未来,随着监管完善、无损扫描等合规技术普及,这种破坏性的“数字焚书”大概率会被更具伦理温度的方式取代,AI发展也需在技术突破与文化守护间寻得平衡。
内容来自 简书首页,版权归原作者所有。
阅读原文 ↗