50年的经典:为什么 Linux 选择 Fork?
本文来自微信公众号: 宇众不同的露萱 ,作者:宇众不同的露萱,原文标题:《50年的经典:为什么 Linux 选择 Fork?》
你有没有想过一个极其反直觉的问题:
在Windows上创建一个新进程,系统会极其严谨地要求你传入程序路径、环境变量、参数列表,一步到位。
而在Linux里,如果你想运行一个新的程序,操作系统强制你必须先做一个极度荒谬的动作——
把当前正在运行的进程,原封不动地完整克隆一份。
复制内存、复制文件描述符、复制执行状态。然后再用新的程序,把这个刚刚克隆出来的自己“砸掉”。
这听起来就像为了换一身新衣服,先克隆出一个一模一样的克隆人,然后再把克隆人的脑子抹掉,穿上新衣服。
这种看起来极其笨拙、极其浪费资源的设计,叫fork()。
那么真正的问题来了:
为什么这样一个违反直觉、被无数后人嘲笑“低效”的设计,能让Linux和Unix统治现代服务器几十年?
事情要回到上世纪60年代末的贝尔实验室。
当时Dennis Ritchie和Ken Thompson正埋头在一台极其破旧的PDP-7计算机上写Unix的雏形。
在那个年代,内存贵到以KB计算,CPU慢到让人发疯。
如果你是当年的Ken Thompson,你要面对一个极其现实的工程难题:
操作系统怎么才能优雅地创建一个新进程?
当时的主流操作系统(比如IBM的大厂系统)做法非常自然:
提供一个叫CreateProcess或者类似功能的超级API。
你想启动一个程序?请你一次性告诉操作系统:
这个程序的代码在哪?
它需要多少内存?
它的输入输出要重定向到哪个文件?
它的权限是什么?
它的环境变量有哪些?
参数列表是什么?
看到这里,你可能觉得:这不是很合理吗?条理清晰,一步到位。
但如果你真的在几十年前去写这个API,你就会发现自己踩进了一个万劫不复的深坑。
这个看起来很合理的API,很快就展示出了它的狰狞面目:它太笨重了。
因为“创建一个进程”这件事,包含的控制变量实在太多了。
如果今天用户想重定向一下输入输出(把标准输出写进文件),你需要给这个API加两个参数;
如果明天用户想改变新进程的运行权限,你需要再加两个参数;
如果后天又想指定优先级、信号掩码、环境变量……
这个API会迅速膨胀成一个拥有十几甚至几十个参数的“怪兽”。
更糟糕的是:它把“创建进程”和“配置进程”这两件事,死死地绑在了一起。
在Unix诞生前,你每想对新进程做一点微小的配置调整,都必须去修改那个无比庞大的操作系统调用。
这种设计极其僵硬,没有任何组合的余地。
直到Ken Thompson做出了一个极其反常识的决定:
为什么不把“创建进程”和“配置进程”彻底分开?
Ken Thompson的思路简单到了极致,也狂妄到了极致:
第一步:fork()。
不接收任何关于新程序的参数,只做一件事——把当前进程做一次细胞分裂。
第二步:配置环境。
子进程诞生了,但它现在还是父进程的镜像。
这时候,子进程还在执行你写的代码!你可以用十几行极其简单的普通代码,去自由地修改文件重定向、改权限、改环境变量。
你不需要求操作系统给你提供任何复杂的参数接口。
第三步:exec()。
配置完了一切之后,子进程调用exec(),把新程序的代码装载进来,覆盖掉自己。
看明白这个设计的精妙之处了吗?
原本极其复杂的“创建+配置+启动”大一统接口,被巧妙地拆成了:
创建(Fork)➔配置(自定义代码)➔替换(Exec)
如果故事到这里就结束了,它不过是个优雅的编程技巧。
但真正让这个方案改变世界的,是它付出的巨大代价,以及人们如何去弥补这个代价。
天下没有免费的午餐。
fork()最大的原罪,就是性能与资源消耗。
如果你现在的进程占用了10GB内存,fork()一下,难道操作系统真的要在内存里硬生生复制10GB的数据?
在PDP-7时代,内存只有几十KB,复制一次尚且让人心疼;
到了互联网时代,面对海量并发,如果每一次fork()都实打实地复制内存,操作系统会瞬间被拉垮。
很多后来的操作系统研究者(比如Windows的设计者们)无数次以此攻击Unix/Linux:
“看啊,这种把克隆和替换分开的设计,根本就是个低效的错误!”
但是,Linux并没有放弃fork()。
相反,Linus Torvalds和一代代Linux内核开发者们,给出了一个堪称计算机史上最优雅的妥协方案:
写时复制(Copy-On-Write,简称COW)。
当子进程被fork()出来的那一刻,内核根本不去复制任何物理内存!
它只是把父进程的页表复制了一份,并把所有的内存页统统标记为“只读”。
父子进程共享同一份物理内存。
直到某一个进程试图去修改这块内存时,硬件CPU才会触发一个中断,内核这时候才默默地把需要修改的那一页数据,复制一份给它。
如果子进程fork()出来以后立刻调用exec()替换掉了自己?
那太好了,物理内存连一页都不需要复制。
fork()的开销,直接被压缩到了近乎为零。
行业最后接受了这种妥协。
因为大家发现:这种“先假装复制,需要时再复制”的惰性思想,不仅挽救了fork(),还顺手开启了一个全新的计算时代。
你有没有想过,为什么Redis这个跑在大规模生产环境下的高并发内存数据库,在做RDB内存快照时,依然会毫不犹豫地调用fork()?
因为当Redis fork()出一个子进程时,借助“写时复制”,子进程瞬间拥有了那一刻全量内存的“冻结快照”。
主进程可以继续毫无阻碍地处理用户的写请求(触发COW复制新页),而子进程可以安心地把这份快照写入磁盘。
没有复杂的锁,没有低效的内存拷贝。
这就是fork()带来的极致工程美学:
它用极其残忍的权衡,换来了极简的抽象与极致的组合能力。
如果今天重新审视这个五十年前的技术选择,你会发现,我们今天引以为傲的很多“现代化”技术,依然深深地植根于这个思想。
在Docker与容器技术里:
为什么Docker镜像可以实现分层(Layer)?
为什么创建一个新的Container只需要几百毫秒?
底层用的OverlayFS和容器启动机制,本质上就是“写时复制(COW)”思想在文件系统上的延伸。
镜像层只读,容器层可写,只有当你想修改文件时,才去复制它。
在云计算与Serverless(无服务器计算)里:
当一个Lambda函数需要在一毫秒内冷启动时,今天的云厂商是怎么做的?
他们预先启动一个平庸的VM虚拟机,然后用极速fork()(或者VM Snapshot克隆)的技术,瞬间弹出一个个一模一样的执行实例。
哪些思想依然成立?
“将创建与配置解耦”、“延迟满足(惰性计算)”的工程第一性原理,不仅没有过时,反而随着系统越来越复杂,变得越来越重要。
哪些地方已经开始改变?
在多线程(Multi-threading)和异步编程(Async/Await)统治的今天,fork()也面临着它前所未有的困境。
如果在多线程程序里调用fork(),死锁和锁状态不一致的问题会像恶梦一样缠绕着开发者。
这也是为什么在Go、Rust等现代语言的生态里,人们开始越来越多地使用更轻量、约束更强的posix_spawn()来替代传统的fork()+exec()。
历史从未结束。
但无论技术如何演进,那个从1969年贝尔实验室里走出来的思想——
“不要试图用一个复杂的接口解决所有问题,把它拆开,把它延迟”——
依然在每一个数据中心里,悄无声息地运转着。
内容来自 虎嗅,版权归原作者所有。
阅读原文 ↗