《深入理解Nginx（第2版）》

内容简介

本书致力于说明开发Nginx模块的必备知识，第1版发行以后，深受广大读者的喜爱．然而由于Ng,nx功能繁多且性能强大，以致必须了解的基本技能也很庞杂，而第1版成书匆忙，缺失了几个进阶的技巧描述，因此第2版在此基础上进行了完善。

书中首先通过介绍官方Nginx的基本用法和配置规则，帮助读者了解一般Nginx模块的用法，然后重点介绍了女口何开发HTTP模块(含HTTP过滤模块)来得到定制化的Nginx，其中包括开发—个功能复杂的模块所需要了解的各种知识，并对内存池的实现细节及TCP协议进行了详细介绍；接着，综合Nginx框架代码分析了Nginx架构的设计理念和技巧，此外，还新增了如何在模块中支持HTTP变量，以及与slab共享内存等相关的内容，相信通过完善，可进一步帮助读者更好地开发出功能丰富、性能—流的Nginx模块。

作者简介

陶辉，毕业于西安交通大学计算机科学与技术专业，曾就职于华为中央软件部、腾讯QQ空间、思科中国CRDC等公司，目前在阿里巴巴云计算公司的飞天团队工作，研究方向为介于Iaas和Paas间的弹性计算，多年以来专注于Nginx的定制化应用，对Nginx的设计与特性有深刻认识，实战经验丰富，编写过许多优秀的Nginx模块并应用于企业级产品中，同时撰写了大量关于Nginx的技术文章。擅长Linux下高性能服务器的开发，以及分布式环境下海量数据存储的设计开发。

第一部分　Nginx能帮我们做什么
第1章　研究Nginx前的准备工作2
1.1　Nginx是什么2
1.2　为什么选择Nginx5
1.3　准备工作7
1.3.1　Linux操作系统7
1.3.2　使用Nginx的必备软件7
1.3.3　磁盘目录8
1.3.4　Linux内核参数的优化9
1.3.5　获取Nginx源码10
1.4　编译安装Nginx11
1.5　configure详解11
1.5.1　configure的命令参数11
1.5.2　configure执行流程18
1.5.3　configure生成的文件21
1.6　Nginx的命令行控制23
1.7　小结27
第2章　Nginx的配置28
2.1　运行中的Nginx进程间的关系28
2.2　Nginx配置的通用语法31
2.2.1　块配置项31
2.2.2　配置项的语法格式32
2.2.3　配置项的注释33
2.2.4　配置项的单位33
2.2.5　在配置中使用变量33
2.3　Nginx服务的基本配置34
2.3.1　用于调试进程和定位问题的配置项34
2.3.2　正常运行的配置项36
2.3.3　优化性能的配置项37
2.3.4　事件类配置项39
2.4　用HTTP核心模块配置一个静态Web服务器40
2.4.1　虚拟主机与请求的分发41
2.4.2　文件路径的定义45
2.4.3　内存及磁盘资源的分配47
2.4.4　网络连接的设置49
2.4.5　MIME类型的设置52
2.4.6　对客户端请求的限制53
2.4.7　文件操作的优化54
2.4.8　对客户端请求的特殊处理56
2.4.9　ngx_http_core_module模块提供的变量57
2.5　用HTTPproxymodule配置一个反向代理服务器59
2.5.1　负载均衡的基本配置61
2.5.2　反向代理的基本配置63
2.6　小结66
第二部分　如何编写HTTP模块
第3章　开发一个简单的HTTP模块68
3.1　如何调用HTTP模块68
3.2　准备工作70
3.2.1　整型的封装71
3.2.2　ngx_str_t数据结构71
3.2.3　ngx_list_t数据结构71
3.2.4　ngx_table_elt_t数据结构75
3.2.5　ngx_buf_t数据结构75
3.2.6　ngx_chain_t数据结构77
3.3　如何将自己的HTTP模块编译进Nginx77
3.3.1　config文件的写法77
3.3.2　利用configure脚本将定制的模块加入到Nginx中78
3.3.3　直接修改Makefile文件81
3.4　HTTP模块的数据结构82
3.5　定义自己的HTTP模块86
3.6　处理用户请求89
3.6.1　处理方法的返回值89
3.6.2　获取URI和参数92
3.6.3　获取HTTP头部94
3.6.4　获取HTTP包体97
3.7　发送响应99
3.7.1　发送HTTP头部99
3.7.2　将内存中的字符串作为包体发送101
3.7.3　经典的“HelloWorld”示例102
3.8　将磁盘文件作为包体发送103
3.8.1　如何发送磁盘中的文件104
3.8.2　清理文件句柄106
3.8.3　支持用户多线程下载和断点续传107
3.9　用C++语言编写HTTP模块108
3.9.1　编译方式的修改108
3.9.2　程序中的符号转换109
3.10　小结110
第4章　配置、error日志和请求上下文111
4.1　http配置项的使用场景111
4.2　怎样使用http配置113
4.2.1　分配用于保存配置参数的数据结构113
4.2.2　设定配置项的解析方式115
4.2.3　使用14种预设方法解析配置项121
4.2.4　自定义配置项处理方法131
4.2.5　合并配置项133
4.3　HTTP配置模型135
4.3.1　解析HTTP配置的流程136
4.3.2　HTTP配置模型的内存布局139
4.3.3　如何合并配置项142
4.3.4　预设配置项处理方法的工作原理144
4.4　error日志的用法145
4.5　请求的上下文149
4.5.1　上下文与全异步Web服务器的关系149
4.5.2　如何使用HTTP上下文151
4.5.3　HTTP框架如何维护上下文结构152
4.6　小结153
第5章　访问第三方服务154
5.1　upstream的使用方式155
5.1.1　ngx_http_upstream_t结构体158
5.1.2　设置upstream的限制性参数159
5.1.3　设置需要访问的第三方服务器地址160
5.1.4　设置回调方法161
5.1.5　如何启动upstream机制161
5.2　回调方法的执行场景162
5.2.1　create_request回调方法162
5.2.2　reinit_request回调方法164
5.2.3　finalize_request回调方法165
5.2.4　process_header回调方法165
5.2.5　rewrite_redirect回调方法167
5.2.6　input_filter_init与input_filter回调方法167
5.3　使用upstream的示例168
5.3.1　upstream的各种配置参数168
5.3.2　请求上下文170
5.3.3　在create_request方法中构造请求170
5.3.4　在process_header方法中解析包头171
5.3.5　在finalize_request方法中释放资源175
5.3.6　在ngx_http_mytest_handler方法中启动upstream175
5.4　subrequest的使用方式177
5.4.1　配置子请求的处理方式177
5.4.2　实现子请求处理完毕时的回调方法178
5.4.3　处理父请求被重新激活后的回调方法179
5.4.4　启动subrequest子请求179
5.5　subrequest执行过程中的主要场景180
5.5.1　如何启动subrequest180
5.5.2　如何转发多个子请求的响应包体182
5.5.3　子请求如何激活父请求185
5.6　subrequest使用的例子187
5.6.1　配置文件中子请求的设置187
5.6.2　请求上下文188
5.6.3　子请求结束时的处理方法188
5.6.4　父请求的回调方法189
5.6.5　启动subrequest190
5.7　小结191
第6章　开发一个简单的HTTP过滤模块192
6.1　过滤模块的意义192
6.2　过滤模块的调用顺序193
6.2.1　过滤链表是如何构成的194
6.2.2　过滤链表的顺序196
6.2.3　官方默认HTTP过滤模块的功能简介197
6.3　HTTP过滤模块的开发步骤198
6.4　HTTP过滤模块的简单例子200
6.4.1　如何编写config文件201
6.4.2　配置项和上下文201
6.4.3　定义HTTP过滤模块203
6.4.4　初始化HTTP过滤模块204
6.4.5　处理请求中的HTTP头部204
6.4.6　处理请求中的HTTP包体206
6.5　小结206
第7章　Nginx提供的高级数据结构207
7.1　Nginx提供的高级数据结构概述207
7.2　ngx_queue_t双向链表209
7.2.1　为什么设计ngx_queue_t双向链表209
7.2.2　双向链表的使用方法209
7.2.3　使用双向链表排序的例子212
7.2.4　双向链表是如何实现的213
7.3　ngx_array_t动态数组215
7.3.1　为什么设计ngx_array_t动态数组215
7.3.2　动态数组的使用方法215
7.3.3　使用动态数组的例子217
7.3.4　动态数组的扩容方式218
7.4　ngx_list_t单向链表219
7.5　ngx_rbtree_t红黑树219
7.5.1　为什么设计ngx_rbtree_t红黑树219
7.5.2　红黑树的特性220
7.5.3　红黑树的使用方法222
7.5.4　使用红黑树的简单例子225
7.5.5　如何自定义添加成员方法226
7.6　ngx_radix_tree_t基数树228
7.6.1　ngx_radix_tree_t基数树的原理228
7.6.2　基数树的使用方法230
7.6.3　使用基数树的例子231
7.7　支持通配符的散列表232
7.7.1　ngx_hash_t基本散列表232
7.7.2　支持通配符的散列表235
7.7.3　带通配符散列表的使用例子241
7.8　小结245
第三部分　深入Nginx
第8章　Nginx基础架构248
8.1　Web服务器设计中的关键约束249
8.2　Nginx的架构设计251
8.2.1　优秀的模块化设计251
8.2.2　事件驱动架构254
8.2.3　请求的多阶段异步处理256
8.2.4　管理进程、多工作进程设计259
8.2.5　平台无关的代码实现259
8.2.6　内存池的设计259
8.2.7　使用统一管道过滤器模式的HTTP过滤模块260
8.2.8　其他一些用户模块260
8.3　Nginx框架中的核心结构体ngx_cycle_t260
8.3.1　ngx_listening_t结构体261
8.3.2　ngx_cycle_t结构体262
8.3.3　ngx_cycle_t支持的方法264
8.4　Nginx启动时框架的处理流程266
8.5　worker进程是如何工作的269
8.6　master进程是如何工作的271
8.7　ngx_pool_t内存池276
8.8　小结284
第9章　事件模块285
9.1　事件处理框架概述286
9.2　Nginx事件的定义288
9.3　Nginx连接的定义291
9.3.1　被动连接292
9.3.2　主动连接295
9.3.3　ngx_connection_t连接池296
9.4　ngx_events_module核心模块297
9.4.1　如何管理所有事件模块的配置项299
9.4.2　管理事件模块300
9.5　ngx_event_core_module事件模块302
9.6　epoll事件驱动模块308
9.6.1　epoll的原理和用法308
9.6.2　如何使用epoll310
9.6.3　ngx_epoll_module模块的实现312
9.7　定时器事件320
9.7.1　缓存时间的管理320
9.7.2　缓存时间的精度323
9.7.3　定时器的实现323
9.8　事件驱动框架的处理流程324
9.8.1　如何建立新连接325
9.8.2　如何解决“惊群”问题327
9.8.3　如何实现负载均衡329
9.8.4　post事件队列330
9.8.5　ngx_process_events_and_timers流程331
9.9　文件的异步I/O334
9.9.1　Linux内核提供的文件异步I/O335
9.9.2　ngx_epoll_module模块中实现的针对文件的异步I/O337
9.10　TCP协议与Nginx342
9.11　小结347
第10章　HTTP框架的初始化348
10.1　HTTP框架概述349
10.2　管理HTTP模块的配置项352
10.2.1　管理main级别下的配置项353
10.2.2　管理server级别下的配置项355
10.2.3　管理location级别下的配置项358
10.2.4　不同级别配置项的合并364
10.3　监听端口的管理367
10.4　server的快速检索370
10.5　location的快速检索370
10.6　HTTP请求的11个处理阶段372
10.6.1　HTTP处理阶段的普适规则374
10.6.2　NGX_HTTP_POST_READ_PHASE阶段375
10.6.3　NGX_HTTP_SERVER_REWRITE_PHASE阶段378
10.6.4　NGX_HTTP_FIND_CONFIG_PHASE阶段378
10.6.5　NGX_HTTP_REWRITE_PHASE阶段378
10.6.6　NGX_HTTP_POST_REWRITE_PHASE阶段379
10.6.7　NGX_HTTP_PREACCESS_PHASE阶段379
10.6.8　NGX_HTTP_ACCESS_PHASE阶段379
10.6.9　NGX_HTTP_POST_ACCESS_PHASE阶段380
10.6.10　NGX_HTTP_TRY_FILES_PHASE阶段380
10.6.11　NGX_HTTP_CONTENT_PHASE阶段380
10.6.12　NGX_HTTP_LOG_PHASE阶段382
10.7　HTTP框架的初始化流程382
10.8　小结384
第11章　HTTP框架的执行流程385
11.1　HTTP框架执行流程概述386
11.2　新连接建立时的行为387
11.3　第一次可读事件的处理388
11.4　接收HTTP请求行394
11.5　接收HTTP头部398
11.6　处理HTTP请求400
11.6.1　ngx_http_core_generic_phase406
11.6.2　ngx_http_core_rewrite_phase408
11.6.3　ngx_http_core_access_phase409
11.6.4　ngx_http_core_content_phase412
11.7　subrequest与post请求415
11.8　处理HTTP包体417
11.8.1　接收包体419
11.8.2　放弃接收包体425
11.9　发送HTTP响应429
11.9.1　ngx_http_send_header430
11.9.2　ngx_http_output_filter432
11.9.3　ngx_http_writer435
11.10　结束HTTP请求437
11.10.1　ngx_http_close_connection438
11.10.2　ngx_http_free_request439
11.10.3　ngx_http_close_request440
11.10.4　ngx_http_finalize_connection441
11.10.5　ngx_http_terminate_request443
11.10.6　ngx_http_finalize_request443
11.11　小结446
第12章　upstream机制的设计与实现447
12.1　upstream机制概述448
12.1.1　设计目的448
12.1.2　ngx_http_upstream_t数据结构的意义450
12.1.3　ngx_http_upstream_conf_t配置结构体453
12.2　启动upstream455
12.3　与上游服务器建立连接457
12.4　发送请求到上游服务器460
12.5　接收上游服务器的响应头部463
12.5.1　应用层协议的两段划分方式463
12.5.2　处理包体的3种方式464
12.5.3　接收响应头部的流程465
12.6　不转发响应时的处理流程469
12.6.1　input_filter方法的设计469
12.6.2　默认的input_filter方法470
12.6.3　接收包体的流程472
12.7　以下游网速优先来转发响应473
12.7.1　转发响应的包头474
12.7.2　转发响应的包体477
12.8　以上游网速优先来转发响应481
12.8.1　ngx_event_pipe_t结构体的意义481
12.8.2　转发响应的包头485
12.8.3　转发响应的包体487
12.8.4　ngx_event_pipe_read_upstream方法489
12.8.5　ngx_event_pipe_write_to_downstream方法494
12.9　结束upstream请求496
12.10　小结499
第13章　邮件代理模块500
13.1　邮件代理服务器的功能500
13.2　邮件模块的处理框架503
13.2.1　一个请求的8个独立处理阶段503
13.2.2　邮件类模块的定义504
13.2.3　邮件框架的初始化506
13.3　初始化请求506
13.3.1　描述邮件请求的ngx_mail_session_t结构体506
13.3.2　初始化邮件请求的流程509
13.4　接收并解析客户端请求509
13.5　邮件认证510
13.5.1　ngx_mail_auth_http_ctx_t结构体510
13.5.2　与认证服务器建立连接511
13.5.3　发送请求到认证服务器513
13.5.4　接收并解析响应514
13.6　与上游邮件服务器间的认证交互514
13.6.1　ngx_mail_proxy_ctx_t结构体516
13.6.2　向上游邮件服务器发起连接516
13.6.3　与邮件服务器认证交互的过程518
13.7　透传上游邮件服务器与客户端间的流520
13.8　小结524
第14章　进程间的通信机制525
14.1　概述525
14.2　共享内存526
14.3　原子操作530
14.3.1　不支持原子库下的原子操作530
14.3.2　x86架构下的原子操作531
14.3.3　自旋锁533
14.4　Nginx频道535
14.5　信号538
14.6　信号量540
14.7　文件锁541
14.8　互斥锁544
14.8.1　文件锁实现的ngx_shmtx_t锁546
14.8.2　原子变量实现的ngx_shmtx_t锁548
14.9　小结553
第15章　变量554
15.1　使用内部变量开发模块555
15.1.1　定义模块556
15.1.2　定义http模块加载方式557
15.1.3　解析配置中的变量558
15.1.4　处理请求560
15.2　内部变量工作原理561
15.2.1　何时定义变量561
15.2.2　相关数据结构详述564
15.2.3　定义变量的方法572
15.2.4　使用变量的方法572
15.2.5　如何解析变量573
15.3　定义内部变量576
15.4　外部变量与脚本引擎577
15.4.1　相关数据结构578
15.4.2　编译“set”脚本581
15.4.3　脚本执行流程586
15.5　小结589
第16章　slab共享内存590
16.1　操作slab共享内存的方法590
16.2　使用slab共享内存池的例子592
16.2.1　共享内存中的数据结构593
16.2.2　操作共享内存中的红黑树与链表595
16.2.3　解析配置文件600
16.2.4　定义模块603
16.3　slab内存管理的实现原理605
16.3.1　内存结构布局607
16.3.2　分配内存流程613
16.3.3　释放内存流程617
16.3.4　如何使用位操作619
16.3.5　slab内存池间的管理624
16.4　小结624