我们在生产中的前端 java tomcat 应用程序中遇到了一个问题。此应用程序接收来自管理 ui rest 调用以及调用这些 rest 端点的其他外部客户的流量。
问题
有两种请求，即基于 GET 的调用和 POST 调用。问题在于，基于非关键 GET 的调用需要更长的时间，从而阻塞服务器并导致应用程序超时。因此，我们现在想要一种基于 URL 和请求方法来分离事务并分离执行的方法，以便慢速事务的延迟不会影响关键事务。
解决方案
我们决定首先识别并分离 nginx 中的关键事务。然后我们在 tomcat 中创建了两个独立的 Executor，它们通过 tomcat 中单独的连接器公开。这使我们能够将关键流量重定向到一个执行器，将非关键流量重定向到另一个执行器。这使我们能够为每个连接器设置不同的acceptorThreadCount值。以及通过具有不同的 minThreads 和 maxThreads 值来控制执行器线程。此更改仅是配置更改，不保证代码中的任何更改。
让我们通过一个小示例应用程序来讨论实现。
nginx.conf 更改
活动{}
http{
上游 front_upstream_ritic{
服务器tomcat：8080；
}
上游 front_upstream_non_ritic {
服务器tomcat：8081；
}
映射 $request_method $upstream {
默认front_upstream_non_ritic；
POST front_upstream_ritic;
}
服务器 {
听9090；
位置〜^ /前端应用程序/ api / v1 / myresource /（关键路径1 |关键路径2 |关键路径3）$ {
proxy_pass_request_body 开启；
proxy_pass_request_headers 开启；
proxy_set_header 主机 $host:8080;
proxy_pass http://$upstream$uri$is_args$args;
proxy_http_版本 1.1；
proxy_set_header 连接“”；
}
位置 ~* /.* {
proxy_pass_request_body 开启；
proxy_pass_request_headers 开启；
proxy_set_header 主机 $host:8081;
proxy_pass http://front_upstream_non_ritic;
proxy_http_版本 1.1；
proxy_set_header 连接“”；
}
}
}
一旦我们完成了两种不同类型的 URL 的拆分，我们将在 tomcat server.xml 中进行更改以添加执行器和连接器。请注意，我们已经为我们要添加的新连接器的应用程序添加了端口 8081。
Tomcat服务器变更
<服务器端口=“8005”关闭=“SHUTDOWN”>
<服务名称=“卡特琳娜”>
<执行器名称=“关键ExecGroup1”namePrefix =“关键ExecGroup-”maxThreads =“50”
minSpareThreads="10"/>
<执行器名称=“nonCriticalExecGroup2”namePrefix=“nonCriticalExecGroup-”maxThreads=“50”
minSpareThreads="10"/>
<连接器端口=“8080”协议=“HTTP/1.1”connectionTimeout=“20000”
重定向端口=“8443”执行者=“riticalExecGroup1”>
</连接器>
<连接器端口=“8081”协议=“HTTP/1.1”connectionTimeout=“20000”
重定向端口=“8443”执行器=“nonCriticalExecGroup2”>
</连接器>
<引擎名称=“Catalina”defaultHost=“localhost”>
<主机名=“localhost”appBase=“webapps”unpackWARs=“true”autoDeploy=“true”/>
</引擎>
</服务>
</服务器>
示例 Docker 撰写文件以及上述更改
版本：'3.8'
服务：
雄猫：
图片：tomcat：9.0.63
端口：
- “8080:8080”
- “8081:8081”
卷：
- ./webapps:/usr/local/tomcat/webapps
- ./conf/server.xml:/usr/local/tomcat/conf/server.xml
网络：
- 应用程序网络
nginx:
图片：nginx：最新
端口：
- “9090:9090”
卷：
- ./nginx/nginx.conf:/etc/nginx/nginx.conf
网络：
- 应用程序网络
网络：
应用程序网络：
司机：桥
请注意，我们将覆盖 tomcat 容器中的 server.xml 和 nginx 容器中的 nginx.conf，并通过上述更改打开我们在 ports 下的 server.xml 中指定的额外端口。
通过这个，我们现在使用相同的前端应用程序，我们能够以这样的方式隔离执行，即非关键慢速事务不会阻塞 tomcat 线程，并且不会影响关键事务流量延迟。
使用上面的 docker compose 使用测试 API 项目运行此程序会得到以下结果。
server.xml 中指定的前缀与线程号一起打印在下面。
2024-06-25 17:05:15 25-Jun-2024 11:35:15.452 INFO [main] org.apache.jasper.servlet.TldScanner.scanJars 至少扫描了一个 JAR 的 TLD，但不包含 TLD。为此记录器启用调试日志记录，以获取已扫描但未在其中找到 TLD 的 JAR 的完整列表。在扫描期间跳过不需要的 JAR 可以缩短启动时间和 JSP 编译时间。 2024-06-25 17:06:08 25-Jun-2024 11:36:07.999 INFO [main] org.apache.catalina.startup.HostConfig.deployWAR Web 应用程序存档的部署 [/usr/local/tomcat/webapps/ group-2.6.4.war] 已在 [103,096] 毫秒内完成 2024-06-25 17:06:08 25-Jun-2024 11:36:08.025 INFO [main] org.apache.coyote.AbstractProtocol.start 启动 ProtocolHandler ["http-nio-8080"] 2024-06-25 17:06:08 25-Jun-2024 11:36:08.038 INFO [main] org.apache.coyote.AbstractProtocol.start 启动 ProtocolHandler ["http-nio-8081"] 2024-06-25 17:06:08 25-Jun-2024 11:36:08.040 INFO [main] org.apache.catalina.startup.Catalina.start 服务器启动时间为 [103243] 毫秒 2024-06-25 17:06:09 2024 年 6 月 25 日 11:36:09.079 信息 [nonCriticalExecGroup-1] com.tomcat.group.GroupApplication$AttachmentsNonMTController.endpoint2 AttachmentsNonMTController 控制器 - 线程：nonCriticalExecGroup-1 2024-06-25 17:06:09 2024 年 6 月 25 日 11:36:09.079 信息 [nonCriticalExecGroup-2] com.tomcat.group.GroupApplication$AttachmentsNonMTController.endpoint2 AttachmentsNonMTController 控制器 - 线程：nonCriticalExecGroup-2
2024-06-25 17:07:59 2024 年 6 月 25 日 11:37:59.146 信息 [riticalExecGroup-3] com.tomcat.group.GroupApplication$MessageRequestsMTController.getMT MessageRequestsMTController 控制器 - 线程：riticExecGroup-3 2024-06-25 17:10:17 2024 年 6 月 25 日 11:40:17.551 信息 [riticalExecGroup-4] com.tomcat.group.GroupApplication$MessageRequestsMTController.getMT MessageRequestsMTController 控制器 - 线程：riticExecGroup-4 2024-06-25 17:10:18 2024 年 6 月 25 日 11:40:18.801 信息 [riticalExecGroup-5] com.tomcat.group.GroupApplication$MessageRequestsMTController.getMT MessageRequestsMTController 控制器 - 线程：riticExecGroup-5 2024-06-25 17:10:19 2024 年 6 月 25 日 11:40:19.428 信息 [riticalExecGroup-6] com.tomcat.group.GroupApplication$MessageRequestsMTController.getMT MessageRequestsMTController 控制器 - 线程：riticExecGroup-6
这种 tomcat 的配置可以用在我们想要将执行划分到不同的线程池的地方。
