本文详细介绍了如何在jenkins中实现一个自动化流程，通过发起http get请求获取html响应。我们将学习如何利用jenkins dsl和groovy脚本解析html内容，提取特定数值，并根据该数值是否超过预设阈值（例如100）来触发邮件通知。这为监控系统状态、服务队列或其他基于html响应的指标提供了强大的自动化预警机制，确保关键事件能够及时通知相关人员。
1. 概述与应用场景
在自动化运维和持续集成/持续交付（CI/CD）流程中，我们经常需要监控外部服务的状态或特定指标。当这些指标达到或超过某个阈值时，需要及时收到通知以便采取行动。本文将聚焦于一个具体的场景：通过Jenkins向一个GET API发送请求，获取其返回的HTML响应，从HTML中提取一个数值，并根据该数值与预设阈值的比较结果，决定是否触发邮件通知。这种机制在以下场景中尤为实用：
- 服务队列监控： 监控消息队列或任务队列的深度，当队列积压超过一定数量时发出预警。
- 系统健康检查： 检查特定API返回的HTML页面中包含的关键指标（如错误计数、连接数），判断系统是否处于健康状态。
- 资源使用率告警： 从定制化的状态页面中提取CPU、内存或磁盘使用率，实现自定义告警。
2. Jenkins环境与插件准备
要实现上述自动化流程，您需要一个运行中的Jenkins实例，并确保安装了以下核心组件或插件：- Jenkins Pipeline： 推荐使用Pipeline（即Jenkinsfile）来定义您的自动化任务，这使得任务定义更具版本控制和可维护性。
- HTTP Request Plugin： 此插件允许Jenkins Pipeline发起HTTP/HTTPS请求，并获取响应内容。您可以通过Jenkins的“插件管理”页面搜索并安装它。
- 邮件通知配置： 确保Jenkins系统设置中已正确配置SMTP服务器，以便能够发送邮件。通常在“管理Jenkins” -> “系统配置” -> “邮件通知”部分进行设置。
3. 发起HTTP请求获取HTML响应
在Jenkins Pipeline中，我们可以使用`httpRequest`步骤来向目标API发送GET请求并获取其响应。`httpRequest`步骤会返回一个包含响应内容（`content`）、状态码（`status`）等信息的对象。以下是一个示例，展示如何在Jenkinsfile中发起HTTP GET请求并存储HTML响应：
// Jenkinsfile
pipeline {
agent any
environment {
// 定义API的URL，请替换为您的实际URL
API_URL = "http://{Project_IP}/{app_name}/ServiceQueueMonitorServlet?Action=retrieve"
// 定义阈值和收件人邮箱，方便后续修改
THRESHOLD = 100
RECIPIENT_EMAIL = "your_email@example.com"
}
stages {
stage('Fetch HTML Response') {
steps {
script {
try {
// 发起HTTP GET请求，并期望状态码为200
def response = httpRequest url: env.API_URL, validResponseCodes: '200'
// 将HTML内容存储到环境变量中，供后续阶段使用
env.HTML_RESPONSE = response.content
echo "成功获取HTML响应:\n${env.HTML_RESPONSE}"
} catch (Exception e) {
// 请求失败时抛出错误，中断Pipeline
error "获取HTML响应失败: ${e.getMessage()}"
}
}
}
}
// 后续阶段将在此处添加
}
}在上述代码中，response.content将包含API返回的完整HTML字符串。
4. 解析HTML响应并提取数值
获取到HTML响应后，下一步是从中提取我们关心的数值。针对不同复杂度的HTML结构，我们可以采用不同的Groovy字符串操作或HTML解析库。4.1 针对简单HTML结构的Groovy字符串操作
如果HTML结构相对简单且固定，例如本教程提供的示例： ```html// 在Jenkinsfile的script块内
stage('Parse HTML and Extract Value') {
steps {
script {
def valueToMonitor = -1 // 默认设置为一个无效值
String htmlContent = env.HTML_RESPONSE
// 使用正则表达式提取数值。
// 这里的正则表达式匹配 <TR>...</TR> 内部的第二个 <TD> 中的数字。
// `[^<]+` 匹配非 `<` 的任意字符，用于跳过 "Tag1"。
def matcher = (htmlContent =~ /<TR>\s*<TD>[^<]+<\/TD>\s*<TD>(\d+)<\/TD>\s*<\/TR>/)
if (matcher.find()) {
// `matcher.group(1)` 获取正则表达式中第一个捕获组的内容，即数字部分
def rawValue = matcher.group(1)
try {
valueToMonitor = rawValue.toInteger() // 将字符串转换为整数
echo "成功提取数值: ${valueToMonitor}"
} catch (NumberFormatException e) {
error "解析数值'${rawValue}'失败: ${e.getMessage()}"
}
} else {
error "未能使用正则表达式在HTML中找到目标数值。"
}
// 将提取到的数值存储到环境变量中
env.MONITORED_VALUE = valueToMonitor.toString()
}
}
}这种方法简单直接，但对HTML结构的微小变化较为敏感。
立即学习“前端免费学习笔记（深入）”；
4.2 针对复杂HTML结构的Groovy HTML解析库
如果API返回的HTML结构复杂，或者可能存在不确定性，那么使用专门的HTML解析库会更加健壮和灵活。例如，Java生态系统中的**Jsoup**库是一个非常流行的HTML解析器，它提供了类似jQuery的API，可以通过CSS选择器轻松定位和提取元素。要在Jenkins Pipeline中使用Jsoup，您可以：
- 在Jenkins Agent上预装Jsoup库。
- 在Pipeline中使用`@Grab`注解动态下载并引入Jsoup（这需要Agent能够访问Maven中央仓库，且Jenkins的沙盒安全策略允许）。
// String htmlContent = env.HTML_RESPONSE // Document doc = Jsoup.parse(htmlContent) // // 使用CSS选择器定位元素，例如：选择第二个TR中第二个TD的文本 // String valueText = doc.select("tr:eq(0) td:eq(1)").text() // int valueToMonitor = valueText.toInteger() // echo "Extracted value using Jsoup: ${valueToMonitor}"
虽然Jsoup提供了更强大的解析能力，但对于本教程的简单HTML示例，Groovy的正则表达式已足够。
<h2>5. 条件判断与邮件通知</h2>
在成功提取数值后，我们需要将其与预设的阈值进行比较，并根据比较结果决定是否发送邮件通知。Jenkins Pipeline提供了`mail`步骤来发送邮件。
```groovy
// 在Jenkinsfile的script块内
stage('Conditional Email Notification') {
steps {
script {
// 将环境变量中的字符串数值转换为整数进行比较
int monitoredValue = env.MONITORED_VALUE.toInteger()
int threshold = env.THRESHOLD.toInteger()
if (monitoredValue > threshold) {
echo "监测值 ${monitoredValue} 超过阈值 (${threshold})。正在发送邮件通知..."
mail (
to: env.RECIPIENT_EMAIL,
subject: "Jenkins告警: 服务队列监测值已超出阈值",
body: "尊敬的管理员，\n\n监测到的服务队列值为 ${monitoredValue}，已超过预设阈值 ${threshold}。\n\n请尽快检查服务：${env.API_URL}\n\nJenkins自动化通知"
)
} else {
echo "监测值 ${monitoredValue} 在可接受范围内 (${threshold})。未发送邮件。"
}
}
}
}6. 完整的Jenkins Pipeline示例
将上述所有步骤整合到一个完整的Jenkinsfile中，如下所示：// Jenkinsfile
pipeline {
agent any
environment {
// 定义API的URL，请替换为您的实际URL
API_URL = "http://{Project_IP}/{app_name}/ServiceQueueMonitorServlet?Action=retrieve"
// 定义阈值
THRESHOLD = 100
// 定义邮件收件人，可为多个，用逗号分隔
RECIPIENT_EMAIL = "your_email@example.com, another_email@example.com"
}
stages {
stage('Fetch HTML Response') {
steps {
script {
try {
// 发起HTTP GET请求，并期望状态码为200
def response = httpRequest url: env.API_URL, validResponseCodes: '200'
env.HTML_RESPONSE = response.content
echo "成功获取HTML响应:\n${env.HTML_RESPONSE}"
} catch (Exception e) {
// 请求失败时抛出错误，中断Pipeline
error "获取HTML响应失败: ${e.getMessage()}"
}
}
}
}
stage('Parse HTML and Extract Value') {
steps {
script {
def valueToMonitor = -1 // 默认设置为一个无效值
String htmlContent = env.HTML_RESPONSE
// 使用正则表达式提取数值。
// 这里的正则表达式匹配 <TR>...</TR> 内部的第二个 <TD> 中的数字。
def matcher = (htmlContent =~ /<TR>\s*<TD>[^<]+<\/TD>\s*<TD>(\d+)<\/TD>\s*<\/TR>/)
if (matcher.find()) {
def rawValue = matcher.group(1)
try {
valueToMonitor = rawValue.toInteger()
echo "成功提取数值: ${valueToMonitor}"
} catch (NumberFormatException e) {
error "解析数值'${rawValue}'失败: ${e.getMessage()}"
}
} else {
error "未能使用正则表达式在HTML中找到目标数值。"
}
env.MONITORED_VALUE = valueToMonitor.toString()
}
}
}
stage('Conditional Email Notification') {
steps {
script {
int monitoredValue = env.MONITORED_VALUE.toInteger()
int threshold = env.THRESHOLD.toInteger()
if (monitoredValue > threshold) {
echo "监测值 ${monitoredValue} 超过阈值 (${threshold})。正在发送邮件通知..."
mail (
to: env.RECIPIENT_EMAIL,
subject: "Jenkins告警: 服务队列监测值已超出阈值",
body: "尊敬的管理员，\n\n监测到的服务队列值为 ${monitoredValue}，已超过预设阈值 ${threshold}。\n\n请尽快检查服务：${env.API_URL}\n\nJenkins自动化通知"
)
} else {
echo "监测值 ${monitoredValue} 在可接受范围内 (${threshold})。未发送邮件。"
}
}
}
}
}
}
