高效将SLS日志导入MongoDB数据库

在容器化环境中，Serverless Log Service (SLS) 扮演着重要的日志收集角色。本文将指导您如何自动将SLS收集的JSON格式日志导入MongoDB数据库。

解决方案

由于SLS不支持直接导出到MongoDB，我们需要借助脚本实现日志导入。以下方案利用脚本定期从SLS下载日志，再写入MongoDB。

操作步骤

1. Python脚本准备

   

   Secure Python Code Sandbox

   安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

   下载

   创建一个名为write2mongo.py的Python脚本：

   <code class="python">import pymongo
   import subprocess as sh
   import json
   import time
   
   client = pymongo.MongoClient("mongodb://<db_ip>:<port>")
   db = client["<db_name>"]
   collection = db["<collection_name>"]
   
   while True:
       # 获取SLS日志
       logs = sh.check_output(["aliyunlog", "log", "get_all_log", "<project_name>"]).decode("utf-8")
       # 解析并写入MongoDB
       for log in logs.splitlines():
           if log:
               try:
                   collection.insert_one(json.loads(log))
               except json.JSONDecodeError:
                   print(f"Skipping invalid JSON: {log}")
       # 设定执行间隔 (1.5秒)
       time.sleep(1.5)</code>

   请替换以下占位符：

   • <db_ip></db_ip>: MongoDB数据库IP地址
   • <port></port>: MongoDB数据库端口
   • <db_name></db_name>: MongoDB数据库名称
   • <collection_name></collection_name>: MongoDB集合名称
   • <project_name></project_name>: SLS项目名称

2. 脚本运行

   在服务器或容器中运行以下命令：

   <code class="bash">aliyunlog log get_all_log <project_name> | python write2mongo.py</code>

重要提示

• 确保已创建MongoDB数据库和集合。
• 脚本需要具备读取SLS日志的权限。
• 可根据实际需求调整日志下载和写入频率。 错误处理已添加到脚本中，以跳过无效的JSON数据。 建议使用check_output代替run来更好地处理命令执行错误。

通过以上步骤，您可以实现SLS日志的自动化导入，方便后续的日志分析和处理。