【概要描述】

媒介

在数字化转型时期，现代的年夜范围利用法式天天可以生成数以亿计的日记数据。它是企业运营和治理中的贵重资产，记实了系统、利用和装备的各类勾当和事务。经由过程阐发日记数据，企业可以深切领会营业运行环境、辨认潜伏问题和优化机遇，晋升系统不变性、平安性和机能表示。是以，企业构建“同一日记中间”的需要性是不言而喻的，它可以集中治理和阐发各类日记数据，实现周全监控、快速响应和深度阐发，帮忙企业实现故障解除、平安审计、机能优化等方针，提高运营效力、下降风险，并为营业成长供给有力撑持。

不雅测云（www.guance.com）秉持“同一收集、同一处置、同一阐发”的理念，构建了一套高效的不雅测数据阐发平台。本文从日记收集、处置、存储、阐发的各个进程，别离不雅测云若何帮忙企业又快又好地扶植同一日记中间。

不雅测云日记收集能力

在收集方面，不雅测云的同一数据收集器DataKit具有丰硕的收集模板和壮大的集成扩大能力，可以或许利用收集磁盘文件、容器stdout、领受长途推送日记、sidecar体例收集日记等多种体例，以顺应企业异构的IT情况和多元的日记收集需求。

不雅测云对分歧日记的处置体例

DataKit内置了操作系统日记、容器日记、MySQL & Nginx等经常使用数据库和中心件的收集器，能同时收集监控对象属性、指标数据（Metric）、日记数据（Log），用同一收集的理念最年夜水平上削减摆设在监控对象上的agent数目。

DataKit收集器的运行治理十分便利，在K8S情况中，DataKit会以DaemonSet体例运行，确保在每一个节点上城市运行一个日记收集器 Pod，从而实现对全部集群的日记数据周全笼盖。不管集群中有几多个节点，都能包管每一个节点的日记都被及时收集。不雅测云还供给了DCA（DataKit Client Agent），它是一个用在批量治理DataKit的东西。经由过程DCA，用户可以加倍便利地对DataKit状况、日记解析模板、黑名单等设置装备摆设进行批量操作和保护，从而提高数据收集的效力和正确性。

对已利用开源agent收集日记的企业来讲，凡是偏向在将原有agent收集的日记转发给新扶植的同一日记中间。不雅测云可以使用Fluentd、Logstash、Kafka、API等体例来领受已收集的日记，充实保存企业过往的手艺投入并削减替代本钱。

不雅测云日记处置能力

在日记处置进程中，不雅测云内置了十余种经常使用数据库&中心件的官方日记解析模板，包罗Kafka、Elasticsearch、MySQL、Nginx、Redis、Tomcat、MongoDB等，便利用户直接利用。别的还供给了数十个剧本函数，让用户可以依照分歧的日记处置场景进行快速援用，及时进行调试。

例如，良多企业但愿在日记收集时对日记中的敏感信息进行脱敏，则可使用不雅测云Pipeline中的脱敏函数对指定字段规模做数据脱敏，便可在收集侧完成脱敏处置，避免了敏感信息在互联网传输带来的合规性问题。

再如，良多企业也提到了但愿能设置装备摆设收集端黑名单，以削减贵重的带宽资本，下降中间化处置的机能开消。在不雅测云上，您可以经由过程drop函数（抛弃整条日记或某个字段）、sample函数（对日记进行采样），或是设置装备摆设日记黑名单来到达上述目标。

对模板不克不及适配的日记格局，不雅测云也供给了多种体例让用户能轻松完成日记解析。起首是在Pipeline解析进程中供给了“一键获得样本”并及时调试的能力，让用户可以及时查看Pipeline对日记的处置是不是知足需求。同时为了下降编写Pipeline的难度，不雅测云还供给了交互式的号令行东西，帮忙用户快速选择合适某个字段的函数。

交互式号令行东西，下降日记解析难度

另外，Pipeline还撑持经由过程openAPI进行导出、导入，以便在团体性组织在建立工作空间时直接援用，快速将已调剂好的Pipeline分发给分歧营业系统，晋升营业团队的利用体验。

值得一提的是，对在日记收集中常常碰到的多行日记收集问题，不雅测云供给了主动多行模式、自界说多行模式的体例。主动多行模式会按照特定的肇端标识表记标帜、竣事标识表记标帜、正则表达式等来进行多行日记的辨认，下降用户的利用承担。

不雅测云日记存储能力

不雅测云在面向全球用户供给SaaS办事的进程中，需要实行处置并存储海量的日记，若何在本钱与用户体验间连结均衡，不雅测云支出庞大尽力。在曩昔利用elasticsearch/opensearch方案时，我们发现该方案存在写入占用资本多、对无模式表撑持较差、聚合查询机能差等问题。是以不雅测云在颠末严谨的调研、开辟、测试以后推出了全新架构的GuanceDB。

GuanceDB知足了不雅测云对 Schema Free 的要求，解决了数据 Schema 频仍转变痛点；提高了数据写入的机能，包管了数据写入的时效性和查询的及时性；晋升了全文检索的机能并下降查询的资本开消...... 总而言之，不雅测云终究实现：仅利用 Elasticsearch 的 1/3 本钱、取得 2～4 倍的机能晋升，整体性价比晋升了近 10 倍！

为了知足企业对日记的持久保留需求(凡是出在日记审计的斟酌)，同时又要统筹存储本钱，不雅测云供给了“数据转发”功能，便在不雅测云供给日记等数据保留到不雅测云的对象存储和转发到外部存储的功能，您可以自由选择存储对象，矫捷治理数据转发数据。在数据转发页面，您可以经由过程设置查询时候和数据转发法则快速查询存储数据（包括不雅测云备份日记、AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 动静队列），还可以在无需额外处置的环境下，直接在不雅测云上查看汗青备份日记和 SLS Query Logstore 数据。

不雅测云日记阐发能力

DQL（Debug Query Language）是不雅测云开辟的数据查询说话。DQL撑持在不雅测云工作空间或终端装备进行数据查询，答应用户检索和阐发存储在不雅测云中的各类数据，包罗乐鱼体育app日记、指标、链路追踪等。

得益在DQL同一查询说话和同一气概的“查看器”，用户在不雅测云上不管是阐发日记、链路、RUM（用户体验数据）时都有一致性的体验，一样的简单易用、一样的秒级查询体验。

经常使用搜刮汗青模板、快捷挑选、字段补全等功能，在不雅测云上都一应俱全。斟酌到团队在排查故障、阐发异常进程中常常会稀有据同享的需求，不雅测云设计了贴心的“快照分享”，团队成员可以建立自界说时候段即时拷贝的数据副本，并生成指定查看权限的快捷拜候链接。团队可以经由过程一个阅读器链接分享日记数据，而且可以保存分享者在日记上做过的时候挑选、前提挑选，该快照也并不是是单一的静态数据，而是可以交互的日记阐发界面，年夜年夜下降了团队间利用截图、发送原始日记的沟通本钱。出在对数据平安性的斟酌，分享者可以对快照设置字段脱敏、添加水印、设置有用时候、链接加密、拜候IP白名单等多种特征，在信息高效传递的同时充实包管数据的平安性，便在团队间、外部企业进行协作。

对良多企业来讲，特殊担忧收集的日记中存在敏感数据，但在日记的收集、存储、阐发进程中极为难以发现。为领会决这个问题，不雅测云开辟了“敏感数据扫描”功能，内置了近百个敏感数据法则库，并答应用户自界说新建敏感数据法则，经由过程援用这些法则来对存储在不雅测云中的日记数据进行自动扫描，一旦发现敏感字段便可进行加密，确保数据合规性。

另外，不雅测云还撑持经由过程“数据拜候”功能为分歧脚色设置装备摆设对应的日记数据拜候查询规模，以实现数据查询规模的邃密化治理。例如负责分歧营业系统的团队、统一团队中按照脚色辨别分歧的日记权限，都可以矫捷进行设置装备摆设。

在“日记智能检测”功能中，不雅测云应用智能检测算法，监控工作空间内收集器发生的日记数据。智能辨认日记数目的突增 / 突降、毛病日记的突增的异常数据，和时发现不合适预期的异常状况，和时提示团队存眷营业是不是有异常表示。

日记突增的智能检测

总结

当企业斟酌构建同一日记中间时，凡是需要斟酌功能需求、可扩大性、平安性、兼容性、机能和效力、本钱效益与用户体验。相信颠末上面的介绍，您对不雅测云的日记阐发能力具有了比力周全的熟悉。不雅测云一向致力在为用户供给更好、更优的可不雅测能力，相信是企业构建同一日记中间、同一可不雅测平台的抱负选择。

• 分类： 博鱼新闻
• 作者：博鱼
• 来源：集团新闻
• 发布时间：2024-08-12
• 访问量： 0