本文是Azure Application Insights REST API的简单介绍,并会包含一个通过Python消费API的示例/小工具。
新加入的team中的一项工作是制作日常的运维报表,制作方式是手工前往portal.azure.com,在网页中多次执行不同的查询语句、导出excel,之后再人工进行合并、分组、汇总、分析等等。这是一个繁琐的过程,其中大部分步骤其实不值得花费人工,应该交给程序。为了自动化这一过程,降低报表的制作成本,我尝试使用了Azure Application Insights REST API查询数据,使用python客户端进行处理、输出。下面把相关的一些知识和经验写在这里。
本文链接:https://www.cnblogs.com/hhelibeb/p/11543295.html
原创内容,转载请注明
Application Insights
Application Insights是Azure平台的监控功能的一部分,用于收集、分析和处理来自Azure或其它本地环境的遥测数据。它包含强有力的分析工具,可以帮助你发现问题、诊断问题、理解用户在app上的行为,可以支持你持续地改进应用的性能和可用性。它可以和DevOps过程集成,和很多开发工具有连接点。
它支持多种语言和框架,比如.NET, Java, 和Node.js等。
更多信息,参考:What is Application Insights?
Application Insights REST API
除了在Azure中使用外,Application Insights收集的数据也可以通过REST API获取,这使得你可以用自己的其它应用来使用相关数据。API可以分为3种:
-
Metrics: 用于查询聚合结果,比如一定时间范围内的系统异常总数量。
-
Events: 使用OData语法访问event数据,支持$filter, $orderBy, $search, $apply, $top, $skip and $format,可以返回单独的event数据或者event集的聚合数据。
-
Query: 允许用户发送和在Application Insights Analytics中一样的Query查询数据,返回数据的同时也会返回数据的schema。这是我用到的类型。
格式
API的格式如下,
https://{hostname}/{api-version}/apps/{resource}/{area}/[path]?[parameters]
其中,
- hostname: api.applicationinsights.io
- resource: Application ID ,也就是你的Application Insights app的唯一标识符,可以在app的API Access选项中看到,见下图。(注意:这不是Instrumentation Key,不要用错)
- api-version: 路径中需要包含API versions,Beta或v1。
- area: 3中查询类型之一metrics, events或query。
- path: 查询的详细信息,比如要查询哪个metric。
- parameters: 和path相关的具体参数。
(这里是有关Public API format的部分,此外还有Azure API format)
认证
需要使用上文提到的Application ID和下面提到的API Key来访问API,否则调用接口会失败,返回认证错误的消息,比如,
AuthorizationRequiredError:"Valid authentication was not provided"。在API Access选项下选择Create API key,填写描述并勾选"Read telemetry"。
点击Generate key,会得到一个key字符串。注意,在这里必须保存key,因为关闭页面之后,无法通过任何方式再查询到生成的key。如果key丢失,只能重建另一个key。
访问
有了Application ID和API key,就可以访问API了。
这个页面有一个很好的例子,可以参考:
可以用postman之类的工具测试http请求。
自己写的query工具
因为程序可能需要对不同的Application Insight的不同的API执行不同的Query,因此,基本的处理思路是在配置文件中配置相关信息,程序从配置文件中读取需要执行的全部query,逐一查询后,返回结果列表。
下面是json格式的配置文件(profile.json)和python代码。
配置文件
{ "application_insight": { "host": "api.applicationinsights.io", "apps": { "my-app-insights": { "id": "d1e9f429-c437-6034b32df878", "description": "it is an example", "apis": { "exception_monitor": { "description": "daily report", "key": "01234qwerrttyypolmknbshjdfggu", "version": "v1" } } } }, "queries": [ { "name": "query1", "app": "my-app-insights", "api": "exception_monitor", "statement": "exceptions | where operation_Name == """, "time_field_name": "timestamp" }, { "name": "query2", "app": "my-app-insights", "api": "exception_monitor", "statement": "exceptions | where operation_Name contains "AdapterV1"", "time_field_name": "timestamp" } ], "default_filter": { "time_range": "between( endofday( now(), -8) .. endofday( now(), -1) )" } } }
说明,
- host:固定值http://api.applicationinsights.io
- apps:Application Insight相关数据。
- apis:Api相关数据。
- queries:需要执行的query。
- default_filter:默认的查询条件,目前只有默认时间功能,例子里的条件是最近7个整天。
查询
查询代码如下:
import requests import json import asyncio async def request_get(url, headers, name): return {name: json.loads(requests.get(url, headers=headers).text)} async def __execute_query(config): default_filter = config["default_filter"] http_requests = [] for query in config["queries"]: app = config["apps"][query["app"]] api = app["apis"][query["api"]] query_url = f‘‘‘https://{config["host"]}/{api["version"]}/apps/{app["id"]}/query?query={query["statement"]}‘‘‘ if query["time_field_name"] and default_filter["time_range"]: query_url = query_url f‘‘‘ and {query["time_field_name"]} {default_filter["time_range"]} ‘‘‘ headers = {‘X-Api-Key‘: api["key"]} http_requests.append(request_get(query_url, headers, query["name"])) return await asyncio.gather(*http_requests) def execute_query(): with open(‘profile.json‘, ‘r‘) as config_file: query_config = json.load(config_file)["application_insight"] return asyncio.run(__execute_query(query_config))
基本思路是从配置文件加载queries,逐个放入任务列表中,最后统一并发执行、获取结果。
其中使用了request发送http请求、asyncio实现并发。
总结
本文是我关于Azure Application Insights REST API的知识和实践的总结。这不是Azure Application Insights REST API的全部,可以参考微软文档以获取更多信息。