纱线上的火花如何查看任务日志

Flink和Spark都支持自建集群。但为了保证稳定性和资源隔离，最好借助资源管理框架(如Yarn)在生产环境中运行任务。当任务在yarn上运行时，查询日志可能会不方便，尤其是任务进程异常退出后。

纱线容器退出后，默认情况下不会保存日志。所以你需要启动JobHistoryServer，网上有很多教程。

运行Spark任务可以通过spark web ui直接查看:

对于已经结束的yarn应用，spark进程已经退出，无法提供webui服务。

根据Flink On Yarn看任务日志的方式，我们已经知道了日志的url构成。这一次，只需找到容器名称和节点来访问日志。

驱动的网址是:http://node 5:19888/job history/logs/node 3:8041/container _ 1634207619484 _ 0496 _ 01 _。container _ 1634207619484 _ 0496 _ 01 _ 00001/root/stderr/？开始=0

搜索驱动程序日志，找到容器名称container _ 1634207619484 _ 0496 _ 01 _ 000002和主机节点3。

查看flink/spark在运行中的日志是非常容易的，因为它们都提供了web ui服务。但当任务异常退出时，flink/spark进程结束，无法提供web ui服务。我们使用作业历史服务器来保存和显示当时的日志。但是yarn的web只显示了flink作业管理器/spark驱动的日志链接，需要我们自己拼接flink任务管理器/spark执行器的日志链接。

最后我有一点疑问:本文介绍的URL的构成是推测性的，其中第三部分/container _ 163420719484 _ 0505 _ 01 _ 000001/container _ 1634207656。希望有了解的朋友可以留言解惑。