Observability
Last updated
Was this helpful?
Last updated
Was this helpful?
Was this helpful?
์ด ์ฅ์์๋ AWS ํ๊ฒฝ์์ ๋ฉํธ๋ฆญ ๋ชจ๋ํฐ๋ง, ๋ก๊ทธ ์์ง, ๊ฒฝ๊ณ ํธ๋ฆฌ๊ฑฐ ๋ฐ ๋ถ์ฐ ์๋น์ค ์ถ์ ๊ธฐ๋ฅ์ ๊ทน๋ํํ๋ ๋ฐ ํ์ฉํ ์ ์๋ CloudWatch Container Insights, Cloudwatch Logs ๋ฐ Prometeus์ ๊ฐ์ ์ฃผ์ ์ด์ ๋ฐ์ดํฐ ๋ฐ ํด์ ๋ํด ์ดํด๋ณด๊ฒ ์ต๋๋ค.
Observability์๋ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ ๋ฐ์ ์ธ ์ํ๋ฅผ ๋ชจ๋ํฐ๋งํ๊ธฐ ์ํด ๋ค์ํ ์ ํธ(์ธก์ , ์ถ์ , ๋ก๊ทธ)๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ด ํฌํจ๋ฉ๋๋ค. ๋ํ ์ด ์ค์ต์์๋ ๋ค์ ๋ฐ์ดํฐ์ ํด์ ์ฌ์ฉํ์ฌ EKS์ ๊ตฌ์ถ๋ ์ ํ ์นดํ๋ก๊ทธ ์ ํ๋ฆฌ์ผ์ด์ ์ ์๋ ํฌ ์๋ vissibility๋ฅผ ์ ๊ณตํฉ๋๋ค.
Container Insights
Cloudwatch Container logs
Prometheus App Mesh Metrics
Fargate Container logs
AWS X-Ray Tracing
CloudWatch Container Insights๋ Amazon EKS ๋ฉํธ๋ฆญ ๋ฐ ๋ก๊ทธ๋ฅผ ์์ง, ์ง๊ณ ๋ฐ ์์ฝํ๋ ์์ ํ ๊ด๋ฆฌ๋๋ ์๋น์ค์ ๋๋ค. CloudWatch Container Insights ๋์๋ณด๋๋ ๋ค์ ์ ๋ณด์ ๋ํ ์ก์ธ์ค๋ฅผ ์ ๊ณตํฉ๋๋ค.
CPU ๋ฐ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ฅ
์์ ๋ฐ ์๋น์ค ์
์ฝ๊ธฐ/์ฐ๊ธฐ ์ ์ฅ์
๋คํธ์ํฌ Rx/Tx
ํด๋ฌ์คํฐ, ์๋น์ค ๋ฐ ์์ ์ ๋ํ ์ปจํ ์ด๋ ์ธ์คํด์ค ์
์ฝ์์์ Cloudwatch -> Container Insights -> ์ฑ๋ฅ ๋ชจ๋ํฐ๋ง์ผ๋ก ์ด๋ํ์ฌ EKS ํด๋ฌ์คํฐ Insight์ ๋ณผ ์ ์์ต๋๋ค.
๋ก๊ทธ๋ EKS ๋ ธ๋์์ ์คํ ์ค์ธ Fluentd ๋ฐ๋ชฌ์ ๊ณผ Fargate์์ ๋ก๊ทธ๋ฅผ ์์งํ์ฌ Cloudwatch๋ก ์ ์กํ๋ Fluentbit ๋ฐ๋ชฌ์ ์ ์ํด ์์ง๋ฉ๋๋ค.
Container Insights๋ฅผ ์ค์ ํ ๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๋ค์๊ณผ ๊ฐ์ CloudWatch ๋ก๊ทธ ๊ทธ๋ฃน์ด ์์ฑ๋ฉ๋๋ค.
/aws/containerinsights/cluster-name/application
/aws/containerinsights/cluster-name/dataplane
/aws/containerinsights/cluster-name/hostNodegroup Container Logs
/aws/containerinsights/cluster-name/performance
/aws/eks/eksworkshop-eksctl/cluster
fluent-bit-cloudwatch
์ฝ์ Cloudwatch -> LogGroups๋ก ์ด๋ํฉ๋๋ค. ์๋ ๋ก๊ทธ ๊ทธ๋ฃน์ด ํ์๋ฉ๋๋ค.
Nodegroup Container Logs
application
LogGroup์ ํด๋ฆญํ๊ณ Search All
์ ํด๋ฆญํฉ๋๋ค.
Search Box์ Catalog Detail Version
์ ์์ฑํ์ฌ proddetail
backend service ๋ก๊ทธ๋ฅผ ํ์ธ ํ ์ ์์ต๋๋ค.
Fargate Container Logs
์ฝ์์์ Cloudwatch -> LogGroups -> Click on fluent-bit-cloudwatch
LogGroup -> Click on Search All
ํ์ Search box์ Get Request succeeded
๋ฅผ ์์ฑํ์ฌ Fargate container log๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
Control Plane Logging
์ฝ์์์ Cloudwatch -> LogGroups ์์ /aws/eks/eksworkshop-eksctl/cluster
๋ก๊ทธ ๊ทธ๋ฃน์ผ๋ก Control Plane ๋ก๊ทธ๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
CloudWatch Container Insights for Prometeus ๋ชจ๋ํฐ๋ง์ ์ปจํ ์ด๋ํ ์์คํ ๋ฐ ์ํฌ๋ก๋์์ Prometeus ๋ฉํธ๋ฆญ์ ์๋์ผ๋ก ๊ฒ์ํฉ๋๋ค.
CloudWatch ์์ด์ ํธ๋ Prometeus ์ค๋ช ์์ scrape_config์ ์ค๋ช ๋ ํ์ค Prometeus ์คํฌ๋ฉ ๊ตฌ์ฑ์ ์ง์ํฉ๋๋ค. ์ด์ ์ฅ์์ ์ค์ ํ CloudWatch ์์ด์ ํธ YAML์๋ ์คํฌ๋ฉ๋ ์์ ์ด ๊ตฌ์ฑ๋์ด ๋ฉํธ๋ฆญ์ด CloudWatch๋ก ์ ์ก๋ฉ๋๋ค.
Amazon EKS ๋ฐ Kubernetes ํด๋ฌ์คํฐ์ ๋ก๊ทธ ์ด๋ฒคํธ๋ Amazon CloudWatch ๋ก๊ทธ์ /aws/containerinsights/cluster_name/prometheus LogGroup์ ์ ์ฅ๋ฉ๋๋ค.
์ฝ์์์ Cloudwatch -> LogGroups๋ก ์ด๋ํฉ๋๋ค. /aws/containerinsights/eksworkshop-eksctl/prometheus LogGroup์ ํ์ธํ๊ณ ์ด ํญ๋ชฉ์ ์ ํํ๋ฉด ์ฌ๊ธฐ์ ๊ธฐ๋ก๋ ๋ชจ๋ ์ปจํ ์ด๋์ ๋ํ ๋ฉํธ๋ฆญ์ ๋ณผ ์ ์์ต๋๋ค.
AWS X-ray๋ DevOps ๊ธฐ์ ์๊ณผ ๊ฐ๋ฐ์๋ค์ด ๋น ๋ฅด๊ฒ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ด๊ณ๊ณผ ์ฑ๋ฅ์ ํ์ ํ ์ ์๋๋ก ๋์์ ์ค๋๋ค. AWS App Mesh์ ๊ฒฐํฉ๋๋ฉด ๊ฐ๋ ฅํ ๋ถ์ ๋๊ตฌ๋ฅผ ๋ง๋ค์ด ๋ ๋๋ค.
์ ํ๋ฆฌ์ผ์ด์ ์ฝ๋๋ฅผ ๊ณ์ธกํ๋ ค๋ฉด X-Ray SDK.๋ฅผ ์ฌ์ฉํฉ๋๋ค. SDK๋ ์์ ๋ฐ ์ก์ ์์ฒญ์ ๋ํ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋กํ๊ณ ์ด๋ฅผ X-Ray ๋ฐ๋ชฌ์ผ๋ก ์ ์กํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์ผ๊ด์ ์ผ๋ก X-Ray๋ก ์ค๊ณํฉ๋๋ค. ์ ํ ์นดํ๋ก๊ทธ ๋ฐ๋ชจ ์์ฉ ํ๋ก๊ทธ๋จ์ ์๋ ์ฝ๋์ ์๋ฅผ ์ฐธ์กฐํ์ญ์์ค.
์ฝ์์ ๋ก๊ทธ์ธํ๊ณ X-Ray๋ก ์ด๋ํฉ๋๋ค. AWS X-Ray Service map์ ํด๋ผ์ด์ธํธ์์ ๋ค์ด์คํธ๋ฆผ ์๋น์ค๋ก์ ํธ์ถ์ ๋ํ ์ ๋ณด๋ฅผ ํ์ํฉ๋๋ค. ์๋น์ค ๊ทธ๋ํ ํ์ดํ๋ ์๋น์ค ๊ฐ์ ๊ด๊ณ๋ฅผ ์ดํดํ๋ ๋ฐ ๋์์ด ๋๋ ์์ฒญ ์ํฌํ๋ก์ฐ๋ฅผ ํ์ํฉ๋๋ค. ์๋ ๊ทธ๋ํ๋ ๋ก๋ ๋ฐธ๋ฐ์ ์๋ํฌ์ธํธ์์ ์ ํ ์นดํ๋ก๊ทธ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ก์ธ์คํ ๋์ ์ถ์ ์ ๋ณด์ฌ์ค๋๋ค.