흩어지는 기억과 생각 저장소

갑자기 회사에서 맥북을 지급받게되었다.

그러면서 또 갑자기 k8s기반 (AWS EKS) 시스템을 운영하게 되어,

Local에서 테스트할 환경을 만들고자,  처음 사용해보는 맥북에다가,  졸지에 k8s 환경까지 세팅하게되었다.

회사 방침상 docker 를 사용할 수 없어서,

대체제를 찾아보다아 podman 이라는 컨테이너 엔진을 발견하고,

설치하였다.

찾아서 찾아서,  brew도 깔고.. .그걸로  minikube, podman, 쿠버네티스cli 등을 설치하고,

minikube start --driver=podman 

으로 올리는데, 아오 계속 아래와 같은 이상한 에러가 발생하고 앉았음.

---------------------------------------------------------------------------------------------------

[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"

[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s

[kubelet-check] Initial timeout of 40s passed.

Unfortunately, an error has occurred:

timed out waiting for the condition

This error is likely caused by:

- The kubelet is not running

- The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:

- 'systemctl status kubelet'

- 'journalctl -xeu kubelet'

Additionally, a control plane component may have crashed or exited when started by the container runtime.

To troubleshoot, list all containers using your preferred container runtimes CLI.

Here is one example how you may list all Kubernetes containers running in docker:

- 'docker ps -a | grep kube | grep -v pause'

Once you have found the failing container, you can inspect its logs with:

- 'docker logs CONTAINERID'

stderr:

[WARNING FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist

[WARNING SystemVerification]: this Docker version is not on the list of validated versions: 24.0.7. Latest validated version: 20.10

[WARNING SystemVerification]: missing optional cgroups: hugetlb

[WARNING SystemVerification]: missing required cgroups: cpuset

[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'

error execution phase wait-control-plane: couldn't initialize a Kubernetes cluster

To see the stack trace of this error execute with --v=5 or higher

💡  권장: Check output of 'journalctl -xeu kubelet', try passing --extra-config=kubelet.cgroup-driver=systemd to minikube start

🍿  관련 이슈: https://github.com/kubernetes/minikube/issues/4172

----------------------------------------------------------------------------------------------------------

minikube가 친절하게, 깃헙의 관련 이슈 링크도 해주고 하지만,   그 방법대로 안되더라...

지우고 설치하기를 반복하다가 결국... 문제를 발견함.

podman 스타트할때 root권한을 안줘서 그럼

그래서

podman machine stop
podman machine set  --rootful
podman machine start

으로 성공...

하찮은 이거땜에 하루날려먹음....

그래도 다행이야... 빙산의 일각중, 일각이 지나가서...

DataLake, DW의 LA, L0, L1, L2

흔히 Datalake나 Lakehouse 형태의 영역을 구축 시, 

Data형태별 활용의 편의와 효율적인 Data 가공 Logic 반영을 위해

여러단계로 나눠서 Data 가공 단계를 거치는데,

간혹 쉽게 LA, L0, L1, L2 와 같은 용어로 분류를 하는 경우가 있다.

(Landing Area, Layer 0~2 ... 혹은 L0부터 출발하기도하고 정의하는 사람에 따라 제각각의 의미를 가지고 사용)

물론 이렇게 안나누고, 쉽게  수집/통합/마트 로 나누거나,  Source/Silver/Gold로

나누는 등 여러 표현이 있을 수 있겠으나..   외국계 컨설턴트들을 중심으로 이런 용어개념이 많이 넘어와서

쓰여지는 것 같다.

뭔가 다들 약속한 듯이, Layer별로 완벽히 동일한 정의를 사용하지 않는 경우가 많지만,

대게 유사한 의미의 단계로 용어를 사용하고 있기 떄문에,

업계에서 일하면서 가장 많이 활용되는 것 같은, 대략적인 기준이 되는 정의를 정리해본다.

LA (Landing Area)

Transactional DB, Sensor/Log Data등 File Base Data를 Source의 형태 그대로 1차저장하는 단계

L0 (Layer 0 - Staging) 

Source Data의 오류등을 수정하고 Cleansing적용한 Data

형식은 Raw Data와 동일하나, Log성, 비정형에 가까운 Data의 경우 Table형태의 Data로 1차 가공하는 영역임

-------경우에 따라 LA , L0를 통합 해서 L0으로 운영하기도함-------

L1 (Layer 1 - Consolidation / Integration)

   통합영역 Data, DW에서 활용할 형태의 업무 '주제영역'에 맞게, Data들이 통합/가공된 형태.

   다만 분석이나 BI(Business Intelligence) 도구에 용이하게 Dimension/ Fact형태로 가공된 Data는 아님

   이 Layer부터 SCD(Slowly Change Dimension) 같은걸 적용해서 변경이력 관리를 하기도함

L2 (Layer 2 - Data Mart, Gole Data) 

   분석용 Data Mart Data,  Dimension, Fact형태의 Model 구조를 가진 Data (Star/Snoflake Schema modeling)

https://explore.skillbuilder.aws/  의 AWS Cloud Practitioner Essentials (Korean)

강의 정도 보고 합격을 한듯합니다.

화이팅!

이전 포스팅에 빅데이터 분석기사 응시 후기를 올린 적이 있다.
https://0dood0.tistory.com/m/160

자세한 공부과정은 해당 포스팅을 참고하면 될 것 같고....


결론을 먼저 이야기하면 합격을 했다.

발캡쳐..

실기 점수를 보면 굉장히 평가가 후 했다는 것을 알 수 있다. 특히 작업 제2유형이 만점이 나온 것이 인상적이다. 너무 고점이 나와 오히려 찝찝할 정도인데, 변별력을 만들기 위해 다음 차수부터는 보완이 되어야 더 공신력있는 자격증이 되지않을까? 하는 생각이 든다.

단답형 유형과
제1유형은 명시적으로 정해진 답을 도출하는 것이라 충분히 고득점 및 만점이 나올수가 있다 생각하였다.

제2유형은 점수나온 것을 보고 채점기준을 추측해보면, roc auc score가 일정 점수 이상을 넘으면 그냥 만점을 주는 형태였던 것 같다.
(기준이 60이었지 않을까 예상)

지난 응시 후기에 썼던 것 처럼 데이터 전처리도 다 안했고 랜덤포레스트만 돌려서 roc 스코어가 60정도 인것만 확인을 했었는데... 만점이 나왔으니..


사실 빅분기 이번 회차는  ADP와는 비교할 수 없을 정도로 낮은 난이도가 아니었나 싶다. 클로즈드북임을 감안하더라도..

그렇다면 빅분기 자격증이 가지는 의미와 개인적으로 응시생이 얻을 수 있는 지식은 무엇일까?
머신러닝, 통계를 통한 '데이터 분석' 의 기초개념을 숙지하게 되고 머신러닝의 전과정이 아~ 대략 이런 것이구나~ 이런 절차로 분석결과가 나오네~ 정도를 알  수있는 정도 수준이 아닐까 싶다.
물론 이정도도 가치있는 공부라 할 수 있지만  대부분의 기사자격증이 그렇듯, 실무와는 괴리가 있고  실무 수준의 지식과 경험을 쌓기위한 정말 첫걸음을 떼는 수준이라 보면 될 듯하다.

개인적으로 분석쪽 커리어패스는 꿈꾸는 사람중 '분석이 뭔지 잘 모르는' 사람에게는 개인 지식 수준 향상을 위해 도움이 될수도 있는 자격증이라 생각한다.

여튼 다음 응시생들에게도 응원을 보내고.. 모두가 원하는 결과를 얻으시길..

작년부터 여러모로 낭떠러지의 끝에 서있는 듯한 느낌을 많이 받았다.

뭐 당장 굶어죽는 것도 아니고, 생명의 위협을 받는 일도 없는데,

여러가지 사건과 감정이 내 삶에 좋은 것들은 느끼지 못하도록 눈을 가리고, 나쁜 생각만 들게 만들었다.

다행인지 불행인지, 코로나 사태로 인해 작년 중순부터 갑자기 회사가 어려워져,  두달간 휴직을 낼 수 있는 기회를 받았다.

물론 업무가 바빴던 팀에 소속되어 있어, 선택에 따라, 쉬지 않을 수도 있었고, 조직은 내가 회사에 나오길 원했지만,

회사에서 나름 착실하게 일했던 나도, 그때 정말 쉬지못하면 나 자신이 너무 견디지 못할 것만 같아

매니저에게 도저히 안되겠다는 이야기를 어렵게 꺼내어, 결국 2달간의.. 이 직장에서는 다시는 없을 길고도 짧은 휴가를 받았다.

그 기간동안 이상하게도, 나는 이전에는 관심도 없고 본적도 없었던,

시크릿, 마음챙김, 끌어당김, 알아차림, 무의식정화와도 같은 키워드에 사로잡혔다.

도대체 무엇이 계기였을가? 이제는 자세히 기억나지도 않지만,

아마 마음대로 뜻대로 되지 않는 내 현실을 바꿔보고자 함이 시작이 였던 것 같다.

문득 넷플릭스에 있는 시크릿 영화를 본 것이 첫 발자국이었던 것 같기도 하고, 왜 인지는 모르겠지만 갑자기 알고리즘을 통해 추천된 나탐님의 Youtube의 유체투사 동영상이었던 것 같기도 하다.

그래서 1년남짓의 '나 자신'에 대한 탐구를 계속 해오고 있다.

1년이 지나고.. 여전히 내 속에는 해결되지 않은 것이 많지만,

관련된 여러 유튜브나 글들을 보면, 신기하게도 알아차림, 정화, 시크릿 등에 대해 이야기하는 모두가 자신만의 다른 표현으로 이야기하지만 결국 같은 맥락을 이야기한다는 것을 알게되었다.

내가 조금더 깨닫는 부분, 사실로 받아들인 부분이 많아지면 나의 이야기도 본격적으로 블로그에 써보고자 한다.

하지만 아직은 누구에게 설명하기 위해서는 나 자신이 알아야할 부분이 더 많은 것 같다.

그래서 내가 참고한 수많은 온라인 스승님들 중 개인적으로 가장 명쾌하게 설명한다고 생각하는 참고할만 곳을 먼저 공유한다.

아래 공유한 곳 외에도 온라인에는 깨달음을 얻은 사람들이 정말 많다. 다만 모두가 한 곳을 바라보더라도 좀 더 와닿게 표현을 하는 방식에는 차이가 있다.

아래 소개할 세 분의 채널/블로그도 결국 듣다보면 한 방향을 가리키고 있다는 것을 알 수 있다.

하지만 이 설명을 듣고 막힐 때, 저 설명도 들어보고, 하는 관점에서 번갈아 가며 깨달음을 참고하기에는 좋은 것 같다.

왜냐하면 세 곳 모두 상충되는 설명이 하나도 없고 (깨달음은 결국 하나로 통한다?)

설명도 개인적으로 생각하기에 다른 곳보다 비교적 명쾌한 편이다.

1. 나탐 Youtube channel

   - 나탐이라는 분의 유튜브 채널이다. 외모만 보면 젊어보이는 분인데, 설명이 너무나 정리가 잘되어있고,

     명쾌하고 깊이가 있다. 유체투사 관련 포스팅도 있는데 개인적으로는 영성쪽 포스팅이 정말 좋은 것 같다. 

    https://www.youtube.com/channel/UCPIbtWFpVMI-tCNWZ4vlL7Q

2. 하루 Youtube channel

   - 하루라는 분의 유튜브 채널이다. 이 분은 어떻게 하다보니 블로그로 먼저 접했는데, 예를들어 설명하는 능력이 정말       뛰어나신 것 같다. 무의식 정화같은 부분에 자신의 방법론이 있으신 것 같은데, 이 부분에 정말 많은 도움의

     받고 있다.

https://www.youtube.com/channel/UCBqqEuJAjsYrDWZtu8J-TBQ

3. 재환 Blog

    - 이 분은 네이버 '비욘드더시크릿' 카페에서 알게된 분인데, 이 분 또한 설명을 정말 잘한다. 동영상보다 글을 선호한

      다면 참 좋은 곳이다.

https://blog.naver.com/angro