흩어지는 기억과 생각 저장소

주피터 노트북 기본경로 변경하는 방법이 여러가지가 있는 것으로 알고 있는데,

아래 방법이 가장 간단한 것 같아 첨부를 한다.

1. 우선 시작 메뉴에 있는 주피터 노트북 바로가기 항목을 우클릭하여 [자세히 -> 파일위치 열기] 선택

2. 그러면 바로가기 파일이 있는 폴더로 이동하게 되는데, 그중 주피터 노트북 바로가기 선택하여 우클릭 후 ['속성'] 클릭

3. 속성 창이 뜨면, 대상(T) 라고 되어 있는 항목에 바로가기 실행 command가 있을텐데 가장 뒷 부분 따옴표 사이에

   원하는 경로를 기입하면된다. (처음에는 %USERPROFILE% 뭐 이런거 비슷한 써져있을거임)

4. 그리고 주피터 노트북 재실행하면, 된다!

ADP (데이터분석전문가) 15회 실기 후기 (불합격...확정)

마지막일줄 알았던...... 

합격하던, 불합격하던 내 기억속에서 지워버리려고 다짐했던,

ADP 15회 실기의 후기를 늦게나마 기록해 본다.

일단 결과적으로는 1,2 번 2개의 큰 항목의 문제 중,  2번을 통째로 못풀었기 때문에 불합격 확정이다.

15회 실기 후기는 별로 없지만, 그래도 네이버 카페나, 그런 곳에 몇몇 분이 다소 후기를 자세하게 써주신 분들이 계셔서,

대략 내용은 다른 글을 봐도 파악이 가능할 듯 하다..

일전 응시했던 ADP 실기 11회와 비교하면, 

Text mining이 출제되지 않은 것을 감안하고도, 난이도가 확 높아졌다는 것을 느꼈다.

솔직히 금번 Python으로 사용 언어를 바꾸는 모험을 했지만 서도,

공부 시간이 꽤 되었는데 , (책 두권을 대략 다 보았다.)

책에서 전혀 보지도 못한, timestamp 형 data가 2번에 출제되면서, Data변환 자체도 못해보고,

2번 문제를 통으로 날려먹었다.

(Timestamp가 DB에서 이야기하는 그 Timestamp가 아니다.  결론적으로 표현형태는 같겠지만... 여튼 일반적으로 DB query날리는 사람들이 접한 그 Timestamp 가 아님)

일단 시험 문제를 통해 후기를 좀 정리해보자면,

1번은 무슨 제철회사 Iot data 같은 것들을 제공해 주고,

 - EDA(탐색적 데이터 분석) 해보는 거

 - 독립변수 선별 (feature engineering)

 - 종속변수(y)를 이항으로 바꾸고 로지스틱 회귀 분석하기

 - 종속변수(y) 다항인 상태에서 SVM 포함하여 3가지 알고리즘으로 돌려보고 평가

 - 위에서 만든 모델 중 하나 적합한 모형 찾아서 군집분석 실시하고 군집분석을 반영하여 F1 score값을 통해 

   모델이 나아지는지 확인

과 같은 것을 진행하는 것이다.

1번문제도 기존 11회 실기의 머신러닝 문제와 비교해 나름 난이도가 낮은 편은 아니었지만, 

그나마 손을 댈 수는 있었는데, 솔직히 군집분석을 기존 머신러닝 결과에 반영하라는게 무슨 의미인지 몰라서,

좀 벙찌기도 했었다.

(나중에 카페 글을 보니 해당 군집을 또 독립변수로 놓고 학습을 하면 모델의 질이 높아질 수 있다. 뭐 그런 뜻인 것 같다. 솔직히 이와 같은 분석 방식을 난 전혀 모르고 있었다)

그리고 python으로 언어를 변경하면서, 준비를 안해서 좀 문제가 되었던 부분은, EDA와 Feature engineering이다.

기존 상관분석 등으로 독립변수 선별할 때 사용했던 R code를 백프로 python으로 숙지를 못하고 가서,

(대체 준비할때 난 뭐한거지?)

for 문으로 일일히, 구현을 해서, 그래프를 하나하나 뽑아낸 후 붙이는 노가다를 했었다.

뭐 여튼 1번도 어버버 했는데 어떻게어떻게 했는데..

2번은.. 전력사용량 관련 data를 제공해주었는데

그 망할 timestamp라는 무슨 열 몇자리 숫자로 구성된 데이터가 나와서,

이걸 어떻게 변환하지? 머리가 새하얗게 변하면서 그냥 망해버렸다.

가장 기본이 되는 시계열 column (3개의 data의 key가 되어야 하는 column이었음) 을 변환을 못하니 뭐 그냥 문제 자체에 손을 못대고 넋을 놓게되어 버렸다.

솔직히 2번문제 접하고 나서,  와... 이건 내가 이 Data형을 실무에서 경험하지 못했다면, 

아무리 공부를 많이 했어도, 책을 3~4권 더 봤어도 이걸 풀 수 있었을까? 라는 생각이 들면서

마음속 깊이, 내 자질을 의심했다. 

이것도 알고보니 python 함수하나로 간단히 해결되는 문제인데,  뭐 내가 이런걸 봤어야지 .ㅠ

(datatime package안에 fromtimestamp 뭐이런 함수가 있음... 열라 간단...)

사실 내가 참고한 python 데이터 분석 관련 책, R 책에는 정말 조금이라도 비슷한 유형이 하나도 나오지 않아.. 

정말 당황스러운 시간이었다..

여튼 이렇게 시험이 끝나고...

시험이 끝나는 동시에 불합격을 확정지으며, 씁쓸한 발걸음을 집으로 옮겼는데..

아 왜 이렇게 분한지... 3월 시험을 한번 더 응시해볼까 하는 생각...

그리고 그런 생각이 든 이유는 ,

이번에 R -> python으로 전환하면서, 의외로 걱정했던 것 만큼 크게 'library 공백' 이 없었다.

즉 R에서 지원하는 대부분의 분석에 필요한 Library가 python에 대부분이 구현되어 있어,

크게 불편함을 느끼지 못했다는 뜻이다.

물론 일부... 뭐 상관관계라든가... 변수 선택관련 step(전진선택법, 후진소거법, both 뭐 그런거...) 이라던가... 그런 일부는 R처럼 보기 편한 형태로 구현되어있지는 않지만... 여튼 python의 위대함을 알게되면서, 조금더 공부해보고 싶다는 생각이 들었다.

R도 좋은 언어긴 하지만, 결국 미래에는, python이 데이터 분석 계열 언어 지분을 지배할 수도 있겠다는 생각이 들었음.. 다른 또 기똥찬 뭔가가 나오지 않는 이상..

여튼 ADP 15회 실기에 대한 넋두리는 이것으로 끝...

ADP라는 힘든 싸움을 하는 전국의 데이터 분석 전문가 지망생들에게 repect를 보내며...

(2020에는 빅데이터 분석기사도 나온다드만....)

sklearn 의 학습 모듈 사용 시, “ValueError: Expected 2D array, got 1D array instead” 발생 시 해결방법.

머신러닝 공부를 하면서, sklearn 패키지에 있는 LinearRegression을 트레이닝 하려고 하는데,

또 짜증나게 영문 모를 에러가 발생한다.

이상하다... 독립 변수, 종속 변수 모두 다 확인해서... Test, Train Data도 잘 나눠서 넣었는데 이게 무슨 에러여...

분명히 개수도 맞고 데이터 형도 맞고 한데...

검색검색해보니... 젠장맞을..

머신러닝 알고리즘 트레이닝을 할때, sklearn 패키지 같은 경우, 독립변수(x)를 2차원 배열로 넣어야 되나보다..

(학습할 독립변수가 여러개가 될 수 있으니 그런 듯)

위와 같은 경우는,

이런 식으로 , x변수가 하나라도 2차원 배열로 선언을 해줘야한다.

그러고나니..

oh... 깔끔하게 실행됨..

사실 책의 예제에는 위와 같이 [[]] 형태로 2차원 배열로 선언이 되어 있었는데, 왜 그렇게 되어있는지 설명도 없고 해서, 나의 무지와 고집으로 ㅠ 1차원 배열로 선언을 했다가 결국 많은 길을 돌아왔다..

sklearn의 다른 알고리즘들도 동일한 형식을 가진 것들이 있는 것 같은데, 문제가 될 시 위와 같이 해결을 해보자..

정말 에러잡는다고, 시간이 두배는 걸리는 파이썬... 데이터 분석 공부..

갈 길이 멀다..