[2021-08-06] 10일차 회고

1. PRAUC ( arear under curve PR, H2O 에선 pr_auc ) , F2 을 기준으로 하이퍼 파라미터를 튜닝하는 6개를 돌려놓고 퇴근했다. ( 60시간 학습, 6개 모델 ) 집에서 제대로 학습되는지 확인하고 싶은데 (wandb 등을 통해서..) , 사내망을 통해서 확인을 해야 하는데 어떻게 가능할지 모르겠다. 

 

2. 1번 방법으로 AUC 가 78%를 못넘는다면 문제가 있다고 판단, 추가적인 방법을 적극적으로 시도해봐야 할 것으로 생각된다. ( 78% : 튜닝안한 Tabnet 의 성능, 기존 12시간 튜닝한 모델은 76%의 성능이 나왔었음. )

- 추가적인 방법이 뭐가 있을까? Snorkel ? 참 난감하다. 

- tabnet 의 베이스라인 성능이 높게 나옴에도 GBM, XGB 모델로 학습하는건, 실제 서비스에 반영되기 위한 제약 조건이 있기 때문이다.

 

3. 만약 차주에 모델 성능이 나오고, SHAP 이나 LIME 으로 해석까지 완료된다면 그 다음엔 어떤 방법으로 개선 시킬까?

- 사실 지금까지 내가 적용한건 어찌보면 단순한 접근이다. 

- 현재 레벨에서 보다 더 높은 레벨의 접근을 해봐야 할텐데 걱정이다.