11월 19일 화요일

내일 리뷰해야 하는 논문이 레전드로 어려워서 눈물 흘리는 중이다

몇 년 전에 배웠던 최적화이론과 선형대수를 떠올려 가며 애쓰는 중...

 

아래는 내가 생각 정리하려고 쓰는 내용

 

 일반적으로 Continual Learning problem에서 정의되는 제약조건을

1. gradient space의 관점에서 rephrase하고(선행연구)

2. 기존 접근법의 memory cost를 한계로 지적하며, 제한된 메모리 크기에서의 relaxed objective를 제안함

3. 원래의 objective와 relaxed objective의 간극을 줄이기 위해서는 sample selection as constraint reduction

4. convex cone의 형태로 나타나는 constraint를 최소화하기 위해서는 cone과 단위 구의 인터섹션으로 정의되는 solid angle을 최소화하면 됨

5. 그러나 이 solid angle을 실제로 계산하는 과정은 너무 복잡함

6. 따라서 이 solid angle의 계산식의 surrogate를 제안: gradient direction의 분산을 최대화하는 것

 

그러니까 내가 익숙했던 문제의 포뮬레이션을 기하적 관점에서 리프레이즈하고, 이 리프레이즈된 문제를 실질적으로 계산하기 위해서 surrogate를 제안하는 과정에서 이해하기 어렵다고 느낀 것이다...

이건 포켓몬 슬립 근황. 이로치인데 딸래미이기까지 한 리오르..