개요 요즘 추천시스템 개발 업무를 진행하면서 추천시스템 성능을 어떻게 측정할까, 어떻게 객관적인 성능을 제시할 수 있을까에 대해 고민하고 있습니다. 추천시스템의 성능, 인과효과를 측정하기 위한 다양한 방법들 중 A/B test가 가장 보편적이며 유용하게 사용되고 있으며 마케팅 효과 측정 등 다양한 분야에서 적용되고 있습니다. 하지만 어렵지 않아 보이는 세팅으로 장점을 가지는 A/B test에도 한계점들이 분명히 있으며 신뢰할 수 있는 온라인 실험환경을 위해 다양한 연구들이 진행되고 있습니다. 이번 포스팅은 A/B test의 한계점에 대해서 알아보고 이를 개선하기 위한 방안 중 대표적인 Multi Armed Bandits test에 대해서 알아보겠습니다. A/B test는 만능일까? 수많은 의사결정이 사람..
