오늘도 점진적

개요 이번 포스팅은 추천시스템에서 인과 추론 기반으로 인기도를 활용해 예측 성능을 높인 프레임워크에 대해 리뷰해도록 하겠습니다.  논문 요약추천 시스템에서 인기 편향을 혼란 변수로 분석하고, Do-calculus를 활용해 부정적 편향을 제거하는 PD와 원하는 인기를 전략적으로 반영하는 PDA 프레임워크를 제안세 개의 실 세계 데이터셋(Kwai, Douban, Tencent)에서 실험을 통해 PD가 인기 편향을 효과적으로 줄이고, PDA가 예측 인기를 활용해 성능을 크게 향상시킴을 입증인과 개입을 통해 편향 제거와 활용을 분리함으로써 추천의 공정성과 실용성을 동시에 높이는 새로운 접근법을 제시  논문 배경 및 연구 문제 추천시스템에서 인기 편향은 대표적인 문제 중 하나입니다. 소수의 인기 아이템이 추천 리..

글또 9기를 마치면서 작성하는 회고 글입니다  2023년 12월 10일에 글또 9기를 시작하는 다짐 글을 올렸었는데 벌써 5개월이 흘렀네요! 시간이 빠르다고 한번 더 채감하는 순간입니다. 글또를 시작하면서 10회 차동안 글을 다 작성할 수 있을까 라는 생각도 있었는데 시간이 흘러 회고를 남기는 시점이 왔네요.  https://sane0.tistory.com/1 2023년 마지막, 글또 9기를 시작하며23년 12월부터 5개월간 진행되는 글또 9기를 시작하게 됐습니다! 블로그 첫번째 글의 주제는 글또 시작을 앞두고 다짐에 대해서 작성해보려고 합니다. 글또에 대해서 얘기하기 전에 저에 대해서sane0.tistory.com 그래도 시작하며 다짐했던 목표들은 모두 달성할 수 있었습니다. 1. 미제출 안 하기이번 ..

벌써 4월 중순에 들어서 오늘은 날씨가 무려 27도네요! 최근 긴팔, 겉옷이 적당한 봄 날씨였는데 금세 여름날씨가 될 것 같네요. 오늘은 조금 지났지만 2024년 1분기를 돌이켜보는 글을 작성하려고 합니다. 1분기에는 방향성을 정하고 스터디를 시작한 기점이었다고 생각 드네요. 떠오르는 키워드 A/B test 스터디 글또 개인 스터디 건강 A/B test 스터디 좋은 기회로 A/B test, 온라인 통제실험에 관한 스터디에 참여하게 되었습니다. 가짜연구소 커뮤니티의 [인과추론 팀, 온라인 통제 실험 연구자로 거듭나기]이며 2024.03 ~ 2024.07 약 4개월간 [A/B 테스트 - 신뢰할 수 있는 온라인 종합 대조 실험] 책을 학습하고 논의를 나눕니다. 스터디 소개 글 : https://www.noti..

개요 저번 'Apache Spark 와 Python으로 빅 데이터 다루기' 강의를 이어 이번에는 '실무 활용 중심의 MySQL 부트캠프' 강의를 수강했습니다. 17시간이라 수강 전에는 부담감이 있었지만 강의 구성이 좋아서 금방 수강했네요. 지원해 주신 글또, 유데미 감사합니다👍 강의 설명 19개 섹션, 323개의 강의, 총 17시간 36분 분량입니다 이 강의는 MySQL을 사용한 실습 위주로 수업이 진행됩니다 처음에 MySQL 설치 방법에 대해서 설명하고 이후 개념, 예제, 과제를 반복합니다 기초적인 데이터 형식부터 데이터 베이스 생성 및 활용하는 방법을 다룹니다 메인으로는 집계 함수, 논리 연산자, 일대다 & 다대다 조인 함수를 다룹니다 추가적으로 뷰, 모드와 같은 함수 그리고 윈도함수도 배웁니다 마지..

개요 요즘 추천시스템 개발 업무를 진행하면서 추천시스템 성능을 어떻게 측정할까, 어떻게 객관적인 성능을 제시할 수 있을까에 대해 고민하고 있습니다. 추천시스템의 성능, 인과효과를 측정하기 위한 다양한 방법들 중 A/B test가 가장 보편적이며 유용하게 사용되고 있으며 마케팅 효과 측정 등 다양한 분야에서 적용되고 있습니다. 하지만 어렵지 않아 보이는 세팅으로 장점을 가지는 A/B test에도 한계점들이 분명히 있으며 신뢰할 수 있는 온라인 실험환경을 위해 다양한 연구들이 진행되고 있습니다. 이번 포스팅은 A/B test의 한계점에 대해서 알아보고 이를 개선하기 위한 방안 중 대표적인 Multi Armed Bandits test에 대해서 알아보겠습니다. A/B test는 만능일까? 수많은 의사결정이 사람..

개요이번 포스팅은 넷플릭스 경연대회(Netflix Prize competition)에서 뛰어난 성능을 보인 "Matirx Factorization을 이용한 추천시스템'에 대한 글입니다. 어떻게 Matrix factorization이 추천시스템에 적용되는지, 원리를 중점으로 알아보도록 하겠습니다.  참고한 논문은 Yehuda Koren의 "Matrix Factorization Techniques for Recommender Systems" 입니다. 추천시스템 기본저번 포스팅에서 언급했듯이 추천시스템은 크게 콘텐츠 기반 필터링(Content-based filtering), 협업 필터(Collaborative filtering)으로 나뉘게 된다. https://sane0.tistory.com/3 추천 시스템 ..

개요 제가 참여하고 있는 글또에서 유데미 강의 쿠폰을 제공해 줘서 좋은 강의를 수강할 수 있었습니다. 글또, 유데미 감사합니다👍 1인당 최대 강의 2개를 신청할 수 있었고 그 중 하나인 해당 강의를 리뷰하는 시간을 가지겠습니다. 강의 설명 8개 섹션, 66개의 강의, 총 6시간 55분 분량이며 가격은 99,000입니다 이 강의는 Python 언어를 사용하며 다양한 실습예제를 통해 Spark 기초를 설명하는 실습 위주 수업입니다 Spark를 이용해 기본적인 DataFrame 처리부터 MLLib 머신러닝 라이브러리로 모델링, 실시간 데이터 스트림 처리를 위한 Spark Streaming 방법을 배웁니다 로컬, AWS의 Elastic MapReduce 서비스를 사용하여 자체 시스템과 클라우드에서 실제 코드를 ..

개요 본 게시물은 추천 시스템의 기본 개념 및 유형을 정리하기 위한 글입니다. 대표적으로 분류되는 콘텐츠 기반 필터링(content-based filtering), 협업 필터링(collaborative filtering)에 대해서 설명하고 어떠한 상황일 때 적합한 모델인지 관점별 특징을 비교하는 내용을 다루고 있습니다. 추천시스템이란 최근 기업들의 '고객에 대한 이해'에 대한 관심이 높아지면서 자연스럽게 추천시스템에 대한 관심도가 높아지고 있습니다. 다양한 E-commerce, OTT서비스 기업들은 매출액 향상을 위해 고객만족도, 충성고객 확보 및 리텐션을 향상시키기 위해 노력하고 있으며 이에 대한 해결책으로 추천시스템을 적극 도입하고 있습니다. 추천시스템의 기본 아이디어는 ‘사용자의 피드백(선호도나 행..

들어가며   작년 카타르월드컵에서 포르투갈에 이기고 환호했던게 엊그제 같은데 벌써 1년이 지났네요😶너무 빠른 시간을 돌이켜보고자 올해를 회고하는 글을 작성하려고 합니다. 그동안 흘러가는 대로 살아가던 저에게 나름 큰 성장이 있었고 뜻깊은 한 해라고 생각합니다.   이 글을 읽는 모든 분들도 새해 복 많이 받으세요 :)  🎓 졸업식 오랫동안 유지해온 대학생 신분에서 졸업했습니다! 이제 사회 생활한 지 반년 정도 되었지만 왜 어른들이 학생 때가 좋다~라고 하는지 조금은 알 것 같네요. 학창 시절부터 대학까지 온실속의 화초에 익숙했었나 반성하는 마음도 드네요. 대학원 입학할 때는 어떤 연구하나 싶었는데  또 금방 이렇게 졸업하는게 신기하네요. 석사과정은 2년이었지만 저에게는 체감상 1년처럼 느껴집니다. 대..

23년 12월부터 5개월간 진행되는 글또 9기를 시작하게 됐습니다! 블로그 첫번째 글의 주제는 글또 시작을 앞두고 다짐에 대해서 작성해보려고 합니다. 글또에 대해서 얘기하기 전에 저에 대해서 간략하게 설명하면 현재 AI 마케팅 솔루션기업에서 데이터 사이언티스트 신입으로 일하고 있습니다. 주로 프로덕 기능개발 업무(고객 세그멘테이션, 추천시스템 등)를 담당하고 있으며 최근에는 추천시스템 개선 업무에 집중하고 있습니다. 글또란 글또는 "글 쓰는 또라이가 세상을 만든다"라는 문장의 줄임말입니다. 개발자 위주의 글쓰기 모임으로 이번 기수에는 무려 400명이 넘게 참여합니다. 소통 창구로 슬랙을 사용하며 글쓰기뿐만 아니라 소모임, 스터디, 커피챗 등 다양한 모임에 참여하며 교류할 수 있습니다. 글또를 시작한 이유..