Cup of Excellence와 즐거운 추리통계

　컵 오브 엑설런스(Cup of Excellence, COE) 인증을 수여하는 과정은 일종의 추리통계입니다. 이 대회에 각 농장이 출품하는 커피는 약 1300kg쯤 됩니다^[각주:1]. 커퍼들이 마시는 커피는 다 합쳐 5kg가 안 될텐데^[각주:2] 이것만 마셔보고 기준에 합당하면 나머지 1295kg의 커피도 기준에 합당할 것이라 판단하여 COE 인증을 주니까요. 추리통계에 익숙하지 않은 사람에게는 말도 안 되는 일 같지만, 잘 따지고 보면 제법 그럴싸한 과정임을 아실 수 있을 겁니다.

　이 글에는 평균, 표준편차, 정규분포의 개념이 사용되었습니다. 고등학교 수학의 수준을 넘지는 않을 테니 너무 걱정하지 마세요. 낙타의 혹처럼 볼록한 곡선이라든가 1.96σ, 95%같은 숫자가 떠오르신다면 이 글을 읽으시는 데 큰 문제는 없습니다.

---

　워밍업 삼아 연습문제를(ㅋㅋㅋ) 풀어봅시다. 20여명의 커퍼가 모여서 동일한 원두를 가지고 COE 커핑을 했습니다. 이 때 커핑 점수의 평균이 86.96점이고 표준편차는 1점이었습니다. 커핑 점수가 정규분표를 이룬다고 가정할 때, 그리고 커퍼 중 이상한 양반이 없다고 가정할 때, 85점 미만의 점수를 받는 컵(커핑할 때 사용한, 한 잔의 추출한 커피)이 나올 확률은 얼마일까요?

　정답은 2.5%입니다.

　평균±1.96σ 범위의 값이 차지하는 영역이 전체의 95%(위 그래프의 노란색 영역), 평균-1.96σ보다 작은 값이 차지하는 영역이 전체의 2.5%(빨간색), 평균+1.96σ보다 큰 값이 차지하는 영역이 전체의 2.5%(녹색)이니 세 영역을 합치면 100%가 됩니다. 위의 문제에서 85점 밑의 점수를 받는 컵은 빨간색 영역에 해당하니, 그것이 나올 확률은 2.5%가 되지요.

　커퍼에게서 받은 점수가 평균 86.96점에 표준편차가 1점인, 제법 괜찮은 COE 커피를 구입해 마시더라도, 마시다 보면 40잔 중 1잔 꼴로는 COE 기준에 미달하는 커피를 마실 수 있다는 이야기지요. (앞에서 커퍼 중 이상한 양반이 없다고 가정하였듯, 이번에는 커피를 마시는 사람의 입맛이 유난히 까다롭지 않다고 가정하겠습니다)

---

　잠깐 이야기를 돌려보겠습니다. 만약 어떤 커피를 커핑할 때, 5%의 확률로 85점 미만인 커피가 나오더라도 95%의 확률로 85점 이상인 커피가 나온다면, 이 커피는 신뢰수준 95%에서(또는 p<.05에서) "통계적으로" 85점 이상인 커피라고 말할 수 있습니다. 신뢰수준 95%에서 85점 이상인 커피의 점수 분포를 그려보면 다음과 같이 될 것입니다.

　여기서는 우측 끝으로부터 그래프를 칠했을 때 전체의 95%를 칠하게 되는 지점이 m-1.645σ라고 가정하였습니다. (m-1.64σ나 m-1.65σ라는 근사값이 사용되는 경우도 있습니다)

　"신뢰수준 95%에서 85점 이상인 커피"는 "신뢰구간의 하한값이 85점인 커피"라고도 말할 수 있습니다.

---

　평균 86.96점, 표준편차 1점의 커피를 마실 때 85점 미만의 컵이 나올 확률에 대해 이야기한 첫 번째 토막글과, 신뢰구간의 하한값이 85점인 커피에 대해 이야기한 두 번째 토막글을 읽으시면서 짐작한 분도 계시겠지만, COE 인증이 통계적으로 보증하는 점수는 m≥85점이 아니라 m≥85-1.645σ점(신뢰수준 95%에서)입니다. 따라서 σ이 크다면 "COE 커피라서 기쁜 마음에 샀는데 마시다 보니 수준미달인 맛이 나오는 잔이 꽤 있더라"같은 불평불만이 나올 확률은 올라갑니다. COE 주최측으로서는 σ를 줄여야 소비자의 신뢰를 얻을 수 있지요.

　σ(커핑 점수의 표준편차)가 발생하는 원인은 크게 둘로 나누어볼 수 있습니다.

　　① 커퍼가 매긴 점수가 정확하지 않다. (=측정오차가 발생함)

　　② 커피의 품질이 들쭉날쭉해서 점수가 다르게 측정되었다. (=모집단의 표준편차가 큼)

　이 두 가지 문제를 해결하면, 당연히 σ도 줄어듭니다.

　COE 주최측이 σ를 줄이려는 노력(이라고 볼 수 있는 것)을 한 번 살펴볼까요?

　①번 문제를 해결하려면 측정오차를 줄여야 합니다. 매 라운드마다 커핑 점수의 평균을 낼 때 최고점과 최저점을 빼고 계산하며, '터무니없는' 점수를 자주 낸 커퍼를 다음 번 COE의 초대하지 않는 등의 방법이 동원되는 건 이 때문일 겁니다.

　②번 문제를 해결하려면 출품되는 원두의 품질을 고르게 해야 합니다. 원두의 품질이 들쭉날쭉하면 점수도 들쭉날쭉하게 측정될 뿐더러, 커퍼들이 마셔본 샘플은 품질 좋은 원두가 몰린 쪽에서 꺼낸 것이었는데 COE 인증 받고 팔린 원두는 품질 나쁜 쪽인 (따라서 COE 커피라고 샀는데 포장 뜯고 보니 완전 저질인) 상황도 벌어질 수 있습니다. COE 주최측으로서는 이 같은 악몽도 없지요.

　원두의 결점에 철퇴를 내리는 엄격한 커핑 기준을 세운 건 이 때문일 겁니다. Minor 수준의 결점에 -4점, major 수준의 결점은 즉시 탈락. 커퍼가 어디서 원두를 꺼내어 맛볼 지 모르니, 출품하는 입장에서는 커퍼가 어디서 원두를 꺼내더라도 결점이 발견되지 않도록 총력을 다해 원두의 QC를 할 수밖에 없습니다. 손으로 하나하나 결점두를 골라내는 과정을 반복하는 등의 노력을 기울여야 하지요. 약 488잔의 커피를 만들었을 때 그 중 1잔에서만 결점이 지적될 수준의 QC를 하더라도 25번의 커핑을 하며 결점이 단 한 차례도 지적되지 않을 확률은 5%에 불과합니다. COE 인증을 받기까지 통과해야 하는 커핑의 횟수가 이보다 훨씬 많다는 점을 생각하면^[각주:3], COE를 노리는 원두 출품자가 얼마나 혼신의 노력을 다해 QC를 할지 짐작할 수 있는 대목입니다.

---

　지금까지 측정오차와 모집단의 표준편차를 줄이기 위해 COE 주최측이 들이는 노력과, COE 기준에 맞추기 위해 출품자들이 QC에 들이는 노력을 살펴보았습니다. 1300kg중 5kg만 마셔보고 나머지 1295kg에 COE 인증을 주는 과정이 제법 그럴싸한 이야기임을 전해드리고 싶었는데, 잘 되었으려나 모르겠습니다. 1300kg를 모두 마셔보고 "아아, 참 훌륭한 커피다." 라고 내린 결론은 절대 틀리지 않겠지만, COE 인증 달고 팔릴 커피는 남지 않겠지요. 일부만 마셔보고 나머지도 그러하리라 추측하면 어느 정도 틀릴 위험을 감수할 수밖에 없고, 그 위험을 줄일 수 있는 방법을 찾는 정도만이 우리가 찾을 수 있는 최선의 선택지일 것입니다.

　지구 반대편에서 그 결과만 받아보는 우리에게 COE는 "##점을 받은 맛 좋은 커피" 정도의 느낌으로 다가올 수도 있겠지만, 출품자에게는 지긋지긋한 QC와 확률과의 싸움 끝에 얻어낸 기적 같은 결실이고 COE 주최측에게는 통계적 신뢰도를 높이기 위해 실행 가능한 거의 모든 조치를 취한 끝에 얻은 연구결과일 겁니다. 글의 시작은 추리통계였지만, 그 나중은 사람의 노력으로 끝을 맺게 되네요. COE는, 여러모로 눈물 겨운 커피입니다.

---

　각주

1. 주간조선의 <상위 0.1%의 커피전쟁 COE>를 근거로 한 자료입니다. 최근 COE의 Auction Result를 보면, 2500kg 이상 출품하는 농장도 심심치 않게 눈에 띕니다. High Bid는 kg당 입찰가격이므로, 해당 농장의 Total Value를 High Bid로 나누면 그 농장이 출품한 커피의 양(kg)이 나옵니다. [본문으로]
2. 5개 라운드×20명의 커퍼×5잔의 커피×1잔에 8.25g=4.125kg (가정을 통해 얻은 값입니다) [본문으로]
3. 5개 라운드에서 20명의 커퍼가 한 잔씩만 맛보아도 100잔입니다. 다섯 잔씩 맛본다면 500잔이고요. 500번의 커핑을 거쳐야 한다면, 9749잔 중 1잔에서만 결점이 지적될 수준의 QC를 하더라도 결점을 지적받지 않을 확률은 5%에 불과합니다. [본문으로]