보고서 제목: 크라우드 소싱을 통한 데이터 품질 및 학습
보고서 시간: 2019 년 7 월 10 일 수요일 오후 3:00
보고서 위치: 컴퓨터 빌딩 313
리포터: Sheng Shengli 아칸소 중앙 안전 카지노 부교수, 데이터 분석 실험실 담당 이사
Abstract
크라우드 소싱 시스템은 광대 한 독립 근로자 풀 (군중)에서 다양한 작업 (예 : 라벨링 객체)을위한 인간 지능을 수집 할 수있는 편리한 플랫폼을 제공합니다. 기존의 전문가 라벨링 방법과 비교할 때 크라우드 소싱은 분명히 더 효율적이고 비용 효율적이지만 단일 라벨러의 품질은 보장 할 수 없습니다. 저렴한 크라우드 소싱 비용을 활용할 때 군중으로부터 물체 당 여러 라벨 (즉, 반복 된 라벨링)을 얻는 것이 일반적입니다. 이 대화에서 나는 세 가지 측면에서 크라우드 소싱에 대한 연구를 간략하게 설명합니다. (1) 크라우드 소싱 메커니즘, 특히 반복적 인 라벨링 전략; (2) 지상 진실 추론, 특히 군중의 추론 및 편견 후의 소음 보정에 대한 지상 진실; (3) 크라우드 소싱 데이터로부터 배우는 것.
나는 먼저 여러 라벨을 얻기 위해 복잡성 증가에 대한 반복적 인 표지 전략을 제시합니다. 신중하게 선택된 포인트 세트를 반복적으로 라벨링하는 것이 일반적으로 선호됩니다. 다른 불확실성 개념을 결합하여 더 많은 레이블을 위해 데이터 포인트를 선택하는 강력한 기술이 권장됩니다. 크라우드 소싱에 대한 최근의 연구는 기대 대력 기반 (EM 기반) 지상 진실 추론을 통해 여러 시끄러운 레이블에서 통합 레이블을 도출하는 데 중점을 둡니다. 지상 진실 추론 후 얻은 통합 레이블의 라벨 품질을 더욱 향상시키기 위해 노이즈 보정 기술을 도입하는 새로운 프레임 워크를 제시합니다. 또한 바이어스 된 라벨링은 체계적인 경향이라는 것을 보여줍니다. 최첨단 지상 진실 추론 알고리즘은 편향된 라벨링 문제를 잘 처리 할 수 없습니다. 우리의 간단한 합의 알고리즘이 훨씬 더 잘 작동합니다. 마지막으로, 학습을위한 여러 시끄러운 라벨의 유용성을 최대화하기위한 쌍별 솔루션을 제시합니다. 쌍별 솔루션은 지상 진실 추론에 도입 된 잠재적 편견을 완전히 피할 수 있습니다. 그들은 양측 (잠재적 인 정확하고 부정확 한/시끄러운 정보)을 고려하여 사용할 수있는 몇 가지 또는 많은 레이블이있을 때마다 매우 우수한 성능을 갖도록합니다.
Bio
Victor S. Sheng은 M.Sc를 받았습니다. New Brunswick 안전 카지노, 캐나다 노스 캐롤라이나 주 프레 더 릭턴 및 박사 학위 2003 년과 2007 년에 각각 컴퓨터 과학 분야에서 캐나다 런던, 온타리오 주 웨스턴 온타리오 안전 카지노에서 학위
14709_15451
교수. 안전 카지노은 IEEE의 선임 멤버입니다. 그는 여러 회의의 회의 주최자이며 여러 저널의 편집 위원입니다. 또한 많은 국제 회의 (예 : IJCAI, AAAI 및 KDD)의 SPC 및 PC 회원이며 20 개가 넘는 국제 저널 (예 : PAMI, TNNLS, TKDE 및 JMLR)의 검토 자입니다. 그는 KDD'08의 Best Paper Award Runner, ICDM'11의 Best Paper Award, Wise'15의 Best Student Paper Award Finalist, ICCCS'18의 Best Paper Award를 수상했습니다.
스피커 프로필 :
Victor S. Sheng은 미국 아칸소 중앙 안전 카지노의 컴퓨터 과학 데이터 분석 실험실 부교수이자 이사입니다. 연구 분야는 데이터 마이닝 및 머신 러닝, 인공 지능, 데이터 보안 및 의사 결정 지원입니다. 국제 학술 회의 및 저널에 100 개가 넘는 논문이 출판되었으며, 단일 논문은 최대 680 번 이상 인용되었습니다. 연구 결과는 데이터 마이닝 및 기계 학습의 최고 회의 및 저널에 여러 번 발표되었으며 국제 학술 저널에는 TPAMI, TKDE, JMLR, TMM, TNNLS 및 DMKD가 포함됩니다. 국제 학업 회의에는 IJCAI, KDD, ICML, AAAI, ECML, ICDM, DASFAA, ACM MM, ICMR, ICME, CIKM 등이 포함됩니다. 2006 년에는 지식 및 데이터 마이닝에 대한 공동 심포지엄에서 최고의 포스터 상을 수상했습니다. 2008 년에 그는 KDD 컨퍼런스에서 최고의 신문 상을 수상했습니다. 2008 년에 그는 2008 년 머신 러닝 심포지엄의 Google 학생 상을 수상했습니다. 2011 년에 그는 ICDM 컨퍼런스에서 Best Paper Award를 수상했습니다. 2015 년에 그는 결선 진출 자에게 Best Paper Award로 Wise Best Paper Award를 수상했습니다. 현재 ICDM 2017의 재무 의장 및 여러 국제 저널의 편집 위원으로 활동하고 있습니다. 그는 미국 자연 과학 재단과 캐나다 자연 과학 및 공학 연구 재단의 10 개 이상의 프로젝트를 감리하고 참여했습니다. 그는 National Science Foundation의 검토위원회 위원으로 재직했으며 여러 차례에 걸쳐 국제 학술 회의 장의 의장으로 일했습니다.
