Research on large-scale creative work by cooperation in crowdsourcing

点击翻译按钮获取中文摘要

今年度は，前年度に構築したWebアプリケーションの改良を行い，一つのタスクに対して複数の作業者が作業を行った際の合意形成過程について明らかにした．作業者は多ければ多いほど，不適切な作業者の特定は容易になる．ところが，作業者を増やすことはコスト増大につながり，現実的な費用での作業が困難となる．そこで，機械学習により作業者を模倣するモデルを構築することができないかどうか，それにより作業者の品質測定が可能かどうかを調査した．まず作業者ごとに，作業結果を模倣する機械学習モデルを構築する方法についての研究を行った．実データを利用して実験を行った．この実験では，全ての作業者による作業結果を入力としたモデルを構築し，一人の作業者の作業結果によりファインチューニングを行う方法（方法1）と，一人の作業者の作業結果だけを用いる方法（方法2）を比較した．この結果，予想に反して方法2の精度が方法1と比べ高いことが明らかになった．これは，作業者により特徴的な作業結果がファインチューニングによる方法では失われてしまうためである．また，ここで構築した機械学習モデルと実際の作業を併用し，作業者の品質を測定する方法を構築した．その結果，実際の作業だけを使った場合と比較して，低品質な作業者の特定に関して精度が向上することが確認できた．さらに，機械学習モデルとしてマルチタスク学習を用いる方法についての研究を行った．これは，入力と出力が対となっている通常の機械学習と異なり，一つの入力から複数のタスクを解くモデルを構築することにより，精度向上を目指す方法である．この方法を利用するためには，様々なタスクに対応する学習データが必要となり，さらにコストが増大する．そこで本研究では，マルチタスク学習に対応する学習データ構築が可能であることを確認した．さらに，構築した学習データによる機械学習モデルが精度向上に寄与することを示した．