政府・自治体オープンデータの公開と検索の支援を目的としたタグ付与に関する研究

点击翻译按钮获取中文摘要

本研究は，政府や地方自治体が公開している統計データなどの政府オープンデータに対して，各データセットの内容を表す語であるラベル（タグ）を推定する手法の開発を目指している．特に，オープンデータに付与された頻度の低いラベルを推定することを目指している．しかし，頻度の低いラベルは学習データでの出現回数が少なく推定しにくい問題がある．この問題に対して，頻度が低いラベルの学習データを疑似的に増やす，新しいoversampling手法を提案し，ラベルの予測を行った．提案するoversampling手法は，1データセットにおけるラベルの共起を利用して学習データを増やす．提案手法は，初めに，各データセットに対して，特徴ベクトルとラベルの出現を表すラベルベクトルの組を作成する．頻度の低いラベルの特徴ベクトルから1つ選択し，中心ベクトルとする．中心ベクトルに対して，少なくとも1つラベルが共通し，かつ，ユークリッド距離の近い特徴ベクトルをk個選択する．k個の特徴ベクトルに重み付けし，重みを用いた確率で，k個の特徴ベクトルから1つ選択する．選択した近傍の特徴ベクトルと中心ベクトルとの間にランダムで1つ特徴ベクトルを生成し，新しい特徴ベクトルとする．新しい特徴ベクトルに対応する頻度の低いラベルを付与し，学習データに追加する．以上の手順を，頻度の低いラベルの学習データにおける出現回数が閾値に達するまで繰り返す．実験では，DATA.GO.JP上の27,169件のデータセットを対象とし，学習手法はscikit-learnのナイーブベイズを用いた．5点交差検定で評価を行った．提案手法により少数ラベルについて予測回数の増加，再現率と精度の改善が見られた．