ステレオビジョン用グラフカットのFPGAによる高速化

使用 FPGA 加速立体视觉图形切割

基本信息

批准号：
26330148
负责人：
小栗清
金额：
$ 2.58万
依托单位：
Nagasaki University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2014
资助国家：
日本
起止时间：
2014-04-01 至 2017-03-31
项目状态：
已结题

项目摘要

FPGA用に考案したWave Front Fetchアルゴリズム（未発表）をFPGAに実装して性能とハードウェア量を評価した．Wave Front Fetchアルゴリズムは，よく知られているPush Relabelアルゴリズムの高速化のための付加機能であるGlobal Update処理をPush処理の中に一体化したものである．このアルゴリズムはGPUに実装した場合でも高い性能が得られるが，FPGAに実装すると50MHzのクロック周波数の場合で，現時点で入手可能な最高性能のGPUであるGTX1080での実行に比べて40倍から80倍の性能向上を達成できることが分かった（発表予定）．CPUと比べると1000倍以上の高速化となる．問題はグラフデータをFPGA内部のブロックメモリに格納する必要がある点であり，3Dグラフのサイズが16x64x64程度までしかFPGA上に置けない．ブロックメモリサイズの拡大はFPGAの今後の重要な方向であると業界紙等で指摘されるようになってきているが，現状のFPGAではブロックメモリサイズがネックとなる．一方，注視ステレオから並行ステレオに変更したために必須となったステレオキャリブレーション処理は，当初OpenCVの，良く知られたZhangの手法によるライブラリを使用したが，十分な精度が得られなかった．原因を分析したところ，二つのステレオカメラの同期ずれが大きな誤差につながっていることが分かった．安価なUSB接続による２台のカメラを使う場合に同期をとることは不可能であるので，独自に新たなキャリブレーション方式を開発することとした．グラフカット値を小さくするようにカメラを回転させるという愚直な方法を試したところこれで十分な精度が得られた．

在FPGA中实施了为FPGA设计的Wave Front提取算法（未发表），以评估性能和硬件量。 Wave Front获取算法是全局更新过程的集成版本，该过程是将众所周知的推动Relabel算法加速加速的附加功能。即使在GPU上实施，该算法也可以达到高性能，但是在FPGA上实施时，已经发现，与在GTX1080上运行相比，性能改善了40到80倍，这是目前可用的最高性能GPU，在50MHz处可用。与CPU相比，此速度更快的速度超过1000倍。问题在于，图形数据必须存储在FPGA内部的块内存中，并且只能将3D图的大小放在FPGA上，最高为约16x64x64。已经指出，行业和其他媒体将来扩大块内存大小是FPGA的重要方向，但是块内存大小是当前FPGA的问题。另一方面，立体声校准过程由于从凝视立体声到并行立体声而变化而变得必不可少，最初使用众所周知的张方法使用了OpenCV的库，但没有获得足够的精度。分析原因时，发现两个立体声摄像机之间的同步偏差会导致误差很大。由于使用廉价的USB连接使用两个摄像头时，不可能同步，因此我们决定自己开发一种新的校准方法。我尝试了一种简单的方法来旋转相机以减少剪切值，这使我有足够的准确性。