【Raspberry Pi 2】 RasPiカメラモジュールをOpenCVで使用する

2015年2月21日 studiok 30件のコメント

USBカメラはOpenCVから簡単に扱えますが、RaspberryPiカメラモジュールの場合はOpenCVの標準機能ではサポートされていません。

以下のライブラリ（raspicam_cv）を使用することで、OpenCVから簡単にRaspberryPiカメラモジュールが使えるようですので試してみました。
https://github.com/robidouille/robidouille/tree/master/raspicam_cv

OpenCVのインストール

まずはOpenCVのインストールを行います。
OpenCVはapt-getでインストールできますが、最新版を使用したいので、ソースからコンパイルします。
現時点最新の2.4.10をインストールします。

まず前準備として、必要なツールやライブラリをインストールします。
$ sudo apt-get -y install build-essential cmake cmake-qt-gui pkg-config libpng12-0 libpng12-dev libpng++-dev libpng3 libpnglite-dev zlib1g-dbg zlib1g zlib1g-dev pngtools libtiff4-dev libtiff4 libtiffxx0c2 libtiff-tools
$ sudo apt-get -y install libjpeg8 libjpeg8-dev libjpeg8-dbg libjpeg-progs ffmpeg libavcodec-dev libavcodec53 libavformat53 libavformat-dev libgstreamer0.10-0-dbg libgstreamer0.10-0 libgstreamer0.10-dev libxine1-ffmpeg libxine-dev libxine1-bin libunicap2 libunicap2-dev libdc1394-22-dev libdc1394-22 libdc1394-utils swig libv4l-0 libv4l-dev python-numpy libpython2.6 python-dev python2.6-dev libgtk2.0-dev pkg-config
$ sudo apt-get install libswscale-dev

続いてOpenCVの入手とビルドです。
$ wget http://sourceforge.net/projects/opencvlibrary/files/opencv-unix/2.4.10/opencv-2.4.10.zip
$ unzip opencv-2.4.10.zip
$ cd opencv-2.4.10
$ mkdir build
$ cd build
$ cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D BUILD_NEW_PYTHON_SUPPORT=ON -D BUILD_EXAMPLES=ON ..

$ make -j 4
$ sudo make install
$ sudo ldconfig

以下の指定でmakeすることによって4並列でコンパイルできます。
$ make -j 4

コンパイルは1時間ぐらいで終了しました。
旧モデルのRaspberryPiでは6時間ぐらいかかっていたので、Raspberry Pi 2の発表時に「旧モデルに比べて6倍速になった」という説明とぴったり合いました。
2015年2月28日追記 OpenCV-2.4.11をコンパイルしたところ2時間ぐらいかかりました。時間を見誤ったかもしれません。

ためしに簡単なOpenCVプログラムをコンパイルしてみました。
USBカメラの映像を画面に表示するプログラムです。

ソース camera_test.c
#include
#include

int main (int argc, char **argv)
{
double w = 640, h = 480;

CvCapture *capture = cvCreateCameraCapture(-1);
if (capture==NULL) {
puts(“Camera not found.\n”);
return 0;
}

cvSetCaptureProperty (capture, CV_CAP_PROP_FRAME_WIDTH, w);
cvSetCaptureProperty (capture, CV_CAP_PROP_FRAME_HEIGHT, h);

// ウィンドウを作成する
char *windowName = “camera”;
cvNamedWindow( windowName, CV_WINDOW_AUTOSIZE );

while (1) {
IplImage *frame = cvQueryFrame(capture);
cvShowImage( windowName, frame );

cvWaitKey( 1 );
}

cvReleaseCapture (&capture);
cvDestroyWindow (windowName);

return 0;
}

以下のようにコンパイルします。
gcc -o camera_test camera_test.c -I/usr/local/include/opencv -lpthread -ldl -lopencv_core -lopencv_imgproc -lopencv_highgui -lopencv_ml -lopencv_video -lopencv_features2d -lopencv_calib3d -lopencv_objdetect -lopencv_contrib -lopencv_legacy -lopencv_flann -lm

結果、問題なく動きました。
当方の環境ではディスプレイをつなげていないため、ネットワーク経由でVNCにて表示しています。
VNCで負荷がかかっていると思いますので、フレームレートは参考値になりますが、8フレーム/secでした。
※上記プログラムを少し改造して、フレームレートを表示するようにしたもので調べました。

cvShowImage( windowName, frame );
の個所をコメントアウトして映像を表示しないようにすると、15フレーム/secとなりました。
USBカメラではこれぐらいが限界なのでしょうか。。。

なお、USBカメラにはロジクールC905を使用しました。

raspicam_cvのインストール

raspicam_cvライブラリを使用すると、OpenCVから簡単にRaspberryPiカメラモジュールを使用できます。

https://github.com/robidouille/robidouille/tree/master/raspicam_cvの手順に従って、インストールしていきます。

前準備としてgitコマンドをインストールします。
# apt-get install git

raspberry pi userlandライブラリをインストールします。
# mkdir ~/git
# cd ~/git
# mkdir raspberrypi
# cd raspberrypi
# git clone https://github.com/raspberrypi/userland.git
# cd userland
# ./buildme

# cd ~/git
# git clone https://github.com/robidouille/robidouille.git
# cd robidouille/raspicam_cv

opencvのインストール先の違いにより、Makefileを一か所書き換えました。
変更前： CFLAGS_OPENCV = -I/usr/include/opencv
変更後： CFLAGS_OPENCV = -I/usr/local/include/opencv

# mkdir objs
# make

サンプルプログラムのソース(RaspiCamTest.c)を見ると、
以下のように一部関数の入れ替えが必要ですが、見慣れたOpenCVのソースですので取っつきやすいです。
CvCapture -> RaspiCamCvCapture
cvCreateCameraCapture -> raspiCamCvCreateCameraCapture
cvQueryFrame -> raspiCamCvQueryFrame
cvReleaseCapture -> raspiCamCvReleaseCapture
cvGetCaptureProperty -> raspiCamCvGetCaptureProperty

サンプルプログラムのraspicamtestを動かしてみます。
# ./raspicamtest -l
“-l”指定で640×480の解像度になります。何も指定しないと320×240となり、”-x”指定で960×720となります。

raspi03

問題なくRaspberryPiカメラモジュールの映像が表示されました。
画面にフレームレートが表示されていますが、これは設定値であり、実際のフレームレートではないので注意が必要です。

フレームレートをUSBカメラと比較すると以下となります。

	USBカメラ	Raspiカメラ
画面表示あり(※)	8フレーム/sec	13フレーム/sec
画面表示なし	15フレーム/sec	30フレーム/sec

※VNCにてネットワーク経由のため、負荷がかかっていますので参考値です。

960×720の場合でも、画面表示なしでは30フレーム/secでした。
また、ソース上、
config->framerate=0;
の個所を
config->framerate=60;
とすることで、640×480の場合、画面表示なしでは47フレーム/secとなりました。

USBカメラよりもフレームレートが高いため、画像認識の性能向上が期待できます。

【国内正規代理店版】Raspberry Pi 4 Model B/4GB OKdo版【技適マーク付】

Raspberry Pi + AI 電子工作超入門

OSOYOO(オソヨー) HDMI 3.5 インチ LCD ディスプレイ IPS モニター IPSタッチスクリーン 1920×1280ハイビジョン Raspberry Pi 3 2 Model B に対応 (3.5″ HDMI LCD+クリアケース)

本格派対局将棋アプリぴよ将棋 [Android] [iOS]
かわいい「ひよこ」と対局する将棋アプリ。かわいいけどAIは本格派！
対局後の検討機能や棋譜管理機能も充実！棋譜解析機能も搭載！