使用するカメラは何? 【自社製カメラと他社製カメラ】

ディテクトではハイスピードカメラを開発しているので、対象が高速現象であれば、自社製のカメラをシステムに構成することがあります。このうちHAS-UシリーズであればDMA転送モードが有用で画像がPCのRAM上に取り込めるのでそこから処理が始まります。他方Uシリーズ以外のカメラであれば画像はカメラ本体内のRAM上にあるのでそこからPCへダウンロード、ファイル化、を経て後段の処理が始まる、ということになります。
またPCからの制御ができる産業用カメラであればサードパーティのカメラの採用も普通です。

たとえば、UシリーズはUSB3の規格に基づく帯域での転送ですので、それ以上の情報が必要なテーマであればCoaXPressインターフェースのカメラ×ボードという組み合わせも選択しますし、逆に帯域の小さいテーマであればより廉価なカメラを選択するなどとなります。
帯域が大きいリアルタイム転送事例としては卓球のボール軌跡を3次元計測するボールトラッカーがあります。ステレオ2系統の入力で320fpsサンプリング、画素数は1920×1080 です。
また粒子の動きを計測する計測装置開発において撮影速度は80fpsとさほど速くはないのですが、画素数が5000×5000オーバーという高精細情報でした。
カラーカメラ モノクロカメラ
画像処理においては実はカラーカメラの出番はさほど多くなくモノクロカメラによって明暗情報を処理した上でほしい情報を取り出します。

カラーカメラを採用した事例としては、港湾の荷下ろし荷積み作業で使われているコンテナクレーンの制御で採用されたレッドマーカートラッカーがあります。コンテナに無駄な揺れ・振れが生じないように台車の動きを制御するため台車の真下に見えているコンテナ(正確にはコンテナをつかんでいるスプレッダーという部位)の位置をリアルタイムに計測します。
屋外での画像処理の難しさは天候や時刻により対象の見え方が劇的に変化するという点であり太陽光の反射による像では安定性がないという理由で自発光するマーカがスプレッダーに装着されて運転時には点灯します。明るさでは太陽光の反射に勝てないので(赤)という色合いを見つける処理で変化の大きい視野内からマーカを抽出しています。当然採用されているカメラはカラーカメラです。
付随する情報ですが、本件は検討当初カメラリンクケーブルをそのまま台車位置にあるカメラから処理装置のある機械室まで引っ張ってくる計画でした。この計画は実際にクレーンが稼働を始めるとケーブルの近くにある電源ノイズが桁違いでまったく信号が取れないということが分かり中継部分には光伝送を採用する、という経緯となっています。
二値化 相関

画像処理の王道は二値化であり環境が管理できてマーカが装着できるなら(明るい点)を追え、という手法が最もポピュラーです。ディテクトの位置計測(変位・運動計測)において最も数の多いものです。特にリアルタイム処理は画像処理としては(間に合わない)ことを避けるために軽い処理が求められます。マーカとしても黒い背景に白いペイントなどが最も簡便ですが、よりSNを稼ぐためには再帰性のある反射マーカとカメラ側からの照明照射、やさらに屋外などですと自発光マーカ(アクティブマーカ、などと呼びます)も有力です。(外乱が強い背景)かつ(マーカの移動速度が大きい)という過酷な追尾では色のマーカも選択されます。

他方計測対象数が限られる場合に(相関追尾)という手法も選択されることがあります。マーカとしては画面内に他で見られないような模様(同心円やQRコードのようなものなど)を採用します。
二値化(明暗)の追尾と比べて、対象がよりユニークになるので追尾がロバストになる、位置検出の分解能が高くなる(粗く言えば高精度が期待できる)、という長所と処理が重くなるので計測対象数など処理の内容に制限がかかりやすい、という短所が相関追尾にはあります。
屋外計測のテーマではいつもこのマーカ(対象の認識)が最初の課題となるのですが、ジャッキ移動量の検出においては発光マーカを選択した事例もありますし、相関追尾を選択した事例もあります。
【そのほかのセンサー】

ディテクトではレーザーシート光とエリアセンサーを組み合わせていわゆる(光切断法)を応用したシステムを構築することがあります。ラインレーザーを対象物に照射スキャンすることでラインプロファイルを時系列で取得して3次元形状を計測する手法です。
対象の形状によりカメラ死角が生じる場合にはカメラを複数設置してデータを最終的にマージングするなども対応しました。
世の中にはこの仕組み(ラインレーザーとカメラ)を一体型の装置として製品化したものがあります。3次元センサーの一つです。
2次元計測では難しい物体の把握が必要で仮にその形状によって良否の境界が設定できるなら良否判定装置として後段の処理を組むことになります。
レーザー変位計
変位をリアルタイムに出力するレーザー変位計を入力部として採用するテーマもあります。画像処理が本分ですが、用途に合わせて各種センサーを複合させる採用する、という態度は大事にしています。
(カメラは何台使うか)
多くの事例ではカメラは1台です。
3次元計測では王道であるステレオ方式なら最低2台ということになりますし、3次元の精度向上や死角を避けるなどの目的により3台以上の3次元計測を構築することもあります。また同じく精度の確保を担保することを目的として2次元計測であってもカメラを複数台構成することもあります。
長尺空間(細長い対象)の場合、全体を1台のカメラで撮影するには視野に無駄が生じつまりは精度が足りない、ということもありますし、そもそもその広い空間を撮影するカメラの設置位置が環境的に見つからないなども頻繁です。
昨今では画素数の大きいカメラが作られるようになってきてカメラ1台でカバーしても精度が確保できるケースが増えています。複数のカメラ構成に比べて取り回しやその後の処理が簡便になってきているといえましょう。特に複数カメラで一つの計測空間を分割観察する場合には死角をなくすためにカメラの視野の周辺部に隣のカメラ視野との重なり部分(のりしろ、などと例えて呼びます)の処理をどうするかなどの悩みが有りました。(そこの処理が腕の見せどころ、でもあったとは思われます)
結果の出力
リアルタイム計測する場合の結果の出力です。

(表示)
たとえば野球場でのスコアボードでの球速表示は(表示)です。実際にはディテクトで表示部分を担当してはいないので後段のシステム(システムの上流装置)に対してデータを随時プッシュするところまで、という仕事の分担となっています。ここでは全体のシステムとして結果がどのような最終形態になるか、という意味でここに持ってきました。
ほか実験進行中において現在のデータをリアルタイムにパソコン画面に表示する、なども普通です。それは数字だったりグラフだったりします。たまに処理中の画像処理の内容が分かる画面だったりもします。

(デジタルで受け渡し)
ディテクト側で得たデータをお客様のデータが受け取る(受け取ってお客様のシステムが後段の処理を行う)場合はデータの授受を決めます。同じPC内での授受ならメモリーの共有などがそれにあたります。PCを超えて、あるいは同じPC内であってもUDPでの授受は規格を使ってやりやすいので最もよく用いられる方法です。
フレームレートなりに逐次出力するのが普通ですが、処理負担を軽減する目的で、複数のデータをブロック化して間欠的に書きに行く、などが工夫されることがあります。

(アナログでの受け渡し)
デジタルが席巻する時代ですが、昔からあるアナログでのデータ処理にも強みがあり、内容は変遷するにしても結局はアナログでデータ管理する場面も多いです。電気信号で授受すれば特にデータ管理の約束事を決めずともそのまま電気信号の強弱でやり取りできるという部分も有るでしょう。鉄鋼や土木建築などのフィールドではこのような要望も多く先に掲載した橋梁変位(ジャッキ量)においては得られたデータはDA変換によりアナログ波形でお客様のシステムにリアルタイムに渡されるという仕上がりでした。

(ファイルにまとめる)
表示されたり制御に回ったりすることと併用されることもありますが、純粋に計測データとしてあとで見直すことができるように数値データそのものをファイル化する、ということもあります。CSVファイルが多いと思いますが、書式・保存場所・ファイル名を決めてひたすらそのファイルを生成するということです。
処理はCPU?

多くの特注対応はPCベースでの処理です。CPUを使って処理しますので、時代とともに高速化されてきました。元より処理すべき対象のデータ量も同様に増大していますので一概に処理のフレームレートが上がった、ということにはなりません。
人が行っていることを代わりにシステムに任せたい、ということの相談も普通ですが、この場合の入口として、(その判断は誰もが同じ判断ができますか)=(内容が客観的に記述できますか・言語化できますか)という問いを発します。その答えがYESなら問題解決へ大きく前進します。あとは量的な問題として(間に合うか)を検証することになります。

また割合は小さいですが、処理の場をハードウェアに置く、ということもあります。FPGAでの処理です。基本的にはCPU処理では間に合わないときの選択肢になりやすいです。FPGA処理の選択としては、ほかにPCベースでのOSの管理や不確定要素からできる限り逃れたい、という動機も特に製品化を目指す場合にはよくあります。ディテクトの実績ではボールトラッカー(PingPongMonitor)や微粒子追尾システムなどでCoaXpress規格のカメラとキャプチャーカードの組合せに至った際にキャプチャーカード上のFPGAに画像処理を任せた経験があります。
ほかディテクトのハイスピードカメラ内部のFPGAを利用して画像処理をカメラ内部で完了させる、という案件もいくつかありました。
【特注製品のその後】
・型番付与されカタログ製品となる
標準品に準ずる形でパッケージ製品となり公開されます。
同じ製品が他で採用されることになります。
ただ製品の寿命という点では以下の要素により事実上終了品となる場合もあります。
*特にハードウェアが構成されているもので部材調達的が困難になる
*時代の流れにおいて後継の技術が優先的に採用される
・当該お客様向け専用となる
情報の開示がどこまでなされるか、なされないか、については多様ですが基本的には一般には販売されないものとなります。
中には一般的な情報としては本HPでそのエッセンスなどが記述されることがありますが詳細な内容は契約により秘匿されるケースも多いです。
要素技術の転用は有効であることも多いので、本HPをご覧いただきお困りのことと関連が有りそうなら問題解決が早い可能性があります。ぜひご検討ください。
※所有権・使用権
ソフトウェアの成果物については有償・無償に関わらず基本的には弊社で権利をすべて保有します。他の製品への流用・他のお客様への販売などに制限は原則として設けられません。
一方、お客様個別のご事情により制限が必要であると判断される場合はそれを尊重し、内容を検討調整して合意を得る、ということもございます。