Sensor Integration William Cusick, Alexa Daly, and Robert Garvin

Sensor 

Integration 

William Cusick, Alexa Daly, and Robert Garvin 

Advisors: Dr. Barry Bunin, Dr. Alexander Yakubovskiy, Blaise Linn 

Agenda 

●

 

Problem 

●

 

Solution 

●

 

Methodology 

●

 

Results 

●

 

Recommendations 

 

The Problem 

●

 

Radar data cannot be 

used to classify 

detected objects 

 

●

 

Camera has limited 

acuity, struggles with 

multiple vessels 

 

 

Difficulties 

●

 

Synergize existing systems into new technology 

 

●

 

Accomodate M3DA requirements for DHS and Coast 

Guard R&D 

 

●

 

3-D radar image is difficult to project onto 2-D camera 

image 

Solution 

●

 

Integrate camera data and radar data into 

one unified user interface 

 

●

 

Create a single user interface that integrates 

data from a wide array of modular sensors 

Calibration 

●

 

Need to calibrate 

image to match real-

world and image 

●

 

Use building 

locations 

Distortion 

●

 

Find distortion with 

patterns 

 

●

 

Remove distortion 

with program to 

account for any 

camera 

Methodology 

●

 

Intake radar data and camera images 

 

●

 

Align radar and camera views 

 

●

 

Isolate interesting features in radar and image, using 

radar data 

 

●

 

Provide unified display of radar and camera data 

 

 

 

Receiving Raw Radar Data 

Convert to Latitude & Longitude 

Receive Camera Image 

Process Camera Image 

Remove Background 

Align Latitude and Longitude with Image  

Refine Selection Area 

Apply Selection to Original Image 

Extract Ships from Image 

Coordinate Images and Points 

Project Points onto Interface 

Recommendations 

●

  Integrate further sensors such as acoustics and infrared camera 

 

●

  Increase image resolution 

 

●

  Attain more accurate and precise measurements for calibration 

 

●

  Output data to be compatible with Magello 

Questions?