Arduino Object Detection Tracking на компьютер

Это приложение специально разработано для студентов, инженеров-электронщиков и любителей, работающих с микроконтроллерами Arduino и Raspberry Pi. Он использует библиотеки OpenCV для обнаружения и классификации компьютерного зрения, включая машинное обучение Google Tensorflow Lite.

Приложение может обнаруживать и отслеживать различные типы объектов с камеры вашего телефона, такие как линии, цветные пятна, круги, прямоугольники и люди. Обнаруженные типы объектов и положения экрана затем могут быть отправлены на приемное устройство Bluetooth, такое как HC-05.

Если используется соответствующий микроконтроллер, например Пользователи Arduino или Raspberry Pi могут анализировать обнаруженные объекты для дальнейших проектов на основе робототехники. Типичным примером может быть подключение телефона к комплекту робота 2 или 4 Вт, который затем может отслеживать / следить за мячом или человеком.

Основные характеристики приложения:
1. Цвет Blob Обнаружение и отслеживание
2. Обнаружение круга и отслеживание
3. Обнаружение линии
4. Люди обнаруживают и отслеживают, используя гистограмму градиентов (HoG)
5. Обнаружение объектов TensorFlow Lite Coco Label (например, людей, кошек, автомобилей, телевизоров и т. Д.)
6. Используйте пользовательские модели Tensorflow.
7. Отправьте обнаруженные параметры объекта через Bluetooth.

Обратите внимание, что все операции обработки изображений работают лучше всего при хороших условиях освещения. Если вы не можете обнаружить объекты, попробуйте изменить некоторые параметры конфигурации. Также обратите внимание, что реализованные алгоритмы отслеживания являются упрощенными и, следовательно, не будут надежно работать, когда несколько объектов перекрывают друг друга.

Чтобы использовать пользовательские модели Tensorflow, загрузите совместимую модель tfile для мобильной сети. Примером этого являются pet_detect.tflite и pet_labels.txt. Однако вам нужно переименовать их в custom.tflite и custom.txt и поместить их в общую папку документов внутреннего хранилища вашего телефона. Также, пожалуйста, убедитесь, что вы включили разрешение приложения Android для доступа к хранилищу.

Форматы передачи данных Bluetooth:

Все данные передаются в виде текста ASCII в следующем формате:

«Тип объекта»: «Идентификатор»: «XPos», «YPos», «Ширина», «Высота»
  
  Пример объекта Color Blob: "CO: 0: -40,60,0,0"
  Где ID - это число от 0 до 4 без отслеживания или любой уникальный целочисленный идентификационный номер с возможностью отслеживания.
  Положения x и y относятся к центру цветового объекта, где 0,0 находится в центре экрана предварительного просмотра камеры.
   
  Пример объекта круга без отслеживания: "CC: 0: -40,60,20,0"
  Где x, y позиции дают центр круга, а ширина дает радиус круга.
  В режиме отслеживания x, y, w, h обеспечивают внутренний прямоугольник круга.

  Пример объекта круга с включенным фильтром: «FC: 0: -40,60,20,0»
  Где x, y позиции дают центр круга, а ширина дает радиус круга.
  
  Пример строки объекта: «LO: 0: -40,60,20,200»
  Где x, y позиции дают точку первой линии, а w, h - точку второй линии.
  
  Пример объекта People No Tracking: "PO: 0: -40,60,20,0"
  Где позиции x, y дают верхний левый угол прямоугольника, а w, h - ширину и высоту.
  
  Пример Люди Объект с фильтром в цвете: "FP: 0: -40,60,20,0"
  Где позиции x, y дают верхний левый угол прямоугольника, а w, h - ширину и высоту прямоугольника.

Все отслеживаемые объекты: «TO: 0: -40,60,20,40».
где позиции x, y задают центр прямоугольника, а w, h - ширину и высоту от центра прямоугольника. Обратите внимание, что при фильтрации по кругу и людям идентификаторы отслеживаемых объектов обнуляются для перекрывающихся цветных объектов.

TensorFlow Objects: "ObjectTitle: 0: -40,60,20,40"
Где ObjectTitle - это любой классифицированный объект TensorFlow, например «Персона», «Чашка», «Бутылка» и т. Д. Позиции X, Y дают центр прямоугольника, а w, h - ширину и высоту от центра прямоугольника. Обратите внимание, что при фильтрации на пересечении цветовых капель убедитесь, что отслеживание цветовых капель включено.

Формат для фильтра на TensorFlow: "FTF: Person: -40,60,20,40". Где «Person» может быть любым из доступных обнаруженных типов объектов TensorFlow, определенных в coco_labels_list.txt (см. Google TensorFlowLite).
 
Полная онлайн помощь в Git Hub: /
https://github.com/GemcodeStudios/ObjectDetectionTracking

Copyright Gemcode Studios 2019

Version 2 Release Notes:
1. Automatic save on all user settings including colour blob selection.
2. Automatic Bluetooth re-connection.
3. Select custom Tensorflow tflite models.
4. Removed rectangle detection.

Any issues related to storage permissions please ensure this is enabled in app permission settings in Android.
Tensorflow models should be renamed as "custom.tfilte" and "custom.txt" and placed in internal storage document folder.