1.2 Показники проекту

2 Програма реалізації проекту

2.1 Загальна програма

Цей проект спрямований на питання автоматичного тестування продуктивності монітора, розробка системи тестування автоматизації дисплея на основі машинного зору, загальний схем системи, як показано на рисунку 1. Від розробки роботичної руки та модуля управління, модуля машинного зору та розробки системної інтеграції розгортаються три аспекти, основний зміст дослідження включає наступні аспекти:
(1) в поєднанні з проектуванням апаратної платформи та програмної системи для завершення загального проектування робота з прямокутними координатами руху; Завдяки технології управління рухом з багатьма ступенями свободи, встановлення системи серво-управління, завершення наладкування програмного забезпечення та проектування інтерфейсу роботи людини та машини, реалізація створення та наладкування роботів з прямокутними координатами руху.
(2) Використовуючи технологію збору та обробки зображень, обробки шляхом калібрування камери, поліпшення зображення, видалення шуму та екстракції краю, отримати та передавати інформацію про стан роботи монітора на основі програми OpenCV та QT, розробити модуль моніторингу стану роботи монітора на основі машинного зору.
(3) використання конструкції функціонального модуля та інтеграційної технології для завершення конструкції зв'язку та функціональної відповідності системи управління рухом робота з прямокутними координатами та обладнання для обробки зображень, реалізації автоматизованого випробування стану роботи монітора на основі машинного зору.

Рисунок 1 Система тестування автоматизації дисплею на основі машинного зору

2.2 Конкретні програми реалізації

Цей проект проводить дослідження ключових технологій тестування автоматизації дисплею на основі машинного зору, дисплей розміщений після термостату, фіксований спеціальним пристроєм, коли роботи замість людських рук виконують роботу з дисплеєм, необхідно використовувати машинне зор для моніторингу стану роботи дисплея та закритого циклу зворотної зв'язки інформації, а також створити базу даних інформації про несправності дисплея. Конкретна програма реалізації буде розгорнута з трьох аспектів розробки та управління модулями роботичної руки, модулями машинного зору та розробки системної інтеграції.

2.2.1 Розробка модулів виявлення машинного зору

Машинне баченняМашини замінюють людське око для вимірювань і суджень.Системи машинного зоруЦе через продукт машинного зору (тобто пристрій для захоплення зображення, як CMOS, так і CCD), щоб перетворити захоплену ціль в сигнал зображення, який передається спеціальномуСистеми обробки зображеньотримувати морфологічну інформацію об'єкта, яка перетворюється в цифровий сигнал відповідно до розподілу пікселів та яскравості, кольору та іншої інформації; Система зображення виконує різні обчислення цих сигналів, щоб отримати характеристики цілі, а потім контролювати рух пристрою на місці на основі результатів розділу.
(1) Збір сигналу зображення стану роботи монітора
Машинно-візуальне виявлення стану роботи дисплея за допомогою виявлення CCD, принцип вимірювання, як показано на рисунку 3. Використовуйте лінзу, щоб зробити зображення кінцевої сторони зображення дисплея на CCD (як показано на рисунку 2). CCD і його привідна схема буде виводити сигнал, який буде збиратися, а потім перетворюватися на модульні, отримати дані за допомогою комп'ютера, обробки зображення та розпізнавання, зображення кінцевої поверхні зображення, а потім повернути в систему управління комп'ютером, щоб забезпечити основу для аналізу стану роботи дисплея.




Рисунок 3 Принцип виявлення машинного зору


Рисунок 4 Схема системи вимірювання візуальних сенсорів


(2) обробка зображення стану роботи монітора
Зображення, отримане за допомогою CCD, необхідно обробляти та розпізнавати, щоб отримати точне і чітке зображення стану роботи дисплея. Спочатку через CCD та його приводну схему, щоб перетворити модель зображення кожної точки в електричний сигнал, а потім після програмної обробки, поліпшення зображення, обробки сірого шкалу, видалення шуму, порогового розділу, екстракції краю зображення та іншої обробки, щоб поліпшити точність та точність виявлення, нарешті, отримане зображення буде класифіковано та створено базу даних виявлення несправностей дисплею. Калібрація камери та обробка двозначних зображень показані на рисунках 5 та 6.



Рисунок 5 Калібрування камери
Рисунок 6 Обробка двозначних зображень

2.2.2 Розробка модуля управління роботом з прямокутними координатами руху

Використання робота замість людської руки для автоматизованого випробування дисплею вимагає одночасного управління рухом робота і візуальної сервосистеми управління рухом прямокутних координат, оператор посилає команди про роботу системі управління через взаємодіючий інтерфейс людини з машиною, карта управління рухом використовує режим крутного моменту та перетворює цифрову інформацію в імпульсний вихід, робот, який контролює рух прямокутних координат, завершує рух та виконує відповідні операції. Системи виявлення кодерів та датчиків завершують виявлення положення та моменту, а також передачу сигналів та обмін даними між системами управління та системами виявлення, завершують розробку модулів систем управління та систем роботів, щоб забезпечити точність руху та ефективність випробувань дисплея.

Рисунок 7 Схема управління рухом робота для прямокутного координатного руху
Проектований робот з прямокутними координатами руху був порівняний з традиційним багатоосійним роботом для аналізу схеми управління рухом, як показано на рисунку 7. Модуль управління роботом для руху прямокутних координат в основному використовується для управління роботом замість людських рук для тестування дисплею, виявлення системи для виявлення позиції та моменту, а також обміну даними між різними системами.
1) Система управління рухом
Робот керує рухом на три ступені свободи і замість людських рук тестує дисплей. Згідно з інформацією про позицію та момент, виявленою системою виявлення, система управління контролює рух робота в напрямку трьох градусів свободи в просторі та замість людської руки завершує дотик, натискання та інші дії дисплея.

Рисунок 8 Схема інтеграції системи приводу
2) Система контролю
Система виявлення використовується для виявлення положення руху робота, моменту. Контроль системи виявлення включає виявлення положення руху робота з координатами прямого кута на три градуси свободи, виявлення розміру моменту на контактному дисплеї кінця приводу, а також швидкість руху, відстань та інші параметри руху.
3) Обмін даними
Система виявлення складається з таких компонентів, як датчик і кодер на кінці виконавчого органу, що передає аналоговий сигнал, вимірений датчиком, модулю управління, який передає зворотний сигнал через певні відносини перетворення для управління рухом робота.
4) взаємодія людини з машиною
За допомогою інтерфейсу взаємодії людини з комп'ютером для керування рухом робота, написання програмного забезпечення для автоматизованої системи руху, оператор вибирає відповідне меню для отримання бажаних даних або реалізації бажаних функцій для здійснення взаємодії людини з комп'ютером. Програмна система дозволяє контролювати рух робота з декількома ступенями свободи, перемикання режиму позиції та моменту, закритого циклу зворотного зв'язку про позицію, сигнал моменту та зберігання інформації про несправність дисплея. Розробка програмних даних заснована на операційній системі Windows 7, середовище розробки мови вибирає C ++, база даних вибирає базу даних Oracle. Інтерфейс взаємодії людини з машиною, керований двигуном, показаний на рисунку 8.

Рисунок 8 Інтерфейс управління двигуном

2.2.3 Розробка інтеграції автоматизованих систем тестування

Роль системи тестування автоматизації дисплея, заснованої на машинному зорі, вимагає координації всіх функціональних блоків для спільного завершення роботи автоматизації тестування дисплея. Дослідження дозволяють інтегрувати функції різних модулів системи автоматизації випробування, розробляти ефективне виконання руху, реалізувати виявлення стану експлуатації дисплея, інтеграцію управління роботом замість дисплея, який керується людиною, щоб забезпечити координацію ефективної роботи процесу автоматизації випробування. Вся система тестування автоматизації складається з трьох основних модулів: модуль машинного зору, модуль управління автоматизацією роботичної руки та інтеграція модулю виявлення, загальна інтеграційна схема та схема міжмодульної комунікації, як показано на рисунках 9 та 10.

Рисунок 9 Інтеграція систем тестування автоматизації дисплею на основі машинного зору
Вся автоматизована система тестування спілкується за допомогою полевої шини. За допомогою програмного забезпечення управління, заснованого на ПК-платформі та операційній системі Windows, встановлюйте систему реального часу з функцією NC в промисловому контролі, використовуйте логічні обчислення ПЛК та апаратне забезпечення, стандартно налаштоване на ПК, для реалізації функцій логічних обчислень (TwinCAT PLC), функцій управління рухом (TwinCAT NC), обчислень плаваючої точки та функцій зберігання та обробки великих обсягів даних. Програма ПЛК спочатку відправляє сигнал на віс NC, NC виходить на привід після планування траекторії, обчислення PID та обробки інтерфейсу IO для здійснення управління двигуном, а стан двигуна своєчасно передається програмі ПЛК через NC. У всій системі ЧПУ різні програмні модулі (наприклад, програми ПЛК, NC, додатки для Windows тощо) працюють схожими на апаратні пристрої, вони можуть працювати самостійно. Обмін інформацією між окремими модулями програмного забезпечення здійснюється за допомогою контролера руху ADS, інтегрована структура зв'язку модуля системи управління, як показано на рисунку 10.

Рисунок 10 Схема комунікації модулю системи автоматичного випробування