ГОСТ Р 60.6.3.11-2019 Роботы и робототехнические устройства. Методы испытаний сервисных мобильных роботов для работы в экстремальных условиях. Взаимодействие человека с роботом при выполнении поисковых работ. Произвольные лабиринты на сложной местности
11 Результаты испытаний и систематическая ошибка
11.1 Результаты испытаний
11.1.1 Данный метод испытаний, входящий в испытательный комплект по ВЧР, предназначен для количественной оценки возможностей роботов, предназначенных для работы в средах, сопоставимых с параметрами человека, где возможно проведение многодневных операций на расстояниях километрового диапазона с множеством препятствий на местности с разными фрикционными свойствами поверхности. Для того чтобы определить общую степень пригодности данной конфигурации робота к таким работам, чаще предпочтительной является приблизительная оценка как можно большего числа разнобразных* характеристик робота. Поэтому в качестве настройки оборудования для данного метода испытаний выбрано размещение в лабиринте 14 целевых объектов, представляющих маркировку опасных материалов, на вертикальных стенах всех доступных элементов лабиринта в трех установленных дипазонах высоты. Хотя испытательное оборудование может быть разработано для испытания способности робота по ВЧР с более мелкой дискретизацией, такие настройки считаются слишком точными для условий эксплуатации, связанных со строениями и средами, сопоставимыми с параметрами человека, что приведет к увеличению общего времени и стоимости испытаний каждого робота. Достаточной точностью измерения времени является одна минута. Таким образом, испытания с более мелкой дискретизацией настроек оборудования считаются находящимися вне области применения данного метода испытаний.
________________
* Текст документа соответствует оригиналу. - Примечание изготовителя базы данных.
11.1.2 Повторяемость результатов испытаний необходима для подтверждения применимости данного метода испытаний, демонстрируя, что для роботов с разными массогабаритными характеристиками и типами движителей данный метод испытаний дает повторяемые результаты для определенного диапазона настроек оборудования - множества типов целей и диапазонов высоты их размещения. Оборудование и выбранная дискретизация значений данных показателей обеспечивают четкие разграничения между успешными и неудачными попытками и демонстрируют, что данный метод испытаний подходит для оценки способности робота выполнять поисковые работы в лабиринте со сложной поверхностью.
11.1.3 В таблицах 1-3 показан пример расчета повторяемости результатов испытаний для трех испытанных роботов. На оборудовании были установлены 14 целевых объектов, расположение которых было неизвестно оператору. Целевые объекты расположены на стенах в трех диапазонах высоты, чтобы увеличить сложность поиска: диапазон A - от 1,6 до 2,4 м, диапазон B - от 0,8 до 1,6 м и диапазон C - от 0 до 0,8 м. Условия освещенности - естественное освещение. В каждом диапазоне высоты установлены четыре или пять целевых объектов. По результатам испытаний вычисляют следующие статистические характеристики точности и погрешности:
- уровень достоверности для оператора, обнаруживающего цель с 60% надежности;
- уровень достоверности для оператора, обнаруживающего цель с 80% надежности;
- уровень достоверности для оператора, распознающего цель с 60% надежности;
- уровень достоверности для оператора, распознающего цель с 80% надежности;
- уровень достоверности для оператора, распознающего цель, которая была обнаружена, с надежностью 60%;
- уровень достоверности для оператора, распознающего цель, которая была обнаружена, с надежностью 80%.
Таблица 1 - Результаты испытаний по поиску в произвольном лабиринте для робота A
Робот A | |||||
Диапазон высот, м | Номер целевого объекта | Число распознанных параметров | Д/Н для обнаружения целевого объекта (при распознавании, по крайней мере, одного параметра) | Д/Н для распознавания целевого объекта | Д/Н для распознавания обнаруженного целевого объекта |
A: | 1 | 0 | 5%/60% | 2%/60% | 6%/60% |
1,6-2,4 | 5 | 0 | 0%/80% | 0%/80% | 2%/80% |
10 | 0 | (ни одного из пяти целевых | (ни одного из одного | ||
13 | 1 | объектов) | целевого объекта) | ||
14 | 0 | ||||
B: | 3 | 0 | 22%/60% | 0%/60% | 5%/60% |
0,8-1,6 | 6 | 2 | 5%/80% | 0%/80% | 1%/80% |
8 | 0 | (два из четырех целевых | (ни одного из двух | ||
12 | 2 | объектов) | целевых объектов) | ||
C: | 2 | 4 | 59%/60% | 59%/60% | 80%/60% |
0-0,8 | 4 | 4 | 26%/80% | 26%/80% | 55%/80% |
7 | 4 | (четыре из пяти целевых | (четыре из пяти целевых | (четыре из четырех | |
9 | 4 | объектов) | объектов) | целевых объектов) | |
11 | 0 | ||||
Таблица 2 - Результаты испытаний по поиску в произвольном лабиринте для робота B
Робот B | |||||
Диапазон высот, м | Номер целевого объекта | Число распознанных параметров | Д/Н для обнаружения целевого объекта (при распознавании, по крайней мере, одного параметра) | Д/Н для распознавания целевого объекта | Д/Н для распознавания обнаруженного целевого объекта |
A: | 1 | 4 | 32%/60% | 32%/60% | 70%/60% |
1,6-2,4 | 5 | 4 | 8%/80% | 8%/80% | 45%/80% |
10 | 0 | (три из пяти целевых | (три из пяти целевых | (три из трех целевых | |
13 | 0 | объектов) | объектов) | объектов) | |
14 | 4 | ||||
B: | 3 | 0 | 8%/60% | 8%/60% | 33%/60% |
0,8-1,6 | 6 | 4 | 1%/80% | 1%/80% | 18%/80% |
8 | 0 | (один из четырех целевых | (один из четырех | (один из одного целевого | |
12 | 0 | объектов) | целевых объектов) | объекта) | |
C: | 2 | 4 | 59%/60% | 59%/60% | 80%/60% |
0-0,8 | 4 | 4 | 26%/80% | 26%/80% | 55%/80% |
7 | 4 | (четыре из пяти целевых | (четыре из пяти целевых | (четыре из четырех | |
9 | 0 | объектов) | объектов) | целевых объектов) | |
11 | 4 | ||||
Таблица 3 - Результаты испытаний по поиску в произвольном лабиринте для робота C
Робот C | |||||
Диапазон высот, м | Номер цели | Число распознанных параметров | Д/Н для обнаружения цели (при распознании, по крайней мере, одного параметра) | Д/Н для распознания цели | Д/Н для распознания обнаруженной цели |
A: | 1 | 0 | 5%/60% | 5%/60% | 33%/60% |
1,6-2,4 | 5 | 0 | 0%/80% | 0%/80% | 18%/80% |
10 | 4 | (один из пяти целевых | (один из одного целевого | ||
13 | 0 | объектов) | объекта) | ||
14 | 0 | ||||
B: | 3 | 0 | 8%/60% | 8%/60% | 33%/60% |
0,8-1,6 | 6 | 4 | 1%/80% | 1%/80% | 18%/80% |
8 | 0 | (один из четырех целевых | (один из четырех | (один из одного целевого | |
12 | 0 | объектов) | целевых объектов) | объекта) | |
C: | 2 | 4 | 32%/60% | 32%/60% | 70%/60% |
0-0,8 | 4 | 4 | 8%/80% | 8%/80% | 45%/80% |
7 | 4 | (три из пяти целевых | (три из пяти целевых | (три из трех целевых | |
9 | 0 | объектов) | объектов) | объектов) | |
11 | 0 | ||||
11.1.3.1 Как показано в таблице 1, оператор, управляя роботом A, обнаружил целевой объект N 13, но не смог распознать его с помощью робота. Оператор обнаружил два целевых объекта в диапазоне высот B, но не смог распознать ни один из них. Данный оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 59% и уровень надежности 60%.
11.1.3.2 Как показано в таблице 2, оператор, управляя роботом B, обнаружил и распознал три целевых объекта в диапазоне высот A и один целевой объект в диапазоне высот B. Оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 26% и уровень надежности 80%.
11.1.3.3 Как показано в таблице 3, оператор, управляя роботом С, обнаружил и распознал по одному целевому объекту в диапазонах высот A и B. Оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 32% и уровень надежности 60%.
11.1.4 Как указано в 4.3, заказчикам данного метода испытаний рекомендуется оценить его область применения относительно своих технических требований. Характеристику, полученную на основании только данного метода испытаний, не следует рассматривать как общую характеристику всего робототехнического комплекса или подсистемы ВЧР. Испытания, проводимые с использованием всей совокупности установленных методов, позволяют определить возможности робота в целом.