appium 좌표를 찍을 수 없는 부분

Unity 앱의 경우 화면이 모두 image이기 때문에 element를 찾을 수 없습니다. 그래서 openCV와 같은 이미지 matching을 사용해 처리하게 됩니다.

Appium에서 LG V10을 save_screenshot()로 이미지를 저장했을 경우 1440 X 2560의 이미지를 얻을 수 있습니다. 하지만 클릭할 수 있는 영역은 제한되는 것을 확인하였습니다.

하단 Start 버튼을 template matching해서 버튼의 가운데 좌표를 찾아옵니다. 그러면 720, 2408이 됩니다. 하지만 TouchAction().tap()을 이용해 해당 좌표 클릭하게 했을 경우 아래와 같은 메시지가 나오게 됩니다.

selenium.common.exceptions.WebDriverException: Message: The coordinates provided to an interactions operation are invalid.

Inspector를 실행하면 컨트롤 가능한 영역을 확인할 수 있습니다.

Inspector에서 파란 영역 안에서만 컨트롤이 가능합니다. 전체 영역이 1440 X 2560이라면 선택 가능한 영역이 1440 X 2300정도인 것 같습니다.

제외되는 영역에서  처리해야 할 경우 대책이 필요 합니다.

iOS (iPhone 6)의 경우에는 모든 영역이 컨트롤 가능한것을 확인할 수 있습니다.