| name | app-automation |
| description | baepsae 기반으로 iOS Simulator와 macOS 앱을 자동화합니다. UI 트리 분석, 탭/입력, 스크린샷·비디오, 멀티스텝 시나리오 실행이 필요할 때 사용하고 일반 앱 개발 질문에는 사용하지 않습니다. |
App Automation
원본 app-automation 플러그인을 Codex 도구 체계에 맞게 정리한 스킬입니다.
When to use
- iOS Simulator 또는 macOS 앱을 실제로 조작·검증해야 할 때
- selector 기반 UI 자동화, 스크린샷, 비디오 같은 실행 증거가 필요할 때
- 멀티스텝 시나리오를 재현 가능하게 남겨야 할 때
Do not use when
- 일반 앱 개발 질문이나 코드 작성만 필요한 작업
- 브라우저 웹 자동화가 주목적인 작업
- 수동 설명만 있으면 충분하고 실행 증거가 필요 없는 작업
Quick start
doctor 또는 baepsae_version으로 환경을 확인한다.- 대상이 simulator인지 macOS 앱인지 먼저 정한다.
analyze_ui/query_ui로 상태를 읽은 뒤 selector 기반으로 조작한다.run_steps와 screenshot/video로 evidence를 남긴다.
Use references
references/baepsae-tools.mdreferences/baepsae-mcp.sample.json
Workflow
- 시작 전에
doctor 또는 baepsae_version으로 환경을 확인한다.
- 대상이 iOS Simulator인지 macOS 앱인지 먼저 구분한다.
- 인터랙션 전에는
analyze_ui / query_ui로 현재 UI 상태를 파악한다.
- 가능하면 좌표보다 접근성 셀렉터를 우선 사용한다.
- 반복 시나리오는
run_steps로 묶고, 증거는 screenshot, screenshot_app, record_video, stream_video로 남긴다.
- MCP가 없으면
xcrun simctl로 설치/실행/스크린샷 같은 기본 조작만 폴백한다.
Best practices
- 요소가 보이지 않으면 바로 좌표 탭하지 말고 UI 분석을 다시 수행한다.
- 로그인, 온보딩, 설정 이동처럼 긴 플로우는
run_steps를 우선 검토한다.
- macOS 자동화는
activate_app 또는 get_focused_app으로 대상 앱을 명확히 맞춘다.
Review Harness
- mode: optional
- 공통 기준:
../../../docs/review-harness.md
- generator: actor 단계가 UI를 조작하고 플로우를 실행한다
- evaluator: observer 단계가
analyze_ui, query_ui, screenshot/video로 결과를 검토한다
- 평가축: selector 안정성, 플로우 재현성, 증거 충분성, 실패 위치 명확성
- artifacts/evidence: UI tree, selector match, screenshot, recording, step execution log
- pass condition: 핵심 플로우가 재현 가능하고, 캡처/로그가 기대 상태를 뒷받침해야 한다
- 자동 다음 행동:
pass면 완료 보고, refine이면 selector/step을 수정해 재실행, pivot이면 조작 전략을 바꾸고, escalate면 막힌 단계를 사람에게 보고한다
Output expectation
- 수행한 단계
- 캡처 경로 또는 결과 요약
- 실패 시 어느 단계에서 막혔는지와 재시도 전략
