4차 산업혁명을 견인하는 범용 기술인 인공지능이 전 산업과 사회에 빠르게 도입 및 확산되며 혁신을 창출하고 있으나, 확산에 따른 예상치 못한 부작용이 함께 발생하고 있습니다. 관련하여 본 강연에서는 인공지능 신뢰성의 개념과 검증 방법을 소개하고자 합니다.

테스트 자동화는 더 적은 비용으로 더 빠르게 테스트를 수행할 수 있습니다. 특히, 테스트의 대상이 되는 테스트 케이스를 적절히 선별하는 것은 이러한 테스트 자동화의 효율을 더욱 극대화할 수 있습니다. 본 강연에서는 보다 더 효율적인 테스트 자동화를 위한 최적의 테스트 케이스 선별 방법으로 애플리케이션의 소스 코드와 실행 시간 정보를 활용하여 분석하는 기법을 소개합니다.

기호 실행 기술에 기반한 자동 테스팅 도구의 기초적인 동작 원리를 소개하고, 이를 구현한 제품의 자동 테스팅 기술의 현 수준을 보여준다. 해당 기술이 소개된 후 자동 테스팅 도구의 실용성은 드라마틱 하게 발전하였다. 현 수준으로 발전된 자동 테스팅 도구를 활용하는 것이 얼마나 효과적으로 테스트 프로세스의 생산성을 향상시켜주는지를 설명한다.

Instruction Set Simulator 기반의 시스템 가상화 기술 소개와 이를 기반으로 하는 시뮬레이터 및 소프트웨어 검증 기술, 그리고 프로세서를 검증하는 방법까지 최신 RISC-V 아키텍처를 기반으로 광범위한 사례를 소개합니다.
최근 자동차, 항공 우주, 철도 등 고신뢰성 분야에서는 ISS 기반의 시스템 시뮬레이션을 활용하여 프로세스 설계부터 시스템 SW 설계, 개발 검증까지 점차 사용 범위가 넓어지고 있습니다.
쿤텍은 2016년부터 국내에서는 유일한 ISS Simulating 기술을 확보하여 해외 시장까지 진출하고 있어 글로벌 동향도 함께 소식을 전합니다.

어니컴은 대규모 대국민 서비스의 성능을 튜닝 및 컨설팅 경험이 풍부한 하는 전문 성능 엔지니어가 모여 있는 회사입니다. 품질 프로세스로 만으로 내결함성 (Fault Tolerance)을 획득할 수 없으며, 근본적인 내결함성 설계들이 반영되어야 합니다. 대규모 장애가 막기 위해 소프트웨어/ 품질 엔지니어가 알아야할 내결함성의 개념과 설계 기법을 전달 드리겠습니다.
- Fault, Error, Failure 란
- 평균 고장시간, 평균 수리시간
- 내 결함성 소프트웨어 구축을 위한 마인드 셋
- 내결함성 아키텍처 설계 패턴
- 오류 감지 패턴
- 오류 복구 패턴
- 오류 완화 패턴
- 결함 치료 패턴

서비스 품질향상을 목적으로 전자상거래 영역에서의 테스트 도입 및전문화가 지속적으로 증가하고, 이에 따라 테스트에 있어 가장 변화가 많은 영역 중 하나가 전자상거래 도메인입니다. 15년이상 각 회사의 전자상거래 관련 테스트 외주도입을 담당한 입장에서 이에 대한 테스트관련 요구사항의 변화, 테스트 조직의 변화, 고객요구사항 변동에 따른 테스트 스킬, 방법, 기술적용에 대해서 사례를 공유합니다.

본 강연에서는 지속적으로 규모가 커지고 복잡해지고 있는 소프트웨어 제품들, 특히 GUI 애플리케이션의 품질확보에 초점을 맞춰 논의를 하고자 한다. 또한, 빠르게 업데이트 되는 제품 라이프 사이클까지 고려하였을 때 어떤 방법을 통해 가장 효과적으로 QA (Quality Assurance) 활동을 진행할 수 있는지를 살펴본다.

Agenda
1. GUI 애플리케이션 테스팅의 이슈들
2. 오브젝트 기반의 테스팅 기법 소개
3. GUI 테스팅에서의 코드 커버리지 산출

인공지능 기술과 SE(Software Engineering) 기술의 발달로 전에 없던 시도가 넘쳐나고 있습니다. 이런 기술들이 소프트웨어 테스팅 자동화와 결합되어 어떤 미래를 만들어갈지 한편으로 기대도 됩니다. 본 강연에서는 자동 프로그래밍과 자동 디버깅 기술의 현재 수준을 공유하고 테스팅 자동화 기술의 미래 기술을 소개하려 합니다.

인공지능 제품은 기존 소프트웨어와는 다른 특성을 가지고 있다. 확률적/비결정적 시스템이기 때문에 개발 초기부터 AI 특성을 고려해서 요구사항을 수집해야 하고 개발 프로세스도 인공지능 특성을 고려해서 구축할 필요가 있음.
최근에 인공지능 제품을 개발하면서 나타날 수 있는 여러 문제를 미리 식별하고 예방하기 위한 다양한 지식체계가 배포되고 있다. 전반적인 AI SW 프로세스 상에서 필요한 품질 활동을 정의하고 또 인공지능 제품에 대한 품질 목표를 수립하는 과정에서 기존 ISO 25010에서 제시하는 품질 모델로는 커버되지 않는 품질 특성을 정의하는 ISO/IEC 29119-11 표준이 있다. 인공지능 제품의 품질에 지대한 영향을 미치는 학습 데이터의 품질을 확보하기 위한 가이드를 NIA에서 제작/배포하고 있으며, 또 최근에 많은 사람들이 관심을 가지기 시작한 신뢰할 수 있는 인공지능을 위한 개발 안내서를 TTA에서 제작해서 배포하고 있다.
본 사례 발표를 통해 인공지능 제품을 이제 막 시작한 기업에서 이런 다양한 요구사항을 고려한 전반적인 AI SW 프로세스를 오픈소스 레드마인 도구로 구현한 경험을 공유하고자 한다.

- LG 유플러스 서비스 소개
- U+의 서비스 품질 관리
- 테스팅 자동화로의 전환 (Apptest.ai와의 파트너십)
- 테스팅 자동화의 최신 동향
- LG U+의 자동화 구축사례
: 고객 실사용기반의 서비스 모니터링
: 개발 프로세스와 연계된 테스팅 자동화
: 자율탐색 테스팅 vs 시나리오 테스팅
: 모바일 앱 에서 IoT, OTT 영역으로의 확산
- What’s next?
- Agile 개발 방법론에 align 된 테스팅 자동화
- Low code automation ? Codeless automation
- UI, Media 이 이어서 음성인식 환경 테스팅 자동화

디지털 전환 성공을 위한 소프트웨어 품질확보 자동화의 중요성은 점점 커져가고 있습니다. 실거래 검증 자동화 솔루션인 PerfecTwin을 활용하여 클라우드 전환, U2L, 인프라 고도화 사업의 기능검증과 성능검증을 얼마나 효과적으로 수행할 수 있는지를 소개하고, S은행 차세대 등 실제 고객 사례를 통해서 제공되는 고객 가치를 살펴보겠습니다.

최근 들어 ISO 26262 와 함께 ASPICE를 요구하는 고객사가 증가하고 있습니다. 하지만 부족한 개발 기간 내에, 해당 표준에서 요구하는 SW 검증 활동을 수행하려면, 효율적인 개발 운영 프로세스가 필요하며, CI/CT 가 좋은 방법일 수 있습니다.
본 발표에서는 ISO 26262, ASPICE에서 요구하는 SW 정적검증(PC-lint Plus)과 SW 동적검증(VectorCAST/C++)에 대한 CI/CT 환경 구성을 설명 드리고, Squore를 도입하여 프로젝트 관리 효율화 방안을 소개합니다.
- AUTOSAR project에 대한 소프트웨어 검증 환경 구성
- CI/CT를 활용한 SW 검증 환경 구성
- CI/CT 환경에서 Squore를 활용한 프로젝트 관리

BDD 기반 테스트에 대한 기본적인 설명 및 시나리오 작성 패턴에 대해 설명하고, 테스트 자동화에 활용할 수 있는 다양한 Tool을
소개한다. Test Automation 고도화를 위한 단계적 추진 전략을 제시하고, 자동화 가능 여부 분석 및 Gherkin 기반 Scenario 구성,
Step Definition 개발, CICD 연동을 통한 테스트 자동화 구현 등 각 단계별 상세 전략을 소개한다. 또한 기본적인 Test Automation 개발 이후, 운영에 활용할 수 있는 통합 시나리오 설계 및 구현 방안을 제시한다. 마지막으로, 고도화된 Test Automation 전략을 반영하여 앱 테스트 자동화 환경을 구축한 W사의 사례를 소개한다.

자동화된 테스트 관리 및 ALM/DevOps 프로세스 구축 사례
-요구사항 기반의 테스트 관리
-Functional Testing, API Testing 자동화
-Performance Testing, Mobile Testing 자동화
-ALM 기능 확장 밑 자동화 도구 연동 사례
-Q&A