AI기술은 우리 사회가 상호작용하는 방식을 크게 바꾸고 있다. 테스트에서도 AI를 활용하거나, AI를 대상으로 하는 테스트가 늘어나고 있다. AI를 활용한 테스트, AI를 대상으로 하는 테스트에 대해 사례 기반으로 살펴본다.

1. AI에 대한 이해
2. AI를 활용한 테스트
3. AI를 대상으로 하는 테스트

AI 기술이 테스트 엔지니어의 업무를 보조하는 역할을 어떻게 수행하는지에 대해 설명합니다. 자연어 처리(NLP)를 활용해 모호한 요구사항을 명확하게 분석하고, 이를 바탕으로 보다 정확한 테스트 케이스를 생성하여 테스트 엔지니어가 더욱 효율적으로 작업할 수 있도록 도움을 주는 솔루션을 소개하며, 이를 통해 AI 기술은 테스트 엔지니어의 부조종사로서 작업의 효율성을 높이고, 더 중요한 작업에 집중할 수 있도록 지원합니다. 이처럼 AI 기술이 테스트 엔지니어의 부조종사로 자리매김하게 될 미래 비전과, 우리의 솔루션이 어떻게 단일 기술에서 시작하여 자동 결함 감지 기능을 통해 테스트에서 발생할 수 있는 결함을 초기에 발견하고, 소프트웨어의 위험 요소를 미리 파악하여 테스트 우선순위를 설정하는 등의 테스트 엔지니어의 실제 업무에서 필요로 하는 추가기능 확장을 통해 더욱 발전할 것인지 다룰 예정입니다

웹부터 모바일까지, 프론트엔드 성능 관리 솔루션인 IMQA를 소개합니다.

1. 문제 발견은 빠르게 원인 분석은 정확하게
2. 실시간 모니터링과 성능 상세 분석
3. 보고서 및 알림 기능으로 효과적인 관리
4. 웹부터 모바일까지 한 번에 분석하는 통합 분석 솔루션 IMQA

펌웨어 테스트(Firmware Test)는 타겟 하드웨어 환경에서 내장된 ECU/MCU 펌웨어(Firmware)의 소프트웨어 동작을 검증할 수 있는 임베디드 테스트 도구를 소개합니다. 기존 개발환경에서 테스트하는 전통적인 소프트웨어 테스트 도구와 달리 ECU/MCU 프로세서의 하드웨어 환경에서 소프트웨어를 통신 프로토콜 시나리오로 10배 이상 더 빠르게 펌웨어 테스트를 수행한 철도, 방산, 반도체 등의 펌웨어 테스트 사례를 공유합니다. 또한, 통신 시나리오를 통한 펌웨어의 소프트웨어 동작을 확인할 수 있는 콜그래프(Call Graph)의 기능도 소개합니다.
1. 펌웨어 vs. 소프트웨어
2. 펨웨어 테스트의 테스트 시나리오: UART 통신 시나리오
3. 펨웨어 테스트의 Embedded Workbench와 통합: ONE WORKBOX
4. 철도 및 방산의 적용 사례

현재 우리 사회는 전 분야에 걸쳐 디지털 전환이 가속화되고 있다. 이러한 시대적 흐름에 발맞춰 국토교통부는 4차 산업혁명 기술을 적극 반영한 철도안전종합계획을 발표하였다. 이 계획에는 인공지능, 빅데이터, 사물인터넷 등의 첨단 기술이 철도 시스템에 접목되는 내용이 담겨 있다. 전통적으로 철도차량의 장치는 하드웨어가 주를 이루었으나, 최근 철도차량의 경량화와 무인운전 시스템의 도입으로 인해 변화가 일어나고 있다. 특히 철도차량의 핵심 장치인 주간제어기를 포함한 주행/제동장치의 중요성이 더욱 높아지고 있다. 이에 따라 열차 운행의 안전성과 효율성을 높이기 위해서는 소프트웨어 안전을 고려한 기술 개발에 집중할 필요가 있다. 미래 철도 환경에 대비하기 위해서는 여러 시스템을 유기적으로 연결하고 구성하는 것이 중요하다. 인공지능과 빅데이터를 기반으로 한 신철도관제시스템, 무인운전 철도차량시스템, 그리고 철도 신호통신시스템을 효과적으로 통합해야 한다. 특히, 사고나 장애 발생 시에도 제한된 선로를 안전하게 사용할 수 있는 방안을 마련해야 한다. 또한, 무인운전의 일반화와 노면전차와 같은 새로운 교통수단의 도입에 대비하여 철도안전에 대한 요구사항도 더욱 높아지고 있다. 기존의 기계식 기술에만 의존하던 부품들을 소프트웨어 기술과 융합하여 더욱 스마트한 부품으로 발전시켜야 한다.

AI 기술의 급격한 확산에 따라, AI 시스템의 신뢰성과 품질에 대한 관심이 높아지고 있다. 본 세미나에서는 신뢰 가능한 AI 시스템을 구축하기 위한 핵심 품질 속성과 이를 검증하기 위한 테스트 방법에 대해 소개한다.

1. AI 규제 동향
2. 신뢰 가능 AI를 위한 품질 속성
3. AI 테스트 방법
4. AI 테스트 사례 소개

국가에서 추진하고 있는 데이터에 대한 정책 방향을 확인하고 정책방향 중 데이터 품질 인증에 대한 정책을 소개한다. 국가 공인 데이터 품질 인증인 DQ인증의 취지와 절차, 기준 및 신청 방법을 발표하여 비정형 데이터의 최고 품질을 확보할 수 있는 방안을 제시한다.

1. DQ인증 등장 배경
2. DQ인증 소개
3. DQ인증 절차
4. 비정형 데이터 심사 항목 소개 (예시)
5. 비정형 데이터 품질 확보 방안 및 사례 소개

AI시대를 맞아 소프트웨어의 개발과 관련된 많은 부분들이 빠르게 변화하고 있습니다. 본 발표에서는 AI시대에 보다 안전한 애플리케이션을 만들기 위한 보안 테스팅 방법에 대해 설명하고자 합니다. 많은 AI 기능들은 오픈소스 소프트웨어를 활용하여 만들어집니다. 그러나 이렇게 널리 사용되는 오픈소스 소프트웨어라 하더라도 항상 안전하지만은 않습니다. 특히 최근 들어 이러한 오픈소스 소프트웨어의 취약점을 노린 공급망 공격이 대두되고 있습니다. 본 발표의 전반부에서는 공급망 공격에 대응하기 위한 보안 테스팅 및 안전한 오픈소스 관리 방안을 설명하고자 합니다. 최근 많은 개발자들은 소스 코드 작성을 위해 생성형 AI를 적극적으로 활용하고 있습니다. 그러나 생성형 AI가 생성한 코드는 소프트웨어의 기능은 정상적으로 수행할 수 있을지라도 공격으로부터 안전하지는 않습니다. 본 발표의 후반부에서는 생성형 AI를 통해 만들어진 소스 코드에 대한 보안 테스팅 방법과 대응책에 대해 설명하고자 합니다.

AI를 활용한 멀티미디어 테스트 시스템을 소개합니다. 기존의 UI Hierarchy 기반 테스트가 가진 한계를 극복하기 위한 새로운 접근법을 제시하며, 특히 이미지 기반 테스트의 문제점과 이를 해결하기 위한 AI 기반의 영상 및 음성 분석 기술을 설명합니다. 또한, 멀티 디바이스 환경에서의 테스트 시나리오 동기화 기술에 대해 소개하며, 실제 적용 사례를 통해 이 기술의 효용성을 확인합니다. 마지막으로, 멀티미디어 테스트 기술의 발전 로드맵과 AI가 이끄는 멀티미디어 테스트의 미래를 전망하며, 앞으로의 방향성에 대해 설명하고자 합니다.
1. 배경 및 시스템 개요
2. 기반 기술 소개
3. 적용 사례
4. 향후 계획

- 자동화 테스팅의 소개
: 다양한 산업에서 자동화 소프트웨어 테스팅의 수요가 증가하고 있는 이유와 그 효율성 및 정확성에 대한 개요를 설명합니다.
- 취약점 발견을 위한 Fuzzing 테스팅
: 복잡한 소프트웨어 환경에서 보안 취약점을 찾는 데 중요한 역할을 하는 Fuzzing 기법을 소개하고 그 중요성을 강조합니다.
- 자동차 산업에서의 사이버 보안 도전 과제
: 현대 자동차, 특히 연결된 차량과 자율 주행차에서 발생하는 보안 문제와 이 문제를 해결하기 위한 강력한 사이버 보안 솔루션의 필요성을 논의합니다.
- SecOps(보안 운영)를 위한 머신러닝 기술 발전
: 머신러닝이 보안 운영(SecOps)에 어떤 영향을 주고 있으며, 이를 통해 위협 탐지 속도 향상, 자동화된 대응, 선제적 방어 전략이 가능해지는 방법을 설명합니다.
- AI 기반 자동화 테스팅 도구 통합
: 테스트 케이스를 자동으로 생성하고, 잠재적인 실패 지점을 예측하며, 테스팅 주기를 가속화하는 AI 기반의 테스팅 도구를 소개합니다.
- 자동화를 통한 주요 인프라 보안
: 헬스케어, 에너지, 교통과 같은 주요 인프라 산업을 보호하는 데 자동화된 보안 솔루션이 어떤 역할을 하는지 설명합니다.
- DevSecOps에서의 지속적인 테스팅
: 지속적인 테스팅 실천 방법이 DevSecOps 파이프라인에 어떻게 원활하게 통합되며, 소프트웨어 개발 생애 주기 전반에 걸쳐 보안 테스팅이 어떻게 자리 잡고 있는지 논의합니다.
- 사이버 보안 자동화에 적용되는 AI와 ML 기법
: 위협 사냥, 악성코드 분석, 이상 탐지 등의 사이버 보안 프로세스를 자동화하는 데 사용되는 최신 AI 및 머신러닝 기술을 강조합니다.
- 제품 소개: 자동화 테스팅 및 보안 솔루션
: 실제 응용 사례를 중심으로 테스팅 요구 사항과 보안 취약점을 해결하는 최신 제품을 소개합니다.
- 자동화와 보안의 미래 트렌드
: 양자 컴퓨팅, 자율 시스템, Zero Trust(제로 트러스트) 아키텍처 등 자동화 테스팅 및 사이버 보안 분야의 새로운 트렌드를 전망합니다.

LLM의 위험을 살펴보고, 위험을 저감, 대응하기 위한 다양한 테스팅 방법론과 기법을 살펴본다. 특히, 데이터셋 기반의 테스팅과 레드팀 테스팅 기법에 대하여 글로벌 연구 및 정책 동향을 가미하여 소개하고, TTA에서 진행하고 있는 연구 및 테스팅 내용을 함께 제시한다.

4차 산업의 화두는 초연결 사회를 통해 철도차량, 의료기기, 우주항공, 선박, 건설기계, 산업기계, 농기계, 드론, 오일/가스, 및 인공지능 산업에서 자율로 운행하거나 주행하는 것입니다. 더불어 인간의 삶을 더욱 윤택하기 위해서 편의와 안전을 더욱더 보장하는 것입니다.
이와 연결되어 자동화 산업에서는 앞으로 RAMS 라는 4개의 키워드 ‘신뢰성, 가용성, 유지보수성, 안전성’이 시장을 선두 해 나갈 주요 요인입니다. Testworks는 기능안전 기술에 필요한 엔지니어링 기술자문, R&D 지원, 안전기술 지원, 시험, V&V(Verification & validation)을 통하여 고신뢰, 고안전의 기술과 평가를 지원하고 있으며, 이와 관련하여 최신 트렌드 및 테스팅 기술에 대해 소개하려고 합니다.

주요 발표 내용:
- AI Trustworthy
- AI SW Safety
- AI 반도체 Testing
- AI 기반 자동화 Testing

고객이 음성으로 이용하는 VUX(Voice User Experience) 기반 AI Contact Center 서비스의 검증 자동화 방안에 대해 살펴본다. User Interface가 존재하지 않는 음성 서비스에 대한 검증 자동화를 구현하기 위해 사전 검토되어야 하는 조건들을 소개하고, 추후 운영을 고려한 시나리오 설계 전략을 제안한다. 또한, VUX 검증 자동화 및 전체적인 운영 프로세스 자동화를 구축하기 위한 단계적 추진 내용 및 VUX 검증 자동화의 업무 Flow를 소개한다. 마지막으로, VUX 기반 AI Contact Center 검증 자동화 플랫폼을 구축한 S사의 사례 및 정성적 정량적 성과를 소개한다.