TM STATE OF TESTING REPORT 2018 - QA Intelligence · 테스트 자동화와 스크립팅 테스트 데이터 매니지먼트 문서 / 기술문서 작성 제품 및 유저 데이터

STATE OF TESTING REPORT 2018

-한국어버전-

Sponsored by

TM

https://www.practitest.com/?utm_source=stot&utm_medium=pt_icon&utm_content=2018

http://www.teatimewithtesters.com/

http://qablog.practitest.com/?utm_source=stot&utm_medium=logo&utm_content=2018

© 2018 - PractiTest & Tea-Time with Testers. All rights reserved.

Share

Sponsored by 2 Version 1.1

목 차:State of Testing™ 프로젝트

응답자 통계 및 전문성 관련 프로필

조직에서의 테스트의 기능

트레이닝, 스킬 그리고 성장

테스트 프로세스

테스트의 현재와 미래

커리어와 자기개발

맺음말

도움 주신 분들

Sponsored by

3

4

9

15

18

23

26

29

31

[State of Testing 2018 한국어 역자의 말]

이 보고서는 이스라엘의 PractiTest사의 Montvelisky씨와 인도의 Tea-Time wiht Tester지 발간자인 Lalitkumar Bhamare씨가 2013년부터 매년 실시하고 있는 전세계 테스터의 현황조사이다. 5번째 버전인 2018년도 조사는 1~2월에 인터넷상에서 진행되었고, 총 83개국, 1433인의 소프트웨어 테스트 전문가들이 응답하였다. 한국에서도 다양한 테스트 환경의 증가와 테스트 자동화 도입 등으로 테스트 업계의 생태계 변화가 가속화되고 있다. 이 보고서를 통해 한국의 테스터들이 고민하고 있는 문제해결을 할 수 있는 실마리를 찾는데 도움이 되었으면 하는 바람이다.

2018년 10월번역자: 배우리(티벨)감수: 김종균(티벨), 정윤범(티벨)번역도움: 이재국(티벨)

https://twitter.com/home?status=The%202018%20State%20of%20%23Testing%20report%20is%20out,%20and%20it's%20the%20most%20insightful%20one%20yet.%20Get%20it%20now%20-%20http%3A//bit.ly/stotRprt18

https://www.facebook.com/sharer/sharer.php?u=https%3A//www.practitest.com/resource/state-of-testing-report-2018/?utm_source=stot2018report%26utm_content=share_buttons

https://www.linkedin.com/shareArticle?mini=true&url=https%3A//www.practitest.com/resource/state-of-testing-report-2018/?utm_source=stot2018report%26utm_content=share_buttons&title=The%202018%20State%20of%20Testing%20report%20is%20out,%20and%20it's%20the%20most%20insightful%20one%20yet.&summary=Download%20the%20full%20report%20and%20discover%20the%20latest%20trends%20in%20the%20QA%20world&source=





Share

Sponsored by 3

프로젝트STATE OF TESTING에 대해서

State of Testing은 세계에서 가장 큰 테스트 설문조사이다. 80개 이상의 나라에서 약 1500명의 응답자가 참가하고 있으며, 테스트 업계와 글로벌 테스트 커뮤니티에게 가장 정확한 정보를 제공하는 것을 목표로 하고 있다. 매년 실시되는 이 설문조사를 통해 현재 그리고 미래의 동향에 대해 파악할 수 있다. 설문조사는 업계 최고의 블로그와 영향력 있는 리더들과 협력하여(마지막 페이지의 도움 주신 분들 목록 참조), 테스터로서 전 세계의 다른 테스터 및 회사와 비교하여 자신의 전문적 상태를 잘 이해하고 현재 그리고 미래의 트랜드를 기반으로 더 잘 준비 할 수 있는 능력을 제공하는 것이다. 우리는 테스터들의 피드백을 기쁘게 받아들일 준비가 되어 있으니, 언제든지 연락 바란다.

*올해에도 전년도와 마찬가지로다양한 언어로 번역 될 예정이다. 모국어로 번역을 원하면 언제든지 연락 바란다.

STATE OF TESTING™ 프로젝트에 대해서

5년전, 테스트 동료들에게 자유 기술식으로 질문한 것이 이 프로젝트의 시작이었다는 것을 생각 하면 감회가 새롭다. 그 때의 질문은 단순하게 ‘테스트 커뮤니티에서 어떤 일들이 일어나고 있는가?’ 였다. 하지만 우리가 아는 한 당시에는 질문에 대한 답을 찾을 수 없었다.

더 놀라운 것은 매년 우리가 설문조사를 발표하고 훌륭한 테스트 커뮤니티의 구성원인 여러분이 시간을 내서 질문에 답을 하고, 우리의 현실과 앞으로의 변화에 대한 이미지 구축에 도움을 주고 있다는 것이다.

올해의 State of Testing 보고서에서 알 수 있었던 중요한 점은 한번의 조사로 알게 된 결과 뿐 만이 아니라, 해마다 몇 가지 질문을 반복하여 경향을 알 수 있었다는 것이다. 이러한 경향을 통해 우리들 스스로가 하고 있는 연구와 테스트 세계에 대해 더욱 깊이 이해 할 수있도록 도와준다.

답변 중 일부는 논리적이지만(그 중 어떤 것은 사소한 것도 있다), 일부는 더 깊은 통찰력을 필요로하여 우리 고민하게 만드는 것도 있고 매년 지속적으로 질문해야 하는 것들도 있다. 하지만 우리는 보고서를 직접 검토하는 즐거움을 빼앗고 싶지 않기 때문에 크게 손을 대지 않을 것이다.

우리는 매년 해마다 조사 및 보고서를 최신 버전으로 유지 할 수 있도록 도와준 감사위원회에 감사 드린다. 올해 우리는 감사하게도 몇 가지 좋은 업데이트 제안을 받았고, 위원회가 제공한 추가 질문을 통해 더욱 좋은 보고서를 만들 수 있었다. 그리고 우리는 매년 테스트 커뮤니티의 다양한 구성원들에게 도움을 요청하고 있으며, 이번 State of Testing의 리뷰 보드의 구성원은 Nermin Caluk, Derk-Jan De Grood, Bas Dijkstra, Brent Jensen, Helena Jeret, Maria Kedemo , Eran Kinsbruner, Kris-tel Krustuuk, Gerie Owen, Alan Page 및 Erik Proegler 였고, 프로젝트에 대한 의견과 제안을 해준 Jerry Weinberg에게 특별히 감사의 말을 전한다.

마지막으로, 많은 사람들이 이 보고서의 정보를 자신의 연구, 블로그, 프리젠테이션 등에 사용해도 되는지 문의를 한다. 대답은‘YES’이다. State of Testing 보고서를 당신의 동료 및 친구들에게 배포하고 사용하길 바란다. 단, 참조 한 자료에 대한 링크를 게시하여 전 세계의 많은 테스터가 State of Testing에 대해서 알 수 있도록 해주기를 부탁한다. 이를 통해 프로젝트가 더욱 탄탄해질 것이고 이로 인해 State of Testing은 대표적인 보고서가 될 것이다.

이 보고서를 통해 우리들의 현실이 실제로 어떠한지 더욱 깊이 이해하는데 도움이 되기를 바란다.

Lalit & Joel








Share

Sponsored by 4

응답자 통계 및 전문성 관련 프로필 32%

24%12%8.5%

3.5%3.5%

1.5%1.5%1%1%0.5%<0.5%6%

3%2%

지역 분포

응답자의 직책

전세계의 테스터가 참여

테스트 전문가의 다양한 이름

테스트 엔지니어 / QA 엔지니어

테스트 개발자 / SDET

결합 / 통합 엔지니어

테스트 설계자

그 외

프로젝트 매니저

성능 테스터

테스트 코치

DevOps 엔지니어

테스트 리더 / 매니저 / 디렉터

테스터 / 테스트 분석가

팀 리더

컨설턴트

소프트웨어 엔지니어

자동화 테스터

유럽 (& 러시아)

인도

중동

호주/ 뉴질랜드

남미

아프리카

USA/캐나다

아시아 (인도 제외)

올해는 지난해까지 응답이 적었던 지역들의 응답율이 많이 높아졌고, 유럽 국가의 응답율이 소폭 증가하여 다양성이 늘어났다고 할 수 있다. 하지만 아직까지 응답자의 80%가 유럽, 러시아, 북미 및 인도에 집중되어 있다는 것을 알 수 있다.

37%

22%

19.5%

7%

3.5%

4.5%

3.5%

3%

37%

22%

19,5%

7%4,5%

3,5%3,5%

3%

올해에는 테스트 커뮤니티에서 사용되는 직함에 관련된 용어를 조금 더 정확하게 표현하려고 노력했다. 그 결과 테스트 개발자, 테스트 코치와 같은 분류를 추가 했다. 하지만 작년과 마찬가지로 자신의 직함을 테스트 분석가, 테스트 리더/디렉터 라고 답한 사람이 많았다.통합 엔지니어링 및 모던 테스트라는

앞으로의 트랜드가 팀 내의 테스터의 직함에 어떠한 영향을 줄지 확인해보는 것도 흥미로운 일이 될 것이다. 그 외에 PMO, 스크럼마스터, 툴 제작자, 데이터 사이언티스트 매니저라는 답 등이 있었다.








Share

Sponsored by 5

소프트웨어 테스트 분야의근무 연수새로운 테스터의 유입 인원이 늘어나고 있으며, 종사 연수가 길어지고 있다. 올해에는 2년~10년의 경력을

가진 테스터들이 적어진 반면,

새로운 테스터와 경험이 많은

테스터들이 늘어난 것을 알 수

있다. 그러나 이 수치가 중요할

만큼 큰 차이가 나는 것은 아니

다.

우리는 2가지 중요한 경향을 알

수 있었다. 첫 번째는 새로운 테

스터들의 유입이 많다는 것이

다.(앞으로 몇 년 동안 계속 유

지될 것으로 보인다.) 그리고 테

스터들이 업계에 머무는 연수가

길어지고 있으며, 그 과정에서

프로 정신을 가지고 테스트 기

술을 개선하고 있음을 알 수 있

었다.

수치로 보면 작년과 마찬가지로

올해에도 대기업은 경험이 많은

테스터를, 중소기업은 임금이

적은 테스터를 고용하고 있다는

것을 알 수 있었다. (테스터로서

새롭게 이 업계에 들어 오고자

하는 사람들을 위한 팁!)

1년 미만

5 ~ 10 년 10년 이상

1 ~ 2 년 2 ~ 5 년

10.5

%

25.5

%

28.5

%

11%

24,5

%

9%

26%

27%

11%

27%

2018

2018 2018

2018 20182017

2017 2017

2017 2017








Share

Sponsored by 6

업무시간 중테스트를 하는 비율테스터는 업무 시간에 테스트와 관련 없는 업무도 하고 있다.

이 질문은 조직에서 팀 내의 테

스트 업무에 관련된 포지션을

알기 위해서, 바꿔 말하면 조직

내에서 테스트를 전담으로 하는

사람이 있었던 때에서 벗어나고

있는지 알아보기 위해 올해 새

롭게 추가한 질문이다.

현재 대다수의 응답자들은 적어

도 업무시간의 50% 이상을 테

스트하는 데 사용하고 있었다.

하지만 앞으로 몇 년 동안 이 질

문에 대한 답변의 추이를 확인

해 보는 것이 좋을 거라고 생각

한다.

‘기타’라고 답변한 사람의 대

부분은 처음 테스트를 하는 학

생 및 테스터 중 하나였다.

75% ~ 100% 사이

50% ~ 75% 사이

25% 이하

기타

25% ~ 50% 사이

12%1%

54%

21%

12%








Share

Sponsored by 7

우리가 생각한 것 보다 적은 사람들이 우연히 테스트를 하게 됐다고 답하였으나, 그 이유는 올해부터 ‘첫 직업을 가지기 쉬운 방법’이라는 답변을 추가해서인 것으로 보인다. 반면, 회사 내의 다른 직종(IT와 비 IT 관련)에서 옮겨온 사람이 늘어난 것으로 보아 테스트라는 것이 사람들에게 흥미로운 진로 개척 방법이라고 생각되는 것 같다.‘기타’ 라고 답변한 사람들 중에 불황기에 과거에 프로그래머를 했던 사람 중에 취업하기 가장 쉬운 방법이어서 라고 언급한 사람이 있었으며, 또 몇몇은 테스트가 IT업계로 진입하기 좋고/ 가장 쉬운 방법이라고 했으며, 어떤 사람들은 게임 회사의 ‘ 우수 게이머’ 였으나 단순히 본인이 사용하던 제품의 품질을 향상시키고자 테스트를 하게 되었다고 하였다.

테스터를 하게 된 경로테스터의 ‘일반적인’ 경로는 다른 직업에서 옮겨 온다.

우연히 일하게 되었다.

우연히 일하게 되었다.

첫 직업을 가지기 쉬운 방법

기타

학생 때 또는 인턴으로 시작했다가 계속 일하게 되었다.

학생 때 또는 인턴으로 시작했다가 계속 일하게 되었다.

테스터가 되고 싶었거나 테스트에 관련된 공부를 했기 때문회사 내의 다른

IT 업무에서 이동

회사 내의 다른 IT 업무에서 이동

기타

테스터가 되고 싶었거나 테스트에 관련된 공부를 했기 때문

회사 내의 비 IT 업무에서 이동

21%

32%

6.5%6%

2018

2017

14%

16%

22%22%

21%

7%

24%

12%








Share

Sponsored by 8

전세계 테스터의 급여당신의 나라에서는 경험에 따라 얼마나 받고 있는가?

> 1 년

아프리카 5 16 16 26 46

5 22 34 40 53

NA 5 13 41 57

10 13 19 28 34

10 19 19 34 51

37 34 50 62 80

9 28 55 58 103

40 40 68 79 110

40 48 68 87 107

9 NA 18 32 48

아시아

중국

인도

남미

동유럽/ 러시아

서유럽

중동

호주 / 뉴질랜드

USA / 캐나다

1-2 2-5 5-10 10+

* 급여는 USD 기준으로 천 달러 단위이며 보너스 및 추가 임금 포함(연간)** NA의 경우는 언급 할 만큼 충분한 정보를 수집할 수 없었음








Share

Sponsored by 9

조직에서의 테스트의 기능 테스트 팀의 크기

조직내의 테스트 팀의 위치

테스트 팀의 크기가 작아지고 있다.

테스트 관련 보고서를 누구에게 보고 하는가?

또 다른 확실한 추세는 테스터가 조직내의 독립된 품질 기능에 대해 보고를 적게 하고 있으며 프로젝트 매니저에게 보고하거나 경우에 따라 개발 매니저에게 보

고하는 것으로 나타났다. 이는 테스터가 통합 팀 또는 애자일 팀 내에서 유기적인 역할을 하게 되어 팀의 구조가 변화하고 있다는 것을 시사하고 있다.

이전 보고서의 추세에 이어서 테스트 팀의 규모가 매년 점점 작아지고 있음을 알 수 있다. 15명 이하의 팀에서 일하고 있다고 답한 사람은 2년 전에는 응답자의 60%, 작년에는 70%, 올해에는 74%로 점점 늘어나고 있다.

2018

2018

20182018

2017

2017

20172017

2016

2016

2016

2016

20152015

2015

2015

42,5

%

28%

18.5

%

11%

41%

25%

22%

12%

37%

29%

23%

11%

33%

24%

33%

10%

프로젝트 매니저 개발 매니저

품질 VP/Dir CTO/CIO

15%

11%

16-50 명

51+ 명

46%1-5 명

28%6-15 명








Share

Sponsored by 10

76%

58%

50%

48%

47%

44%

42%

37%

36%

36%

27%

25%

20%

17%

7%

7%

테스트 자동화와 스크립팅

테스트 데이터 매니지먼트

문서 / 기술문서 작성

제품 및 유저 데이터 분석

품질 보고서 및 경향 작성

테스트 코칭 및 컨설팅

요구 수집

통합 및 구축

테스트 및 기타 기능을 위한 내부 도구 개발

제품 환경 모니터링

고객 서포트 & 트레이닝

단위 테스트 (다른 테스트 업무에 추가적으로)

TDD/ATDD

제품을 위한 코드 작성

전문 서비스 & 판매 지원

테스트 관리 & 환경 개발

테스터가 하는추가 업무테스터는 애플리케이션 테스트 이외의 다른 업무도 하고 있다.

추가 업무 목록에는 환경 매니지먼트(이러한 경향은 이전부터 지속적으로 나타났음), 제품 및 사용자 테이터 분석, 테스트 코칭 및 제품 환경의 모니터링과 같은 흥미로운 일들이 포함되어 있었다. 코칭 및 컨설팅과 같은 작업은 대규모 기업에서 더 많이 볼 수 있었으며, 기술 문서 작성은 소규모 기업에서 많이 볼 수 있었다. ‘기타’에는 제품 살피기, 코드 검토 수행, 요구사항 명확화와 같은 흥미로운 답변들이 있었다. 이러한 경향은 전문가들로 하여금 비독점적인 시험 관련 직무에 대한 다양화를 명확하게 보여주고 있는데, 이는 우리 업무에 있어 보다 다양한 다양성을 보여주는 것으로서 고무적 이기도 하지만, 우리가 시험에서의 단일 전문화를 필요로 해야 하는 지표이기도 하다.

응답자가 두개 이상의 답변을 선택할 수 있으므로 총계가 100%를 초과 할 수 있음

나에게 어떤 의미가 있지? 커리어 향상을 위해, 당신의 가치를 높이기 위해 당신이 팀과 회사에 제공할 수 있는 추가 업무를 확인할 수 있을 것이다. 이러한 작업들의 일부는 테스트 업무와 관련이 많지만, 일부는 관련이 없는 업무일 수도있다. 하지만 모두 시도할 만한 가치가 있을 것이다!








Share

Sponsored by 11

테스트 문서


61%

33.5%

26.5%

19.5%

17.5%

15%

60.5%

51%

49.5%

38.5

NA

NA

26%

20%

19%

18%

63%

56%

56%

45%

테스트 보고서

2018 2017

대시보드

마인드 맵

테스트 차터

린 문서

라이브 문서

상위 테스트 플랜

체크리스트

상세한 테스트 스크립트

하위 테스트 플랜

우리는 올해 테스트 문서 리스트에 '테스트 보고서'와 '대시보드'라는 2가지 새로운 항목을 추가했다. 그 결과 테스트 보고서는 전체 항목 중 가장 위에, 대시보드는 중간쯤에 위치하는 것을 알 수 있었다.

그리고 전체적으로 작성되는 공식 테스트 문서의 양이 지속적으로 감소하는 것을 알 수 있었다. 업계 전반에 걸쳐 테스트를 간소화 할 필요성이 있다는 것을 보여주고 있다.

‘기타’ 답변에는 흐름도, 위험도 평가 문서, 테스트 매트릭스 그리고 테스트 정책 문서와 같은 것이 있었다.








Share

Sponsored by 12

테스트 어프로치와 방법스크립트 테스트가 늘어났다....?

2018 20182017 20172016 2016

탐색 테스트(ET) / 세션 기반 테스트(SBT)

스크립트 테스트

버그 검출

조정된 유저 (베타) 테스트

페어 테스트

몹 테스트

제품원격측정 분석

82%

68%

84%

58%

44%

30%

24%

17% 87%

60%

45%

24%

25%

NA

NANA

42%

29%

28%

14%

9%

유저 시뮬레이션35% 39%24%


ET/SBT가 소폭 감소 하는 추세를 보이고 있으나, 여전히 큰 차이로 인기가 있는 테스트 방법이다. 여기서 놀라운 사실은 스크립트 테스트를 하는 사람들의 비율이 작년까지 감소하였지만 올해에는 10% 증가했다는 것이다. 2가지 흥미로운 점은(응

답자 1/4에 가까운 사람이) 페어 테스트를 중요한 테스트 방법이라고 생각했다는 점과 응답자의 9%가 이번에 새로 추가된 항목인 제품원격측정 분석 방법을 택한 것이다.








Share

Sponsored by 13

정적 테스트 활동정적 테스트에대한 투자가 늘어나고 있다

2018

2018

2017

2017

2016

2016

요구 분석

상위 & 하위 레벨 테스트 플랜

검토 및 데모 세션

DEV 및 PM과 정기보고회의

회고

고객의 분석

코드 리뷰

리스크 분석

정적 코드 분석

68%

56%

56% 55%

20%

26%

NA

NA

NA

49%

NANA

NA

NA

56%

NA

이 질문의 답변 중에 흥미로운 점이 두 가지 이상 있다. 첫번째로 적은 수의 예외 상황을 제외하고 정적 테스트 활동이 전반적으로 더 자주 사용된다는 것을 알 수 있었다. 우리는 향후 몇 년 동안 이 경향에 대해 지속적으로 검토하여 그 이유에 대해서 더 깊이 생각하고자 한다.

나에게 어떤 의미가 있지?테스트 접근 방식을 결합하는 것은 어플리케이션 적용 범위를 더 좋은 방향으로 효율적으로 적용 할 수 있도록 서로 보완하고 도와주기 때문에 반드시 필요하다. 제품의 결함 수를 줄이는 또 다른 방법은 미리 예방하는 것이며, 이때 정적 활동은 다소 활용도가 낮지만 핵심적인 활동이다.

테스트 리뷰

디자인 리뷰

45%

61%

52%

63% 64%

61% 63%

54%

53%

52%

50%

47%

44%

43%20% 33%

56%









Share

Sponsored by 14

테스터가 수행한새로운 업무

회사의 여러 분야에 가치 부여하기

테스터의 의견을 직접 알 수 있도록 자유 기술식으로 답변을 하도록 했다. 이 질문의 목적은 응답자가 지금까지 테스터가 하지 않았던 활동에 참여하기 시작했는지, 테스터가 책임져야 하는 것이 다른 분야로 옮겨가고 있는지 이해하기 위한 것이다.

테스터가 유저 스토리를 작성하는데 도움이 된다. 그리고 어떤 스토리가 우선적으로 적용되는 지에도 관여한다.

잠깐만! 흥미로운 답변들을 확인해보자:

GDPR 구현

릴리즈 관리 조정

제품 소유자로서 서빙

프로세스 관리 및 복원 작업

고객에게 브리핑

제품의 번역

베타 고객 지원

코딩

모형 제작

동물원의 사육사!: 개인적으로 가장 마음에 드는 답변

“

“








Share

Sponsored by 15

트레이닝, 스킬 그리고 성장

여러가지 방법의 학습법 중에 나에게 가장 맞는 것을 찾아보세요!기술력을 높이기 위한 지식의 근원


57%

40.5%

19%

38,5%

7%

34.5%

4.5%

32.5%

4%

32%

5%

56%

42,5%

40.5%

40.5%

NA

43%

17%

48%

7%

36%

7%

44%

7%

34%

7%

64%

40%

38%

43%

그냥 해본다

2018 2017

자격시험 및 교육과정

테스트 학위

동료 멘토링

테스트 컨테스트

Facebook, twitter, linkedin 그리고 blogs

주말 테스트와 Miagi Do

온라인 커뮤니티와 포럼

잡지

기타

다른 분야 (e.g. 심리학, 문학, etc)

테스트 서적

Webinars 과 podcasts

학술대회, 미팅 및 세미나

정식적인 훈련

올해 ‘그냥 해본다’ 라는 질문을 추가했고, 57%의 사람들이 선택하여 가장 많은 득표율을 보였다. 한편으로는 응답자의 100%가 이 답변을 선택하지 않았다는 것으로 보아, 결국 전문가로서 우리의 실수나 성공에서 얻은 교훈을 바탕으로 끊임없이 배우고 개선해야 한다는 것을 알 수있다.2위는 ‘테스트 서적’이 차지했지만 전년도 대비 8% 감소한 수치를 나타냈다. 반면 webinars 와 팟캐스트는 40%에서 42.5%로 상승했는데 최근 컨텐츠 품질이 좋아졌기 때문으로 생각된다. 일반적으로 대부분의 항목에서 수치가 감소하였는데, 이것이 설문 조사의 외부/내부 요인으로 발생한 것인지 지속적으로 검토해야 할 필요가 있다. ‘기타’에는 Udemy, 클라우드 소싱 프로젝트, 다른 테스터를 가르치면서, Slack(메신저 명) 그룹, 개발자와 작업, 오픈소스 프로젝트에서 작업 등의 답변이 있었다.

나에게 어떤 의미가 있지?테스터들은 테스트에 관련된 새로운 것을 배우기 위해 컨퍼런스나 교육과정에 보내달라고 관리자에게 요청하는 경우가 많다. 컨퍼런스는 많은 것을 배울 수 있는 곳이기는 하지만, 지식을 얻을 수 있는 유일한 곳은 아니다. 보통의 사람들은 인터넷에 있는 수 많은 무료로 이용 가능한 정보를 이용하지 못하는 경우가 많다.








Share

Sponsored by 16

오퍼레이션 매니지먼트(새로추가)

IoT

임베디드 시스템

엔터프라이즈계열 소프트웨어 (ERP, CRM, BI)

기계학습 / AI (새로추가)

빅데이터 테스트

마이크로서비스 (새로추가)

클라우드 환경 테스트

비지니스 스킬

프로그래밍 스킬

데이터 분석 (새로추가)

고객 대응 스킬

퍼포먼스 & 부하테스트

모바일 기술

애자일 개발방법론

보안 테스트

API 테스트 (새로추가)

Web 기술

일반적인 테스트 방법론

커뮤니케이션 스킬 75%

65%

62%

60%

55%

48%

45%

42%

39%

41%

31%

31%

29%

28%

25%

23%

23%

19%

21%

13%

32%

36%

37%

41%

45%

47%

51%

55%

21%

45%

57%

57%

52%

54%

53%

55%

51%

57%

51%

49%

54%

3%

2%

4%

4%

7%

7%

7%

6%

14%

12%

12%

19%

18%

22%

22%

26%

24%

28%

30%

33%

23% 2%

기능테스트 자동화 & 스크립트작성

전반적으로 테스터가 생각하는 가장 중요한 스킬은 지난 2년 동안 바뀌지 않았다. '커뮤니케이션 스킬'은 모든 테스터가 중요하게 생각하는 스킬이며, 자동화 & 스크립팅, 일반 테스트가 그 뒤를 이었다. 이전 조사의 검토 위원회의 피드백을 바탕으로 항목에 몇 가지 새로운 항목을 추가했는데, 기술 규모 면에서 ‘새로 추가된 것’이 상대적으로 높은 수치를 나타냈다. 가장 주목 할 만한 것은 5위를 한 API테스트와 11위를 한 데이터 분석 스킬이다. 응답자들이 제안한 다른 스킬 중에는 '비판적 사고(응답자의 많은 사람들이 언급)', '시간관리', '적응력', '고객의 관점을 공감' 등이 있다.

매우중요 중요 중요하지 않음좋은 테스터가 되기 위해서 필요한 스킬








Share

Sponsored by 17

참가 해볼만한 테스트 컨퍼런스와 이벤트!

OnlineTestConf

TestBash

StarCanada

Romanian Testing Conference

qa: challengeaccepted

National Software Testing Conference, (UK)

Selenium Conference

Agile DevOps East

Let’s Test South Africa

GTAC

Test Leadership Congress

ASTQB Summit

StarEast

SauceCon

COMAQA

Tabara de testare

HUSTEF

Automation Guild

heisenbug-moscow

QA or Highway Conference

PNSQC

JaSST

StarWest

QualityJam

QA&Test

QA Fest

CAST

ANZTB

WeTest Conference

Nordic Testing Days

copenhagen Context

STP Conf

AgileTestingDays

Eurostar

Expo QA

Testİstanbul

나에게 어떤 의미가 있지?가까이에서 무료로 진행되는 행사를 찾아보자. 행사에서 얻을 수 있는 고 퀄리티의 정보에 놀랄 것이다. 누구나 쉽게 참여 할 수 있는 온라인 행사도 있다.







https://www.stpcon.com/our-speakers/

https://agiletestingdays.com/

https://conference.eurostarsoftwaretesting.com/

http://www.expoqa.com/

https://testistanbul.org/

http://www.qafest.com/

http://jasst.jp/

https://starwest.techwell.com/

https://www.qasymphony.com/blog/tag/quality-jam-2018/

https://www.associationforsoftwaretesting.org/conference/cast-2018/

https://anztb.org/

http://www.wetest.co.nz/wetest-2018/

https://www.nordictestingdays.eu/

http://copenhagencontext.com/

https://www.astqb.org/about/press-resources/astqb-summit-software-testing-conference-keynote-announced/

https://stareast.techwell.com/

https://saucecon.com/

http://comaqa.by/en/

http://tabaradetestare.ro/ http://www.qafest.com/

https://starcanada.techwell.com/

https://romaniatesting.ro/

http://qachallengeaccepted.com/

http://www.softwaretestingconference.com/

https://www.hustef.hu/

https://automationguild.com/

https://heisenbug-moscow.ru/en/

https://www.qaorthehighway.com/

http://www.pnsqc.org/

http://www.onlinetestconf.com/

https://www.seleniumconf.com/

https://agiledevopseast.techwell.com/

http://lets-test.com/

https://developers.google.com/google-test-automation-conference/

http://testleadershipcongress-ny.com/

https://www.ministryoftesting.com/testbash

http://www.qatest.org/?lang=en


Share

Sponsored by 18

테스트 프로세스테스트 관리에 사용하는 툴 새로운 테스트 툴의 도입

75%

59%

50%

46%

19%

19%

16%


작년에 이어 올해에도 질문을 하였다. 작년에는 응답자의 56%가 새로운 툴을 도입했다고 답 하였다. 그러나 이 수치는 올해 43%로 감소했다. 우리는 향후 몇 년간 이 질문을 지속적으로 하여 동향을 알아내려고 한다.

그리고 우리는 자유 답변식 질문을 통해 어떤 도구를 사용하기 시작했는지 확인하였고, 작년과 비슷한 답을 얻을 수 있었다. 툴은 다음과 같다.

브라우저스택, ET 도구, 모니터링 도구와 같은 새로운 툴도 있었다.

Yes 43%

No 57%

버그 관리시스템

MS Excel, Word 등

애자일 워크플로우 툴

테스트 및 QA 매니지먼트 툴

프로젝트 매니지먼트 툴

마인드 맵

탐색 메모용 툴

테스트매니지먼트

CI 프레임워크

BDD 툴

부하 테스트 툴 자동화 (많은 사람들이 Selenium을 사용하기 시작)

‘기타’의 답변 중에 Google 문서 및 Wiki 페이지를 사용하는 사람도 많이 있었다. 작년 결과의 피드백을 바탕으로 올해 항목에 Mindmap을 추가했는데, 이미 20%에 가까운 응답자가 테스트 계획/관리 방법으로 사용하고 있다고 응답하였다.








Share

Sponsored by 19

테스트 중인 기술테스트 시 필요한 다양한 기술

Web

모바일

데스크 탑

내부적으로개발된 시스템

상용 엔터프라이즈시스템

반응형 / 점진형 /적응형(웹 디자인 수법)

마이크로 서비스

사용자 추적 및데이터 분석

Sandboxing, Kubernetes, Dockers 등


의료/ 헬스케어

보안 / 사이버 보안

AI / 기계 학습

IoT

VR / AR

종합 모니터링

암호 작성술

암호화된 화폐

기타

앱보안

79% 17%

16%

12%

10%

4%

3%

2%

1%

7%

57%

44%

30%

29%

26%

25%

24%

23%

19%

우리는 이 질문을 통해 테스트 분야의 기술 동향을 매핑하고, 이것들이 테스트 방법에 어떤한 영향을 미치는지 확인하려고 한다. 이외의 답변 중에 몇 가지 흥미로운 것이 있다.: 네트워킹, wifi 기술, 음성 활성화 앱, 임베이디드 시스템, 메인 프레임 시스템, 뱅킹 앱, IPTV, 게임 제품, 교통 시스템, 챗봇, 로봇 및 천문학 관련 툴.

나에게 무슨 의미가 있지?테스터가 특정한 타입의 테스트 또는 1개나 2개의 기술을 전문으로 가져야 할 필요가 있던 시대가 있었다. 하지만 이것은 옛날 이야기이다. 지금의 테스터는 다재다능 해야하며, 일을 하기 위해서 필요한 새로운 기술을 항상 배워야만 한다.








Share

Sponsored by 20

89% 87% 82%애자일/애자일 계열

워터풀 or 워터풀 계열

DevOps

TDD

BDD독자적인 모델/원칙 컨텍스트 구동

어떠한 구조적 모델도 따르고있지 않다

애자일은 거의 보편적으로 사용되고 있으며 응답자 중 90% 이상이 조직내의 애자일 관련 프로젝트에서 일하고 있다. 우리는 이러한 추세가 앞으로 어떻게 변동되는지 계속 지켜볼 것이다. 하지만 응답자 중의 1/3은 아직도 프로젝트에서 Waterfall 접근법을 사용하고 있다고 답하였으나 이 방법은 매년 꾸준히 감소하고 있다. DevOps는 이전보다 느린 속

도로 증가하고 있다. 3년 전에 14% 증가한 후에 재작년에는 23%, 작년에는 26%, 올해는 그보다 조금 증가한 28%를 기록했다. 몇가지 흥미로운 답변으로는 'Buzzword 주도 개발', '스크럼지향적인 카오스' 그리고 'RUP（Rational Unified Pro-cess）'이라고 답하여 과거를 떠올리게 한 대답도 있었다.

답변은 다소 안정적인 경향을 보여, CI로 작업한다고 답한 조직의 비율은 작년과 거의 비슷했다. ‘기타’라고 답한 2%는 프로세스에서 CI를 구현하고 있다고 응답했다. 마지막으로 CI/CD가 무엇인지 모른다고 답한 비율은 4%로 떨어졌다.

2018 2017 2016

개발 모델애자일이 보편적이며, DEVOPS가 점점 늘어나고 있다.

CI & CD 는 천천히

33%

28%

19%

17%

13%

9% 7%

7% 7% 6%

14%

37%

26%

17%

16% 16%

16%

18%

18%

23%

39%

40% 36%

4% 2%

18%모든 프로젝트에

적용일부 프로젝트에

적용

CI/CD가 뭐지? 기타

미사용








Share

Sponsored by 21


기능 테스트 or 회귀 테스트

2018 2017

직접 작성한 스크립트

Specflow, Gherkin 등의 BDD 스크립트

로그 & 데이터 분석

종합 모니터링

CI / CD

Yes

Yes

No

No

모른다

모른다

부하 & 스트레스 테스트

단위 테스트

테스트 데이터 형성

자동화 현황자동화는 더이상 기능테스트에만 국한되지 않는다

75%

42%

41%

37%

22%

17%

75%

43%

41%

40%

28%

16%

16%

12%

5%

NA

NA

16%

85.5%

84%

12.5%

13%

2%

3%

흥미롭게도 이 비율은 작년과 비교하여 거의 달라지지 않고 유지되어, 자동화와 관련된 테스터와 조직의 비율이 어느 정도 안정되었다는 것을 보여준다. 수치가 높으며, 이것은 그 자체로 매우 고무적인 결과이다.

2018

2017








Share

Sponsored by 22

전년도와 같이 응답자에게 테스트 케이스가 어느 정도 자동화 되어있는지에 대한 비율을 물어봤다. 이 질문에 대한 답변도 작년과 크게 다르지 않았다.

2018 2017

3%

20%

40%

4%

2018 2017

90% 이상

10% 미만

모른다

측정하지 않았다

10% ~ 50%

50% ~ 90%

나에게 무슨 의미가 있지?기능 자동화와는 직접적으로 관련이 없는 스크립트 작업이 많이 있다. 보다 효율적인 작업을 위한 툴 사용방법을 알아봐야 한다.

22%

7%

8%

26%

5%

7%

19%

39%

자동화 현황자동화는 더이상 기능테스트에만 국한되지 않는다








Share

Sponsored by 23

팀 규모

테스트 데이터와 환경 매니지먼트

트레이닝

좋은 툴 획득

시간 관리

변경 요인 파악 (기술과 방법론)

회사의 초기 작업과 개입

팀 예산

테스트 가치를 조직에 전달

테스트와 관계없는 사이드 업무에 시간소모

해외 협력 / 아웃소싱

개발자와 상호작용

정치 & 문화 이슈

43%

35%

42%

29%

41%

35%

40%

35%

38%

33%

30%

25%

24%

30%

32%

27%

31%

32%

31%

30%

23%

23%

32%

29%

37%

52%

55%23%

27%

27%

30%

31%

31%

33%

33%

34%

38%

40%

42%

매우 도전적 도전적 쉬움

테스트의현재와 미래테스트 팀이 해결해야 할 문제줄이기 어려울 정도로 해결해야 할 문제가 많이 있다.

‘기타’라고 답한 사람들 중에: FDA규제 요건, 사양 미달, 프로세스 부족, 팀원의 태도, CI/CD를 사용한 매뉴얼 테스트, 더 많은 도메인에 대한 지식 획득, 각 팀은 다른 목표에 근거하여 일함, 동일한 코드베이스에서 여러 팀이 일함, 급속한 성장으로 인한 어려움, 조직 내의 단일 테스터, 테스터에 관련된 이해 부족, 변화에 대한 저항, 테스트가 낮은 기술력을 가진 일이라는 사람들의 사고방식 변화 등이 있었다.








Share

Sponsored by 24

테스트 방식의 변화

“ “““

“““““

“

““

“““““

만약 당신이 방식을 바꾸지 않는다면 당신은 일을 그만 둬야 할 수도 있다.

모든 범위에서 API 테스트를 하도록 하고 있다.

우리가 테스트 중에 놓친 문제점을 발견하기 위해서, 실제 데이터를 사용하여 고객이 먼저 알기 전에 문제를 식별하도록 한다.

모든 것을 테스트 할 시간이 없으므로, 긴 회기 분석 제품군을 파이프라인의 다른 장소에서 실행되는 여러 개의 제품군으로 분할했다.

테스트 결과서에 찾은 위험을 명시적으로 언급하고 있다.

테스트에 더 많은 개인 시간을 할애하여 테스트 능력치를 올렸다. ^^

테스트 프로세스를 가속화하기 위해 Ops에 대해 더욱 공부했다.

테스트 관리 도구를 사용하기로 했다. 모든 것을 스스로 테스트 하는 역할에서, 팀 코칭으로 역할 이동 하였다.

회귀 테스트에 보안 테스트 부분을 포함시켰다.

질적인 감시역할이 아닌, 품질 제창자로 활동하게 되었다.

개발자와 제품 소유자와 더욱 더 소통하려고 하고 있다. 빈틈 없는 데모와 리뷰를 팀에 제공하려고 한다.

지속 가능한 형태의 자동화로서 API 테스트를 도입했다.

진정한 비공식 미팅을 하기 위해서 스크럼 미팅을 개선하였다.

내부 테스트 활동을 보완하기 위해서 크라우드 테스팅(crowd testing)을 사용하기 시작했다.

각 프로젝트 팀에서 개발자를 지명하여 품질팀의 리더에게 의견을 전하는 '팀'을 만들었다. 앞으로 전용 테스트 트레이닝을 모든 팀에 하기위해서 이 멤버들을 6개월 마다 다른 팀으로 이동시킬 예정이다.

Docker를 사용해서 독립된 상태에서 더 많은 테스트를 수행

비즈니스 가치에 중점을 두고, 개발자와 제품 분석가와의 커뮤니케이션을 강화하였다.

자율 서술형 질문을 통해 사람들이 팀 및 프로세스에 어떠한 새로운 것들을 시도하고 있는지 질문했고, 꽤 흥미로운 답변을 얻었다.








Share

Sponsored by 25

테스팅 분야에 있어서 미래에 어떤 것이 중요한가?주류가 될 기술과 주제에 대해서 알아보자

응답자에게 앞으로 어떤

것이 ‘화제’가 될 것인

지 자유 기술 형식으로 질

문했다.

모든 젊은 테스터들 그리

고 시간과 돈, 지식을 어

디에 투자 해야 하는지 궁

금한 사람들에게 앞으로

몇 년간 도움이 될 아이디

어가 여기 있다.

증강현실

서버리스 아키텍처

자율형 드론 / 자동차

AI - 인공지능

IoT - 사물인터넷

기계학습

컨테이너

예측 분석

뉴럴 네크웍

생체인식

초 개인화

블럭체인

양자 컴퓨팅

빅데이터

봇

클라우드

마이크로서비스

나에게 무슨 의미가 있지?우리는 우리가 적절한 시기에 올바른 위치에 있는지 확인하기 위해 다가 올 미래에 ‘화제’가 될 것들에 대해 끊임없이 물어봐야 한다. 그리고 여기에 ‘화제’가 되고 있고 앞으로 점점 ‘화제가 될’ 구체적인 아이디어가 있다!

Share

© 2018 - PractiTest & Tea-Time with Testers. All rights reserved. Sponsored by








Share

Sponsored by 26

41%

18%

17%

8%

7%

7%

1%

1%

테스터 또는 테스트 매니저

테스트 컨설턴트

5년 후에 무엇을 하고있을지 모르겠다

애자일 매니지먼트에 관련된 일

비지니스에 관련된 일

프로그래머 또는 프로그래머 리더

퇴직 ^^

기술 관련 업계에 없다

걱정하지 않는다 다소 걱정한다 매우 걱정한다

커리어와 개인개발지금부터 5년 후

이 질문에 ‘애자일 매니지먼트에 관련된 일’ 이라는 새로운 항목을 추가했고, 8%가 이 항목을 선택했다. 답변으로 선택한 비율이 높아진 유일한 항목은 작

년보다 1% 상승한 ‘5년후에 무엇을 하고 있을지 모르겠다’였다.

직업의 안정성에 대해서 어느정도 불안함을 느끼는가?

작년보다 불안감이 조금 줄었다

또 다른 척도를 측정하기 위해 테스터들의 직업 안정감을 측정하였다. 일자리에 대한 걱정을 하느냐는 질문에 대해서 올해에는 작년과 비교했을 때 ‘불안함’을 느끼는 정도가 낮아졌지만, 2년 전 보다는 여전히 높은 수치를 나타냈다. 전세계적으로 경제 불황이 아니기 때문에 팀 내의 일자리와 테스터의 직급에 영향을 끼칠 수 있는 변화가 업계에서 일어나고 있을지도 모른다.

46% 38% 17%








Share

Sponsored by 27

테스터 채용 시, 매니저는 어떤 점을 중요하게 생각하는가? 채용담당자에게 새로운 테스터를 채용 할 때, 최근 어떤 점을 중요하게 생각하고 있는지 질문한 결과, 다음과 같은 점을 중요하게 생각한다는 것을 알았다.

커뮤니케이션과 듣기 능력 / 명료성

기술 / 자동화와 스크립팅 스킬

경력 / 적극성

긍정성 / 좋은 태도

코칭 스킬

문제해결 능력 / 적응성

호기심 / 학습능력

창조성 / 틀에서 벗어난 생각을 할 수 있는지

자기 주도권 / 동기유발 / 추진력

세부적인 것에 주목 / 정밀성

팀 플레이어

사업적인 요구를 이해하는 능력

나에게 어떤 의미가 있지? 특히 채용 매니저와 면접할 때는 기술적인 스킬 보다는 소프트 스킬(남들과 소통을 잘 하는 자질)을 키우는 것이 중요하다.

테스트 요구에 대한 이해와 문제 해결에 대한 균형 있는 사고능력/테스트에 관련된 사고방식








Share

Sponsored by 28

이상적인 미래의 테스트 세계테스터의 관점에서 일(직업)을 개선하기 위해서 어떤 것을 해야 하는지에 대해 질문했다. 그 중 흥미로운 답변 몇 가지를 소개한다.

“

“

““

“

“

“

회사의 모든 사람이 품질은 모두의 책임이라는 것을 이해 하고 있어야 한다.

테스터에게 새로운 기술, 새로운 도구, 새로운 혁신을 배울 수 있는 시간과 공간을 제공 해줬으면 한다.

테스트를 왜 하는지에 대해 더욱 관심을 가져야 함...

프로젝트 참여 인력과 더 나은 의사소통.

개발자와 PM이 테스터가 하는 일에 대해 정확하게 이해하여 필요한 정보를 빠르게 전달 해줬으면 함.

테스트 커뮤니티가 더 많은 열정을 가져야 하며, 그들이 하는 일을 더욱 존중해야 한다. 내 주변에 있는 몇몇 테스터들은 자기 태만을 하는 경우가 많다.

계획에서부터 고객 서비스까지 테스트를 완벽하게 통합하기 위해 팀워크를 개선해야 한다.








Share

Sponsored by 29

정보는 모든 프로젝트 및 상황에 있어서 올바른 결정을 내리기 위한 핵심 요소이다. 제품 출시 여부를 알기 위해 경영진에게 가시성을 제공하거나, 시간과 노력을 투자 할 곳을 개인적으로 선택 할 때, 정보를 통해 현명한 결정을 할 수 있다. 이것이 결코 나쁜 영향을 끼치지 않는다.

5년 동안 진행된 이 설문조사를 통해 더 많은 통찰력과 동향을 바탕으로 더 좋은 정보를 얻을 수 있었다고 생각한다. 이것이 당신 팀의 미래, 당신 자신의 품질 전문가로서의 미래, 그리고 테스트 업계 전체의 미래에 개인적인 혹은 전문적인 결정을하는데 도움을 주고 있으리라 생각한다 .

우리가 모든 답변을 재검토하지는 않지만, 몇 가지 동향은 앞으로 나아가는 열쇠가 될 것으로 생각되기에 재검토 해볼 가치가 있다.

우리의 미래가 암울하다고 생각하는 사람들에게 테스트는 결코 죽지 않는다고 말하고 싶다. 테스터 업계로 인력이 꾸준히 들어오고 있으며, 이와 동시에 10년 이상 이

분야에서 종사한 테스터들이 현장에서 어떻게 일하고 있는지 볼 수 있었다. 전체적으로는 현재 테스터에 종사하는 인원은 그 어느 때 보다 많다.

우리는 업무의 다양화를 도모하고 있으며, 추가적인 업무를 통해 다른 부가가치를 찾으려고 하고 있다. 이와 동시에 애자일 세계로 들어서면서, 테스트 업무의 절반 이상이 테스터가 아닌 사람의 손에서 이루어지고 있다는 것을 알 수 있다. 이것은 우리 모두에게 우리가 품질 역할을 적절히 수행하기 위해 새로운 기술을 배워야 함을 알리고 있다고 할 수 있다.

올해 보고서에서 우리가 발견한 흥미로운 모순이 있다. 테스터가 업무에서 공식적인 문서를 작성하는 경우는 줄었지만, 응답자들은 자신들의 업무에서 더 많은 스크립트 테스트를 하고 있다고 말했다. 이것은 심지어 그들의 프로젝트에서 수행된 탐색 테스트의 양을 희생한 것으로 보인다. 탐색테스트는 여전히 가장 일반적인 형태의 테스트이지만, 실제로 작년 보고서보다 올해 약간 감소했다. 더욱 생각해볼 필요가 있

다…….

마지막은 힘이 나는 이야기로 마무리 하고자 한다. 올해는 테스터가 테스트와 품질 전문가로서 현재의 직업에서 더 안정감을 느끼고 있다는 것에서 고용 불안이 줄어들었다는 것을 알 수 있었다.

설문조사에 응답해준 모든 분들께 감사 드린다. 그리고 검토 위원회에도 매우 감사 드린다. 그리고 이 테스트 현황 보고서를 성공적으로 만드는데 도움을 주신 모든 분들께 감사 드린다.

내년에 또 만나요!Lalit & Joel

맺음말








Share

Sponsored by 30

Practitest는 사용자가 프로젝트 및 정보를 관리하는 방법에 중점을 두고 테스트 결과를 모든 이해 관계자에게 전달하는 방법에 초점을 맞춰 테스트 및 개발 프로세스를 제어 할 수 있도록 설계된 엔드 투 엔드 QA 및 테스트 관리 솔루션이다.

이 소프트웨어를 통해 사용자는 요구사항을 구성하고, 테스트를 만들고 실행 하며, 버그 등을 추적할 수 있다. JIRA, Bugzilla, RedMine 및 Pivot-al Tracker는 물론 Selenium, JUnit, SoapUI, QTP, Jenkins, Circle CI와 같은 자동화 툴과 Slack과 같은 생산성 응용 프로그램 등의 버그 추적 툴과 통합이 가능하다.

자세한 내용과 15일 무료 평가판을 받으려면 다음 사이트를 방문하세요.https://www.practitest.com

Tea-Time With testers는 세계에서 가장 많이 유통되는 소프트웨어 테스트 월간지이다. 지금까지 없었던 변화의 물결이 비즈니스와 테스트 업계, 테스트 커뮤니티에 밀려들어오는 요즘, Tea-Time With testers는 내일의 도전을 위해 필요한 최신정보를 알리고 있다. 이러한 정보는 소프트웨어 업계를 더욱 깊게, 그리고 완벽하게 이해할 수 있는 방법이 될 것이다. Tea-Time With testers는 2011년 창간 이래 테스트 간행물 관계자들에게 벤치마킹 대상이 되고 있으며, 소프트웨어 이론과 사고법에 대해 처음으로 보고하기도 하였다. 그리고, 기술적/기업저널리즘과 같은 새로운 장르를 더욱 가까이에서 날카롭게 전하는 최초의 간행물이 되고자 노력하고 있다. Tea-Time With testers는 전세계의 테스트 커뮤니티 유일의 월간지이며, 컨텐츠의 품질, 집필진, 독특한 정보 제공을 하는 것으로 알려져 있다. 오늘날 Tea-time With testers는 전세계의 영어로 발행되는 테스트 잡지 중에서 가장 많은 발행부수와 독자 수를 가지고 있다.

자세한 내용은 다음 사이트를 참고하세요.http://www.teatimewithtesters.com/

TEA-TIME WITH TES-TERS에 대해서

PRACTITEST에대해서










Share

Sponsored by 31

도움 주신 분들







http://blog.testingcurator.com/2018/01/02/state-of-testing-survey-2018-coming-soon/

http://www.softwaretestingtools.com/

http://www.qualitytesting.info/forum/topics/state-of-testing-survey-2018

https://www.infoq.com/

https://romaniatesting.ro/rtc-supports-the-largest-worldwide-testing-survey/

https://www.qualitestgroup.com/

http://www.mkltesthead.com/2018/01/its-that-time-again-stateoftesting.html

http://adventuresinqa.com/2018/01/12/state-of-testing-2018/

https://djdegrood.wordpress.com/2018/01/10/state-of-testing-2018-a-valuable-survey/

https://testingbaires.com/la-encuesta-estado-del-testing-2018-esta-punto-comenzar-desde-practitest/

https://www.kenst.com/2018/01/mid-january-updates/

https://testpappy.wordpress.com/2018/01/19/state-of-testing-survey-2018-is-live/

https://linkeshkannavelu.com/2018/01/10/state-of-testing-2018/

https://qahiccupps.blogspot.com/2018/01/the-state-i-am-in.html

http://www.testknight.de/state-of-testing-2018-survey/

https://knowledgetester.org/2018/01/22/participate-in-state-of-the-testing-survey-2018/

https://www.benlinders.com/news/state-of-testing-survey-2018-now-open/

https://qxf2.com/

http://trishkhoo.com/2018/01/the-2018-state-of-testing-survey-is-live/

https://testretreat.com/2018/01/18/state-of-testing-2018/

http://tbell.co.kr/

Documents

TM STATE OF TESTING REPORT 2018 - QA Intelligence · 테스트 자동화와 스크립팅 테스트 데이터 매니지먼트 문서 / 기술문서 작성 제품 및 유저 데이터