AI 교육이 현장에 안착하지 않는 이유는 진단 없이 배치했기 때문입니다. AI 역량 진단 설계법을 정리했습니다.
전 직원 대상 AI 교육을 진행했는데도 현장에서 실제로 도구를 쓰는 사람이 늘지 않는다면, 교육 콘텐츠보다 먼저 점검해야 할 것이 있습니다. 바로 AI 역량 진단입니다. 누가 무엇을 얼마나 알고 있는지 측정하지 않고 전 직원을 같은 커리큘럼에 넣으면, 이미 아는 사람은 지루해하고 처음 접하는 사람은 따라가지 못한 채 교육이 끝납니다. 이 글에서는 진단 항목을 어떻게 설계하고, 그 결과를 교육 배치와 효과 측정에 어떻게 연결하는지 다룹니다.진단 설계에서 가장 흔히 놓치는 부분입니다. "AI 도구를 써본 적 있는가"와 "그 도구로 실제 업무 결과물을 만들어낸 적 있는가"는 다른 질문입니다. 챗봇에 질문을 던져본 경험은 도구 사용 경험이지만, 그 답변을 다듬어 보고서 초안으로 쓰거나 반복 업무를 자동화한 경험은 업무 적용 경험입니다. 두 경험 사이에는 실무 전환이라는 간극이 있습니다.
설문에서 "사용 빈도"만 물으면, 개인적으로 챗봇을 자주 쓰는 사람도 업무 적용 경험이 없는 사람도 똑같이 "자주 사용"에 체크합니다. 그 결과 진단 점수는 높은데 실제 업무 전환율은 그대로인 현상이 생깁니다.
실무에서는 진단 문항을 두 축으로 분리해야 합니다. 하나는 도구 노출 경험, 다른 하나는 업무 산출물 전환 경험입니다.
| 축 | 측정 내용 | 진단 문항 예시 |
|---|---|---|
| 도구 노출 축 | 어떤 AI 도구를 얼마나 접했는가 | 지난 3개월간 사용한 AI 도구 종류와 빈도 |
| 업무 적용 축 | 실제 업무 산출물로 전환한 경험 | AI로 만든 결과물을 보고서·자료로 제출한 횟수 |
| 혼합 오류 사례 | 두 축을 구분 안 한 경우 | "AI를 자주 쓴다"는 응답이 업무 성과와 무관하게 높게 나옴 |
영업, 개발, 인사 직군에게 필요한 AI 역량은 서로 다릅니다. 영업은 고객 응대 초안이나 제안서 요약이 중심이고, 개발은 코드 보조나 디버깅이 중심이며, 인사는 문서 정리와 행정 자동화가 중심입니다. 그런데 많은 조직이 전 직원에게 동일한 진단지를 돌립니다.
같은 문항으로 서로 다른 업무를 측정하면, 자기 직무와 무관한 항목에서 낮은 점수를 받은 사람이 실제로는 역량이 부족한 게 아니라 그 항목이 업무와 무관할 뿐인 경우가 섞입니다. 반대로 특정 직무 기능만 물으면 다른 직무 인원이 전부 낮은 점수로 몰리는 착시가 생깁니다.
실무에서는 직무군별 문항 세트를 나누고, 공통 문항과 직무 특화 문항을 분리해서 설계해야 합니다.
설문 형태의 자기평가는 널리 쓰이지만, 응답자가 체크한 점수와 실제 업무 활용 수준 사이에는 차이가 발생합니다. 스스로를 "잘 안다"고 평가한 사람이 실제 과제에서는 기본 프롬프트 작성조차 어려워하는 경우가 있고, 반대로 낮게 평가한 사람이 실무에서는 이미 능숙한 경우도 있습니다.
이유는 자기평가가 "얼마나 안다고 느끼는가"를 측정하기 때문입니다. 실제 수행 능력이 아니라 인식을 측정하는 것이라서, 설문만으로 진단을 끝내면 그룹 배치 자체가 잘못될 수 있습니다.
| 진단 방식 | 측정하는 것 | 한계 |
|---|---|---|
| 자기평가 설문 | 본인이 인식하는 숙련도 | 과신 또는 과소평가로 왜곡 가능 |
| 과제 기반 진단 | 실제 프롬프트 작성·결과물 검증 능력 | 설계와 채점에 시간이 더 필요 |
| 혼합 진단 | 자기평가 + 과제 수행 결과 비교 | 두 점수 간 격차를 별도로 확인해야 함 |
진단 점수를 받아놓고도 전 직원에게 같은 교육을 배정하면 진단을 한 의미가 없어집니다. 진단의 목적은 점수 자체가 아니라, 서로 다른 교육이 필요한 그룹을 구분하는 데 있습니다.
예를 들어 직원 100명을 진단했다고 가정합니다. 도구 노출 축과 업무 적용 축을 각각 50점 만점으로 채점해 합산한 뒤, 점수 순으로 정렬해 구간을 나눕니다.
| 그룹 | 인원(예시) | 교육 방향 |
|---|---|---|
| 입문 그룹 | 30명 | 도구 사용법, 기본 프롬프트 작성 실습 |
| 실무 적용 그룹 | 50명 | 직무별 업무 자동화 사례 실습 |
| 심화·전파 그룹 | 20명 | 사내 전파, 고급 워크플로 설계 |
교육 이수율 100%가 곧 역량 향상을 의미하지는 않습니다. 교육 전 진단 점수와 교육 후 재진단 점수를 비교해야 실제로 무엇이 바뀌었는지 확인할 수 있습니다.
예를 들어 실무 적용 그룹 50명의 교육 전 평균이 55점이었고 교육 후 재진단에서 68점이 나왔다면 변화량은 13점입니다. 이 변화량을 두 축으로 나눠 다시 보면, 도구 노출 점수는 크게 올랐는데 업무 적용 점수는 거의 안 오른 경우가 있습니다. 이런 경우는 교육이 "도구를 알게 하는 것"에는 성공했지만 "실무에 쓰게 하는 것"에는 실패했다는 신호입니다.
재진단은 교육 종료 직후보다 일정 기간이 지난 시점에 진행해야 실제 업무 전환 여부를 더 유의미하게 확인할 수 있습니다. 직후 재진단은 학습 직후의 기억만 측정할 뿐, 업무 정착 여부는 보여주지 못합니다.
AI 교육이 현장을 바꾸지 못하는 가장 흔한 이유는 진단 없이 전 직원을 같은 교육에 밀어 넣기 때문입니다. 도구 노출과 업무 적용을 구분하고, 직무별 문항을 나누고, 자기평가의 한계를 보완하고, 점수로 그룹을 나눠 배치하고, 재진단으로 변화량을 확인하는 과정을 거쳐야 교육 투자가 현장 변화로 이어집니다.
본문에서 다룬 도구 노출·업무 적용 축 구분, 직무별 문항 설계, 자기평가 보완, 그룹 분류 작업은 team-ai의 역량 진단 기능으로 진행할 수 있습니다. 전 직원의 AI 활용 수준을 측정해 입문·실무 적용·심화 그룹으로 교육 대상을 나누는 과정이 여기에 포함됩니다. 진단 이후 그룹별 교육 설계와 재진단을 통한 변화량 확인까지는 6단계 커리큘럼을 통해 진단부터 사내 정착까지 단계별로 이어갈 수 있습니다.
team-ai 기업 인사·교육 담당자와 경영진를 위한 서비스 — 자세히 보기