124 데이터 정제

데이터 정제는 수집된 표와 파일에서 누락·중복·오류·형식불일치·이상값을 찾아 분석 가능한 상태로 고치는 실무 과정이다.

0. 교육을 하는 이유와 궁극적인 목표

데이터 정제 교육의 궁극적인 목표는 학습자가 Excel, Google Sheets, OpenRefine, Python pandas를 활용해 원자료의 품질 문제를 진단하고, 정제 규칙을 문서화하며, 분석 가능한 데이터셋으로 변환할 수 있게 하는 것이다. 민간 data cleaning, data wrangling, spreadsheet analytics, pandas bootcamp 유료 과정의 흐름을 참고해 오류 탐지와 재현 가능한 정제 절차 중심으로 구성한다.

참고한 유료형 교육 흐름

스프레드시트 과정의 중복제거, 텍스트 분리, 형식 통일, 피벗 검토
OpenRefine 과정의 클러스터링, 값 표준화, 변환 이력 관리
Python pandas 과정의 결측치, 이상값, 타입변환, 병합 처리
데이터 품질관리 과정의 정제 로그, 규칙 문서화, 검수표 작성

입문 · 1일

입문 데이터 정제 교육과정

표 데이터의 기본 오류를 찾고 수정한다.

구분	세부 내용	실천·실습 방법
목표 1	데이터 오류 유형을 구분한다.	누락값, 중복값, 오타, 단위불일치, 날짜형식 오류, 불필요한 공백을 샘플 표에서 찾는다. 오류 유형별로 수정 가능, 확인 필요, 삭제 후보를 색상으로 표시한다.
목표 2	스프레드시트 정제를 수행한다.	Excel 또는 Google Sheets에서 필터, 정렬, 중복제거, 찾기·바꾸기, 텍스트 나누기를 실습한다. 이름·전화번호·날짜·금액 형식을 통일하고 정제 전후를 비교한다.
목표 3	정제 기록을 남긴다.	무엇을 왜 바꿨는지 정제 로그에 작성한다. 원본 시트, 작업 시트, 최종 시트를 분리해 보관한다.

사용 플랫폼	Excel, Google Sheets
강사 스펙	스프레드시트 데이터 정제, 오류 유형 지도 경험 3년 이상
수업대상	데이터 입문자, 사무직, 학생, 행정 담당자
소요시간	4-6시간
준비물	노트북, 오류 포함 샘플표, 정제 로그 양식
산출물	오류 표시표, 정제 완료 시트, 정제 로그
평가방법	오류탐지 30%, 정제기능 30%, 로그작성 20%, 정확도 10%, 참여도 10%

초급 · 3일

초급 데이터 정제 교육과정

여러 파일의 형식과 값을 표준화한다.

구분	세부 내용	실천·실습 방법
목표 1	텍스트와 범주값을 표준화한다.	주소, 직업명, 기관명, 성별, 지역명처럼 같은 의미의 다른 표현을 표준값으로 통일한다. OpenRefine 클러스터링 기능으로 유사한 값을 묶고 병합한다.
목표 2	날짜·숫자·코드 형식을 변환한다.	YYYY-MM-DD, 통화, 비율, 우편번호, 전화번호 형식을 통일한다. 데이터 타입 오류로 계산이 안 되는 사례를 해결한다.
목표 3	정제 규칙표를 만든다.	원본값, 변환값, 변환규칙, 예외처리, 담당자를 포함한 규칙표를 작성한다. 동료가 같은 규칙으로 재정제할 수 있는지 검증한다.

사용 플랫폼	OpenRefine, Excel, Google Sheets
강사 스펙	OpenRefine, 스프레드시트 표준화, 데이터 품질관리 경험 3년 이상
수업대상	사무직, 데이터 실무 입문자, 기관 담당자
소요시간	12-18시간
준비물	여러 CSV 파일, 표준코드표, OpenRefine 설치환경
산출물	표준화 데이터셋, 변환 규칙표, 예외처리 목록
평가방법	표준화 30%, 형식변환 25%, 규칙문서 25%, 검증 10%, 참여도 10%

초급 · 1주

초급 1주 데이터 정제 교육과정

결측치·이상값·병합 오류를 처리한다.

구분	세부 내용	실천·실습 방법
목표 1	결측치를 분석한다.	비어 있는 값이 무응답, 미수집, 해당없음, 시스템오류 중 무엇인지 구분한다. 결측치 처리 방식을 삭제, 대체, 보류, 추가확인으로 나눈다.
목표 2	이상값을 검토한다.	평균에서 크게 벗어난 값, 불가능한 나이·가격·시간, 중복 측정값을 찾는다. 상자그림, 조건부서식, 피벗표로 이상값 후보를 확인한다.
목표 3	데이터 병합을 수행한다.	고객ID, 상품코드, 날짜, 지역코드 같은 키를 기준으로 여러 표를 병합한다. 병합 후 행 수 변화, 누락 매칭, 중복 매칭을 검수한다.

사용 플랫폼	Excel Power Query, Google Sheets, OpenRefine
강사 스펙	결측치·이상값 처리, 데이터 병합 검수 경험 4년 이상
수업대상	데이터 분석 입문자, 연구보조원, 보고서 담당자
소요시간	20-30시간
준비물	결측 포함 데이터, 코드표, 병합용 샘플 파일
산출물	결측치 처리표, 이상값 검토표, 병합 데이터셋
평가방법	결측처리 25%, 이상값검토 25%, 병합정확도 25%, 검수로그 15%, 발표 10%

중급 · 4주

중급 데이터 정제 교육과정

Python pandas로 재현 가능한 정제 파이프라인을 만든다.

구분	세부 내용	실천·실습 방법
목표 1	pandas 정제 기초를 익힌다.	read_csv, info, describe, isna, duplicated, astype, str 메서드를 사용한다. Jupyter Notebook에서 원본 데이터 진단 리포트를 만든다.
목표 2	정제 함수를 작성한다.	컬럼명 정리, 공백 제거, 날짜 변환, 범주값 매핑, 이상값 플래그 함수를 만든다. 정제 전후 행 수, 컬럼 수, 결측률 변화를 자동 계산한다.
목표 3	재현 가능한 노트북을 완성한다.	원본 불러오기, 진단, 정제, 검수, 저장 순서로 노트북을 구성한다. 정제된 CSV와 정제 이력 Markdown을 함께 제출한다.

사용 플랫폼	Python, pandas, Jupyter Notebook, Google Colab, Excel
강사 스펙	Python pandas, 데이터 품질진단, 분석 파이프라인 경험 4년 이상
수업대상	데이터 분석 입문자, 청년 개발자, 연구팀, 실무자
소요시간	40-60시간
준비물	노트북, Google Colab 계정, CSV 데이터셋, pandas 실습노트
산출물	정제 노트북, 정제된 CSV, 데이터 품질 리포트
평가방법	코드정확도 30%, 정제품질 25%, 재현성 25%, 문서화 10%, 발표 10%

심화 · 8주

심화 데이터 정제 교육과정

정제 교육과 데이터 품질관리 컨설팅 패키지를 완성한다.

구분	세부 내용	실천·실습 방법
목표 1	강사용 정제 커리큘럼을 설계한다.	스프레드시트, OpenRefine, Power Query, pandas 모듈을 수준별로 구성한다. 오류 유형별 실습 데이터와 정답 데이터를 제작한다.
목표 2	품질관리 기준을 개발한다.	정확성, 완전성, 일관성, 최신성, 유일성, 유효성 기준을 평가 루브릭으로 만든다. 데이터 품질 점검표와 승인 기준을 설계한다.
목표 3	기관 정제 프로세스를 제안한다.	기관 데이터 흐름을 조사하고 수집·정제·검수·활용 단계별 책임을 정의한다. 최종 보고서에 도구, 인력, 일정, 위험관리, 표준작업절차를 포함한다.

사용 플랫폼	Excel Power Query, OpenRefine, Python pandas, Notion, Looker Studio
강사 스펙	데이터 품질관리, 정제 자동화, 강사양성, 컨설팅 경험 5년 이상
수업대상	데이터 강사, 기관 데이터 담당자, 분석팀 리더, 컨설턴트
소요시간	80-120시간
준비물	강사용 PC, 오류 데이터셋, 품질 루브릭, SOP 템플릿
산출물	강사용 지도안, 오류 데이터셋, 품질관리 루브릭, 정제 프로세스 제안서
평가방법	과정설계 25%, 데이터셋제작 25%, 품질기준 25%, 컨설팅 15%, 발표 10%