WoodyCode_우디코드

완전 분석 vs 다중대체법한 줄 요약완전분석"결측치 있는 행? 그냥 버려"다중대체법"결측치를 여러 번 예측" ❓결측치가 뭔데이름 나이 소득홍길동 25 300만원김철수 NaN 250만원 ← 나이가 없음 (결측치)이영희 30 NaN ← 소득이 없음 (결측치)박민수 28 400만원→ 이렇게 데이터 일부가 빠져있는 걸 결측치(Missing Value) 라고 함.이걸 어떻게 처리하느냐에 대한 것.1. 완전 분석 (Complete Case Analysis)결측치가 하나라도 있는 행 전체를 그냥 삭제하고 분석동작 방식이름 나이 소득홍길동 25 300만원 ✅ 사용김철수 NaN 250만원 ❌ 삭제 (나이 없음)이영희 ..

CRISP-DM한 줄 요약"데이터 분석 프로젝트를 어떤 순서로 진행할지 정해놓은 표준 방법론"실무에서 데이터 분석할 때 "뭐부터 해야 하지?" 를 해결해주는 6단계 프레임워크전체 구조 먼저 보기❗️1. 업무 이해 → 2. 데이터 이해 → 3. 데이터 준비↑ ↓6. 배포 ← 5. 평가 ← 4. 모델링→ 이 전체가 순환(반복) 구조. 배포 후 다시 업무 이해로 돌아갈 수 있음.각 단계 상세 설명1단계. 업무 이해 (Business Understanding)"우리가 뭘 해결하려는 건지 먼저 파악하자"분석 시작 전에 비즈니스 관점에서 목표를 정의하는 단계. 하는 일:왜 이 분석을 하는가? 목적 명확화성공 ..

개인정보 처리 방식 4가지핵심 개념개인정보를 다룰 때 "얼마나 식별 가능성을 제거하느냐" 에 따라 나뉨.1. 식별화 (Identification)개인을 특정할 수 있는 상태 그대로 두는 것처리 없이 원본 데이터를 그대로 사용하는 상태(처리 전 기준점)이름: 홍길동생년월일: 1990-03-15주소: 서울시 강남구 XX동전화번호: 010-1234-5678→ 누군지 바로 알 수 있음2. 가명화 (Pseudonymization) ⭐️식별 정보를 다른 값으로 대체하되, 추가 정보가 있으면 복원 가능핵심은 "키(key)를 따로 보관하면 되돌릴 수 있다"이름: 홍길동 → A001 (매핑 테이블 별도 보관)생년월일: 1990-03-15 → 1990년대생주소: 서울시 강남구 XX동 → 서울시 강남구전화번호: 010-12..

하둡(Hadoop)한 줄 요약"데이터가 너무 많아서 컴퓨터 한 대로는 못 처리하니까, 여러 대가 나눠서 처리하자" 는 개념의 오픈소스 플랫폼 ❓왜 등장했냐면구글이 웹 전체를 검색 인덱싱하려고 보니 데이터가 어마어마하게 많음. 슈퍼컴퓨터 한 대로는 불가능하고 비용도 너무 비쌈.그래서 나온 아이디어가 "싼 컴퓨터 수백 대를 연결해서 같이 처리하자" 였고, 구글이 그 방법(GFS, MapReduce)을 논문으로 발표. 이걸 오픈소스로 구현한 게 하둡.핵심 구성 2가지1. HDFS (저장 담당)쉽게 말하면 "분산 하드디스크"파일 하나를 여러 조각으로 쪼개서 여러 컴퓨터에 나눠 저장. 게다가 같은 조각을 3벌씩 복사해두니까, 컴퓨터 한 대가 망가져도 데이터가 안 날아 감.[파일: 100GB 로그] ↓ 쪼개기 ..