데이터 엔지니어링 · 광산 도메인 · 광산 AI

외부 자료가 믿고 쓸 수 있는 데이터와 모델 입력이 되는 과정을 배우는 독학 교재다. 개념 설명, 고정 합성 예제, 풀이 과정, 연습문제와 해설을 본문에서 함께 제공한다.

대상 독자: 풀스택 개발 경험은 있지만 데이터 엔지니어링은 처음 배우며, AI와 함께 광산 데이터 제품을 만드는 사람이다. 웹 개발 전 과정을 다시 시작하지 않는다. 데이터가 어떻게 수집·변환·저장·제공되는지부터 배우고, 광산 관측의 의미와 모델 평가로 연결한다.

독학 학습 경로: 데이터 엔지니어링 입문 지도에서 시작한다. Spark·Kafka·Kubernetes도 지금 역할과 원리를 배운다. 각 장에서 개념 설명 → 완성 예제 → 변형 실습 → 연습문제와 해설을 읽고, 도구를 서비스에 도입하는 시점은 별도로 판단한다. 입력·출력·실패와 검증 근거를 본문의 예제로 이해하는 것이 학습 목표다.

범위는 입문 지도, 공통기초 A~F, 핵심 18장, 기술·전문 영역 21장, SW 보완 실습 8개, 최종 프로젝트와 부록이다. 장 번호와 기존 링크는 유지한다. 39장 전체의 개념 지도를 익히되, 전문 영역의 실제 운영·설계는 본문에서 설명한 원리와 별도의 현장 근거를 필요로 한다.

이 책을 마친 뒤 할 수 있어야 하는 일

1. 수집·변환·저장·제공을 구분하고 Spark·Kafka·Airflow·dbt·Kubernetes의 역할을 설명한다.
2. 공공데이터 한 건이 출처에서 지도까지 오는 경로를 추적하고 설명한다.
3. 새 데이터 소스를 추가할 때 식별자, 좌표, 시점, 라이선스, 품질 조건을 먼저 설계한다.
4. 광산·탐사·광물 산출지·자원·매장량을 서로 다른 개념으로 사용한다.
5. 지질도, 도로, 수계, 배출량을 각각 무엇의 증거로 쓸 수 있고 쓸 수 없는지 설명한다.
6. 공간 특성을 만들고 위치 누수를 피한 검증 계획을 세운다.
7. 규칙 기반선, 머신러닝, LLM을 문제에 맞춰 선택하고 결과의 한계를 표시한다.
8. 요청 한 건을 화면·API·SQL까지 추적하고 작은 코드·쿼리 변경을 직접 검증한다.
9. AI 작업의 수용 기준을 정하고 실패 재현·변경 영향·배포와 복구 근거를 제시한다.

이 책을 읽는 방법

본문의 개념 설명과 완성 예제를 읽고, 입력·계산·결과를 차례로 따라간다. '혼자 풀어 보기'는 조건을 바꾼 문제다. 먼저 자신의 답을 적은 뒤 변형 실습 해설을 펼쳐 대조한다. 장 끝의 연습문제 3개에도 정답과 이유가 있으므로 다른 대화나 강의 없이 확인할 수 있다.

표의 합성 자료는 실제 관측·학습한 모델의 실측 성능과 구분한다. 기본 실습은 이 책의 표와 코드로 완결된다. Python 예제는 별도 환경이 적힌 경우를 제외하면 표준 라이브러리만 사용한다. 코드를 실행하지 못하는 휴대폰에서도 제시된 중간 계산과 예상 출력을 읽어 풀 수 있다.

공식 문서 링크는 근거 확인과 더 깊은 읽기를 위한 것이다. 본문 설명을 대신하는 필수 과제로 두지 않는다. 실제 프로젝트의 파일명과 API는 배운 개념이 적용되는 위치의 참고다. 개인 자료가 필요한 전문 설계·운영의 결과는 본문의 합성 계산과 구별한다.

진도에는 읽은 장, 틀린 이유, 직접 푼 문제를 기록한다. 며칠 뒤 같은 장의 변형 문제를 해설 없이 다시 풀어 본다. 웹의 완료 표시는 본인이 남기는 기록이며 숙련 인증은 아니다.

개념을 익히고 기억하는 공부

이 책의 주 학습 자료는 기존 장별 본문이다. 개념과 용어를 차례로 공부하고 예제와 문제로 확인한다. AI는 낯선 설명을 풀어 주거나 질문에 답하는 보조 도구로 활용할 수 있다. 코드를 대신 작성해 준다고 해서 용어의 뜻과 작동 원리까지 생략하는 방식으로 읽지 않는다.

1. 읽기: 한 번에 한 절을 읽고 정의와 작동 원리를 이해한다.
2. 정리: 핵심 용어 3~5개와 원리를 자신의 말로 짧게 적는다. 광산 용어는 한국어와 영어를 함께 적는다.
3. 회상: 책을 덮고 정의·차이·작동 순서를 떠올린다. 막힌 부분을 표시한 뒤 본문과 대조한다.
4. 문제: 예제를 따라 풀고, 장 끝의 3문제를 해설 없이 풀어 정답과 이유를 확인한다.
5. 복습: 다음 학습을 시작할 때 이전 절의 용어와 틀린 문제를 다시 설명한다.

기억할 것은 핵심 개념과 구분이다. 예를 들어 iterable·iterator·generator의 뜻과 관계를 설명하고, 짧은 코드가 왜 그 출력을 내는지 연결한다. 모든 API 이름이나 긴 코드를 통째로 암기할 필요는 없다. 읽어서 익숙한 상태와 책을 덮고 설명할 수 있는 상태는 기록에서 구별한다.

새로운 공부 방식을 계속 추가하기보다 기존 교재의 한 절을 위 순서로 마치고 다음 절로 간다. 개념을 배운 뒤 더 적용해 보고 싶을 때만 보고서 비교 선택 실습을 이용한다. 상단 진도는 기존 교재의 장·준비·SW·최종 프로젝트 완료 기록을 표시하며 선택 실습은 포함하지 않는다.

전체 목차 구조

• 입문 지도: ETL·ELT, batch·stream, 저장·계산·실행 관리의 구분, 전체 학습 순서
• SW 보완 실습: 익숙한 내용은 진단으로 넘기고 Python·SQL·검증의 빈틈만 보충
• 0부 공통기초: Python, SQL, 통계, Git·테스트, HTTP·웹 지도, 권리·보안·윤리
• 1부 데이터 엔지니어링: provenance, 공간 데이터, adapter, schema, snapshot, PostGIS·API·품질
• 2부 광산 도메인: 암석·지질도, 광상, 탐사, 생애주기, 자원·매장량, 인프라·환경·규제
• 3부 광산 AI: 문제 정의, 공간 feature, 중복·이상 탐지, 문서 RAG, 공간 검증, MPM·MLOps
• 4부 기술·전문 영역: 각 도구의 첫 개념과 작은 체험, 이후 운영 심화. object storage, orchestration, cloud, 구조지질, 시추, 자원 추정, 채광·선광·경제, geostatistics, remote sensing, time series, graph, model governance
• 최종 프로젝트: 한 광산점의 데이터 여권

권장 진도

주차보다 설명할 수 있는 것과 남긴 결과를 기준으로 다음 단계로 간다. 한 장의 세 깊이를 한 번에 끝낼 필요는 없다. 4부의 개념 설명도 처음부터 읽을 수 있게 입문 연결을 넣었다.

준비 A·D·E와 SW 1·3·6은 기존 경험으로 진단하고 부족한 부분만 보완한다. SW 7은 AI 평가를 배울 때 함께 쓴다. 기존 진도는 그대로 두며, 새 교재를 읽었다는 이유로 완료로 바꾸지 않는다.

완료를 세 깊이로 기록한다

각 장은 개념과 완성 예제, 변형 실습, 연습문제와 해설로 읽는다. 실제 자료·운영 환경이 필요한 적용은 별도 심화 범위다. 해설을 읽기 전에 답을 적어 본 뒤 풀이 과정과 대조한다. 웹의 완료 체크는 자기 기록이다. 전체 백분율은 책의 범위를 나타내며 전문성 점수가 아니다.