도서 소개

파이썬 기반으로 IT 관련 비전공자들도
빅데이터 분석 및 인공지능 실습이 가능하도록 구성!

미국의 시장조사기관 가트너가 2020년도 기업이 주목해야 하는 기술 트렌드로 초자동화(Hyperautomation), 인공지능 보안(AI security) 등 빅데이터/인공지능 관련 주제를 선정하였다. 초자동화는 모든 작업 공정을 초 단위 스피드로 생산하는 형태를 말한다. 빅데이터를 활용하여 컴퓨터가 자동으로 주요 공정을 처리함으로써 기존 작업자들은 새로운 시스템을 관리하며 더 가치 있는 일에 집중할 수 있게 해준다. 이와 같이 기업에서는 데이터를 활용하여 기존 수작업으로 진행했던 공정들을 컴퓨터가 대신할 수 있도록 모델을 만들어 자동화시키고, 새로운 가치를 창출하려고 노력하고 있다. 예를 들면 유통업체에서는 판매 상품의 Stock-out 상황이 발생하지 않도록 판매 실적 및 가격 데이터 등을 활용하여 미리 고객의 수요를 예측하여 생산 계획을 세우고 있으며, 금융권에서는 불법거래를 자동으로 탐지하는 모델을 만들어 안정적인 금융시장 형성에 힘쓰는 등 각 산업군에서 데이터를 활용한 가치를 찾기위해 노력하고 있다.
데이터 엔지니어/분석가, 인공지능 전문가 등 새로운 직종이 생겨났으며 이들은 기업에서 이미 수집하고 있는 데이터를 정제 작업을 통해 활용 가능한 양질의 데이터가 쌓일 수 있도록 한다. 또한, 기업에 도움이 되는 분석 모델을 만드는 역할을 한다. 최근에는 생성한 분석 모델들을 빠르고 안정적으로 운영하기 위하여 빅데이터 분석 플랫폼을 도입하여 동일한 모델이라 할지라도 적시에 필요한 정보가 생성되는 데에도 힘쓰고 있다.

목차

<*> 기초편 <*>
I. 빅데이터 개요 및 파이썬 프로그래밍
1. 빅데이터 기술
1.1 빅데이터 분석 이해
2. 빅데이터 분석 사례
2.1 유통 분야 사례
2.2 고객 관리 사례
2.3 기타 사례
3. 빅데이터 분석 방법
3.1 빅데이터 분석
4. 파이썬 개발 환경 구축
4.1 파이썬을 왜 배워야 할까요?
4.2 개발환경 구축

II. 파이썬 기초 다지기
1. 자료형
1.1 수(Number)
1.2 문자열(String)
1.3 리스트(List)
1.4 튜플(Tuple)
1.5 딕셔너리(Dictionary)
2. 파이썬 라이브러리 설치하기
2.1 넘파이(Numpy)
2.2 판다스(Pandas)
3. 파이썬 핵심 문법
3.1 반복하기
3.2 조건 판단하기
3.3 자주 사용하는 내용 함수화하기
3.4 추가 제어 로직
3.5 예외 처리

III. 데이터베이스 이해 및 ETL 실습
1. 데이터베이스 이해
1.1 데이터베이스란?
1.2 데이터베이스 구성 및 언어
2. 데이터베이스 개발환경 구축
2.1 PostgreSQL DB 설치
3. 데이터 수집 및 저장
3.1 파일 데이터 수집 및 저장
3.2 데이터베이스 데이터 수집 및 저장

<*> 기본편 <*>
IV. 외부 연동 데이터 수집
1. 웹 크롤링 활용 데이터 수집
1.1 BeautifulSoup 및 웹페이지 이해
1.2 라이브러리 선언 및 HTML 소스 불러오기
1.3 태그 정보 수집하기
1.4 테이블 정보 수집하기
1.5 셀레니움 활용 웹브라우저 자동화
2. 공공데이터 포털 데이터 수집
2.1 공공데이터 포털 파일 데이터 불러오기
2.2 국가통계포털 API 데이터 불러오기
2.3 공공데이터 포털 API 데이터 불러오기

V. 데이터 분석 및 데이터 전처리
1. 데이터야 놀자
1.1 원하는 행 조회하기
1.2 원하는 컬럼 조회하기
1.3 인덱스 설정하기
1.4 데이터 조작하기
1.5 데이터 컬럼 간 연산하기
1.6 데이터 정렬하기
1.7 데이터 그룹별 집계하기
1.8 고급 연산 실습하기
1.9 데이터 병합하기
1.10 결측값 처리하기

VI. 파이썬 라이브러리 활용
1. 시각화 라이브러리
1.1 matplotlib 활용 차트 그리기
1.2 matplotlib 활용 시각화 고급
1.3 seaborn 활용 통계 차트 생성
2. OpenCV 라이브러리
2.1 OpenCV 활용 이미지 조작 실습
2.2 OpenCV 활용 영상 조작 실습

VII. 유형별로 실습하는 머신러닝
1. 데이터 분석 방법론(머신러닝)
1.1 머신러닝 라이브러리 활용
1.2 모델 선택
2. 지도학습
2.1 지도학습 접근 방법
2.2 회귀모델 유형 실습
2.3 분류모델 유형 실습
3. 비지도학습
3.1 클러스터링 유형 실습

저자 소개