하둡을 설치하기 위하여 구글링을 하면서 한국어로 상세하게 정리된 것이 없어 아쉬운 점이 있었습니다. 그래서 본인이 새로 진행하며 최대한 상세하게 스크린샷과 함께 가이드를 제작하였습니다. → Slideshare에 업로드하였으나 알 수 없는 이유로 삭제, 고객센터에 문의하였으나 답변이 없었습니다. 삭제 방지를 위해 블로그에 올리는 과정에서 하둡 소개 부분 제외하고 설치 부분만 게시글 두 개에 나누어 등록하게 되었습니다. 다음에는 HIVE(HQL), SQOOP, PIG 등 Hadoop 프로그램의 설치 및 사용방법에 대하여 업로드 예정입니다.궁금한 점은 댓글로 남겨주시면 열심히 답변드리겠습니다.
22. Data Set의 Sample 확인 방법 데이터를 다루고 분석하다보면 Data Set의 일부분만 확인하고 싶은 경우가 많다. 특히, 대용량의 파일은 전체 데이터를 불러오는 작업에만 상당한 시간이 소요되므로 R에서는 head, Python에서는 슬라이싱 기능을 통해서 쉽게 Data Set의 Sample을 확인할 수 있다. 허나, 데이터베이스 관리의 기본적인 언어인 SQL에는 head나 슬라이싱 기능이 없다. 어떻게 Data Set의 Sample을 확인할 수 있을까? 본인이 자주 사용하는 2가지 방법을 기록한다. rownum 사용 의외로 많은 사람들이 알고 있는 기능으로, 겉으로 노출되지 않지만 각 데이터의 row마다 붙어있는 숫자를 이용해 데이터를 출력하는 것이다. 예제) 사원 테이블(emp)의 이..
21. Unpivot 요즘 하둡(hadoop)을 공부하며 사용해보고 있다. 조만간 블로그에도 올리겠지만 공부하면 할수록 데이터 분석가는 SQL의 기초를 탄탄히 다져야 한다는 생각이 든다. 하둡 생태계중에서 hive, Tajo 등 SQL을 기반으로 하는 것들이 많고, NoSQL 중 하나인 Pig도 어렵지 않게 사용할 수 있다. 다시 본론으로 돌아와서, 오늘은 Excel에서도 흔히 쓰이면서 SQL의 유용한 장점이자 pivot 함수의 반대인 unpivot을 정리하자. pivot이 세로 데이터 → 가로 컬럼명으로 이동하는 느낌이라면, unpivot은 가로 컬럼명 → 세로 데이터로 이동하는 느낌이다. → pivot에 대한 설명 다시 보기 unpivot의 사용 방법은 unpivot ( 새로운컬럼명 for 지금 컬럼..
- Total
- Today
- Yesterday
- hadoop 2.7 install
- 하둡 설치 가이드
- 데이터 분석
- 하둡설치
- Data Analysis
- Big Data
- 빅데이터
- 하둡설치가이드
- 하둡
- hadoop
- hadoop setup
- hadoop2.7
- 하둡2.7
- data
- hadoop install
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |