spark 활용해 보기

우리는 저번 포스팅에 스팍을 설치하고 간단하게 알아봤다. 이번시간에는 간단하게 활용을 해서 해보겠다. 그리고 스칼라도 조금알아야 된다. 필자도 조금밖에 모른다. 물론 자바를 알아도 되긴 하지만 스팍은 스칼라로 해야 뭔가 한듯하다. 자바로하면 소스도 길고 보기도 별루 안좋다. http://grouplens.org/datasets/movielens 위의 사이트의 가면 영화 데이터를 다운로드 받을 수 있다. 위의 데이터로 진행해 보겠다. 일단 스팍을 기동한 후에 다운로드 받을 파일을 적당한 곳에 압축을 푼다. 우리는 ratings.csv 파일으로 할 예정이다. 다운받을 폴더에 README.txt 를 열어.. Read More

spark 설치 및 간단하게 보자

spark을 설치 해보자 간단하게 설치하고 실행만 시켜보자. mac 기준으로 설치를 진행하겠다. 깔기만 하면 되긴 하는데..설치할 것도 없다. 위와 같은 설정으로 다운받자. 원하는 곳에 압축을 푼후 ${SPARK_HOME}/bin 으로 가서 아래와 같이 실행 시키자! ./spark-shell 그럼 위와 같이 실행 될 것이다. 이 spark-shell을 실행 시키면 sparkContext가 생성 된다. 로그를 보면 확인 할 수 있다. Spark context available as sc. 이렇게 말이다. 그리고 webUI도 함께 올라간다. http://localhost:4040 으로 접속 해보자! 일단 설치가 완료.. Read More