spark 활용해 보기

우리는 저번 포스팅에 스팍을 설치하고 간단하게 알아봤다. 이번시간에는 간단하게 활용을 해서 해보겠다. 그리고 스칼라도 조금알아야 된다. 필자도 조금밖에 모른다. 물론 자바를 알아도 되긴 하지만 스팍은 스칼라로 해야 뭔가 한듯하다. 자바로하면 소스도 길고 보기도 별루 안좋다. http://grouplens.org/datasets/movielens 위의 사이트의 가면 영화 데이터를 다운로드 받을 수 있다. 위의 데이터로 진행해 보겠다. 일단 스팍을 기동한 후에 다운로드 받을 파일을 적당한 곳에 압축을 푼다. 우리는 ratings.csv 파일으로 할 예정이다. 다운받을 폴더에 README.txt 를 열어.. Read More

spark 설치 및 간단하게 보자

spark을 설치 해보자 간단하게 설치하고 실행만 시켜보자. mac 기준으로 설치를 진행하겠다. 깔기만 하면 되긴 하는데..설치할 것도 없다. 위와 같은 설정으로 다운받자. 원하는 곳에 압축을 푼후 ${SPARK_HOME}/bin 으로 가서 아래와 같이 실행 시키자! ./spark-shell 그럼 위와 같이 실행 될 것이다. 이 spark-shell을 실행 시키면 sparkContext가 생성 된다. 로그를 보면 확인 할 수 있다. Spark context available as sc. 이렇게 말이다. 그리고 webUI도 함께 올라간다. http://localhost:4040 으로 접속 해보자! 일단 설치가 완료.. Read More

scala 기본(클래스)(2)

스칼라 trait을 알아보기전에 클래스에 대해 좀더 알아보자ㅎㅎㅎ 계속 뒤로 넘기는중.. 좀더 알아 볼게 있어서.. 클래스의 apply 메소드를 알아보자 스칼라는 신기한게 apply 메소드가 있으면 굳이 메소드명을 안써도 된다. 코드로 보자 class AddOne{ def apply(m:Int) : Int = m + 1 def name(name:String) : String = s”#$name” } 이걸 사용 할려면 자바는 이렇게 한다. AddOne addone = new Addone(); System.out.println(addone.apply(100)) 결과를 출력 하면 101이 나올 것이다. 하지만 스칼라는 다르다. val addOne =.. Read More