본문 바로가기

분류 전체보기

 (81)
hbase 설치하는라 반나절 날린 썰... hbase를 설치하기로 했다. hbase는 hadoop eco system에서 Nosql db 역할을 한다고 알고 있다. 그래서 실시간 으로 수신되는 data들을 Nosql로 적재하는 것이 효율적일 것이라 판단해서 hbase를 사용하기로 했고 설치를 시작했다. 하지만 이때까지만 해도 몰랐다.. 하나의 문제를 해결하기 위해 거의 반나절을 날리게 될줄은... ㅎ...ㅎㅎ 그래도 결국 해결을 했으니 너무 좋다. 이거 참 문제인가? 문제를 해결하지 못하면 계~속 생각해서 다른 일을 하지 못한다... 아무튼 내가 해결한 과정을 공유해서 다른 사람들도 도움이 되길 바란다. 일반사항 cluster 현황은 이렇다. 다른 조건들도 많지만 Hbase설치에 필요한 내용들만 적도록 하겠다. Master1 NameNode1 H..
Kafka 대체 넌 뭐늬?? Kafka... Kafka... 대체 넌 뭐늬?? 독일계 성씨로 뜻은 갈까마귀라고 한다.. 아 이거 아니지 Kafka 공식 사이트를 들어가보았다. an open-source distributed event streaming platform open-source는 소스가 공개된 소프트웨어라는 뜻이고, distributed는 분산처리 event는 어떤 사건 streaming은 실시간 처리를 말한다. 정리하자면, "실시간으로 발생하는 사건들을 분산처리 하는 소스코드가 공개된 플랫폼" 이라는 것이다. 여기서 몇가지 특성을 알수 있다. 카프카는 - 실시간 - 분산 처리 에 사용되어야 한다는 것이다. 카프카가 뭔지는 알겠다. 그럼 카프카는 왜 쓰게 되었고, 어떻게 써야 하는지 알아보자. 카프카 대체 넌 왜 태어났니..
프로젝트 준비3 : EC2로 mysql 배포하기 안녕하세요! 이번에는 ML model을 통해 생성되는 Data를 DB에 저장하기 위해 EC2로 mysql을 배포하고 외부에서 접속하기 위한 여러 설정방법에 대해 정리해보겠습니다. mysql을 배포하는 방법은 여러가지가 있겠으나 기초적인 프로젝트를 진행하기 위해 EC2로 간편하게 배포해보았습니다. 저같은 초보에게는 이마저도 문제의 연속이더군요 ㅎㅎㅎ 1. EC2 instance 생성하기 EC2 instance를 먼저 생성해주겠습니다. 요구사항에 맞춰 spec을 설정해주세요. 저는 가장 기본적인 spec으로 진행했습니다. - OS : ubuntu 20.04 - Instance type : t2.micro - Configure storage : 32GB 2. mysql 설치하기 EC2 instance가 생성되..
프로젝트 준비2 : EC2 instance에서 파이썬 프로그램을 실행하기 위한 가상환경 세팅 방법 안녕하세요 저번 시간에는 간단한 ML 모델을 만들고 flask로 웹상에 배포하는 방법에 대해 알아보았습니다. 이번 시간에는 EC2 instance(ubuntu 20.04)에서 파이썬 프로그램을 구동하기 위해 가상환경을 설정하는 방법에 대해서 알아보겠습니다. 이게 하고 나면 별거 아닌데 버전이라든가 이런게 안맞기 시작하면 엄청 꼬입니다. 꼬이지 않도록 주의해주세요 1. EC2 instace 생성하기 먼저 aws의 EC2 instance를 생성합니다. instace spec은 아래와 같습니다. EC2 instance spec - os: ubuntu 20.04 - 그외 프로그램을 돌리기에 알맞는 환경으로 설정해주시면됩니다. - 참고로 ML model을 돌리기 위해서 xgboost, scikit-learn 라이..
프로젝트 준비1 : ML model(feat. iris dataset) flask로 웹 배포하기 미니프로젝트가 얼마 남지 않았습니다. ㅠㅠ 프로젝트 기간동안 더 많은 것을 하기 위해서 ML model을 미리 만들어 보았습니다. 처음에는 호기롭게 DL modeling을 시도했으나, instance는 성능이 받쳐주지 못할것 같아서 일단 ML로 완성만 하기로 했어요! dataset은 기본적으로 제공되는 iris 에요. 모델링이 주 목적은 아니기 때문에 엄청 화려한 코딩은 하지 않았습니다. (사실 못함 ㅋㅋ) 1. xgboost로 ML model을 만들어 줍니다. import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from x..
객체지향 언어 이제 끝2 객체 지향 언어를 접하게 되면 자연스레 따라 나오는 개념들이 있다. 속성, 메소드, 생성자, 상속 오늘은 이 개념들에 대해서 나의 언어로 정리해볼 것이다. 1. 속성이란? 일반적으로 객체는 속성(attribute)과 행위(behavior)를 갖는다. 예를 들어, 나라는 사람은 이름이 박태근이고 키 182cm이다. 이때 이름과 키가 속성이 되는것이다. 객체 : 사람 속성 : 이름, 키, 몸무게, 사는 곳, 직업 .... 코드로 살펴보자. public class Main { static class Person { String name; String country; int age; } public static void main(String[] args) { Person minsoo = new Person();..
객체 지향 언어 이제 끝1 '객체 지향 언어'.... 이 단어를 처음 들은 것은 코딩을 시작하고 얼마 안되서 였다. 자바스크립트를 처음 다뤘을때 언뜻 보이는가 싶더니, 파이썬을 시작하게 되면서 본격적으로 객체 지향 언어가 다가오는 것이 보였다. 그래도 그때는 데이터 분석만 겨우 하는 용도라서 깊이 알지 못해도 얼추 코딩을 할 수 있었다. 그런데 이제 자바를 시작하게 되니, 이건 뭐... 객체 지향언어가 뭔지 이해하지 못 하면 코딩을 하지 못하는 수준인 것 같다. 그래서 오늘 부로 객체 지향언어에 대한 개념을 확실하게 잡고 넘어 가 고싶다. 일단 가장 나를 헷갈리게 하는 것은 과연 '객체' 라는 것이 무엇이냐 이것이다. 그 동안 여러 블로그에서 봐왔던 개념들을 종합해본 결과 객체란? "현실세계의 사물 등 존재가 객관적 실재가 있는..
빅데이터 엔지니어링 프로젝트 준비하기2-2 - api data to nosql(mongodb) 어제 mysql에 이어 이번엔 RDBMS가 아닌 nosql에 데이터를 넣어보기로 했다. 너무나 기초적인 프로그램이지만 점점 확장해 나갈 예정이다. 1. mogno DB를 먼저 설치 해보자. 설치 환경 : m1 맥북 1) terminal 접속 2) brew를 사용해서 설치하는데 tap을 추가해주었다. brew tap mongodb/brew tap을 추가해주면 brew에 mongodb/brew의 git repository를 추적한다. 그래서 brew 정식저장소에 있는 것과 같이 통합적으로 관리할수 있다. 3) brew update로 버전을 최신화해준다. brew update 4) mongodb를 설치한다. brew install mongodb-community@5.0 5) mongodb를 실행한다. brew..

티스토리툴바