개발자 일기장

카프카란? 아파치 카프카는 2011년 미국 링크드인(Linkedin)에서 개발되어 최종적으로 아파치 재단에 오픈소스화 되었고, 현재는 카프카에 집중하기 위해서 Confluent 라는 이름으로 카프카에 대한 서비스를 운영하고있다. 카프카는 RabbitMQ, ZeroMQ 와 함께 자주 거론되는 메세지 큐 시스템이다. 하둡 에코시스템에 포함되어있으며, 대용량의 실시간 로그처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 Fault-Tolerant(기능 장애 상태를 유지하더라도 성능을 저하시키지 않고 가동하는)한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수 있다. 카프카는 다른 하둡 에코 시스템들과의 호환성도 상당히 높은 편이여서 데이터 수집에서는 카..

이전 포스팅에선 리눅스(centos7) 환경에서 도커를 설치하고, 주피터 노트북을 컨테이너 환경으로 실행해 몇가지 테스트를 해보았다. 개발 및 서비스를 배포할때 기존 방법에 비해 월등하게 편리하게 발전된 도커는 리눅스 컨테이너 기술 기반이기 때문에 흔히들 리눅스 환경에서만 도커를 사용할 수 있다고 생각하는 사람들도 많을 것이다. 하지만, 도커는 이제 실제 개발 업무를 진행할때 윈도우에서도 많이 사용되게 될것이다. 리눅스 컨테이너 기술인 도커가 어떻게 윈도우에서 실행할 수 있는거지?? 정답은 윈도우에서 최근 대규모로 Windows 10을 업데이트 하면서 Microsoft 에서 미리 예고했듯이 WSL2 (Windows Subsystem for Linux 2) 를 포함하여 업데이트를 했기 때문이다. 관련된 요..

도커 커맨드를 개발할 때마다 항상 찾아보는것에 지치기 시작한다. 정리해서 자주 사용되는 명령어에 대해서 포스팅하는것도 나쁘지 않을것 같다는 생각이 들어서 관련 명령어 및 실제 개발하면서 겪었던 상황들에 대한 해결 방안 및 팁 들을 정리 하려고 한다. COMMANDS SEARCH docker search centos# docker search centos - Docker Hub로부터 사용가능한 image를 찾는 명령어 - Docker는 Dokcer HUB 를 통해 Git Hub 처럼 사용자들간의 이미지 공유를 할 수 있는 환경이 구축되어 있다 - 공식이미지는 galid/centos 처럼 / 앞에 사용자의 이름이 붙지 않는 것 PULL docker pull centos:latest - docker hub로 ..

이전 포스팅에서는 도커파일(Dockerfile) 을 이용하여 주피터 노트북(Jupyter notebook)을 컨테이너로 실행시켰었다. 하지만 이런 단일적인 프로세스만을 지원했다면 도커가 지금과 같이 업계에서 성장하진 못했을것이다. 도커는 도커 네트워크 브릿지를 사용하여 컨테이너간의 유기적인 연결을 지원한다. 도커를 처음 설치하면 위의 그림과 같이 도커의 네트워크가 구성되게 되는데, 도커 네트워크에 관한 부분은 추후에 있을 포스팅을 통하여 조금 더 정확하게 알아보도록 하자. 이렇게 컨테이너간 연결을 통해서 여러개의 컨테이너를 연결시켜 하나의 서비스 단위의 프로세스를 모두 컨테이너로 실행시킬수도있다. 이것을 가능하게 하는것은 docker-compose나, kubernatics와 같은 컨테이너 오케스트레이션 ..

What is Apache Hadoop? Apache Hadoop, High-Availability Distributed Object-Oriented Platform 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 신뢰성 있고, 확장성 있는 분산 컴퓨팅을 위한 오픈소스 프레임워크 2005년 더그 커팅(Doug Cutting)과 마이크 캐퍼렐라(Mike Cafarella)가 개발 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트 간단한 프로그래밍 모델을 사용하여 대용량 데이터의 분산 처리를 할 수 있는 프레임워크 분산 파일 시스템 GFS, 분산 처리 시스템 MapReduce 소프트웨어 구현체 – 아파치 Top-Level 프로젝트 – 코어는 Java, C/C+..

이번에는 도커를 설치 해보고 간단하게 서비스를 띄워보도록 하겠다. 설치환경은 centos7 으로 진행하였다. 1 2 3 4 5 6 7 sudo yum update sudo yum install yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-ce sudo systemctl start docker sudo systemctl enable docker sudo systemctl status docker Colored by Color Scripter cs 1. 일단 yum을 업..

개발자들의 필수 스택인 도커? 도커는 리눅스 상에서 컨테이너 방식으로 프로세스를 격리해서 실행하고 관리할 수 있도록 도와주며, 계층화된 파일 시스템에 기반해 효율적으로 이미지(프로세스 실행 환경)을 구축할 수 있도록 해준다. 도커를 사용하면 이 이미지를 기반으로 컨테이너를 실행할 수 있으며, 다시 특정 컨테이너의 상태를 변경해 이미지로 만들 수 있다. 이렇게 만들어진 이미지는 파일로 보관하거나 원격 저장소를 사용해 쉽게 공유할 수 있으며, 도커만 설치되어 있다면 필요할 때 언제 어디서나 컨테이너로 실행하는 것이 가능하다. - 도커에서 컨테이너란?- 컨테이너는 하드웨어를 소프트웨어로 재구현하는 가상화(= 가상머신)와는 달리 프로세스의 실행 환경을 격리한다. 컨테이너가 실행되고 있는 호스트 입장에서 컨테이너..