DevYGwan

저희는 실시간으로 공장에 있는 기기들의 데이터를 수집하고 있습니다. 그러다보니 실시간으로 들어오는 데이터들을 유실 없이 저장해야 합니다. 그래서 저희는 실시간 데이터를 효율적으로 처리하기 위해 아래와 같은 아키텍처를 구현하고 있습니다.간단하게 순서를 설명드리자면,1. 공장 기기 → MQTT Broker공장의 각 기기에서 MQTT 프로토콜로 메시지를 발행하며, 이 메시지들은 모두 MQTT Broker로 전달됩니다. 2. MQTT Broker → Kafka Connect → KafkaMQTT Broker에 들어온 메시지 중 Kafka에서 처리해야 하는 특정 토픽들은 Kafka Connect의 MQTT Source Connector를 통해 Kafka로 전달됩니다. 3. Kafka → Spark Streamin..

공장 같은 곳에 Onprem 서버를 구축할 때 보면 상당히 고려해야 할 점이 많습니다. 대부분 고객들이 Onprem 환경을 원하는 이유는 기기 데이터를 외부에 노출시키고 싶지 않기 때문입니다. 따라서 대부분 환경이 인터넷 연결이 안되어있는 내부망을 사용합니다. 그러다보니 인터넷이 안돼 인터넷이 필요한 작업들은 할 수가 없습니다. 또한, 공장 기기들 때문인지 LTE 라우터를 통해 인터넷 연결을 잠시 하려고 해도 인터넷이 생각보다 잘 되지 않았습니다. 실제로 k8s내의 clickhouse 이미지를 pull 받아 파드 하나를 띄우려했는데... 이미지 pull만 30분이 넘게 걸렸습니다. 그 뒤로는 limit이 걸렸는지 그 이후에 인터넷 연결이 매우 느려진 현상을 확인할 수 있었습니다. ※ 그때 당시 문제 ..

저희 회사는 IoT 디바이스 간의 통신을 MQTT 프로토콜을 사용해서 처리하고 있습니다. 이 때 사용하는 MQTT Broker는 AWS IoT을 사용하고 있습니다. 이번에 처리할 내용이, 저희가 개발하고 있는 Backend 서버에 이 AWS IoT와의 연동을 처리해야 합니다. 그래서 연동을 처리하는 과정에서 생긴 문제와, AWS IoT Core가 어떤건지, 왜 사용했는지 정리하려고 합니다. MQTT BrokerMQTT Broker는 MQTT 프로토콜을 기반으로 하는 메시지 브로커로, 클라이언트 간의 메시지를 중계하는 서버 역할을 합니다. MQTT Broker에는 여러 종류가 있습니다. 크게 클라우드 기반과 오픈소스 기반의 MQTT Broker를 기준으로 정리하자면,클라우드 기반 MQTT BrokerAWS..

이번에는 wordpress 환경설정을 AWS 서비스에서 해볼 예정입니다. 해당 환경을 설정할 EC2 인스턴스는 Ubuntu환경에 http, https, ssd 트래픽을 다 허용한 상태로 만듭니다. Word press란? 워드프레스란 PHP로 작성된 온라인 오픈 소스 웹사이트 제작 도구입니다. 쉽게 이야기하면 "손쉽게 블로그나 웹사이트를 만들 수 있는 도구 또는 플랫폼"으로서, "워드프레스는 매우 쉽고 강력한 컨텐츠 관리 시스템(CMS)"입니다. 저같은 경우 wordpress에 mysql이라는 database를 설치해 워드프레스 환경을 설치할 예정입니다.일단, 워드프레스를 설치하기에 앞서, LAMP를 설치해야합니다. LAMP란? LAMP란 Linux, Apache2, MariaDB, PHP를 의미하는 약자..

S3 란? Amazon Simple Storage Service(Amazon S3)는 최고의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스입니다. 즉 파일 서버의 역할을 하는 서비스인데, 일반적인 파일 서버는 트래픽이 증가함에 따라서 장비를 증설하는 것과 같은 작업을 해야 하는데 S3는 이와 같은 것을 대행해줍니다. 사용자가 트래픽에 따른 시스템적인 문제를 걱정할 필요가 X 사용자는 자신이 쓴 비용만큼 비용을 지불하면 된다. 파일에 대한 접근 권한을 지정할 수 있어서 서비스를 호스팅 용도로 사용하는 것을 방지할 수 있습니다 따라서 이번엔 여러가지 AWS에서 제공하는 스토리지 옵션 중, S3를 사용해 작업을 해볼 예정입니다. Mission: S3에 정적인 웹사이트와 캡처된 사진을 ..