채용공고

신유통

D-34

[CJ Olivenetworks/경력] Data Science Engineer

  • 경력
직무정보
채용공고 상세 목록
회사명 CJ올리브네트웍스
직무명 Data Science Engineer
근무형태 정규직
채용구분 경력
근무지 서울
직무소개

🚩근무지 : 서울 용산구 동자동, 트윈시티 남산 (서울역 도보 10분거리)


1. AI/빅데이터 플랫폼 구축 및 운영 리더 역할을 수행합니다.
- 계열사 AI/빅데이터플랫폼 신규 구축 및 고도화 프로젝트 관리합니다.
- 구축한 계열사 플랫폼에 대한 운영 리딩 역할을 합니다.
- 계열사 정보전략 또는 해당 담당자를 선도하여 활용도를 높입니다.
- 계열사와 협의하여 운영 SLA 정의 및 업무 우선순위 설정하여 계열사 만족도를 관리합니다.

2. 데이터 수집 클러스터를 이용해 데이터 파이프라인을 개발/운영합니다.
- 데이터 크롤링, 실시간 데이터 수집 등 일 평균 수 만건의 외부 트래픽에 대한 데이터 수집합니다.
- 비즈니스 요구사항에 따라 수집 파이프라인을 표준에 준하여 개발합니다. 데이터의 특성에 따라 수집 위치/주기, 저장 위치를 결정하고 표준화된 테이블을 개발하며 데이터에 대한 정합성을 보장합니다.
- 수집 후 데이터의 가시성 보장을 위헤 데이터 관리툴에서 데이터 조회가 가능하며, 쿼리 시 이상이 없는 지 확인합니다.

3. 데이터 조회 성능 보장을 위해 분산처리 클러스터를 구축/운영합니다.
- 데이터과학자가 분석모델 개발효율을 높일 수 있도록 데이터를 분산처리하는 환경을 구축하고 운영합니다
- 실시간 데이터와 과거 데이터와의 결합을 통해 심층 분석이 가능한 환경을 구축하고 운영합니다.
- 스트림 데이터 처리를 위한 In-memory MapReduce job을 개발 및 운영합니다.
- 데이터 가상화 엔진을 통해 여러 이기종 데이터소스에 대한 Join 쿼리가 가능한 환경을 유지합니다.

4. 데이터과학자들이 스스로 업무를 할 수 있는 Self-Analytics 환경을 구축/운영합니다.
- 클라우드 상의 서비스를 이용해 데이터과학자들이 활용할 ML/AIOps 환경을 구축/운영합니다.
- 클라우드에서 제공하는 서비스 변화에 대해 적용 대상을 식별 로드맵에 반영할 수 있도록 팀 구성원에게 정보를 공유합니다.
- 사용자 피드백을 통해 사용자 편의를 개선하며, ML/AIOps 환경에 대한 고도화 계획에 기여합니다.
- 컨테이너 이미지 생성 등 분석툴을 실행하기위해 필요한 환경을 추가/개선 합니다.

5. 데이터 거버넌스 정책을 준수하여 데이터플랫폼 개발/운영합니다.
- 개인정보처리에 대한 컴플라이언스를 준수합니다.
- 데이터 리니지가 관리될 수 있도록, 필요한 정보를 정리/추가합니다.
- 표준화 정책에 준하여 모든 개발 업무를 진행합니다.

지원자격
[Experience]
- 데이터 서비스 개발 및 운영 경험( 서비스를 위한 DB 설계/개발 등 )
- Java, Groovy, Python 등 다양한 개발언어 경험
- 빅데이터에 활용되는 오픈소스 활용 경험 우대
- Linux 환경에서의 개발 경험(5년 이상)

[Skill / Knowledge]
- Kafka/NiFi/Spark Streaming 등 실시간 데이터 처리 고려사항에 대한 이해
- HDFS, HBase, Druid 등 분산 데이터 저장소 특성에 대한 이해
- K8S 구성요소 및 동작 구조의 이해
- AWS, NCP 등 클라우드 인프라의 구성에 대한 이해
우대사항
- 대용량 데이터 분산 수집/처리 경험
- 대용량 데이터 분산 In-memory 처리 경험(스트림 처리 우대)