2017년 6월 4일 일요일

[기사 스크랩] 데이터 병목으로 업무 지장 60% 넘어…인메모리 기술로 대안 모색 中

[컴퓨터월드] 본지는 지난 5월 11일 오픈소스 인메모리 데이터그리드(IMDG) 솔루션 전문기업 헤이즐캐스트(Hazelcast)와 공동으로 ‘헤이즐캐스트 서밋 인 코리아 2017(Hazelcast Summit in Korea 2017)’ 컨퍼런스를 개최했다.
이와 함께 컨퍼런스에 참석한 엔지니어들을 대상으로 실시간 빅데이터 처리를 위한 대안으로 떠오른 오픈소스 인메모리 컴퓨팅 기술에 대한 인식과 도입 의사 등을 물었다. 그 결과 엔지니어 과반수 가량이 시스템 과부하를 겪고 있고, 기존 DBMS의 구간 병목현상으로 업무수행에 지장을 초래한다는 답변이 60.2%에 달했다. 갈수록 더 많은 데이터 축적이 불가피한 상황에서 시급한 대책 마련이 요구된다.
시스템 고도화 수요가 늘고 있고 효율성을 중시한 신중한 투자로 이어지고 있다. 45.3%가 가격대비 성능을 최우선 고려항목으로 삼았고, 그 결과 인메모리 기술을 주목하고 있다.
설문 분석 결과를 간략히 살펴본다.

4차 산업혁명 대두로 업무의 디지털 전환이 가속화됐고, 데이터는 더욱 빠른 속도로 늘어나고 있다. 안정적 시스템 운영이 갈수록 중요해지고 있고, 이로 인해 국내 데이터베이스 관리시스템(DBMS) 시장도 변화가 감지된다. 기존 상용 DBMS를 무작정 늘리는 대신 오픈소스 DBMS 기반 기술을 통해 효율성을 높이려는 투자 의향이 높아지고 있는 것으로 조사됐다.
  
 
  
 

본지가 컨퍼런스에 참석한 300여명 엔지니어를 대상으로 조사한 결과, 응답자 절반 가량이 현 시스템에서 과부하 현상을 겪었다고 답했다. 응답자 48.4%가 시스템 과부하를 경험했고 ▲수집 데이터 폭주 ▲DB 부하로 인한 에러 발생 ▲통신 과부하로 인한 웹서버 다운 ▲메모리 변환 문제로 인한 지연문제(Hang) 발생 등 유형도 매우 다양했다.

기존 DBMS 구간 병목현상 ‘업무수행에 지장 초래’…60.2% 달해 기존 DBMS의 고질적 병폐로 꼽히는 구간 병목현상에 대해 60.2%가 업무 수행에 지장을 주거나 문제가 된다고 답했다. 과반을 훌쩍 뛰어넘는 수치로 점점 더 많은 데이터 축적이 불가피한 상황에서 빠른 개선이 뒤따라야할 것으로 지적된다. 이 가운데 ‘구간병목 현상을 자주 겪고 있고 업무 수행에 지장을 초래한다’는 답변이 12.9%에 달했다. ‘자주 격진 않지만 문제가 된다’가 47.3%로 나타났고, 가끔 겪는데 대수롭지 않게 여긴다도 26.9%로 나타났다. 병목현상을 거의 겪어보지 않았다는 응답은 12.9%에 그쳤다.
  
 
  
 

이런 상황에서 기존 인프라 시스템 추가나 고도화 요구도 높은 수준으로 조사됐다. 응답자 42.1%가 현재 운영중인 인프라 시스템 추가나 고도화 계획을 갖고 있다고 답했다. 시스템 추가 및 고도화는 투자대비 효과(ROI)가 좋은 오픈소스 기반 DBMS 기술을 주목하고 있다. 세미나에 참석한 엔지니어의 84.2%가 ▲인메모리 데이터 그리드(In Memory Data Grid) ▲인메모리 컴퓨팅(In Memory Computing)에 대한 자세한 정보가 필요하다고 답했다.

황상환 헤이즐캐스트코리아 대표는 “동시 접속자 폭주로 홈페이지가 다운될 경우 보통 서버 용량을 늘리는 조치를 취하지만, 단순 서버 증설로는 이론대로 성능이 개선되지 않는다”고 강조했다. 이럴 경우 인메모리 기술 도입이 현실적 대안이라는 설명이다.

뛰어난 ROI와 성능 갖춘 ‘인메모리 기술’ 주목 
인프라 환경 변화에 따라 인메모리 기술 도입 검토도 활발하게 이뤄지고 있다. 인메모리 도입 계획이 있다는 답변이 58.7%로 나타나 과반을 훌쩍 넘었다. ‘도입을 검토하고 있다’가 44.6%로 가장 많았고, 7.6%는 이미 인메모리 데이터 그리드 솔루션을 도입한 것으로 조사됐다. 도입을 앞두고 있다는 답변도 6.5%에 달해 인메모리 기술에 대한 검토와 도입이 활발한 것으로 나타났다.
  
 
  
 

인메모리 기술에 대한 높은 관심은 효율성과 가격대비 성능에 대한 만족 때문이다. 데이터 및 DB 관련 솔루션 도입시 가장 고려하는 항목에 대한 질문에 응답자 45.3%가 가격 대비 성능과 효율성을 꼽았다. 안정성 및 호환성이 32.6%로 뒤를 이었고 사용 편의성 및 기술 지원이 12.6%로 나타났다. 확장성은 9.5%로 가장 낮은 빈도를 보였다.
이날 기조연설에서 그렉 럭 헤이즐캐스트 CEO는 “인메모리 그리드 컴퓨팅(IMDG)은 이론상 기존 DB보다 1000배 이상 속도를 향상시킬 수 있다”고 IMDG의 우수한 성능을 단적으로 제시했다.

한편 현재 사용하고 있는 DBMS는 오라클 제품 비중이 가장 높았다. 복수 응답으로 현재 사용 중인 DBMS를 묻는 질문에 대해 오라클 제품을 사용한다는 답변이 63.5%로 가장 많았다. 오픈소스 DBMS가 44.8%로 뒤를 이었고, MS SQL서버(19.8%), 티맥스 티베로(15.6%) 순을 보였다.

2017년 1월 17일 화요일

[씨너렉스]파일기반 라우드니스(Loudness) 소프트웨어가 필요한 이유는?

안녕하세요?

Loudness: File based or hardware processing?

대부분의 방송국은 실시간(Real Time) 라우드니스(Loudness) 하드웨어 장비만으로 충분하다고 생각하고 계십니다.

따라서, 파일기반 라우드니스(Loudness) 소프트웨어가 왜? 필요한지 알아 보겠습니다.

거의 모든 방송기술 엔지니어들은 라우드니스(Loudness) 실시간 보정과 파일기반 보정에 사이에서 많은 고민을 합니다. 그러나, 이런 고민은 라우드니스(Loudness) 보정(Correction)에 대한 잘못된 이해를 갖고 있기 때문입니다. 하드웨어 실시간 보정과 파일기반 소프트웨어 보정 퀄리티(Quality)가 같을 것이라고 잘못 이해하고 계십니다. 아래는 고객과 흔히 발생되는 내용입니다.

예를들어, 방송국 엔지니어가 저희에게 몇가지 파일을 주시면서 파일을 체크해 달라고 합니다. 저희가 파일을 확인하고 라우드니스 보정을 했을때는 문제가 없습니다. 그래서, 엔지니어에게 왜? 주셨는지요? 파일에 문제가 없습니다라고 되묻습니다. 그러면, 엔지니어는 라우드니스 보정시에 문제가 발생했었다고 얘기하십니다.

Download the Loudness Factbook here

Emotion Systems Loudness Factbook

결론적으로, 하드웨어 실시간 라우드니스 보정 시에는 필요에 따라 오디오가 수정됩니다. 즉, 오리지널(Original) 사운드 디자인을 유지할 수 없습니다.

이 특별한 경우, 조용한 비트 사운드는 밖에서 지저귀는 새 소리조차도 눈에 띄게 들렸음에도 불구하고, 카메라맨의 움직임이 분명한 곳으로 더욱 커졌습니다. 그러나, 하드웨어 라우드니스 프로세싱으로 인해 오디오가 쓸모없게된 audible artifacts가 생겼습니다.

저희가 이 파일을 분석했을때, 전혀 문제가 되지 않는 파일이었습니다. 

eNGINE 혹은 eFF 파일기반 소프트웨어는 Program Loudness를 분석합니다. 예를들어, 오리지널 파일에 true peak 오류가 있다면, 하나의 게이트를 peak 값에 근접하게 생성한 후 gate안에 로컬 attenuation을 적용합니다. 이런 접근방식은 프로세싱을 최소화고, 사운드 디자인을 유지시켜 줍니다.

최종 송출단에만 하드웨어 라우드니스 프로세싱을 하는 경우, 원래 의도하는 사운드 디자인을 유지할 수 없게됩니다. 즉, 프로그램 제작 시 파일기반 라우드니스 소프트웨어를 워크플로우에 적용하여 고퀄리티 사운드를 유지하십시오.


Tnx





[씨너렉스]파일기반 오디오 라우드니스(Loudness) 측정 및 보정 솔루션











2017년 1월 2일 월요일

씨너렉스, 리눅스 기반의 차세대 인메모리 DB 어플라이언스 출시

씨너렉스(www.synerex.kr)는 IBM 및 이슬림코리아와 파트너 계약을 맺고, 리눅스 기반의 차세대 인메모리(In-memory) 데이터베이스(DB) 어플라이언스를 출시했다고 밝혔다.

씨너렉스는 최근 빅데이터 시장에서 화두가 되고 있는 인메모리 분석과 리눅스, 오픈소스 등을 고려하는 고객들을 위해 국산 서버업체인 이슬림코리아(www.eslim.co.kr)의 리눅스 서버와 IBM (www.ibmbluhub.com)의 DB2 BLU 인메모리 DB를 어플라이언스 형태로 패키징된 제품을 출시해 국내 데이터베이스 어플라이언스 시장 공략에 나선다고 설명했다.


합리적인 가격으로 고객 요구에 맞게 제품 공급이 가능해 높은 가격 경쟁력을 갖추었고, 경쟁업체 대비 성능도 높아 기존 업무 성능을 30배 이상 개선할 수 있다고 업체 측은 밝혔다. 특히 빠른 데이터 분석과 대용량 데이터 처리에 매우 적합하다고 덧붙였다.


이 제품은 인메모리 기술을 통해 대량의 병렬처리 지원이 가능하며, 오라클, 포스트그레SQL 등의 데이터베이스와 SQL 호환이 가능해 기존 애플리케이션 이전이 용이하며 변경을 최소화할 수 있다.



씨너렉스 박재덕 이사는 “이번 인메모리 DB 어플라이언스를 통해 수초 이내 10TB 쿼리 수행을 검증했으며, 다가오는 빅데이터 시대에 분석 애플리케이션을 위한 최고의 선택”이라고 말했다. editor@itworld.co.kr