목록 45

2021년 상반기 회고록

항상 회고록 쓸때면 드는 생각이... 이번에 뭐 했지...? 한거 없이 시간이 벌써 이렇게 흘렀다고?? 이번에도 크게 다른건 없다.... 라는 생각을 가지고 쓰는게 회고록인가 싶다. 지난번에 쓴 회고록을 한번 읽었는데 또 똑같은 소리로 시작했다. 이쯤되면 일기장에 "오늘은..." 과 같은 추임세인듯 하다. 이번 회고록은 지난 회고록의 목표의 중간점검 컨셉이다. 지난 회고록에서... 지난 회고록에서 목표는 다음으로 잡았다. 기술사 스터디 재테크 여행 인테리어 운동 블로그 하나씩 살펴보면서 남은 하반기를 어떻게 할지 정리해봤다. 기술사 스터디... 잠시 멈춤... 공부를 올해 초까지만 해도 나름 그럭저럭 진행하고 있었지만 잠시 멈추었다. 한 2월쯤 멈췄으니 4개월정도 안본것같다. 최근에 면접관으로 들어가게 ..

끄적끄적 2021.07.08

[이슈] 스네이크 케이스 <-> 카멜 케이스 변환시 성능 이슈 해결 (feat. defineProperty, laze access)

You don't know JS 를 스터디하면서 defineProperty 같은 함수는 내부적으로 쓰이는거고 서비스 개발할땐 별로 쓰일일이 없겠다 생각하고 넘겼는데, 어쩌다보니 써야하는 상황이 왔고, 나름 훌륭하게 해결한것 같아서 정리하고 공유할겸 글을 남기게 되었다. 이슈 상황 API 서버와 통신할때 JSON 을 통해서 데이터를 주고받는 상황이다. 이때 서버에선 스네이크 케이스를 사용하고, 클라이언트에선 카멜 케이스를 사용한다. 이때 클라이언트에선 받아온 JSON의 key들을 카멜 케이스로 변환해주어야 하는데, 방법은 여러가지가 있다. key를 순환하면서 변경시키기 defineProperty 를 사용하여 laze access 내가 직접 작업한 방법은 위에 2가지 인데, 우선 별 생각 없이 key값을 순..

개발/Javascript 2021.05.27

데이터 시각화 스터디 #4 - 이쁜 대시보드의 미래

어느덧 스터디 마지막이다. 대시보드 설계와 데이터 시각화 책을 보면서 다양한 차트 사례들을 살펴보았고, 차트를 통해 인사이트를 제공하는 방법들을 보았다. 만들기만 해두고 쓰지 않으면 아무런 소용이 없다. 완성된 대시보드가 맞이하게 될 미래에 대해서 알아보았다. 대시보드를 다 만들었다. 근데 쓰질 않는다.. 처음 완성된 대시보드는 아마 사람들의 관심을 끌게 될것이다. 한 화면에서 여러가지 정보들을 보며 밝은 미래를 꿈꾼다. 하지만 점차 관심이 떨어지면서 사람들의 발길이 끊기게 된다. 이유가 무엇일까? 여러가지 원인들이 있을것이다. 대표적으로 실수하는것중 하나는 사람들의 관심을 끌기위해 화려한 대시보드를 만들려고 할 것이다. 하지만 시각화 한 의미보다 아름다운것에 치중한 대시보드는 의미가 없다. 즉, 이쁜 ..

디자인 2021.05.27

데이터 시각화 스터디 #3 - 시간의 시각화

데이터를 시각화했을때 가장 많이 등장하는 데이터는 시간인것같다. 매우 많은 차트들이 시간 변화에 따른 추이를 보여주는 차트들이다. 그래서 이번엔 시간을 시각화 하는 방법들에 대해서 스터디하였다. 우선 시간을 시각화 하는 방법에는 7가지 유형이 있었다. 기간의 처음 시점과 비교해 오늘의 추이 데이터에 순환적인 패턴 유무 2개의 시간 디멘전 간에 걸친 추세를 어떻게 찾는가? 장기에 걸친, 수치가 아닌 순위는 어떻게 관찰? 동시에 발생하지 않은 값들은 어떻게 비교? 각기 다른 시기에 발생한 사건의 성장세는 어떻게 비교? 프로세스의 병목에 어떻게 집중? 시간을 얼마나 길고 다양하게 보아야 하는가? 과거 특정 시점부터 현재까지 전체 변화량을 보여줄 수 있다. 하지만 그런 과정중에 요일별 변화량이나 월별 변화량 등..

디자인 2021.05.05

데이터 시각화 스터디 #2 - 색상과 차트

이전에 스터디한것에 이어서 이번엔 색상과 여러가지 차트에 대해서 알아보았다. 차트를 그릴때 색상 구성은 매우 중요한 영향을 준다. 이전에 전주의적 속성에서 보았드시 색상을 통해 강조할수도, 추가적인 의미를 부여할 수도 있다. 색상을 결정할떄는 의도를 가지고 사용해야 한다. 관심을 끌거나 데이터를 강조 다양한 카테고리 구분 색상을 구성하는 방식에는 여러가지가 있는데, 다음과 같은 방식들이 있다. 순차적 - 색상을 낮음에서 높음으로 정렬한 색상 발산형 - 중립적인 중간지점이 있는 순차적인 2가지 색상 범주형 - 개별 비교를 위한 색상 강조 - 무언가 강조를 위한 색상 경고 - 경고하기 위한 강조색 각각 방식에 대한 차이와 예시를 추가하자 색맹에 대한 고려 생각보다 많은 사람들이 색맹으로 고생한다고 한다. 평..

디자인 2021.05.04

데이터 시각화 스터디 #1 - 데이터 시각화를 위한 기본 요소

종종 프로젝트가 커지거나 운영을 위해 현재 상태를 한눈에 보려고 할때 대시보드를 구현하곤 했다. 지금까지 기억나는건 한 2개의 대시보드를 개발해보았다. 내가 기억하는 대시보드는 여러개의 차트들이 화려하게 움직히고, 실시간으로 현재 시스템에 어떤 일들이 벌어지는게 눈에 보이는 전광판의 느낌이였다. 그럼 이러한 대시보드가 도움이 되었는가? 라고 묻는다면.... 나야 모르지! 내가 쓸게 아니였으니까... 이걸 쓰는건 운영하시는 분들이거나 통계관련 기획자 분들이셨으니 내가 신경쓸것이 아니였다. 그러다 이번에 대시보드를 만들게 되었는데, 간단한 기획적 요소들과 차트에 대한 이해가 필요하게 되어 서점에서 10권 정도의 데이터 시각화 관련 책을 훑어보았다. 그중 대시보드 설계와 데이터 시각화 라는 책을 보게 되었고 ..

디자인 2021.04.22

스프린트 도입전에 보면 좋은것 (feat. 스크럼과 XP)

회사에서 스크럼 마스터 역할을 부여받았다. 기존에 두번의 스프린트 경험이 있었기에 어떤 활동들을 해야하고, 어떤 역할을 하는지 대략적으로 알고있었다. 지금 생각해보니 겉으로만 대충 알고있었던것같다. 사람은 아는만큼 보이고, 아는만큼 할 수 있는것같다. 스크럼 마스터 역할을 수행하기 위해 스프린트 시작 회의를 위한 문서를 만들고 공유하였는데, 스크럼과 XP 라는 책을 추천받았다. 이 책을 다 읽고 다시 생각해보면 참 어이없는 초기 문서이다. 스크럼이 어떻게 돌아가는지, 스프린트가 무엇인지 몰랐기 때문에 발생한 상황인것 같다. 간단하게 책에 있는 내용을 요약 정리 해보고, 앞으로 어떻게 할것인지 나열해볼 생각이다. 나처럼 실수하는 사람이 적었으면 좋겠다. 매우매우 민망하다...ㅎㅎ;; 추천받은 책은? 스프린..

끄적끄적 2021.01.17

[빅데이터를 지탱하는 기술] 빅데이터 입문기 #4

3-1 대규모 분산 처리의 프레임워크 구조화 데이터 vs 비 구조화 데이터 구조화 데이터 SQL로 데이터 집계할때 명확히 정해진 스키마가 있음 비구조화 데이터 이미지, 동영상 등 정해진게 없는 데이터 스키마리스 데이터 기본 서식은 있지만 스키마 정의가 안됨 ex) CSV, JSON, XML등 데이터 구조화의 파이프라인 열 지향 스토리지에선 팩트 테이블과 디멘전 테이블로 나뉜다. 팩트 테이블 시간에 따라 증가하는 데이터 디멘전 테이블 그에 따른 부속 데이터 비 구조화 데이터를 열 지향 스토리지로 변환하는 과정 데이터의 가공 및 압축을 위해 많은 컴퓨터 리소스를 사용 분산 처리 프레임워크중 Hadoop과 Spark가 있다. Hadoop 분산 데이터 처리의 공통 플랫폼 단일 소프트웨어가 아닌 분산 시스템을 구..

개발/Data 2020.12.30

[빅데이터를 지탱하는 기술] 빅데이터 입문기 #3

크로스집계란? 열 지향 스토리지! 시각화 도구들의 특징 데이터 마트의 설계 2-1 크로스 집계의 기본 테이블의 행과 열에 어떤 항목을 넣는지에 따라 크로스 테이블과 트랜잭션 테이블로 나뉜다. 크로스 테이블 행과 열이 교차하는 부분에 숫자 데이터가 들어감 데이터베이스에선 다루기 어려운 데이터 트랜잭션 테이블 행 방향으로만 증가 열 방향으로는 데이터가 증가되지 않음 크로스 집계란 트랜잭션 테이블에서 크로스 테이블로 변환하는 과정을 말한다. 엑셀로도 피벗 테이블을 통해 이용이 가능하다. 록업 테이블 - 테이블을 결합하여 속성을 늘리기 트랜잭션 테이블에 새로운 항목을 추가하지 않고, 다른 테이블과 결합하고 싶은 경우 사용함 여러가지 방법을 통해 집계할 수 있다. BI 도구를 사용한 크로스 집계 Pandas를 통..

개발/Data 2020.12.30

[빅데이터를 지탱하는 기술] 빅데이터 입문기 #2

첫번째 챕터에선 다음과 같은 내용에 대해서 알아볼 것이다. Hadoop과 NoSQL 데이터베이스의 역할과 데이터 웨어하우스를 중심으로 한 기술과의 차이? 데이터 파이프라인? 대화형 데이터 처리 스프레드시트와 BI 도구를 사용해 데이터의 변화 모니터링 배경 빅데이터의 정착 과거부터 데이터에 대한 처리는 항상 있었다. 단, 처리 속도와 방법에 문제때문에 하지 못하고 있었다. 지금은 이러한 문제가 해결되었기 때문에 빅데이터가 세상에 나오게 되었다. 빅데이터 기수의 요구 - Hadoop과 NoSQL 기존의 RDB로 취급할 수 없을정도의 데이터가 쌓이게 되었다. Hadoop - 다수의 컴퓨터에서 대량의 데이터 처리 여러대의 컴퓨터를 관리하는 프레임워크 구글의 분산처리 프레임워크인 MapReduce를 참고하여 개발..

개발/Data 2020.12.30