06/09/2024
해시스크래퍼 상반기 회고 (부제: 데이터 분석의 미래와 우리의 선택)
2024년 상반기를 돌아보며, 저는 우리 회사 해시스크래퍼의 여정을 객관적인 시각에서 살펴보고자 합니다. 지난 몇 년간 데이터 분석 분야는 급격히 변화해왔고, 우리는 그 속에서 방향을 잡기 위해 노력해왔습니다. 이번 글에서는 우리 회사가 상반기 동안 겪은 경험을 바탕으로 데이터 분석 업계의 변화와 이에 대한 우리의 대응 전략을 공유하고자 합니다.
1. 사용자 성장, 그리고 그 뒤에 놓인 과제들
올해 상반기, 해시스크래퍼의 활성 사용자 수는 75% 증가했습니다. 이는 블로그를 통해 Technical documentation를 공개하며 관련 종사자들, 특히 대기업 종사자들의 관심을 끌어모은 결과입니다. 그러나 성장의 이면에는 여전히 풀어야 할 숙제가 있습니다. 대기업들이 데이터 사이언스 분야에 투자하기 시작한 것은 대략 5년 전부터였지만, 여전히 대기업들도 데이터 분석 인력을 3~5명 수준으로 유지하고 있는 경우가 많습니다.
2. AI의 발전과 데이터 분석가의 미래
AI는 데이터 분석의 패러다임을 재편하고 있습니다. ChatGPT와 Claude Artifacts 같은 AI 도구들이 데이터를 분석하고 코딩을 자동화하면서, 데이터 분석가의 가치와 역할은 재정의되고 있습니다. 우리도 AI 도구를 도입하여 데이터 분석의 상당 부분을 자동화했지만, 이러한 발전이 데이터 분석가의 입지를 좁히고 그 가치를 평가절하할 가능성에 대해서도 고민하고 있습니다. 특히, AI가 데이터 분석가보다 더 효율적이고 저렴한 대안으로 비춰질 위험이 있습니다.
3. 데이터 분석 과정에서의 기술 의존성
현재 데이터 분석 과정은 크게 세 단계로 나눌 수 있습니다: 데이터 소싱(크롤링/스크래핑) → 분석 → 시각화. 놀랍게도, 이 세 단계 모두 외부 기술에 크게 의존하고 있는 상황입니다. 소싱은 우리가 직접 수행하지만, 분석은 AI 도구에 의존하고, 시각화는 PowerBI나 태블로와 같은 외부 솔루션에 맡기고 있습니다. 이러한 기술 의존성은 데이터 분석가의 전문성을 축소시키고, 나아가 그들의 존재 가치를 위협하는 요소가 될 수 있습니다.
4. 매출 성장과 그 너머의 고민
올해 상반기 동안 해시스크래퍼는 작년 동기 대비 134%의 매출 성장을 기록했습니다. 1월부터 8월까지를 기준으로 보면, 매출은 107% 성장했습니다. Google Analytics(GA) 데이터 기준으로도 활성 사용자가 75% 증가했습니다. 이러한 수치는 잠재고객에게 우리 회사가 많이 알려질수록 매출이 증가한다는 사실을 다시 한번 확인시켜줍니다. 그러나 매출 규모는 여전히 크지 않으며, AI의 발전 속에서 많은 스타트업이 무너지고 있는 상황에서 새로운 아이템 개발은 매우 큰 리스크를 동반합니다. 우리는 사업 분야를 넓히지 않고 현재 핵심 역량에 집중하면서 매출을 증대시킬 방법을 찾고 있습니다.
5. 팀의 변화와 새로운 전략
우리 팀에는 변화가 있었습니다. 회사의 미션과 비전에 공감하는 직원들은 남아있고, 그렇지 않은 3명의 개발자는 떠났습니다. 인력이 줄어듦에 따라, 수익이 나지 않는 계약이나 우리가 하던 일과 다른 분야의 프로젝트들은 모두 정리했습니다. 이제 우리는 '데이터 수집을 가장 잘하는 회사'라는 명성을 얻기 위해 한 가지 중요한 결정을 내렸습니다. 단발성 고객은 과감히 포기하고, 장기적이며 규모가 큰 고객사와의 관계에 집중하며, 그들을 VVIP처럼 대하고 있습니다.
6. AI 기술 발전에 따른 스크래핑(크롤링) 업계의 변화
최근 AI 기술의 발전은 스크래핑(크롤링) 업계에도 큰 변화를 가져오고 있습니다. 기존에는 크롤러를 개발하는 과정에서 분산 처리나 IP 차단 문제를 해결하기 위해 개발자들이 많은 시간을 투자해야 했습니다. 하지만 이제는 이러한 기술적 문제들을 플랫폼이 자동으로 해결해주는 시대가 되었습니다. 그럼에도 불구하고 여전히 개발자들은 크롤링 코드를 직접 작성해야 하는 현실입니다.
하지만 앞으로의 변화는 이마저도 뒤흔들 것으로 보입니다. 불과 1년 전만 해도 대형 언어 모델(LLM)이 처리할 수 있는 토큰의 한계가 있었지만, 이제 조만간 메가 단위의 HTML을 LLM이 한 번에 해석할 수 있는 수준에 도달할 것으로 예상됩니다. 이와 같은 코딩 능력과 사실상 무제한에 가까운 토큰 처리량의 결합은 크롤러 코드 작성마저도 AI가 대신할 수 있음을 의미합니다.
이로 인해, 크롤러 개발에 필요한 인력 수요는 빠르게 감소할 가능성이 큽니다. 앞으로 1년 내로, 크롤러 개발 인력의 필요성 자체가 크게 줄어들 것이고, 이는 업계의 인력 구조와 역할에 상당한 영향을 미칠 것입니다. AI가 더 복잡한 크롤링 작업을 자동으로 처리할 수 있게 되면서, 개발자들은 점점 더 고도화된 문제 해결과 데이터 활용 전략에 집중해야 할 필요가 생기고 있습니다.
마무리하며: 우리는 어디로 가고 있는가?
이번 상반기는 우리가 스스로의 방향성을 더욱 확고히 하고, 빠르게 변화하는 시장에 어떻게 적응해야 하는지에 대한 중요한 교훈을 준 시기였습니다. AI와 데이터 분석의 결합은 물론, 스크래핑(크롤링) 분야의 변화도 우리에게 새로운 도전 과제를 던져주고 있습니다. AI가 크롤링 코드까지 자동으로 생성할 수 있는 수준으로 발전함에 따라, 크롤러 개발 인력의 필요성은 점점 더 줄어들 것입니다. 이는 우리 회사가 데이터 수집과 같은 핵심 역량에 더욱 집중하면서도, 변화하는 환경에 맞춘 새로운 전략을 수립해야 함을 의미합니다.
이러한 변화 속에서도 해시스크래퍼는 '데이터 수집을 가장 잘하는 회사'라는 명성을 쌓기 위해 최선을 다할 것입니다. 사업 분야를 넓히기보다는 현재의 강점에 집중하며, 더 많은 기업들이 우리의 가치를 인정해 주기를 기대합니다. 앞으로도 우리는 배우고, 적응하며, 성장할 것입니다. 긴 글을 읽어주셔서 감사합니다.
