일상에서 웹 자바 파이썬 크롤링이란 표현을 가끔 접해보실 수 있는데요. 오늘은 크롤링은 무슨 뜻인지 알아보겠습니다.
1. 웹 크롤링(crawling) 뜻
웹을 돌아다니며 유용한 정보를 찾아 특정 데이터베이스로 수집해 오는 작업을 의미합니다.
영어로 crawl은 '기어가다/ 기다'라는 의미가 있습니다. 어떤 프로그램을 개발하여 웹이라는 공간을 기어다니는 것처럼 기어다니면서 정보를 수집하는 것입니다.
개발 등 IT업계에 있지 않으면 자주 들어보기는 힘든 말인데요.
아주 쉽게 예를 들어볼게요. 네이버 블로그하시는 분들은 한번도 구글에 자신의 블로그를 검색되도록 등록한 적이 없으시죠.
하지면 어떤 검색어를 치면 여러분의 블로그가 뜨게 됩니다. 이 또한 구글에서 네이버를 크롤링하고 있다는 것입니다. 계속 데이터를 수집하고 있기 때문에 여러분이 작성한 글이 뜨게 되지요.
2. 파이썬 / 자바 크롤링이란?
앞에 붙은 말은 개발 언어입니다.
< 파이썬 크롤링 >
- 개발 언어 파이썬으로 웹에 있는 데이터를 수집한다.
< 자바 크롤링 >
- 개발 언어 자바로 웹에 있는 데이터 수집을 함.
이런 의미입니다.
각각은 요즘에 라이브러리가 많아서 크롤링 자체는 쉽게 구현이 가능하고요. 필요한 데이터를 자신의 입맛에 맞게 쌓는게 중요한 포인트라고 할 수 있습니다.
어디에 활용할 수 있을까?
3. 주식 정보
국내 또는 해외 주식의 정보를 크롤링하는 프로그램을 만들면 매우 유용하겠죠?
주식하시는 분들이 꽤 많은데요. 일일히 매일 종목을 찾아가서 오늘 가격이 얼마고 이런 거 확인하기 귀찮으니까요.
딱 내가 보고 싶은 종목만 모아서 얼마든지 필요한 정보를 크롤링할 수 있습니다.
4. 원하는 사이트 정보 크롤링도 가능
자신이 즐겨가는 사이트가 있다고 가정해볼게요. 여기에서 모든 정보를 보고 싶지 않고 특정 정보만 원한다면
얼마든지 그 또한 가능합니다.
자신이 쇼핑몰을 운영하고 있는데 경쟁사 제품이 뭐가 있는지 궁금하다면 그에 대한 프로그램을 만드는 것도 가능합니다.
돈을 종이비행기로 접어 날린 텔레그램 개발자 파벨 두로프의 쿨함에 대하여
개발자라고 하면 흔히 덕후라는 이미지를 떠올리고, 검은색 뿔테안경 내지는 두꺼운 개발관련 서적에 파묻혀 사는 듯한 느낌을 받습니다. 좀더 나아가면 세상에는 별 관심이 없고 기계, 혹은 기
donbada.tistory.com
마무리
오늘은 일상에서 자주는 아니지만 알아두면 유용한 크롤링이란 IT용어에 대해 알아보았는데요. 알아두시면 도움이 될 것 같습니다.
