AI 웹페이지 크롤링 및 추출

안녕하세요! 간단한 사이트 링크 입력만으로 해당 웹사이트에 존재하는 데이터를 한번에 수집 가능한 기능을 알아볼까요?

이 기능은 간단하게 링크 입력만으로 AI로 웹페이지 내 정보들을 수집할 수 있는 기능이에요.

---

AI 웹페이지 크롤링으로 데이터 추출하는 방법

1. AI 웹페이지 크롤링 및 추출 액션을 선택하세요.

2. 데이터를 추출할 웹사이트의 URL을 입력합니다.

😊Tip) 수집할 페이지가 여러 사이트 라면 데이터시트에 사이트링크를 정리한 후 데이터태그를 활용해서 여러 사이트를 수집할 수 있어요. ({를 입력하면 데이터태그 입력이 가능해요.)

페이지 형태에 따라 설정 방법이 다릅니다. 아래 다중 페이지 수집 방법 설정에 대한 내용들을 확인해주세요.

❗다중 페이지 수집 기능은 Beta 기능으로 일부 웹사이트에서 작동이 제한될 수 있습니다.

3. 입력이 끝났다면 다음 버튼을 눌러 진행합니다.

4. 페이지내에서수집을 원하는 항목을 입력합니다. 특정한 이름 규칙은 없습니다. 일반적으로 구분 가능한 항목 이름을 입력해주세요.

6. 항목 입력이 끝났다면 다음 버튼을 눌러주세요.

7. 수집한 결과를 출력할 탭, 셀위치를 선택해줍니다.

8. 완료 버튼을 눌러 설정을 저장해주세요.

9. 한 번만 실행하기기 버튼을 눌러 크롤링 및 추출 작업을 시작하세요.

10. 작업이 완료되면 결과를 확인해주세요.

11. URL입력만으로 웹페이지에서 원하는 항목 추출이 끝났습니다.

---

다중 페이지 수집 설정하기 (beta)

1. 사이트 형태: 어떤 방식으로 다음 페이지로 이동하는지를 설정해주세요.

   • 각 페이지가 구분됨: 버튼 등으로 각 페이지를 이동하는 페이지 형태에요. EX) 쿠팡 상품 리스트 화면

   • 무한 스크롤: 스크롤을 하면 계속 정보가 불러와지는 페이지 형태에요. EX) 인스타그램, 쓰레드

   • 더보기: 더보기 버튼을 눌러 페이지 정보를 더 불러오는 페이지 형태에요.

2. Selector(각 페이지가 구분됨,더보기) : AI가 페이지를 이동하기 위해 어떤 버튼을 눌러야 하는지를 알려주세요.

   💡Selector 확인, 복사 방법

   1) 크롬 브라우저에서 F12를 눌러 개발자도구를 켜주세요.

   2) Ctrl+Shift+C를 눌러 요소 선택 기능을 활성화해주세요.

   3) 버튼을 찾아 클릭해주세요.

   4) 개발자도구에서 표시되는 부분을 확인하고 우클릭 > 복사 > selector 복사 버튼을 눌러주세요. 그 후 가장 마지막 > 표시 뒤에 값을 입력해주세요.

   
3. 페이지넘버: 몇 페이지를 수집할지를 데이터태그를 통해 설정해주세요. 데이터 시트에 원하는 페이지 넘버까지 한번에 정리 후 데이터 태그를 통해 입력하시면 됩니다.

일부사이트의경우 무단 수집 제한으로 인해 수집이 제한될 수 있습니다. 반드시테스트 수집 후 본 수집을 진행해주세요.