빅데이터 (4) 썸네일형 리스트형 [GCP] API로 받은 정보 Cloud Composer를 이용해서 GCS에 적재하기 - 4 GCS Cloud Storage(CS)라고 말하는 저장 서비스는 Google Cloud에 객체를 저장하는 서비스이다. 여기서 말하는 객체는 모든 형식의 파일로 구성된 변경할 수 없는 데이터 조각이다. 객체를 버킷이라는 컨테이너에 저장하며, 모든 버킷은 프로젝트와 연결되고 프로젝트를 조직 아래에서 그룹화할 수 있다. Gcp 조직 조직 : Example Inc. 라는 회사에서 examplein.org라는 Google Cloud 조직을 만든다. Google Cloud 최상위 단계 프로젝트 : Example Inc.는 여러 애플리케이션을 빌드하고 각 애플리케이션은 프로젝트와 연결된다. 각 프로젝트에는 Cloud Storage API 세트와 리소스가 있다. 버킷: 각 프로젝트에는 객체를 저장할 컨테이너인 버킷이 .. [GCP] API로 받은 정보 Cloud Composer를 이용해서 GCS에 적재하기 - 3 Cloud Composer(CC)란? 클라우드 및 온프레미스 데이터 센터 전체의 워크플로 파이프라인을 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스이다. 워크플로? workflow는 작업 절차를 통한 정보 또는 업무의 이동을 의미하며, 작업 흐름이라고도 부른다. 더 자세히 말해, 워크플로는 작업 절차의 운영적 측면이다. 업무들이 어떻게 구성되고, 누가 수행하며, 순서가 어떻게 되며, 어떻게 동기화를 시킬지, 업무를 지원하기 위한 정보가 어떻게 흐르는지 그리고 업무가 어떻게 추적되는지이다. 위키피디아 작업의 흐름도 작업 절차 업무의 이동성 이 3가지 키워드로 정리할 수 있다. CloudComposer(CC)는 Airflow를 기반으로 Python으로 작동한다. CC의 장점은 A.. [GCP] API로 받은 정보 Cloud Composer를 이용해서 GCS에 적재하기 - 2 FaceBook API를 사용해 보자 Facebook 개발자 센터 위의 링크로 들어가서 페이스북 아이디로 접속 후 핸드폰 인증 등이 있다. 차례대로 진행해 주자. Todo Facebook api에 대해 알아보기 Facebook graph API 사용해 보기 url로 json data 받아오기 FaceBook API 종류 Facebook Login Graph API instagram API Meta Pixel Social Plugins WhatsApp Business Platform 위에 리스트 위에도 엄청나게 많은 API 종류들이 있지만 그중에서 나는 두 가지를 사용해 보았다. Graph API와 Webhook을 사용해 봤는데 webhook 사용은 추후에 다시 리뷰하고 Graph API 사용하는 법 알아.. [GCP] API로 받은 정보 Cloud Composer를 이용해서 GCS에 적재하기 - 1 GCP의 장점 GCP는 데이터 파이프라인을 만들 때에 여러가지 오픈소스들을 제공해준다. 나는 여기에 큰 장점이 있다고 생각하는게, 오픈소스들을 분산 처리할 생각으로 설치를 하게 되면 너무 너무 복잡하고 머리가 아픈데.. 자원관리 등등등 사실 이직한 회사에서 데이터 엔지니어 직무를 하게 됫고 파트너사 이기 때문에 공부를 시작했다. 하지만 분명히 여러가지 장점이 있는건 분명한 GCP이다. 이번 계획 여러가지 GCP 서비스들을 공부하면서 pipeline의 구성에 대해서 생각해보고 있다. 사실 gcp에는 여러가지 적재 방법들이 존재한다. Google Analystic은 Bigquery와 바로 연동이 가능하고, Streaming서비스인 Pub/Sub을 사용할 수도 있다고 한다. 이번에는 내가 공부한 Cloud C.. 이전 1 다음
