전체 글
-
-
-
Reducer, CombinerDataEngineering 2021. 10. 22. 19:32
Reducer, Combiner 저녁먹으면서 무농과 혜온이 빅데처를 공부하며 얘기한 내용인데 기억이 안나길래 짧게 정리 결론적으로 둘이 하는 일은 결이 같지만 차이점은 Combiner가 Reducer로 Mapper의 output을 넘겨주기 전에 Reduce 작업을 Map 단에서 미리 한다는 것이다. Mapper --------------> Reducer map -> combine shuffle -> reduce shuffling 단계에서의 IO를 최소한으로 줄이고자 locally 할 수 있는 일은 하고 넘기자! 가 목적이다. (combiner가) 따라서 combiner는 “mini-reducer” 라고도 부른다. Reducer에게 Mapper의 output record를 넘겨주기 전에 같은 Key끼리 s..
-
sk 브로드밴드가 넷플릭스를 고소한 건에 대해카테고리 없음 2021. 10. 8. 18:39
sk 브로드밴드가 넷플릭스를 상대로 트래픽 발생 관련해서 청구하는 추가적인 이용 요금을 거부해 소송을 제기했다. 최근 사용자들이 다 오징어게임 보면서 트래픽 폭발했는데, 넷플릭스에게 청구하는 추가적인 인터넷 사용료를 흐린눈하니 생긴 사태다. 컨텐츠 제공회사에서 개발자로 일을 하고 싶은 취준생 1로써 이 망 회사와 컨텐츠 제공회사 간의 갈등은 한번쯤 생각해보면 좋은 이슈일 것 같아 글을 써보려고 한다! 참고 기사 !! https://www.donga.com/news/Inter/article/all/20211002/109521420/1 오징어 게임 얼마나 많이 봤으면…인터넷 제공업체 넷플릭스 고소 오징어 게임을 얼마나 많이 봤으면 인터넷 서비스 제공업체가 넷플릭스를 고소했다고 로이터통신 등 외신들이 일제히 ..
-
DFS, BFSAlgorithm 2021. 9. 11. 21:57
DFS(Depth First Search), 깊이 우선 탐색하기 스택 + 재귀함수 - 최대한 깊이 내려가서 더 이상 깊이 갈 곳이 없을 경우 옆으로 이동하는 방식 - 모든 노드 방문할 때 사용 - BFS 보다 간단 def dfs(start, visited): visited += [start] # 방문노드 update for c in range(len(matrix[start])) : # start 번째 행 조사 # start와 정점들아 연결되어있음 and c가 방문노드 리스트에 없음 if matrix[start][c] == 1 and c not in visited: dfs(c, visited) return visited BFS(Breadth-First Search), 넓이 우선 탐색하기 큐 - 최대한 넓게..
-
KafkaDataEngineering/Kafka 2021. 9. 10. 09:09
데브원영님의 소금과 설탕같은 강의를 듣고 정리하는 글 Kafka 들어가며 (?) hadoop 의 경우 small file에서의 성능이 안 나오기 때문에 배치로 처리를 하고, 실시간성 데이터같은 stream 처리같은 경우엔 (예를 들어서) fluentd+kafka+spark+nosql db 같은 구성으로 메시지를 처리하게 된다. kafka같은 경우 spark가 어쨌든 저장소가 아니기 때문에 하루면 하루 몇 시간이면 몇 시간 이렇게 들어오는 메시지를 "순차적으로" 저장했다가 spark가 만약 죽거나 메시지 끌어가는 subscriber(kafka에서는 consumer가 되겠지?) 가 죽었을 때 offset을 통해 해당 시점으로 다시 돌아갈 수 있도록 한다. 버퍼 역할을 하는 메시징 큐!! 가 kafka의 특징..
-
터미널 command not found 오류 인데 갑자기 ssh 리마인드를 곁들인카테고리 없음 2021. 9. 9. 09:16
ssh 로 서버 접속하려고 할 때마다 command not found가 뜨면서 접근이 안되길래 뭐지 싶었다 아니 밖에 개가 미친듯이 짖네;; PATH 설정도 /usr/bin:/bin:/usr/sbin:/sbin 잘 지정되어있고 ssh 위치 찍어봐도 잘 되는데 왜 안되는지 모르겠음 !!! 그래서 계속 $(which ssh) ubuntu@~~~ 로 어딨는지 계속 알려주면서 접속하고 있는데 이게 맞 아? alias 주면..되려나? 말 나온 김에 ssh 다시 정리해보기 .... (갑자기? ssh (secure shell) : 네트워크 상의 다른 컴퓨터에 로그인하거나, 원격 시스템에서 명령을 실행시키고 다른 시스템으로 파일을 복사할 수 있도록 해주는 응용 프로그램 또는 그 프로토콜이다. : 그니꺼 원격자 호스트 ..