본문 바로가기

분류 전체보기

Transformer 논문, 쉽게 설명한 사이트 정리 안녕하세요. ChatGPT와 같은 LLM (Large Language Model)이 세상을 떠들썩하게 만들고 있는 요즘. 인공지능에 대한 학문적 관심도 많이 높아졌을 것이라고 생각이 드는데요. 인공지능을 조금 공부해 보신 분들은 아시겠지만 현재 대부분의 언어 모델뿐만 아니라 컴퓨터 비전에 사용되는 많은 모델의 근간은 바로 아래 그림에서 보이는 Transformer 라는 구조 입니다. 트랜스포머는 구글 브레인과 구글 리서치의 공동 연구로 제안된 뉴럴 네트워크 기반의 구조로 Attention Is All You Need ( Vaswani, Ashish, et al.) 라는 논문에 처음 소개되었습니다. 그런데, 해당 논문을 읽어본 많은 연구자분들은 아실 거예요. 논문의 내용이 굉장히 어렵다는 것을요. 해당 논.. 더보기
[독후감] 부의 인문학: 슈퍼리치의 서재에서 찾아낸 부자의 길 부의 인문학 지은이 : 우석 독후감 친한 지인이 선물로 줘 읽게 되었다. 고대 철학가와 근현대의 경제학자들의 이론과 사상에 빗대어 현대 부동산 및 주식 투자 원칙에 대한 관점을 제시하는 책이다. 언뜻 생각만으로 머릿속에 정리해놓았던 것들을 저자가 똑같이, 그리고 명료하면서도 쉽게 설명해 주어 신기하기도 했고 의견이 일치되는 부분이 많아서 재밌게 읽을 수 있었던 것 같았다. 생각을 명료하게 바꿔주기도 하고, 생각을 넓혀주기도 하며, 새로운 것을 배울 수 있었던 것 같다. 아쉬웠던 점 시장에서의 정부 역할에 대해 과거 시카고 학파와 케인스 학파 간의 논쟁이 많이 오갔는데, 이 책의 저자는 누가 봐도 혈통 90% 이상의 시카고 학파 지지자라는 생각이 들었다. 물론 저자는 상대 학파에 대한 이론도 충분히 알고 .. 더보기
Typescript에 대해 알아보았습니다ʕo•ᴥ•ʔ✎ 안녕하세요! 최근 Javascript를 공부하면서 Typescript에 대해 알게 되어서 아주 조금 공부를 해보았는데요! 공부한 내용을 좀 적어보도록 하겠습니답 Typescript는 뭐지? Javascript처럼 언어인건가? Typescript는 Microsoft에서 2012년에 개발한 오픈소스 프래그래밍 언어입니다. 그럼 이제 생기는 궁금점이 Typescript가 Javascript처럼 프로그래밍 언어인거는 알겠는데 그럼 둘의 차이점은 무엇인지 아니겠어요? Typescript와 Javascript의 관계 Typescript는 Javascript의 superset입니다. 즉, 쉽게말해서 Typescript는 Javascript에 기반을 두고 있으며, Javascript의 모든 기능을 포함하면서 그 이상의.. 더보기
AWS Public IPv4 점유에 대한 요금 부과 아마존 웹서비스에서 2024년 2월 1일부터 공인 IPv4 사용에 대한 요금을 부과하기로 결정했습니다. (IPv6는 요금이 부과되지 않습니다.) 최근 넷플릭스의 구독료 인상, X의 뉴질랜드와 필리핀 유저에 대한 사용료 부과, 인스타 및 페북의 인증 유료화 등에 이어 많은 빅 테크 기업들이 직접적 또는 간접적인 방식으로 요금을 부과하고 있는데요. AWS에서는 IPv4 주소의 희소성으로 인해 최근 5년간 IPv4 주소에 대한 요금이 5배 인상되었으며 이에 따라 지금까지 무료로 제공하던 Public IPv4 주소에 대해 내년 2월부터 요금을 부과하겠다고 밝혔습니다. 그리고 이와 관련한 내용을 기존 Public IPv4 주소를 사용하는 유저들에게 메일로 공지하였는데요. 아래는 AWS에서 전달한 해당 메일의 전문.. 더보기
[애니 추천] 듣지못하는 왕자가 최강의 왕이 되기까지.. : "임금님 랭킹" 안녕하세요! 오늘은 최근 재밌게 보았던 애니에 대해 소개해 드리려고 합니다. 바로 "임금님 랭킹" 입니다! 애니 포스터에 보시면 정말 귀엽고 작은 왕자님께서 왕의 자리에 앉아 계시죠? 이 귀여운 왕자님이 바로 '봇지' 인데요! 이 애니메이션의 주인공이랍니다~ 장애를 가진 왕자 봇지 봇지는 귀가 들리지 않는 청각장애를 가진 봇스 왕국의 제 1왕자입니다. 봇지의 엄마와 아빠는 모두 거인족이지만 봇지는 몸집도 작고 힘도 없는 연약하게 태어난 왕자였습니다. 말도 어눌하여 왕궁 내의 주변사람들은 봇지의 말을 알아듣는 것을 어려워하였죠. 때문에 친구를 사귀기도 어렵고 사람들과 의사소통 하는 것도 쉽지 않는 봇지였습니다. 사람들은 봇지가 왕자임에도 불구하고 장애와 약한 모습때문에 왕국을 물려받긴 어려울 것이라고 무시.. 더보기
메모리를 절약하여 희소 행렬 (Sparse Matrix)을 표현하는 방법들 희소 행렬 (Sparse Matrix)이란? 희소 행렬이란 행렬의 값이 대부분 0인 경우를 가리키는 표현으로 '성긴 행렬'이라고도 불린다. 전체 행렬의 값 중에 0인 요소들의 비율을 희소성 (sparsity)라고 하며 행렬에 0이 많이 포함될 수록 희소성이 높다고 할 수 있다. 희소 행렬은 그 자체로 수학적인 관점에서 큰 의미를 가지고 있지 않을 수 있지만 인접 행렬 (Adjacency matrix)과 같이 현실에 존재하는 특정한 관계성을 표현하는 과정에서는 흔히 등장하는 개념이다. 예를 들어, e-commerce 서비스에서 각 유저가 구입한 상품의 수를 행렬로 표현한다면 각 유저는 모든 상품 중 일부만 구입할 것이므로 그 행렬은 희소 행렬에 가까울 것이다. 마찬가지로 넷플릭스나 tving과 같은 OTT.. 더보기
🐾궁디팡팡 캣페스타 🐾 다녀왔다냥 (ฅ•.•ฅ) 안녕하세요! 이번에 제가 일산 KINTEX에서 열린 궁디팡팡 캣페스타를 처음으로 다녀왔는데 부스 종류도 엄청 많고 제품 할인율도 높고 다양한 이벤트로 주시는 것도 많아서 집사분들이라면 꼭 가보셨으면 좋겠더라구요!❤️ 지금부터 한번 다녀온 후기를 들려드리도록 할께요~ ㄱㄱ~~ 궁디팡팡 개최일정 먼저 궁디팡팡 캣페스타는 1년에 4번 개최되는 국내 최대 규모의 고양이 박람회입니다! 저는 4번의 행사중에 이번 9월 15일부터 9월 17일까지 일산 KINTEX에서 개최되는 3번째 행사에 다녀온 것인데요! 이번에 못가신 분들은 너무 슬퍼하지마세요!! 12월에 올해 마지막 궁디팡팡 박람회가 열린다고 하니 다들 메모메모📒📒 궁디팡팡 입장권 구입 방법 궁디팡팡 캣페스타 입장권 구매는 현장구매, 사전구매, 그리고 무료 초.. 더보기
샤딩이란 무엇일까? (About Sharding) 안녕하세요. 오늘은 샤딩 (Sharding)에 대해 공부를 하게 된 김에 내용을 정리해 봤어요. 제가 공부한 글의 원문은 아래 링크에 있으니 원문을 보고 싶으신 분들은 아래 링크를 참고하세요! 본 글은 추가적인 자료 조사와 함께 원문을 제가 이해한 내용대로 재정리한 거예요. https://levelup.gitconnected.com/4-advanced-sharding-techniques-every-software-engineer-must-know-b4493dc6ec0f 4 Advanced Sharding Techniques Every Software Engineer Must Know Beyond Basic Partitioning: A Deep Dive into Modern Sharding Methods .. 더보기