Python12 데이터분석 이해 : Pandas 기초 새로운 프로젝트를 시작하면서 머신러닝 기능을 구현해야 했습니다. 정확한 결과를 도출하기 위해 데이터 분석과 가공이 필수적이었고, 이를 위해 데이터 분석 기초와 Pandas 사용법을 정리했다. '혼자 공부하는 데이터분석 with 파이썬'과 코랩을 사용해서 공부했습니다. 데이터분석 유용한 정보를 발견하고 결론을 유추하거나, 의사 결정을 돕기 위해 데이터를 조사, 정제, 변환, 모델링하는 과정으로 비즈니스 결정을 과학적으로 내리기 위한 도구로 사용된다. CSV 한 줄이 레코드이며, 콤마(,)로 구분된 텍스트 파일이다. CSV 파일 읽기 한글로 된 CSV파일일 경우 글자가 깨져서 나오는 경우가 있다. 이 경우는 인코딩이 비트값으로 16진수로 되어 있어 발생하는 문제이다.해당 파일의 인코딩 형식을 확인하.. 2025. 1. 23. Python GC 가비지 컬렉터: 메모리 관리의 이해 Python의 가비지 컬렉터 우리가 쓰고 있는 대부분의 언어는 매니지드 코드로 런타임 환경이 더해진 언어이다. 이는 런타임 환경에 의존적인 코드인데 개발자를 위해 많은 서비스를 제공한다. 대표적으로 가비지 콜렉터(GC)가 있다. 언매니지드 언어는 하드웨어에서 직접 실행될 수 있지만 직접 개발자를 위한 서비스를 만들어야 한다. 가비지 컬렉터는 프로그램이 동적으로 할당한 메모리 영역 중에서 더 이상 사용되지 않는 영역을 자동으로 찾아서 해제하는 프로세스이다. 왜냐하면 파이썬은 개발자가 직접 메모리를 관리하지 않고, 가비지 컬렉터가 메모리 일부를 자동화하여 관리한다. 이는 메모리 누수를 방지하고 프로그램의 안정성을 높이는 데 도움을 줍니다.가비지 컬렉터를 알아야 하는 이유 개발자 자신이 작성한 코드가 메모리.. 2025. 1. 15. Python asyncio 비동기 처리 async/await 평소 Celery를 활용한 비동기 처리를 해왔지만, 이번에는 Python에서 기본으로 지원하는 asyncio 비동기 처리에 대해 학습한 내용을 정리한다. asyncio란?asyncio는 Python에서 기본적으로 지원하는 비동기 처리 라이브러리로, 비동기 작업을 효율적으로 처리할 수 있도록 도와준다.동기 방식: 한 가지 작업이 완료된 후에야 다음 작업을 시작하는 방식.비동기 방식: 한 작업이 끝나지 않았더라도 다른 작업을 동시에 처리하는 방식으로 병렬 처리가 가능하다. 다음 Python코드를 통해 알아보자 동기 방식과 비동기 방식 비교동기 방식 다음은 서로 다른 입력 값으로 factorial(팩토이얼) 함수를 2번 실행시켜 출력하는 코드이다. import timedef factorial_sync(num.. 2025. 1. 9. Django에서 MySQL 연동하기 Django를 이용하며 SQLite는 개발 환경에서 간편하게 사용할 수 있는 파일 기반 데이터베이스로, 추가 설정 없이 바로 사용할 수 있다. 하지만, 프로덕션 환경에서는 대량의 데이터를 다룰 때 한계가 있습니다. 이에 따라 더 안정적인 MySQL을 적용해 보겠습니다.MySQL 소개 및 설치MySQL 이란? MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템(RDBMS)으로, 데이터를 테이블 형태로 저장하고 관리한다. GUI 도구인 MySQL Workbench를 통해 편리하게 관리할 수도 있다.설치하기 1. 공식 사이트에서 다운로드 MySQL 다운로드 사이트 로 들어가서 MySQL를 다운로드 한다. ( 다운로드는 MySQL설치 안내 이 블로그를 참고 했습니다. ) 2. Hombrew를 이용하는 방.. 2025. 1. 7. Django 실시간 채팅 : 이미지 전송 구현 요즘 사용하는 채팅어플은 단순히 텍스트 전송을 넘어 이미지나 파일을 공유하는 기능이 필수이다. 그래서 Django와 React를 사용하여 이미지 전송 기능을 구현했다. 이 글에서는 이미지 전송 방법에 대해 고민하고 구현하는 과정을 담았다.이미지 전송 로직처음에는 웹소켓(WebSocket)으로 직접 이미지 파일을 전송하려고 했다.웹소켓으로 이미지 파일 전송이미지 파일 저장이미지 URL 반환하지만, 웹소켓은 텍스트 기반 통신이므로 이미지 파일을 Base64로 인코딩해야 했다. 이 과정에서 파일 크기가 커지면 서버 부하와 연결 지연 문제가 발생할 수 있다는 점을 발견했다. 이러한 문제를 해결하기 위해 HTTP 요청을 통해 이미지를 업로드하고, 저장된 이미지의 URL을 반환한 뒤 이를 웹소켓으로 전송하는 방.. 2025. 1. 5. Redis-Py : ZSet(Sorted Set) 랭킹 구현 활용 ZSET은 Sorted Set으로 세트와 정렬된 목록의 기능을 결합한 Redis의 강력한 데이터 구조이다. 요소를 추가, 제거 또는 업데이트할 수 있으며, 항상 점수 또는 순위로 정렬된 순서를 유지한다. 이러한 특성 덕분에 쉽게 랭킹 시스템 구현이 가능하며 관리가 간편하다. 여기서는 ZSET의 대표적인 함수 몇 가지를 정리하려고 한다. 1. ZINCRBY : 점수 증가 및 감소특정 멤버의 점수를 증가시키거나 감소시키는 데 사용한다. 멤버가 존재하지 않으면 자동으로 추가된다.redis_client.zincrby(key, increment, member)#점수 증가 redis_client.zincrby('ranking', 10, 'player1')#점수 감소redis_client.zincrby('ranki.. 2024. 12. 8. [Django]WebSocket을 활용한 실시간 랭킹 구현 목표실시간 접속자 수를 표시하고 이를 바탕으로 채팅방 랭킹을 제공하고 싶었다. 구현 목표1. 실시간 접소자 표시 : 홈 화면의 각 채팅방마다 접속자 수를 표시2. 접속자 수에 따른 랭킹 제공 : 접속자가 많은 순서대로 랭킹을 실시간으로 표시 홈 화면에서 채팅방 리스트에 실시간으로 채팅방의 접속자 수를 표시하고 또 접속자 수에 따라 랭킹이 기능을 구현하고 싶었다. 하지만 채팅방 접속/퇴장 시마다 서버에 요청을 보내야 했는데, 이는 서버 부화를 유발할 가능성이 있다고 생각했다. 이를 해결하기 위해 WebSocket을 활용해 API 요청을 줄이고 실시간 데이터를 주고받는 방식으로 구현하기로 했다. 구현 방법 1. WebSocket Consumers 구조-myProj -app -consumers -ch.. 2024. 12. 7. [Django] ORM N+1 문제 해결 : 지연로딩 문제 채팅방 리스트를 조회할 때, 채팅방 수에 비례해 쿼리 수도 함께 증가하는 문제가 발생했다. 이로 인해 요청 처리시간도 증가했다. 원인 : N+1 문제 #views.py ...chat_rooms = ChatRoom.objects.all()rooms=[]for room in chat_rooms: data ={ "name": room.name, "id":room.id, "users": room.users.count(), "add_date" : room.add_date, } rooms.append(data) ... 채팅방 목록을 조회하는 코드이다. 여기서 모든 채팅방을 조회하고 반복문을 통해 데이터를 저장하는데 채팅방에 접속한 유저를.. 2024. 12. 1. [Django]데이터베이스 vs Redis: 실시간 접속자 관리 성능 비교와 최적화 문제 채팅 프로젝트를 진행하며 문제가 발생했다. 접속자 API 데이터를 불러오지 못함.기존 접속자는 새로운 사용자가 들어와도 접속자 목록에 반영되지 않음. 실시간 사용자가 많은 경우 채팅방 연결마다 DB 요청이 증가해 병목현상이난 쿼리 처리 속도가 느려질 가능성이 있어 개선할 필요성을 느꼈다.원인기존의 데이터 흐름채팅방 입장 → 사용자 정보 저장 → 웹소켓 접속 → 접속자 리스트 전송 → 데이터 수신 처음엔 데이터베이스에 즉각적으로 저장된 값을 가져오는 방식이 문제라고 생각했으나, 웹소켓 종료 시 사용자 데이터를 제거하는 과정에서 예상치 못한 문제가 있었다. 그리고 React의 안정성을 위한 중복 요청으로 인해 웹소켓이 두 번 연결되며 데이터가 누락되거나 저장되지 않는 경우가 있음을 확인했다.또한, .. 2024. 11. 30. 이전 1 2 다음
