대머리개발자

실시간 API를 붙이기 위한 리소스는 Cost가 너무나도 ㅎㄷㄷ 하다..사업보고서를 요약하는 배치를 만들어.. AI 응답을 미리 저장해 놓고..그것을 서비스 하기로 방향성을 잡았다. 다트를 통해 PDF를 일괄 다운 받아서....RAG를 하는 것으로 고려를 했었는데..어차피.. 일회성으로 진행하기 때문에.. TEXT 레벨로 실시간 받아서 처리하는 것으로 진행했다. RAG를 사용하려는 이유는 답변에 필요한 부분만 프롬프트로 만들어서 사용하려고 했으나.... 본문 일부를 아예 통으로 밀어 넣는 부분이 사실 답변의 쿼리티가 좋았고 그리고 어차피.. 일회성으로 답변을 만들어 놓을거기 때문에.. 프롬프트를 굳이 요약할 필요성이 없었다. 모델로 1분에 약 1-2건 정도가 요약된다. gemma3:12b 네이버 클라우드..

나 혼자 사용하기에 딱이다. 다수에게 서비스하기에는 너무나 할 것이 많고.. 충격적인 제약사항이 있다. 하나의 요청에... 하나밖에 처리를 못한다... 전혀 예상치 못했다.. 여러명에게 서비스하려면 아래처럼 ...구성..결국 20명 동접이고..... 나머지는 웨이팅 걸어야 하고.. 20개의 올라마를 올리려면 ㅋㅋ 서버 사양도....ㅎㄷㄷVRAM 48GB 이상 (예: A6000, 2x A100 40GB)RAM 64~128GB 이상 권장CPU: 16코어 이상 그냥 띠발 그럼 openAI를 쓰는게 베스트하다.chatGPT 가격이 왜 비싼지가 체감이 되네...아오 회사 정보는 즉, 사업보고서는 1년에 한 번 추가되니깐.. AI 답변을 일괄로 RDB에 저장해야 겠다.. 모든 사업보고서 AI 넘기면...약 8시간..

일단 젬마3:12b를 사용하고 있는데 너무나도 훌륭하다. 목표 :각 회사의 사업보고서를 RAG한 후 답변에 필요한 조각을 만들어서 프롬프트로 같이 전달 하고자 한다. 1. 사업보고서의 "개요 부분을 통"으로 넘길지..?2. 백터화 해놓고 유사도 검색을 해 필요한 부분만 발췌해서 넘길지.. 요것을 고민중이다. 참고)DART에서 API를 통해 바로 TEXT레벨로 사업보고서를 받을 수 있으나. RAG하기에는 PDF 형태가 더 이해하기 쉬울듯 하여 PDF 받을 수 있는 EndPoint를 찾았으나... 결론은 없다. 화면을 긁어서 dcm_no를 찾아서 호출해야 한다....그냥 하나 만들어 주지..아오!!사업보고서 다운로드 End-Pointurl = f'https://dart.fss.or.kr/pdf/downl..

진짜 AI 친구 없으면 삽질의 끝판왕이 될뻔..QueryDSL에서 .limit(1)을 JPAExpressions.select(...)에 붙였는데, 실제 SQL에서는 LIMIT이 안 붙는 현상이야.이건 QueryDSL의 JPA 서브쿼리 제한 사항 때문이야. 네이티브 쿼리로 뚝딱 했는데 자꾸 비슷한 쿼리가 생겨서 동적으로 리팩토링하는데 쉽게 되지가 않아서 잼난다. 현재 게시글에 [이전글]과 [다음글]을 질의하는 EndPoint다. 1. 한방 쿼리가 좋은지2. 각각의 쿼리를 병렬 (코루틴) 각 장단점이 있지만 한방 쿼리가 더 좋다고 한다. 물론 네이티브 쿼리는 한방 쿼리였지만. querydsl로 변경하는 과정에서......제약..사항.하악하악. 2번으로 고고싱.

상황에 맞게 써야하는게 정론이것 같다. 하나씩 테스트 해봐야 하는 노가다를 해보자! MilvusFAISSChroma라이선스/무료오픈소스(무료)오픈소스(무료)오픈소스(무료)영속성 (재시작 후 데이터 유지)O (DB 서버방식)X(기본:메모리) / 일부 O(파일저장)O (영속모드 있음)대용량 적합성매우 우수매우 빠름(로컬)중소규모 적합필터링/메타데이터 관리뛰어남제한적뛰어남운영 복잡도높음(서버 필요)낮음(로컬 파일)매우 낮음삭제/업데이트 지원지원어렵거나 불편지원RAG/RAG+ 용 RAG 라이브러리 호환매우 좋음매우 좋음매우 좋음 백터의 품질은 임베딩 모델에 결정 되기 때문에어떤 친구를 사용해도 문제는 없겠다. 단 서비스 대상의 규모에 따라 선택지는 있다.별도의 서버가 있다는 것은.. 많은 트래픽을 감당할 수 ..

이미 데스크탑에 우분투를 사용하고 있지만.갓 태어난 우분투 환경에서 배포 테스트를 해보고 싶어서 알아봤더니(파일썬 배포) 우분투용 VMware가 있고 또한 무료라.. 바로 고고 1. VM 사이트 가서 다운로드 하려고 했더니 엄한대로 핑퐁.. 2. 핑퐁 아오!! 브로드컴이 인수 했다 하더라. 간단히 가입하고 다운 받을 수 있는게 없네 했지만 한번 더 클릭 들어가야 한다. 꽁으로 쓰기 힘들구만.. VM 17 버전만 리눅스 버전이 있는듯. 3. 다운로드위치에서sudo sh VMware-Workstation-Full-17.6.3-24583834.x86_64.bundle 나이스 하다. 다운 받은 우분투 iso 파일 쏘옥 넣어준다. 우분투 안에 우분투..ㅎ 생각보다 금방 되뇨. 파일썬 배포 해보자.....

ChatGPT가 나온 답변이다. 내가 만들고 있는 AI에서 나온 답변이다. 최근 기사들 위주로 RAG 해 놓고 프롬프트 이쁘게 만들어 넣고 맞춤형으로 답변이 나올 수 있도록 개발을 하고 있다. 현재 정테주 시황에 맞게 이재명 후보 관련 주도 보인다. ㅎㅎ 기능 1. DB에 있는 기사 제목과 본문을 RAG -> FEED-> 최신 기사에 스코어를 더 줌기능 2. 리포트 PDF를 RAG -> PDF기능 3. 기능1과 기능2를 MIX!! 여러가지 다른 시험들을 해보려고 한다. 현재 모델은 아래 두가지로 테스트 해보고 있고DeepSeek-llama3.1-Bllossom-8B.Q6_K.ggufllama-3-Korean-Bllossom-8B-Q4_K_M.gguf 구글에서 나온 젬마(Gemma) 도 있네.. ..

AI - RAG좀 해보려니.. 파일썬을 해야 하고.. 파일썬을 보니 막막했는데. 이용 하다 보면 정말 심플하다. 왜 인기가 있는 언어인지..바로 납득이 정말 심플하다 딱 2 덩위로 끝난다. 물론 디펜더시는 설치해야쥬당근 ORM도 있으나 일단 네이티브 쿼리로 가보자!!pip install pymysql mysqlclient  1. SQL 커넥터import pymysqlfrom contextlib import contextmanagerclass MySQLConnector: def __init__(self, host, port, user, password, db_name): self.config = { "host": host, "port": port, ..