개발

개발/NLP

자연어 평가 지표

자연어 평가 지표 1. GLUE (General Language Understanding Evaluation) GLUE는 NLP모델에 대한 여러 테스크들을 평가할 수 있는 지표입니다. 현재 Human Baselines는 15위로 밀려났습니다. 2. SUPER GLUE GLUE가 출시 후 1년만에 NLP 기술이 인간의 수준을 뛰어 넘었기 때문에 Super GLUE라는 더 어려운 평가 지표를 만들게 되었습니다. Super GLUE에서는 Human Baselines가 3위네요.

개발/Tensorflow

Tensorflow v2.3 Object Detection API fine tuning (5)

마지막으로 테스트 단계입니다. 14. 테스트 해볼 이미지 다운 테스트 해볼 이미지를 research/object_detection/test_images에 다운받습니다. 15. 노트북 실행 research/object_detection에서 jupyter notebook을 실행합니다. colab_tutorials에 있는 object_detection_tutorial.ipynb 파일을 실행합니다. 16. 테스트 해당 셀 부터 실행하면 됩니다. Loading label map 부분을 아래와 같이 수정해주세요. # List of the strings that is used to add correct label for each box. PATH_TO_LABELS = '../images/labelmap.pbtxt' ..

개발/Tensorflow

Tensorflow v2.3 Object Detection API fine tuning (4)

12.이미지 학습 이 부분은 선택사항이지만 제 컴퓨터가 그렇게 좋지 않기 때문에 저는 Google Colab을 사용하도록 하겠습니다. Google Drive에 파일을 올려야하는데 압축된 파일을 올리고 colab에서 압축을 해제하는게 빠르기 때문에 압축시켜서 올리겠습니다. models/research 폴더로 가서 object_detection 폴더를 압축합니다. 저는 Pororo라는 폴더를 만들고 zip파일을 올리겠습니다. Google Colab 제일먼저 런타임을 GPU로 변경해주시고 시작하시면 됩니다. # 구글 드라이브 마운트 from google.colab import drive drive.mount('/content/drive') # 압축 해제 -> google drive Pororo폴더에 가보면 잘..

개발/Tensorflow

Tensorflow v2.3 Object Detection API fine tuning (3)

8. pre-trained 모델 다운로드 Object Detection zoo에서 다운받으시면 됩니다. 저는 EfficientDet D0 512x512을 다운받겠습니다. object_detection 폴더에서 압축을 해제합니다. 9. pre-trained 모델 config 수정 object_detection/configs/tf2 경로에 있는 ssd_efficientdet_d0_512x512_coco17_tpu-8.config 파일을 복사해서 images 폴더에 붙여넣기 해줍니다. 방금 복사한 파일을 images 폴더에서 편집합니다. 1. num_classes -> 원하는 Object Detection 클래스 수 model { ssd { inplace_batchnorm_update: true freeze_..

개발/Tensorflow

Tensorflow v2.3 Object Detection API fine tuning (2)

4. 제너레이트 파일 다운 github_url에서 파일을 클론 받아서 README.md 파일을 제외하고 object_detection 폴더에 넣으시면 됩니다. git clone https://github.com/hojihun5516/object_detection_setting.git 그러면 해당 폴더에 아래와 같이 추가가 됩니다. 5. xml_to_csv 방금 내려받은 파일중 xml_to_csv.py를 실행해줍니다. xml로 되어있는 내용들을 csv로 컨버팅 해주는 작업입니다. #object_detection 폴더 python xml_to_csv.py 잘 실행이 되었다면 images폴더에 test_labels.csv, train_labels.csv 파일들이 생성됩니다. 6. generate tf reco..

개발/Tensorflow

Tensorflow v2.3 Object Detection API fine tuning (1)

안녕하세요 오늘은 Tensorflow를 활용한 Object Detection를 fine tuning해보겠습니다. 저는 조카가 좋아하는 뽀로로에 등장하는 캐릭터를 해보겠습니다. 🖐 기존 python이 설치되어 있고 tensorflow v2.3이 설치되어 있다는 가정 하에 진행하겠습니다. 목차 1. 텐서플로우 API 설치 2. Object detection 이미지 수집 3. 이미지 라벨링 4. 제너레이트 파일 다운 5. xml_to_csv 6. generate tf record 7. generate labelmap 8. pre-trained 모델 다운로드 9. pre-trained 모델 config 수정 10. Object detection 폴더 추가 생성 11. training 폴더 생성 12.이미지 학습..

개발/Python

판다스

예측결과와 실제값 비교 matrix pd.crosstab

개발/Shell

Ubuntu 18.04 재부팅 시 자동 쉘 스크립트 실행

Ubuntu가 reboot 할 때 사용할 script를 만들어봤습니다. 많은 방법이 있겠지만 crontab을 사용해보겠습니다. abcd 폴더 생성 script 명령 vim /etc/test.sh 내용 #!/bin/bash sudo mkdir /home/abcd 파일 권한 부여 chmod +x /etc/test.sh crontab에 등록 crontab -e 이 명령어를 입력했을때 default editor가 설정되어있지 않으면 4개의 보기중에 한개를 선택하라고 나옵니다. 주석이 걸려있는 나오는 설명을 내리고 마지막줄에 아래의 코드를 넣어줍니다. @reboot etc/test.sh > test.sh.log 2>&1 재시작 sudo reboot

모플로
'개발' 카테고리의 글 목록 (4 Page)