1. 자세한 설명

uniq 명령어는 정렬된 텍스트 파일에서 연속적으로 중복되는 행을 제거하거나, 해당 중복을 표시하는 데 사용됩니다. 이 명령어는 중복된 데이터를 정리하거나, 데이터 분석 작업을 간소화하는 데 유용합니다. 단, uniq 명령어는 파일이 반드시 정렬되어 있어야 제대로 작동하므로 필요시 sort 명령어와 함께 사용해야 합니다.

2. 사용법

1. 기본 중복 제거
   uniq [파일명]
   연속된 중복 행을 제거한 결과를 출력합니다.
2. 중복 행 표시
   uniq -d [파일명]
   중복된 행만 표시합니다.
3. 중복하지 않은 행 표시
   uniq -u [파일명]
   중복되지 않은 고유한 행만 표시합니다.
4. 중복 횟수 표시
   uniq -c [파일명]
   각 행의 중복 횟수를 함께 표시합니다.

3. 자세하게 설명

uniq 명령어는 연속된 중복 항목에 집중하여 데이터를 필터링하거나 분석하는 데 자주 사용됩니다. 이 명령어의 동작을 이해하려면 다음 사항을 알아두어야 합니다:

• 정렬 필수: uniq 명령어는 연속적으로 중복된 행만 제거하거나 표시하므로, 입력 파일은 sort 명령어로 미리 정렬되어 있어야 합니다.
• 기본 동작: 중복된 행을 제거한 결과를 출력합니다.
• 유용한 옵션: 중복된 행을 표시하거나 중복되지 않은 고유 행만 표시하는 옵션을 지원합니다.
• 데이터 분석: 중복 횟수를 출력하여 데이터 빈도 분석에 활용할 수 있습니다.

예를 들어, 로그 파일에서 특정 요청이 몇 번 발생했는지 확인하거나, 고유한 데이터만 남기고 싶을 때 유용하게 사용할 수 있습니다.

4. 자세한 명령어 사용법

다음은 uniq 명령어의 사용 예제입니다:

# 파일 정렬 후 중복 제거
$ sort input.txt | uniq

# 중복된 행만 표시
$ sort input.txt | uniq -d

# 중복되지 않은 고유 행 표시
$ sort input.txt | uniq -u

# 각 행의 중복 횟수 출력
$ sort input.txt | uniq -c

# 대소문자 구분 없이 처리
$ sort -f input.txt | uniq -i

# 특정 결과를 새로운 파일에 저장
$ sort input.txt | uniq > output.txt

# 고유 행만 추출한 데이터를 다른 명령어로 전달
$ sort input.txt | uniq -u | grep "keyword"
            

위 예제는 uniq 명령어의 다양한 옵션을 활용하는 방법을 보여줍니다. 데이터를 효율적으로 처리하기 위해 필요에 따라 sort 명령어와 함께 사용하는 것이 일반적입니다.