MS Excel은 1,048,576개의 행을 표시할 수 있습니다. 일반적인 사용에서는 매우 큰 숫자처럼 보일 수 있지만, 충분하지 않은 시나리오가 많이 있습니다.
로그 파일을 보든 대규모 데이터 세트를 보든 수백만 개의 행이 포함된 CSV 파일이나 거대한 텍스트 파일을 쉽게 찾을 수 있습니다. 뛰어나다 은 이렇게 큰 파일을 지원할 수 없으므로 파일을 정확히 어떻게 열 수 있나요? 알아보겠습니다.
일반 텍스트 편집기가 매우 큰 파일을 열 수 없는 이유는 무엇입니까?
컴퓨터에는 기가바이트의 저장 공간이 있는데 왜 텍스트 편집기로 대용량 파일을 열 수 없나요?
여기에는 두 가지 요소가 작용합니다. 일부 응용 프로그램에는 표시할 수 있는 데이터 양에 대한 하드코드 제한이 있습니다. PC에 메모리가 얼마나 있는지는 중요하지 않으며 단지 사용하지 않을 뿐입니다.
두 번째 문제는 RAM입니다. 많은 텍스트 편집기에는 행 수에 대한 엄격한 제한이 없지만 메모리 제한으로 인해 큰 파일을 표시할 수 없습니다. 전체 파일을 시스템 RAM에 로드하므로 이 메모리가 충분히 크지 않으면 프로세스가 실패합니다.
방법 #1: 무료 편집기 사용
매우 큰 텍스트 파일을 보는 가장 좋은 방법은… 텍스트 편집기를 사용하는 것입니다. 단순한 텍스트 편집기가 아니라 코드 작성을 위한 도구입니다. 이러한 앱은 일반적으로 대용량 파일을 문제 없이 처리할 수 있으며 무료입니다.
대용량 텍스트 파일 뷰어 은 아마도 이러한 애플리케이션 중 가장 간단한 것일 것입니다. 사용하기가 정말 쉽고, 빠르게 작동하며, 리소스 사용량이 매우 적습니다. 유일한 단점은? 파일을 편집할 수 없습니다. 하지만 대용량 CSV 파일만 보고 싶다면 이 작업에 가장 적합한 도구가 될 것입니다.
큰 텍스트 파일을 편집하려면 이맥스 을 시도해 보세요. 원래 Unix 시스템용으로 제작된 이 프로그램은 Windows에서도 완벽하게 작동하며 대용량 파일을 처리할 수 있습니다. 마찬가지로 네오빔 과 숭고한 텍스트 는 기가바이트 크기의 CSV 텍스트 파일을 여는 데 사용할 수 있는 두 개의 경량 IDE입니다.
대형 로그 파일을 통해 데이터를 검색하는 것이 목적이라면 클로그 가 딱 맞는 도구입니다. 인기 있는 글로그 의 업데이트 포크인 이 애플리케이션을 사용하면 방대한 텍스트 파일을 통해 복잡한 검색 작업을 쉽게 수행할 수 있습니다. 컴퓨터에서 생성된 로그 파일에는 수백만 개의 행이 있는 경우가 많기 때문에 klogg는 이러한 파일 크기에서 문제 없이 작동하도록 설계되었습니다..
방법 #2: 여러 부분으로 분할
큰 CSV 파일을 열려고 할 때의 전체적인 문제는 파일이 너무 크다는 것입니다. 하지만 이를 여러 개의 작은 파일로 분할한다면 어떻게 될까요?
이 방법은 일반적으로 새로운 텍스트 편집기의 인터페이스를 배울 필요가 없기 때문에 널리 사용되는 솔루션입니다. 대신 온라인에서 사용할 수 있는 많은 CSV 스플리터 중 하나 을 사용하여 대용량 파일을 열기 쉬운 여러 개의 파일로 나눌 수 있습니다. 그러면 각 파일에 정상적으로 액세스할 수 있습니다.
그러나 이것이 이 문제를 해결하는 최선의 방법은 아닙니다. 큰 파일을 분할하면 종종 이상한 오타가 발생하거나 파일이 잘못 구성될 수 있습니다. 게다가 각 청크를 별도로 열면 전체 데이터를 한 번에 필터링할 수 없습니다.
방법 #3: 데이터베이스로 가져오기
수 기가바이트까지 확장되는 텍스트 및 .csv 파일은 일반적으로 대용량 데이터세트입니다. 그렇다면 그냥 데이터베이스로 가져오면 어떨까요?
SQL은 요즘 가장 많이 사용되는 데이터베이스 마크업 언어입니다. 다양한 버전의 SQL 이 사용되고 있지만 가장 쉬운 것은 아마도 MySQL일 것입니다. 운 좋게도 CSV 파일을 MySQL 테이블로 변환 까지 가능합니다.
이 방법은 결코 대용량 CSV 파일을 처리하는 가장 쉬운 방법이 아니므로 정기적으로 대규모 데이터 세트를 처리하려는 경우에만 이 방법을 권장합니다. MySQL이 너무 어려워 보인다면 언제든지 .csv 파일을 MS 액세스 으로 가져올 수 있습니다.
방법 #4: Python 라이브러리로 분석
수백만 행의 데이터가 포함된 .csv 파일로 작업할 때 수동으로 이해하기는 어려울 것입니다. 추세를 이해하기 위해 데이터를 필터링하고 특정 쿼리를 실행하고 싶을 수도 있습니다.
그렇다면 Python 코드 작성 이 그렇게 하는 것은 어떨까요?
다시 한번 말씀드리지만 이는 가장 사용자 친화적인 방법은 아닙니다. Python은 배우기 가장 어려운 프로그래밍 언어가 아닙니다. 동안은 코딩 중이므로 최선의 접근 방식이 아닐 수도 있습니다. 하지만 매일 매우 큰 CSV 파일을 분석해야 한다면 일부 Python 코드로 작업 자동화 하는 것이 좋습니다.
방법 #5: 프리미엄 도구 사용
첫 번째 방법에서 본 텍스트 편집기는 CSV 처리 전용 도구가 아니었습니다. 이는 대용량 .csv 파일 작업에도 사용할 수 있는 범용 도구였습니다.
그러나 특수 애플리케이션은 어떻습니까? 이 문제를 해결하기 위해 만들어진 앱이 없나요?.
실제로 그렇습니다. 예를 들어 CSV 탐색기 는 지난 두 가지 방법(SQL 데이터베이스 및 Python 코드)에서 설명한 바로 그 프로세스를 기반으로 모든 크기의 CSV 파일을 보고 편집할 수 있는 앱을 만듭니다. 그래프를 생성하거나 CSV 탐색기에서 데이터를 필터링하는 등 스프레드시트 도구에서 기대하는 모든 작업을 수행할 수 있습니다.
또 다른 옵션은 울트라편집 입니다. 이전 도구와 달리 이는 .csv 파일뿐만 아니라 모든 유형의 텍스트 파일에 사용됩니다. 앞서 논의한 많은 무료 편집기와 유사한 인터페이스를 사용하여 몇 기가바이트에 이르는 텍스트 및 CSV 파일을 쉽게 처리할 수 있습니다.
이러한 도구의 유일한 단점은 프리미엄 애플리케이션이므로 사용하려면 유료 라이선스를 받아야 한다는 것입니다. 기능을 확인하기 위해 언제든지 무료 평가판을 사용하거나 일회성으로만 사용할 수 있습니다.
큰 텍스트 및 CSV 파일을 여는 가장 좋은 방법은 무엇입니까?
이 빅 데이터 시대에는 기가바이트에 달하는 텍스트 파일을 실행하는 것이 드문 일이 아니며 메모장이나 MS Excel과 같은 기본 제공 도구로는 보기조차 어려울 수 있습니다. 이러한 대용량 CSV 파일을 열려면 타사 애플리케이션을 다운로드하여 사용해야 합니다.
그러한 파일을 보는 것이 전부라면 대용량 텍스트 파일 뷰어가 최선의 선택입니다. 실제로 편집하려면 Emacs와 같은 기능이 풍부한 텍스트 편집기를 사용하거나 CSV 탐색기와 같은 프리미엄 도구를 사용할 수 있습니다.
CSV 파일을 분할하거나 데이터베이스로 가져오는 등의 기술에는 너무 많은 단계가 필요합니다. 대용량 텍스트 파일 작업을 많이 하는 경우 전용 프리미엄 도구의 유료 라이선스를 구입하는 것이 더 좋습니다.
.