# spliteFiles

**Repository Path**: huanglaijun/spliteFiles

## Basic Information

- **Project Name**: spliteFiles
- **Description**: 并发和非并发方式拆分大文件
- **Primary Language**: Go
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-11-10
- **Last Updated**: 2023-11-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# spliteFiles

#### 介绍
并发和非并发方式拆分大文件

#### 软件架构
- 非并发读取大日志文件目录下，notConcurrent.go为逐行读取，非并发方式拆分大文件
- 并发读取大日志文件目录下，concurrent.go为并发方式拆分大文件
- 读取文件并拆分
  - 拆分后的文件目录为 readNcologCreate3000LineFiles.go程序拆分后的文件存放目录
  - 读取大日志文件，每3000行生成一个新文件目录为 readNcologCreate3000LineFiles.go将ncolog.log每读取3000行拆分至拆分后的文件目录
- 读取拆分后的文件，写入ncolog
  - 读取每个3000行的文件，写入目标文件 writeToNcolog.go将拆分后的每个3000行的文件读取，并写入到指定文件
- ncolog.log 是原始打日志文件，将此文件拆分为3000行每个的小文件，再每秒3000行，循环小文件，写入新文件
- loopNumber.txt记录了拆分出多少个小文件