想法是：

給定一個大型虛擬 CSV（100 萬行）包含客戶數(shù)據(jù)樣本，并按照以下目標(biāo)進行處理：

• 從 CSV 中提取數(shù)據(jù)
• 計算有多少數(shù)據(jù)/行
• 對每個城市的客戶數(shù)量進行分組
• 按客戶數(shù)量從高到低對城市進行排序
• 計算處理時間

客戶的 CSV 示例可以在此處下載 https://github.com/datablist/sample-csv-files

加載和提取數(shù)據(jù)

顯然 Go 有用于 CSV 處理的標(biāo)準庫。我們不再需要第三方依賴來解決我們的問題，這很好。所以解決方案非常簡單：

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

1. 從給定路徑打開文件
2. 將打開的文件加載到 csv 閱讀器
3. 將所有提取的 csv 記錄/行值保存到記錄切片中以供以后處理

FieldsPerRecord 設(shè)置為 -1，因為我想跳過對行的字段檢查，因為每種格式的字段或列數(shù)可能不同

在此狀態(tài)下，我們已經(jīng)能夠從 csv 加載和提取所有數(shù)據(jù)，并準備好進入下一個處理狀態(tài)。我們還可以使用函數(shù) len(records) 知道 CSV 中有多少行。

將總客戶分組到每個城市

現(xiàn)在我們可以迭代記錄并創(chuàng)建包含城市名稱和總客戶的地圖，如下所示：

["Jakarta": 10, "Bandung": 200, ...]

csv 行中的城市數(shù)據(jù)位于第 7 個索引，代碼如下所示

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

如果城市地圖不存在，則創(chuàng)建新地圖并將客戶總數(shù)設(shè)置為1。否則只需增加給定城市的總數(shù)。

現(xiàn)在我們的地圖 m 包含城市的集合以及其中有多少客戶。至此我們已經(jīng)解決了每個城市有多少客戶的分組問題。

對總客戶數(shù)進行排序

我試圖找到標(biāo)準庫中是否有任何函數(shù)可以對地圖進行排序，但不幸的是我找不到它。排序僅適用于切片，因為我們可以根據(jù)索引位置重新排列數(shù)據(jù)順序。所以，是的，讓我們從當(dāng)前的地圖中切出一個切片。

// convert to slice first for sorting purposes
dc := []CityDistribution{}
for k, v := range m {
  dc = append(dc, CityDistribution{City: k, CustomerCount: v})
}

現(xiàn)在我們?nèi)绾伟?CustomerCount 從最高到最低排序？最常見的算法是使用氣泡空頭。雖然它不是最快的，但它可以完成這項工作。

冒泡排序是最簡單的排序算法，如果相鄰元素的順序錯誤，它的工作原理是重復(fù)交換相鄰元素。該算法不適合大型數(shù)據(jù)集，因為其平均和最壞情況時間復(fù)雜度相當(dāng)高。

參考：https://www.geeksforgeeks.org/bubble-sort-algorithm/

使用我們的切片，它將循環(huán)數(shù)據(jù)并檢查索引的下一個值，如果當(dāng)前數(shù)據(jù)小于下一個索引，則交換它。詳細算法可以在參考網(wǎng)站查看。

現(xiàn)在我們的排序過程可能是這樣的

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

循環(huán)結(jié)束時，最后的切片將為我們提供排序后的數(shù)據(jù)。

計算處理時間

計算處理時間非常簡單，我們獲取執(zhí)行程序主進程之前和之后的時間戳并計算差值。在 Go 中，方法應(yīng)該足夠簡單：

["Jakarta": 10, "Bandung": 200, ...]

結(jié)果

使用命令運行程序

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

打印出來的是行數(shù)、排序數(shù)據(jù)和處理時間。像下面這樣：

正如 Go 性能所預(yù)期的那樣，它在 1 秒內(nèi)處理了 100 萬行 csv！

所有已完成的代碼已發(fā)布在我的 Github 存儲庫上：

https://github.com/didikz/csv-processing/tree/main/golang

經(jīng)驗教訓(xùn)

• Go 中的 CSV 處理已經(jīng)在標(biāo)準庫中可用，無需使用第 3 方庫
• 處理數(shù)據(jù)非常簡單。面臨的挑戰(zhàn)是找出如何對數(shù)據(jù)進行排序，因為需要手動進行

想到什么？

我認為我當(dāng)前的解決方案可能可以進一步優(yōu)化，因為我循環(huán)提取了 csv 的所有記錄來映射，如果我們檢查 ReadAll() 源，它還有循環(huán)來根據(jù)給定的文件讀取器創(chuàng)建切片。這樣，1 百萬行可以為 1 百萬數(shù)據(jù)生成 2 個循環(huán)，這不太好。

我想如果我可以直接從文件讀取器讀取數(shù)據(jù)，它只需要 1 個循環(huán)，因為我可以直接從中創(chuàng)建地圖。除了記錄切片將在其他地方使用，但在本例中不使用。

我還沒有時間弄清楚，但我也認為如果我手動完成會有一些缺點：

• 可能需要處理更多解析過程中的錯誤
• 我不確定它會減少多少處理時間來考慮解決方法是否值得

編碼快樂！

以上是使用 Go 處理大型 CSV的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！