在現(xiàn)代技術(shù)世界中，安全高效的文件傳輸對于許多組織來說至關(guān)重要。 AWS Transfer Family 是 Amazon Web Services 提供的托管安全文件傳輸解決方案，允許使用 SFTP、FTPS、FTP 和 AS2 等標準協(xié)議進行文件傳輸。當(dāng)與 Golang 這種以其高效和易用性而聞名的編程語言結(jié)合使用時，可以創(chuàng)建一個強大的組合來有效地管理和自動化文件傳輸。

在本文中，我們將探討如何將 AWS Transfer Family 與 Golang 集成以優(yōu)化您的文件傳輸流程。從配置 AWS Transfer Family 到使用 Golang 實施 SFTP 客戶端，我將逐步指導(dǎo)您，以便您可以充分利用這些技術(shù)。

什么是 AWS Transfer 系列？

AWS Transfer Family 是一項安全、完全托管的服務(wù)，允許使用 SFTP、AS2、FTPS 和 FTP 等協(xié)議將文件傳入和傳出 AWS 存儲服務(wù)（例如 Amazon S3 和 Amazon EFS）。

主要特點

• 支持的協(xié)議：SFTP、FTPS、FTP、AS2
• AWS 存儲集成：Amazon S3、Amazon EFS
• 用例：數(shù)據(jù)湖、內(nèi)部傳輸、數(shù)據(jù)分發(fā)、合規(guī)工作流程、供應(yīng)鏈物流、B2B 交易。

好處

• 實時可擴展性。
• 無需基礎(chǔ)設(shè)施管理。
• 利用原生 AWS 服務(wù)進行數(shù)據(jù)處理和分析。
• 完全托管的無服務(wù)器工作流程服務(wù)。
• 即用即付定價。

先決條件

• AWS 賬戶：活躍的 Amazon Web Services 賬戶。如果您還沒有，您可以在 AWS 網(wǎng)站上注冊。
• Golang：Go (Golang) 編程語言知識。
• AWS 中的管理權(quán)限。
• AWS Transfer Family：配置和管理 AWS Transfer Family 的管理讀寫權(quán)限。這包括創(chuàng)建和管理傳輸服務(wù)器的能力。請注意，此服務(wù)需要支付相關(guān)費用。
• Amazon S3：讀取和寫入 Amazon S3 存儲桶的管理權(quán)限。
• AWS IAM：管理傳輸集成和安全所需的 IAM 角色和策略的權(quán)限。

建筑設(shè)計

將 AWS Transfer Family 與 Golang 集成的擬議架構(gòu)設(shè)計由以下組件組成，如下圖所示：

本文提出的 API 作為基本示例來演示其基本功能。在現(xiàn)實場景中，API 可能更復(fù)雜并包含其他功能。其主要功能是將文件上傳到 AWS Transfer Family SFTP 服務(wù)器并將其存儲在 S3 存儲桶中，無論是出于備份目的還是與其他系統(tǒng)集成。用例各不相同，取決??于每個組織的需求。以下是一些其他用例示例：AWS Transfer Family Customers。

此外，本文提出的 API 可以使用 AWS Elastic Beanstalk 或 AWS Fargate 等服務(wù)部署到 AWS 云，以實現(xiàn)更高的可擴展性和可用性，具體取決于每個組織的具體要求。

讓我們開始吧！

執(zhí)行

生成公鑰和私鑰

生成用于連接到 AWS Transfer Family SFTP 服務(wù)器的公鑰和私鑰對。這可以使用以下命令在我們的計算機上本地完成。

$ ssh-keygen -t rsa -b 4096 -f /aws_example_ssh_key

• aws_example_ssh_key：密鑰名稱
• PATH：保存密鑰的目錄
• rsa：加密算法
• 4096：密鑰大小
• f：輸出文件名

ssh-keygen -t rsa -b 4096 -f <PATH>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <PATH>/aws_example_ssh_key
Your public key has been saved in <PATH>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+

• 輸入密碼（無密碼則為空）：密鑰的密碼。
• 再次輸入相同的密碼：確認密鑰的密碼。
• 您的標識已保存在 /aws_example_ssh_key 中：私鑰將保存在指定路徑下的 aws_example_ssh_key 文件中。
• 您的公鑰已保存在 /aws_example_ssh_key.pub 中：公鑰將保存在指定路徑下的 aws_example_ssh_key.pub 文件中。

創(chuàng)建轉(zhuǎn)移家庭服務(wù)

登錄AWS管理控制臺并選擇AWS Transfer Family服務(wù)并創(chuàng)建服務(wù)器。

選擇SFTP（SSH文件傳輸協(xié)議）進行安全文件傳輸，然后單擊“下一步”。

選擇身份提供商并選擇“服務(wù)托管”。

在端點配置中，選擇“公開訪問”，然后單擊“下一步”。

我們選擇“Amazon S3”作為存儲選項，然后單擊“下一步”。

在“配置其他詳細信息”部分中，將設(shè)置保留為默認值。

審核，單擊“下一步”并創(chuàng)建。
創(chuàng)建完成后，我們將會得到類似這樣的東西。我們可以看到我們還沒有任何用戶，它將很快通過公共端點啟動并使用 S3 作為存儲。

創(chuàng)建角色

為 AWS 傳輸系列到 s3 服務(wù)創(chuàng)建一個新角色。為此，請轉(zhuǎn)到 IAM 服務(wù)并創(chuàng)建 AWS 服務(wù)類型的新角色，然后在用例中選擇“傳輸”和“下一步”。

權(quán)限策略，AmazonS3FullAccess 擁有對 S3 存儲桶的完全訪問權(quán)限。但這個策略是非常允許的，不建議在生產(chǎn)中使用。接下來。

我們繼續(xù)分配角色的名稱“role-example-transfer-to-s3”，我們檢查并單擊“創(chuàng)建角色”。

創(chuàng)建S3存儲桶

我們繼續(xù)創(chuàng)建 s3 存儲桶，為此，我們轉(zhuǎn)到 s3 服務(wù)并創(chuàng)建一個新存儲桶。

我們設(shè)置存儲桶的名稱，保留默認配置并創(chuàng)建存儲桶。

存儲桶名稱：“bucket-example-transfer”。

在創(chuàng)建結(jié)束時，我們將得到如下內(nèi)容：

使用 S3 為 Transfer Family 配置 SFTP 用戶

轉(zhuǎn)到 AWS Transfer Family 服務(wù)并選擇您之前創(chuàng)建的服務(wù)器。

• 選擇“用戶”選項卡，然后單擊“添加用戶”。
• 輸入用戶名。
• 分配您之前創(chuàng)建的 IAM 角色。
• 將“政策”設(shè)置為無
• 在“主目錄”字段中，輸入bucket-example-transfer，這是您之前創(chuàng)建的 S3 存儲桶的名稱。
• 點擊“添加用戶”。

要閱讀本文，您需要提供在啟動 aws_example_ssh_key.pub 時生成的公鑰。

要查看公鑰的內(nèi)容，請使用以下命令：

$ cat aws_example_ssh_key.pub

公鑰如下所示：

ssh-keygen -t rsa -b 4096 -f <PATH>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <PATH>/aws_example_ssh_key
Your public key has been saved in <PATH>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+

這是我們需要包含在“SSH 公鑰”字段中的密鑰。確保將整個密鑰準確復(fù)制并粘貼到此字段中，以實現(xiàn)對服務(wù)器的安全訪問。

創(chuàng)建用戶后，您應(yīng)該會看到類似于下圖的確認屏幕。這表明用戶已成功設(shè)置并可以使用SFTP服務(wù)。

項目結(jié)構(gòu)

下面，我們提供了 Golang 項目結(jié)構(gòu)的詳細概述，并包含 GitHub 存儲庫的鏈接以供參考。此概述將幫助您了解項目的組織以及各個組件的結(jié)構(gòu)和互連方式。

ssh-rsa AAAAB3NzaC1yc2EBBAADAQABAAACAQC/qNMJaCz8+I3G71bTFf8Cpe+AAAA0BBBBBBBA6C+/a8fyl9Dw4wjj0huc4ItlX2auKG3skxTYP1ZgO5/7M7xmp2Hf+AAAA0BBBBBBBA6CynWwfwkS5XEIfNtoNWCSeB6ra4anljFdLJH4ZReOM18xxBZCyz2gGA7ePprM0nfpgoQKjp8eDoz6HFcvH4Qynea06W72D+tUWjCRH6bgPBsw/cCfj+VrcqsQXif/X8nViS679+V+AAAA0BBBBBBBA6C+t/5dD3uFPyc8yJn2fNEHB4kfIB9JR5fPIo4dVqPebloPg9vKT2M+AAAA0BBBBBBBA6C/AAAA0BBBBBBBA6C+XLTJSAljgq9JQ4l3vnT4RSsKuK+DX2um5DsN/Zwk9Qwf8JRJey/AAAA0BBBBBBBA6C+/AAAA0BBBBBBBA6CNkVaeDOYSIeGkMBUmmMaeVNeaR967SBLoHNzBfodKKaIpsmW2yHvIitg/YKu2YXKe/DnYU3G8om13uL8qIOB85CugVQ== rodrigoquispe@AAAA0BBBBBBBA6C

我們將使用的依賴項是 Gin 和 SFTP。

├── cmd
│   └── main.go
├── go.mod
├── go.sum
└── internal
    ├── app
    │   └── service.go
    ├── domain
    │   └── models.go
    ├── handler
    │   └── sftp_handler.go
    └── infra
        ├── config.go
        └── sftp_client.go

在私鑰和 Transfer Family 用戶憑據(jù)所在的 config.go 文件中設(shè)置以下憑據(jù)，以連接到 SFTP 服務(wù)器。

$ go get -u github.com/gin-gonic/gin
$ go get -u github.com/pkg/sftp

• Host：我們之前獲得的連接端點。
• 端口：22
• 用戶：我們之前創(chuàng)建的用戶名。
• PrivateKeyPath：我們之前創(chuàng)建的私鑰的路徑。

此外，請考慮設(shè)置上傳到 SFTP 服務(wù)器的文件的保存路徑。就我而言，它是 /bucket-example-transfer/rodrigo。

// config.go

func LoadConfig() *Config {
    return &Config{
        Host:           "<HOST>.server.transfer.us-east-1.amazonaws.com",
    Port:           "<PORT>",
    User:           "<USER>",
    PrivateKeyPath: "<PATH>/aws_example_ssh_key",
    }
}

使用給定配置創(chuàng)建新的 SFTP 客戶端的函數(shù)：

// service.go

func (u *Service) Upload(file *domain.File) error {
    return u.sftpClient.UploadFile(file, "/bucket-example-transfer/rodrigo/")
}

上傳文件到SFTP服務(wù)器的方法。

ssh-keygen -t rsa -b 4096 -f <PATH>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <PATH>/aws_example_ssh_key
Your public key has been saved in <PATH>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+

使用以下命令運行項目：

$ go run cmd/main.go

現(xiàn)在，我們使用 Postman 將文件上傳到 SFTP 服務(wù)器。然后，我們導(dǎo)航到 S3 以驗證文件是否已正確上傳。

文件已成功上傳，沒有任何問題。

感謝您的閱讀。

以上是AWS Transfer 系列與 Golang 用于文件傳輸?shù)脑敿殐?nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！