【后端专场 学习资料一】第五届字节跳动青训营

语言: CN / TW / HK

第五届字节跳动青训营讲师非常用心给大家整理了课前、中、后的学习内容,同学们自我评估,选择性查漏补缺,便于大家更好的跟上讲师们的节奏,祝大家学习愉快,多多提问交流~

Go 语言基础 - 基础语法

概述

本节课程主要分为四个方面:

  1. Go 语言简介
  2. Go 语言开发入门,包括开发环境配置、基础语法、标准库
  3. Go 实战,包括三个实战项目

课前部分主要罗列课程中涉及到的概念。对于不熟悉的概念,同学们可以提前查询预习;课中部分主要罗列每一部分的关键思路,帮助同学们跟上课程的进度;课后部分是一些问题,帮助同学们在课后梳理本课程的重点。

课前 (必须)

安装 Go 语言

  1. 访问 http://go.dev/ ,点击 Download ,下载对应平台安装包,安装即可
  2. 如果无法访问上述网址,可以改为访问 http://studygolang.com/dl 下载安装
  3. 如果访问 github 速度比较慢,建议配置 go mod proxy,参考 http://goproxy.cn/ 里面的描述配置,下载第三方依赖包的速度可以大大加快

配置 Go 语言开发环境

可以选择安装 VS Code , 或者 Goland ,对于 VS Code,需要安装 Go 插件

下载课程示例代码

  1. Windows 平台建议安装 git,其它系统自带,安装教程
  2. 打开 http://github.com/wangkechun/go-by-example 克隆课程示例项目
  3. 进入课程示例项目代码目录,运行 go run example/01-hello/main.go 如果正确输出 hello world,则说明环境配置正确

【可选】 学习 Go 语言基础语法

空余时间阅读 Go语言圣经(中文版)

课后

Go 语言学习路线图

Go 语言进阶 - 工程进阶

概述

本节课程主要分为四个方面:

  1. 并发编程
  2. 依赖管理
  3. 单元测试
  4. 项目实战

详述

  • 罗列课程中涉及到的概念和相关资料,对于不熟悉的知识点,希望同学们可以提前查询预习,届时跟上直播课程进度。
  • 【必须】课程内容相关代码链接:http://github.com/Moonlight-Zhao/go-project-example/tree/V0

并发编程

  • 协程Goroutine
  • 通道Channel
  • 锁Lock http://pkg.go.dev/sync
  • 线程同步WaitGroup http://pkg.go.dev/sync

属于编程进阶内容,考虑到工程项目的可用性和可靠性,工程实践中经常会用到。

依赖管理

  • Gopath
  • Go Vendor
  • Go Module : http://go.dev/blog/using-go-modules

了解Go依赖管理演进的历程,通过课程学习以及课后实践能能够熟练使用go module 管理依赖。

单元测试

  • 单元测试概念和规则:http://go.dev/doc/tutorial/add-a-test;http://pkg.go.dev/testing
  • Mock测试:http://github.com/bouk/monkey
  • 基准测试:http://pkg.go.dev/testing#hdr-Benchmarks

项目实战

需求模型来源

青训营话题页http://forum.juejin.cn/youthcamp/post/7081211487762513928?from=1

需求

  1. 实现一个展示话题(标题,文字描述)和回帖列表的后端http接口;
  2. 本地文件存储数据

组件及技术点

  • web框架:Gin - http://github.com/gin-gonic/gin#quick-start

    • 了解go web框架的简单使用
  • 分层结构设计:http://github.com/bxcodec/go-clean-arch

    • 了解分层设计的概念
  • 文件操作:读文件http://pkg.go.dev/io

  • 数据查询:索引http://www.baike.com/wikiid/5527083834876297305?prd=result_list&view_id=5di0ak8h3ag000

课后实践

  1. 支持对话题发布回帖。
  2. 回帖id生成需要保证不重复、唯一性。
  3. 新加回帖追加到本地文件,同时需要更新索引,注意Map的并发安全问题

Go 框架三件套详解(Web/RPC/ORM)

环境搭建部分

搭建课程所需要的开发环境以及安装需要用到的软件。

学习如何安装 Docker/Postman/Git/Golang

  • 安装 Minikube 或 Docker Desktop 用于使用 Docker 安装教程

    • 可以使用 Minikube 或者使用 Docker Desktop 启动 Docker
  • 安装 Postman

  • 安装 Git 安装教程

  • 安装 Go(Golang >= 1.15) 安装教程

框架体验部分

提前体验一下课程涉及的 HTTP/RPC/ORM 框架

HTTP 框架 Hertz 初体验

通过阅读 http://www.cloudwego.io/zh/docs/hertz/getting-started/ 尝试运行 Hertz 的示例代码

  • Hertz 框架地址: http://github.com/cloudwego/hertz

RPC 框架 Kitex 初体验

通过阅读 http://www.cloudwego.io/zh/docs/kitex/getting-started/ 尝试运行 Kitex 的示例代码

  • kitex 暂时没有针对 Windows 做支持,如果本地开发环境是 Windows 建议使用 WSL2
  • KItex 框架地址: http://github.com/cloudwego/kitex/

ORM 框架 Gorm 初体验

通过阅读 http://gorm.cn/docs/#Install 尝试运行 Gorm 的示例代码

  • Gorm 框架地址: http://github.com/go-gorm/gorm

其它知识

  • 了解一下什么IDL以及IDL的语法

  • 了解一下什么是 opentracing 以及 etcd

Etcd 与 Opentracing 是什么

IDL 是什么

  • 了解 IDL 是什么 http://zh.m.wikipedia.org/zh-hans/%E6%8E%A5%E5%8F%A3%E6%8F%8F%E8%BF%B0%E8%AF%AD%E8%A8%80

  • Thrift IDL 语法 http://thrift.apache.org/docs/idl

  • proto3 IDL 语法 http://developers.google.com/protocol-buffers/docs/proto3

高质量编程与性能调优实战

课程概述

  • 介绍编码规范,帮助大家写出高质量程序
  • 介绍 Go 语言的性能优化建议,分析对比不同方式对性能的影响和背后的原理
  • 讲解常用性能分析工具 pprof 的使用和工作原理,熟悉排查程序性能问题的基本流程
  • 分析性能调优实际案例,介绍实际性能调优时的工作内容

课前

  • 课程内容概要

image.png

实践准备 (必须)

  • 克隆 http://github.com/wolfogre/go-pprof-practice 到本地,保证能够编译运行
  • 尝试使用 test 命令,编写并运行简单测试 http://go.dev/doc/tutorial/add-a-test
  • 尝试使用 -bench 参数,对编写的函数进行性能测试,http://pkg.go.dev/testing#hdr-Benchmarks

推荐阅读

  • Go 代码 Review 建议http://github.com/golang/go/wiki/CodeReviewComments
  • Uber 的 Go 编码规范,http://github.com/uber-go/guide

课中

高质量编程

简介

  • 编写的代码能够达到正确可靠、简洁清晰、无性能隐患的目标就能称之为高质量代码
  • 实际应用场景千变万化,各种语言的特性和语法各不相同,但是高质量编程遵循的原则是相通的
  • 高质量的编程需要注意以下原则:简单性、可读性、生产力

常见编码规范

代码格式
  • 使用 gofmt 自动格式化代码,保证所有的 Go 代码与官方推荐格式保持一致

总结

  • 提升可读性,风格一致的代码更容易维护、需要更少的学习成本、团队合作成本,同时可以降低 Review 成本
注释
  • 注释应该解释代码作用

    • 适合注释公共符号,http://github.com/golang/go/blob/master/src/os/file.go#L313
  • 注释应该解释代码如何做的

    • 适合注释方法,http://github.com/golang/go/blob/master/src/net/http/client.go#L678
  • 注释应该解释代码实现的原因

    • 解释代码的外部因素,http://github.com/golang/go/blob/master/src/net/http/client.go#L521
  • 注释应该解释代码什么情况会出错
  • 公共符号始终要注释

    • 包中声明的每个公共的符号:变量、常量、函数以及结构都需要添加注释
    • http://github.com/golang/go/blob/master/src/io/io.go#L638
    • http://github.com/golang/go/blob/master/src/io/io.go#L455

总结

  • 代码是最好的注释
  • 注释应该提供代码未表达出的上下文信息
命名规范
  • variable

    • 简洁胜于冗长
    • 缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写
    • 变量距离其被使用的地方越远,则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息,使得在不同地方可以轻易辨认出其含义
  • function

    • 函数名不携带包名的上下文信息,因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时,可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时(T 并不是 Foo),可以在函数名中加入类型信息
  • package

    • 只由小写字母组成。不包含大写字母和下划线等字符
    • 简短并包含一定的上下文信息。例如 schema、task 等
    • 不要与标准库同名。例如不要使用 sync 或者 strings

总结

  • 关于命名的大多数规范核心在于考虑上下文
  • 人们在阅读理解代码的时候也可以看成是计算机运行程序,好的命名能让人把关注点留在主流程上,清晰地理解程序的功能,避免频繁切换到分支细节,增加理解成本
控制流程
  • 避免嵌套,保持正常流程清晰
  • 如果两个分支中都包含 return 语句,则可以去除冗余的 else
  • 尽量保持正常代码路径为最小缩进,优先处理错误情况/特殊情况,并尽早返回或继续循环来减少嵌套,增加可读性

    • Go 公共库的代码
    • http://github.com/golang/go/blob/master/src/bufio/bufio.go#L277

总结

  • 线性原理,处理逻辑尽量走直线,避免复杂的嵌套分支
  • 提高代码的可读性
错误和异常处理
  • 简单错误处理

    • 优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf
    • http://github.com/golang/go/blob/master/src/net/http/client.go#L802
  • 错误的 Wrap 和 Unwrap

    • 在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中
    • http://github.com/golang/go/blob/master/src/cmd/go/internal/work/exec.go#L983
    • Go1.13 在 errors 中新增了三个新 API 和一个新的 format 关键字,分别是 errors.Is、errors.As 、errors.Unwrap 以及 fmt.Errorf 的 %w。如果项目运行在小于 Go1.13 的版本中,导入 golang.org/x/xerrors 来使用。以下语法均已 Go1.13 作为标准。

  • 错误判定

    • 使用 errors.Is 可以判定错误链上的所有错误是否含有特定的错误。
    • http://github.com/golang/go/blob/master/src/cmd/go/internal/modfetch/sumdb.go#L208
    • 在错误链上获取特定种类的错误,使用 errors.As
    • http://github.com/golang/go/blob/master/src/errors/wrap_test.go#L255
  • panic

    • 不建议在业务代码中使用 panic
    • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
    • 当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic
    • http://github.com/Shopify/sarama/blob/main/examples/consumergroup/main.go#L94
  • recover

    • recover 只能在被 defer 的函数中使用,嵌套无法生效,只在当前 goroutine 生效
    • http://github.com/golang/go/blob/master/src/fmt/scan.go#L247
    • 如果需要更多的上下文信息,可以 recover 后在 log 中记录当前的调用栈。
    • http://github.com/golang/website/blob/master/internal/gitfs/fs.go#L228

总结

  • panic 用于真正异常的情况
  • error 尽可能提供简明的上下文信息,方便定位问题
  • recover 生效范围,在当前 goroutine 的被 defer 的函数中生效

性能优化建议

  • 在满足正确性、可靠性、健壮性、可读性等质量因素的前提下,设法提高程序的效率
  • 性能对比测试代码,可参考 http://github.com/RaymondCode/go-practice
  • slice 预分配内存
    • 在尽可能的情况下,在使用 make() 初始化切片时提供容量信息,特别是在追加切片时

    • 原理

      • http://ueokande.github.io/go-slice-tricks/

      • 切片本质是一个数组片段的描述,包括了数组的指针,这个片段的长度和容量(不改变内存分配情况下的最大长度)

      • 切片操作并不复制切片指向的元素,创建一个新的切片会复用原来切片的底层数组,因此切片操作是非常高效的

      • 切片有三个属性,指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景:

        • 当 append 之后的长度小于等于 cap,将会直接利用原底层数组剩余的空间
        • 当 append 后的长度大于 cap 时,则会分配一块更大的区域来容纳新的底层数组
      • 因此,为了避免内存发生拷贝,如果能够知道最终的切片的大小,预先设置 cap 的值能够获得最好的性能

    • 另一个陷阱:大内存得不到释放

      • 在已有切片的基础上进行切片,不会创建新的底层数组。因为原来的底层数组没有发生变化,内存会一直占用,直到没有变量引用该数组
      • 因此很可能出现这么一种情况,原切片由大量的元素构成,但是我们在原切片的基础上切片,虽然只使用了很小一段,但底层数组在内存中仍然占据了大量空间,得不到释放
      • 推荐的做法,使用 copy 替代 re-slice
  • map 预分配内存
    • 原理

      • 不断向 map 中添加元素的操作会触发 map 的扩容
      • 根据实际需求提前预估好需要的空间
      • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 使用 strings.Builder
    • 常见的字符串拼接方式

      • +
      • strings.Builder
      • bytes.Buffer
    • strings.Builder 最快,bytes.Buffer 较快,+ 最慢

    • 原理

      • 字符串在 Go 语言中是不可变类型,占用内存大小是固定的,当使用 + 拼接 2 个字符串时,生成一个新的字符串,那么就需要开辟一段新的空间,新空间的大小是原来两个字符串的大小之和
      • strings.Builder,bytes.Buffer 的内存是以倍数申请的
      • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组,bytes.Buffer 转化为字符串时重新申请了一块空间,存放生成的字符串变量,而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回
  • 使用空结构体节省内存
    • 空结构体不占据内存空间,可作为占位符使用

    • 比如实现简单的 Set

      • Go 语言标准库没有提供 Set 的实现,通常使用 map 来代替。对于集合场景,只需要用到 map 的键而不需要值
  • 使用 atomic 包
    • 原理

      • 锁的实现是通过操作系统来实现,属于系统调用,atomic 操作是通过硬件实现的,效率比锁高很多
      • sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
      • 对于非数值系列,可以使用 atomic.Value,atomic.Value 能承载一个 interface{}
总结
  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 针对普通应用代码,不要一味地追求程序的性能,应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能

性能调优实战

性能调优简介

  • 性能调优原则

    • 要依靠数据不是猜测
    • 要定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化

性能分析工具

性能调优的核心是性能瓶颈的分析,对于 Go 应用程序,最方便的就是 pprof 工具

  • pprof 功能说明
    • pprof 是用于可视化和分析性能分析数据的工具
    • 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标
  • pprof 实践

    • http://github.com/wolfogre/go-pprof-practice

    • 前置准备,熟悉简单指标,能够编译运行 pprof 测试项目

    • 实际分析排查过程

      • 排查 CPU 问题

        • 命令行分析

          • go tool pprof "http://localhost:6060/debug/pprof/profile?seconds=10"
        • top 命令

        • list 命令

        • 熟悉 web 页面分析

        • 调用关系图,火焰图

        • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/cpu"

      • 排查堆内存问题

        • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap"
      • 排查协程问题

        • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/goroutine"
      • 排查锁问题

        • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/mutex"
      • 排查阻塞问题

        • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/block"
  • pprof 的采样过程和原理
    • CPU 采样
    • 堆内存采样
    • 协程和系统线程采样
    • 阻塞操作和锁竞争采样

性能调优案例

  • 基本概念
    • 服务:能单独部署,承载一定功能的程序
    • 依赖:Service A 的功能实现依赖 Service B 的响应结果,称为 Service A 依赖 Service B
    • 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关系
    • 基础库:公共的工具包、中间件
  • 业务优化
    • 流程

      • 建立服务性能评估手段
      • 分析性能数据,定位性能瓶颈
      • 重点优化项改造
      • 优化效果验证
    • 建立压测评估链路

      • 服务性能评估
      • 构造请求流量
      • 压测范围
      • 性能数据采集
    • 分析性能火焰图,定位性能瓶颈

      • pprof 火焰图
    • 重点优化项分析

      • 规范组件库使用
      • 高并发场景优化
      • 增加代码检查规则避免增量劣化出现
      • 优化正确性验证
    • 上线验证评估

      • 逐步放量,避免出现问题
    • 进一步优化,服务整体链路分析

      • 规范上游服务调用接口,明确场景需求
      • 分析业务流程,通过业务流程优化提升服务性能
  • 基础库优化
    • 适应范围更广,覆盖更多服务

    • AB 实验 SDK 的优化

      • 分析基础库核心逻辑和性能瓶颈
      • 完善改造方案,按需获取,序列化协议优化
      • 内部压测验证
      • 推广业务服务落地验证
  • Go 语言优化
    • 适应范围最广,Go 服务都有收益

    • 优化方式

      • 优化内存分配策略
      • 优化代码编译流程,生成更高效的程序
      • 内部压测验证
      • 推广业务服务落地验证

课后

  • 了解下其他语言的编码规范,是否和 Go 语言编码规范有相通之处,注重理解哪些共同点
  • 编码规范或者性能优化建议大部分是通用的,有没有方式能够自动化对代码进行检测?
  • 从 http://github.com/golang/go/tree/master/src 中选择感兴趣的包,看看官方代码是如何编写的
  • 使用 Go 进行并发编程时有哪些性能陷阱或者优化手段?
  • 在真实的线上环境中,每个场景或者服务遇到的性能问题也是各种各样,搜索下知名公司的官方公众号或者博客,里面有哪些性能优化的案例?比如 http://eng.uber.com/category/oss-projects/oss-go/
  • Go 语言本身在持续更新迭代,每个版本在性能上有哪些重要的优化点?

参考资料

  • 熟悉 Go 语言基础后的必读内容,http://go.dev/doc/effective_go
  • Dave Cheney 关于 Go 语言编程实践的演讲记录,http://dave.cheney.net/practical-go/presentations/qcon-china.html
  • 《编程的原则:改善代码质量的101个方法》,总结了很多编程原则,按照是什么 -> 为什么 -> 怎么做进行了说明,http://mp.weixin.qq.com/s/vXSZOl2Gt7wcgq1OL9Cwow
  • 如何编写整洁的 Go 代码,http://github.com/Pungyeon/clean-go-article
  • Go 官方博客,有关于 Go 的最新进展,http://go.dev/blog/
  • Dave Cheney 关于 Go 语言编程高性能编程的介绍,http://dave.cheney.net/high-performance-go-workshop/dotgo-paris.html
  • Go 语言高性能编程,博主总结了 Go 编程的一些性能建议, http://geektutu.com/post/high-performance-go.html
  • Google 其他编程语言编码规范,可以对照参考,http://zh-google-styleguide.readthedocs.io/en/latest/