添加: 08_RK3399_PCIe芯片手册解读

IMX6ULL/doc_pic/10_PCI_PCIe/08_RK3399_PCIe芯片手册解读.md

@@ -13,7 +13,7 @@
 
 开发板资料：
 
-* 芯片手册：Rockchip RK3399TRM V1.3 Part2.pdf
+* 芯片手册：Rockchip RK3399TRM V1.3 Part2.pdf 《Chapter 17 PCIe Controller》
 
   ```shell
   doc_and_source_for_drivers\IMX6ULL\doc_pic\
@@ -48,13 +48,7 @@ AXI相关：
 
 
 
-实际上，我们可以更深入一点，下图是STM32MP157的总线结构图(其他芯片没有画出总线结构图)：
-
-![image-20211230133623252](pic/10_PCI_PCIe/57_stm32mp157_bus.png)
-
-
-
-本节视频我们只关心AXI总线，高速设备之间通过AXI总线连接。Master和Slave是多对多的关系，它们之间读、写可以同时进行的，内部结构图如下：
+实际芯片中，CPU与外设之间的连接更加复杂，高速设备之间通过AXI总线连接。AXI总线总传输数据的双方分为Master和Slave，Master发起传输，Slave回应传输。Master和Slave是多对多的关系，它们之间读、写可以同时进行的，内部结构图如下：
 
 ![image-20211230133754834](pic/10_PCI_PCIe/52_axi.png)
 
@@ -110,26 +104,211 @@ RK3399的PCIe控制器就是挂在AXI总线上，在芯片手册中可以看到
 
 
 
-### 2. 地址空间
+### 2. 地址空间和寄存器介绍
+
+#### 2.1 想达到的目的
+
+使用PCIe时，我们编程时想达到这个目的：
+
+* CPU读写某个地址，就可以读写某个PCIe设备的配置空间：
+  ![image-20211231103527138](pic/10_PCI_PCIe/56_addr_space_for_config_rw.png)
+
+* CPU读写某个地址，就可以读写某个PCIe设备的内存、寄存器：
+  ![image-20211231103805041](pic/10_PCI_PCIe/58_addr_space_for_mem_rw.png)
+
+
+
+简单地说，就是把CPU发出的addr，转换为右边的TLP头部：PCI地址、头部的其他信息。
+
+这涉及两部分：
+
+* 怎么把CPU地址转换为PCI地址
+* 怎么提供TLP头部信息中的其他部分
+
+
+
+#### 2.2 地址空间
 
 RK3399访问PCIe控制器时，CPU地址空间可以分为：
 
-* Client Register Set：地址范围 0xFD000000~0xFD7FFFFF
-* Core Register Set  ：地址范围 0xFD800000~0xFDFFFFFF
-* Region 0：0xF8000000~0xF9FFFFFF , 32MB
-* Region 1：0xFA000000~0xFA0FFFFF，1MB
-* Region 2：0xFA100000~0xFA1FFFFF，1MB
+* Client Register Set：地址范围 0xFD000000~0xFD7FFFFF，比如选择PCIe协议的版本(Gen1/Gen2)、电源控制等
+* Core Register Set  ：地址范围 0xFD800000~0xFDFFFFFF，所谓核心寄存器就是用来进行设置地址映射的寄存器等
+* Region 0：0xF8000000~0xF9FFFFFF , 32MB，用于访问外接的PCIe设备的配置空间
+* Region 1：0xFA000000~0xFA0FFFFF，1MB，用于地址转换
+* Region 2：0xFA100000~0xFA1FFFFF，1MB，用于地址转换
 * ……
-* Region 32：0xFBF00000~0xFBFFFFFF，1MB
+* Region 32：0xFBF00000~0xFBFFFFFF，1MB，用于地址转换
 
 其中Region 0大小为32MB，Region1~31大小分别为1MB。
 
 
 
-### 3. 访问流程
+CPU访问Region 0的地址时，将会导致PCIe控制器发出读写配置空间的TLP。
+
+CPU访问Region 1~32的地址时，将会导致PCIe控制器发出读写内存、IO空间的TLP。
+
+
+
+#### 2.3 寄存器介绍
+
+ CPU访问一个地址，导致PCIe控制器发出TLP。TLP里含有PCIe地址、其他信息。
+
+这些寄存器必定涉及这2部分：
+
+* 地址转换：把CPU地址转换为PCIe地址
+* 提供TLP的其他信息
+
+Region0、Region1~32，每个Region都有类似的寄存器。
+
+一个Region，可以用于读写配置空间，可以用于读写内存空间、可以用于读写IO空间，还可以用于读写消息。
+
+这由Region对应的寄存器决定。
+
+每个Region都有一样寄存器，以Region 0为例，有6个寄存器：
+
+![image-20211231114439910](pic/10_PCI_PCIe/61_region_regs.png)
+
+CPU访问某个Region时，它是想干嘛？
+
+* 读写配置空间、发出对应TLP？
+* 读写内存空间、发出对应TLP？
+* 读写IO空间、发出对应TLP？
+* 读写消息、发出对应TLP？
+
+到底是发出哪种TLP，由Region对应的ob_desc0寄存器决定：
+
+| ob_desc0[3:0] | 作用                                |
+| ------------- | ----------------------------------- |
+| 1010          | 发出的TLP用于访问Type 0的配置空间   |
+| 1011          | 发出的TLP用于访问Type 1的配置空间   |
+| 0010          | 发出的TLP用于读写内存空间           |
+| 0110          | 发出的TLP用于读写IO空间             |
+| 1100          | 发出的TLP是"Normal Message"         |
+| 1101          | 发出的TLP是"Vendor-Defined Message" |
+
+
+
+CPU访问某个Region时，最终都是要发出TLP，TLP的内容怎么确定？
+
+* 地址信息：ob_addr0/1把CPU地址转换为PCIe地址，提供TLP里面的地址信息
+
+* 其他信息：ob_desc0/1/2/3提供TLP的其他信息
+
+  
+
+##### 2.3.1 用于配置空间
+
+Region0一般用于读写配置空间，它对应的寄存器如下：
+
+![image-20211231110755624](pic/10_PCI_PCIe/59_outband_tlp_reg_for_config.png)
+
+
+
+##### 2.3.2 用于内存和IO
+
+![image-20211231110828136](pic/10_PCI_PCIe/60_outband_tlp_reg_for_mem_io.png)
+
+
+
+### 3. 访问示例
+
+#### 3.1 配置空间读写示例
+
+要读写设备的配置空间，首先要定位：Bus/Dev/Function/Reg：
+
+![image-20211231160616105](pic/10_PCI_PCIe/64_config_devs.png)
+
+
+
+怎么发出这些"Bus/Dev/Function/Register"信息？如下图所示：
+
+![image-20211231115744245](pic/10_PCI_PCIe/62_config_rw_example.png)
+
+当Region 0的寄存器ob_desc0[3:0]被配置为读写配置空间时， CPU发出Region 0的地址，地址里面隐含有这些信息：
+
+* Bus：cpu_addr[27:20]
+* Dev：cpu_addr[19:15]
+* Fun：cpu_addr[14:12]
+* Reg：cpu_addr[11:0]
+
+
+
+使用过程步骤如下。
+
+##### 3.1.1 配置Region 0用于读写配置空间
+
+![image-20211231165052119](pic/10_PCI_PCIe/65_ob_desc0_for_config.png)
+
+
+
+##### 3.1.2 配置Region 0地址转换
+
+比如我们可以设置bit[5:0]为27，意味着cpu_addr[27:0]这28条地址线都会传入TLP。
+
+![image-20211231170423183](pic/10_PCI_PCIe/66_ob_addr0_for_config.png)
+
+
+
+##### 3.1.3 CPU读写Region 0的地址
+
+Region 0的地址范围是：0xF8000000~0xF9FFFFFF。
+
+CPU想访问这个设备：Bus=bus,Dev=dev,Fun=fun,Reg=reg，那么CPU读写这个地址即可：
+
+```shell
+0xF8000000 + (bus<<20) | (dev<<15) | (fun<<12) | (reg)
+```
+
+
+
+#### 3.2 MEM/IO读写示例
+
+![image-20211231115915400](pic/10_PCI_PCIe/63_me_io_rw_example.png)
+
+
+
+##### 3.2.1 配置Region 1用于内存读写
+
+![image-20211231171244046](pic/10_PCI_PCIe/67_ob_desc0_for_mem_rw.png)
+
+##### 3.2.2 配置Region 1地址转换
+
+![image-20211231171609085](pic/10_PCI_PCIe/68_ob_addr0_for_mem_rw.png)
+
+addr0、addr1寄存器里保存的是PCIe地址，也就是CPU发出这个Region的CPU地址后，将会转换为某个PCI地址。
+
+怎么转换？由addr0、addr1决定。
+
+Region 1的CPU地址范围是：0xFA000000~0xFA0FFFFF，是1M空间。
+
+我们一般会让PCI地址等于CPU地址，所以这样设置：
+
+* addr0：
+  * [5:0]等于19，表示CPU_ADDR[19:0]共20位地址传入TLP
+  * [31:8]等于0xFA0000
+* addr1：设置为0
+
+
+
+如上设置后，CPU读写地址时0xFA0?????，就会转换为PCI地址：0xFA0?????，转换过程如下：
+
+```shell
+pci_addr = cpu_addr[19:0] | (addr0[31:20] << 20) | (addr1<<32)
+         = 0x????? + (0xFA0 << 20) | (0 << 32)
+         = 0xFA0?????
+```
+
+
+
+
+
+
+
+
+
+
+
 
-#### 3.1 配置空间读写流程
 
 
 
-#### 3.2 MEM/IO读写流程

IMX6ULL/doc_pic/10_PCI_PCIe/09_RK3399_PCIe_Host驱动分析_设备枚举与地址分配.md

@@ -47,20 +47,77 @@
                     compatible = "rockchip,rk3399-pcie";
                     #address-cells = <3>;
                     #size-cells = <2>;
+                    aspm-no-l0s;
+                    clocks = <&cru ACLK_PCIE>, <&cru ACLK_PERF_PCIE>,
+                             <&cru PCLK_PCIE>, <&cru SCLK_PCIE_PM>;
+                    clock-names = "aclk", "aclk-perf",
+                                  "hclk", "pm";
                     bus-range = <0x0 0x1f>;
-                    ...... /* 省略 */
+                    max-link-speed = <1>;
+                    linux,pci-domain = <0>;
+                    msi-map = <0x0 &its 0x0 0x1000>;
+                    interrupts = <GIC_SPI 49 IRQ_TYPE_LEVEL_HIGH 0>,
+                                 <GIC_SPI 50 IRQ_TYPE_LEVEL_HIGH 0>,
+                                 <GIC_SPI 51 IRQ_TYPE_LEVEL_HIGH 0>;
+                    interrupt-names = "sys", "legacy", "client";
+                    #interrupt-cells = <1>;
+                    interrupt-map-mask = <0 0 0 7>;
+                    interrupt-map = <0 0 0 1 &pcie0_intc 0>,
+                                    <0 0 0 2 &pcie0_intc 1>,
+                                    <0 0 0 3 &pcie0_intc 2>,
+                                    <0 0 0 4 &pcie0_intc 3>;
                     phys = <&pcie_phy>;
                     phy-names = "pcie-phy";
                     ranges = <0x83000000 0x0 0xfa000000 0x0 0xfa000000 0x0 0x1e00000
                               0x81000000 0x0 0xfbe00000 0x0 0xfbe00000 0x0 0x100000>;
                     reg = <0x0 0xf8000000 0x0 0x2000000>,
                           <0x0 0xfd000000 0x0 0x1000000>;
-                    ...... /* 省略 */
-              };
+                    reg-names = "axi-base", "apb-base";
+                    resets = <&cru SRST_PCIE_CORE>, <&cru SRST_PCIE_MGMT>,
+                             <&cru SRST_PCIE_MGMT_STICKY>, <&cru SRST_PCIE_PIPE>,
+                             <&cru SRST_PCIE_PM>, <&cru SRST_P_PCIE>,
+                             <&cru SRST_A_PCIE>;
+                    reset-names = "core", "mgmt", "mgmt-sticky", "pipe",
+                                  "pm", "pclk", "aclk";
+                    status = "disabled";
+                    pcie0_intc: interrupt-controller {
+                            interrupt-controller;
+                            #address-cells = <0>;
+                            #interrupt-cells = <1>;
+                    };
+            };
     ```
 
 #### 2.1 设备树解析过程
 
+##### 2.1.1 地址解析
+
+寄存器地址：
+
+```c
+	regs = platform_get_resource_byname(pdev,
+					    IORESOURCE_MEM,
+					    "apb-base");  // 0xfd000000
+	rockchip->apb_base = devm_ioremap_resource(dev, regs);
+```
+
+
+
+ECAM地址：[PCIe ECAM介绍](https://zhuanlan.zhihu.com/p/176988002)
+
+```c
+	regs = platform_get_resource_byname(pdev,
+					    IORESOURCE_MEM,
+					    "axi-base"); // 0xf8000000
+	rockchip->reg_base = devm_ioremap_resource(dev, regs);
+```
+
+
+
+
+
+
+
 ```c
 rockchip_pcie_probe
 	resource_size_t io_base;
@@ -109,6 +166,139 @@ rockchip_pcie_probe
 
 
 
+##### 2.1.2 地址映射
+
+MEM空间映射：
+
+```c
+	// rockchip->mem_bus_addr = 0xfa000000
+	// rockchip->mem_size     = 0x1e00000
+	// 设置Region1、2、……的映射关系
+	for (reg_no = 0; reg_no < (rockchip->mem_size >> 20); reg_no++) {
+		err = rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1,
+						AXI_WRAPPER_MEM_WRITE,
+						20 - 1,
+						rockchip->mem_bus_addr +
+						(reg_no << 20),
+						0);
+```
+
+IO空间映射：
+
+```c
+	offset = rockchip->mem_size >> 20;
+	for (reg_no = 0; reg_no < (rockchip->io_size >> 20); reg_no++) {
+		err = rockchip_pcie_prog_ob_atu(rockchip,
+						reg_no + 1 + offset,
+						AXI_WRAPPER_IO_WRITE,
+						20 - 1,
+						rockchip->io_bus_addr +
+						(reg_no << 20),
+						0);
+		if (err) {
+			dev_err(dev, "program RC io outbound ATU failed\n");
+			return err;
+		}
+	}
+```
+
+
+
+Message空间映射：
+
+```c
+	/* assign message regions */
+	rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1 + offset,
+				  AXI_WRAPPER_NOR_MSG,
+				  20 - 1, 0, 0);
+
+	rockchip->msg_bus_addr = rockchip->mem_bus_addr +
+					((reg_no + offset) << 20);
+```
+
+
+
+
+
+
+
+```c
+
+static int rockchip_pcie_prog_ob_atu(struct rockchip_pcie *rockchip,
+				     int region_no, int type, u8 num_pass_bits,
+				     u32 lower_addr, u32 upper_addr)
+{
+	u32 ob_addr_0;
+	u32 ob_addr_1;
+	u32 ob_desc_0;
+	u32 aw_offset;
+
+	if (region_no >= MAX_AXI_WRAPPER_REGION_NUM)
+		return -EINVAL;
+	if (num_pass_bits + 1 < 8)
+		return -EINVAL;
+	if (num_pass_bits > 63)
+		return -EINVAL;
+	if (region_no == 0) {
+		if (AXI_REGION_0_SIZE < (2ULL << num_pass_bits))
+			return -EINVAL;
+	}
+	if (region_no != 0) {
+		if (AXI_REGION_SIZE < (2ULL << num_pass_bits))
+			return -EINVAL;
+	}
+
+	aw_offset = (region_no << OB_REG_SIZE_SHIFT);
+
+	ob_addr_0 = num_pass_bits & PCIE_CORE_OB_REGION_ADDR0_NUM_BITS;
+	ob_addr_0 |= lower_addr & PCIE_CORE_OB_REGION_ADDR0_LO_ADDR;
+	ob_addr_1 = upper_addr;
+	ob_desc_0 = (1 << 23 | type);
+
+	rockchip_pcie_write(rockchip, ob_addr_0,
+			    PCIE_CORE_OB_REGION_ADDR0 + aw_offset);
+	rockchip_pcie_write(rockchip, ob_addr_1,
+			    PCIE_CORE_OB_REGION_ADDR1 + aw_offset);
+	rockchip_pcie_write(rockchip, ob_desc_0,
+			    PCIE_CORE_OB_REGION_DESC0 + aw_offset);
+	rockchip_pcie_write(rockchip, 0,
+			    PCIE_CORE_OB_REGION_DESC1 + aw_offset);
+
+	return 0;
+}
+```
+
+
+
+##### 2.1.3 配置
+
+Region 0：
+
+```c
+	rockchip_pcie_write(rockchip,
+			    (RC_REGION_0_ADDR_TRANS_L + RC_REGION_0_PASS_BITS),
+			    PCIE_CORE_OB_REGION_ADDR0);
+	rockchip_pcie_write(rockchip, RC_REGION_0_ADDR_TRANS_H,
+			    PCIE_CORE_OB_REGION_ADDR1);
+	rockchip_pcie_write(rockchip, 0x0080000a, PCIE_CORE_OB_REGION_DESC0);
+	rockchip_pcie_write(rockchip, 0x0, PCIE_CORE_OB_REGION_DESC1);
+
+```
+
+
+
+读写配置空间：
+
+```c
+	busdev = PCIE_ECAM_ADDR(bus->number, PCI_SLOT(devfn),
+				PCI_FUNC(devfn), where);
+
+```
+
+
+
+
+
 #### 2.2 扫描总线过程
 
 ```c