Freesclae i.MX6 Linux PCIE驱动源码分析

时间:2022-01-19 00:24:22
     最近需要做一个工具来测试PCIE的link是否成功,但是由于PCIE的驱动都是在内核空间中,因此需要首先分析一下i.MX6 PCIE的驱动源码。首先我不得不吐槽一下驱动源码的存放位置很混乱,在Linux 3.0.35_4.1.0中,驱动居然是在arch/arm/mach-mx6/目录下,通常的情况来说,这里是存放板极信息文件的地方,而pcie的驱动更应该放在drivers/pci等相关目录下,因此menuconfig的时候也是在一个很奇怪的地方配置。索性到了Linux 3.10.17版本,pcie的代码挪到drivers/pci/pcie/目录下了,不然看起来真的是太纠结了。         这里再说些废话,不想下载LTIB的朋友就自己去clone下面的git源: git://git.freescale.com/imx/linux-2.6-imx.githttp://git.freescale.com/git/cgit.cgi/imx/linux-2.6-imx.git 不过貌似http的源很慢,git源的速度还行。这里再多说一点,3.0.35之前的内核都是freescale内部维护,并且有一个public git网站,http://git.freescale.com/git/ 上面有大部分freescale自己维护的项目,因此也是走相对封闭的路线。到了3.10.17以后freescale开始走社区的路线,基本上所有的代码都与开源社区同步,连编译环境也从LTIB变成了yocto,基本就是走社区开放的路线。3.10.17以后arch/arm/mach-mx6/目录被删除,取而代之的是设备树,pcie驱动也到了它应该待的地方。 由于3.0.35以及3.10.17都有不少人在用,我决定两个版本都去分析一下,下面先来分析一下3.0.35_4.1.0内核的版本: git checkout imx_3.0.35_4.1.0 make ARCH=arm imx6_defconfig make ARCH=arm menuconfig 在内核中使能pcie驱动,具体位置(真是一个非常少见的位置)在:  │     -> System Type                                                                   │    │       -> Freescale MXC Implementations                -> PCI Express support 后面的EP mode和RC mode都不需要选(它们对应IMX_PCIE_EP_MODE_IN_EP_RC_SYS以及IMX_PCIE_RC_MODE_IN_EP_RC_SYS的宏定义),默认情况下就是RC (Root Complex) mode,这里只能选择built-in 或者no,没有开启编译模块的选项,要开的话自己改一下Kconfig就可以了。代码位于arch/arm/mach-mx6/pcie.c,下面到了我们分析源码的时候了: 首先看到最后几行:
static int __init imx_pcie_drv_init(void){return platform_driver_register(&imx_pcie_pltfm_driver);}
static void __exit imx_pcie_drv_exit(void){platform_driver_unregister(&imx_pcie_pltfm_driver);}
module_init(imx_pcie_drv_init);module_exit(imx_pcie_drv_exit);
在pcie驱动外部加了一层platform driver,下面看imx_pcie_pltfm_driver结构体定义:
static struct platform_driver imx_pcie_pltfm_driver = {.driver = {.name= "imx-pcie",.owner= THIS_MODULE,},.probe= imx_pcie_pltfm_probe,};
可以看到这里通过.driver.name字段来匹配platform driver,匹配之后调用imx_pcie_pltfm_probe函数进行探测,下面就需要去板极文件找添加"imx-pcie"字段platform device的代码了。 对于i.MX6Q SABRESD平台,板极文件在arch/arm/mach-mx6/board-mx6q_sabresd.c中,而添加pcie设备的代码可以找到在:
/* Add PCIe RC interface support */imx6q_add_pcie(&mx6_sabresd_pcie_data);
而imx6q_add_pcie()这个宏是定义在arch/arm/mach-mx6/devices-imx6q.h中的如下几行:
extern const struct imx_pcie_data imx6q_pcie_data __initconst;#define imx6q_add_pcie(pdata) imx_add_pcie(&imx6q_pcie_data, pdata)
而imx_add_pcie是位于arch/arm/plat-mxc/devices/platform-imx-pcie.c中的,相关代码如下:
struct platform_device *__init imx_add_pcie(const struct imx_pcie_data *data,const struct imx_pcie_platform_data *pdata){struct resource res[] = {{.start = data->iobase,.end = data->iobase + data->iosize - 1,.flags = IORESOURCE_MEM,}, {.start = data->irq,.end = data->irq,.flags = IORESOURCE_IRQ,},};
if (!fuse_dev_is_available(MXC_DEV_PCIE))return ERR_PTR(-ENODEV);
return imx_add_platform_device("imx-pcie", -1,res, ARRAY_SIZE(res),pdata, sizeof(*pdata));}
看到了才找到了真正需要的代码,resource是用来定义寄存器地址以及中断注册信息的,这里最后几行中我用红色加粗斜体字标出了imx-pcie字段,因为这个函数imx_add_platform_device正式我们要找的添加platform device函数,并且通过函数名匹配,这里可以看到pci的platform设备和platform驱动的名称都是imx-pcie,因此驱动和设备通过platform bus得以匹配。同时还通过struct imx_pcie_platform_data *pdata来传递驱动的platform_data,pdata的结构体声明在arch/arm/plat-mxc/include/mach/pcie.h中:
/** * struct imx_pcie_platform_data - optional platform data for pcie on i.MX * * @pcie_pwr_en:used for enable/disable pcie power (-EINVAL if unused) * @pcie_rst:used for reset pcie ep (-EINVAL if unused) * @pcie_wake_up:used for wake up (-EINVAL if unused) * @pcie_dis:used for disable pcie ep (-EINVAL if unused) */
struct imx_pcie_platform_data {unsigned int pcie_pwr_en;unsigned int pcie_rst;unsigned int pcie_wake_up;unsigned int pcie_dis;unsigned int type_ep; /* 1 EP, 0 RC */};#endif /* __ASM_ARCH_IMX_PCIE_H */
待会在驱动可以看到这个platform_data会在probe函数中被获取,这种在platform device中添加platform_data来向驱动传递额外的信息在内核中常常能见到。到这里,在内核中添加板级信息的部分已经结束了,内核在启动过程中会去执行init_machine()函数,而init_machine是一个函数指针,它指向的就是arch/arm/mach-mx6/board-mx6q_sabresd.c中的mx6_sabresd_board_init函数,可以看到这个结构体初始化语句:
/* * initialize __mach_desc_MX6Q_SABRESD data structure. */MACHINE_START(MX6Q_SABRESD, "Freescale i.MX 6Quad/DualLite/Solo Sabre-SD Board")/* Maintainer: Freescale Semiconductor, Inc. */.boot_params = MX6_PHYS_OFFSET + 0x100,.fixup = fixup_mxc_board,.map_io = mx6_map_io,.init_irq = mx6_init_irq,.init_machine = mx6_sabresd_board_init,.timer = &mx6_sabresd_timer,.reserve = mx6q_sabresd_reserve,MACHINE_END
到这里应该就能理解添加板级信息的整个过程了,然后就是进行驱动加载了,可以看到驱动加载是在pcie.c中的module_init()中进行的。一切就绪以后就开始跳向probe指针指向的imx_pcie_pltfm_probe,说实话个人觉得这个probe算是比较短的了。大体来分析一下:
mem = platform_get_resource(pdev, IORESOURCE_MEM, 0);if (!mem) {dev_err(dev, "no mmio space\n");return -EINVAL;}
这里的platform_get_resource()就是获取之前struct resource res[]={...}定义的内容,也就是与寄存器base address以及irq相关的信息。
/*  Added for PCI abort handling */hook_fault_code(16 + 6, imx6q_pcie_abort_handler, SIGBUS, 0,"imprecise external abort");
这里像是注册一个abort handling function,具体什么作用也不清楚。
base = ioremap_nocache(PCIE_ARB_END_ADDR - SZ_1M + 1, SZ_1M - SZ_16K);if (!base) {pr_err("error with ioremap in function %s\n", __func__);ret = PTR_ERR(base);return ret;}
ioremap,为这个区间段的寄存器建立页表映射到内核空间,进行访问。 这里PCIE_ARB_END_ADDR的定义在arch/arm/plat-mxc/include/mach/mx6.h中:
#define PCIE_ARB_BASE_ADDR0x01000000#define PCIE_ARB_END_ADDR0x01FFFFFF
显然base访问的是[PCIE_ARB_END_ADDR - SZ_1M + 1, PCIE_ARB_END_ADDR - SZ_16K]这一段
dbi_base = devm_ioremap(dev, mem->start, resource_size(mem));if (!dbi_base) {dev_err(dev, "can't map %pR\n", mem);ret = PTR_ERR(dbi_base);goto err_base;}
这里用的devm_ioremap与ioremap很相似,唯一的区别引用一下这个网页上的回复http://www.spinics.net/lists/devicetree/msg07744.html的:In the PCIv3 driver, use devm_ioremap() instead of just ioremap(). when remapping the system controller in the PCIv3 driver, so the mapping will be automatically released on probe failure.而这里dbi_base经过对platform-imx-pcie.c中的分析,访问的是[ PCIE_ARB_END_ADDR - SZ_16K, PCIE_ARB_END_ADDR]这一段
/* FIXME the field name should be aligned to RM */imx_pcie_clrset(IOMUXC_GPR12_APP_LTSSM_ENABLE, 0 << 10, IOMUXC_GPR12);
/* configure constant input signal to the pcie ctrl and phy */if (pdata->type_ep & 1)/* EP */imx_pcie_clrset(IOMUXC_GPR12_DEVICE_TYPE,PCI_EXP_TYPE_ENDPOINT<< 12, IOMUXC_GPR12);else/* RC */imx_pcie_clrset(IOMUXC_GPR12_DEVICE_TYPE,PCI_EXP_TYPE_ROOT_PORT << 12, IOMUXC_GPR12);imx_pcie_clrset(IOMUXC_GPR12_LOS_LEVEL, 9 << 4, IOMUXC_GPR12);
imx_pcie_clrset(IOMUXC_GPR8_TX_DEEMPH_GEN1, 0 << 0, IOMUXC_GPR8);imx_pcie_clrset(IOMUXC_GPR8_TX_DEEMPH_GEN2_3P5DB, 0 << 6, IOMUXC_GPR8);imx_pcie_clrset(IOMUXC_GPR8_TX_DEEMPH_GEN2_6DB, 20 << 12, IOMUXC_GPR8);imx_pcie_clrset(IOMUXC_GPR8_TX_SWING_FULL, 127 << 18, IOMUXC_GPR8);imx_pcie_clrset(IOMUXC_GPR8_TX_SWING_LOW, 127 << 25, IOMUXC_GPR8);
寄存器配置,其中对于PCIE的link成功与否比较关键的就是IOMUXC_GPR8和IOMUXC_GPR12,不过在reference manual中IOMUXC_GPR12的值已经被定死了,所以只能调节IOMUXC_GPR8了。这里imx_pcie_clrset是一个内联函数,定义如下:/* IMX PCIE GPR configure routines */static inline void imx_pcie_clrset(u32 mask, u32 val, void __iomem *addr){writel(((readl(addr) & ~mask) | (val & mask)), addr);}鉴于这里已经可以直接对地址进行直接读写,那么这块内存区域就已经被映射过了。找到IOMUXC_GPR8的定义,在arch/arm/mach-mx6/crm_regs.h文件中:/* IOMUXC */#define MXC_IOMUXC_BASEMX6_IO_ADDRESS(MX6Q_IOMUXC_BASE_ADDR)…………#define IOMUXC_GPR8(MXC_IOMUXC_BASE + 0x20)这里MX6Q_IOMUXC_BASE_ADDR被定义在arch/arm/plat-mxc/include/mach/mx6.h中:#define AIPS1_ARB_BASE_ADDR0x02000000………………#define ATZ1_BASE_ADDRAIPS1_ARB_BASE_ADDR…………#define AIPS1_OFF_BASE_ADDR(ATZ1_BASE_ADDR + 0x80000)…………#define MX6Q_IOMUXC_BASE_ADDR(AIPS1_OFF_BASE_ADDR + 0x60000)最终的值也就是0x0200_0000+0x8_0000+0x6_0000 = 0x020E_0000,参考i.MX6Q reference manual可以找到IOMUXC寄存器范围:[020E_0000, 020E_3FFF] 这里和驱动相对应。而MX6_IO_ADDRESS的定义在arch/arm/plat-mxc/include/mach/mx6.h中,定义如下的:#define PERIPBASE_VIRT0xF2000000…………#define MX6_IO_ADDRESS(x) (void __force __iomem *)((x) + PERIPBASE_VIRT)基本上就是对基地址的一个偏移量。注意:直接这样访问是无效的,首先必须要在MMU中建立页表映射到这段地址,即ioremap以后才可以从内核空间访问(这里能访问是因为这块地址之前肯定已经映射过了),只不过映射之后的关系是物理地址增加一个偏移量而已。
/* Enable the pwr, clks and so on */imx_pcie_enable_controller(dev);
如注释所言,使能pcie的电源和时钟等,由于i.mx是由fuse100来供电的,因此需要通过GPIO的某个引脚来控制供电开关。这个函数很关键,下面简单介绍一下, 本身也不长。/* Enable PCIE power */
gpio_request(pdata->pcie_pwr_en, "PCIE POWER_EN");
/* activate PCIE_PWR_EN */gpio_direction_output(pdata->pcie_pwr_en, 1);
imx_pcie_clrset(IOMUXC_GPR1_TEST_POWERDOWN, 0 << 18, IOMUXC_GPR1);
获取gpio引脚的使用权,并且将该gpio输出高电平。最后再写一个测试寄存器。
/* enable the clks */if (pdata->type_ep) {pcie_clk = clk_get(NULL, "pcie_ep_clk");if (IS_ERR(pcie_clk))pr_err("no pcie_ep clock.\n");
if (clk_enable(pcie_clk)) {pr_err("can't enable pcie_ep clock.\n");clk_put(pcie_clk);}} else {pcie_clk = clk_get(NULL, "pcie_clk");if (IS_ERR(pcie_clk))pr_err("no pcie clock.\n");
if (clk_enable(pcie_clk)) {pr_err("can't enable pcie clock.\n");clk_put(pcie_clk);}}
这里是获取时钟的函数,有兴趣的可以自己google一下linux的时钟框架
imx_pcie_clrset(IOMUXC_GPR1_PCIE_REF_CLK_EN, 1 << 16, IOMUXC_GPR1);
这条我猜应该是使能pcie控制器了。
/* start link up */imx_pcie_clrset(IOMUXC_GPR12_APP_LTSSM_ENABLE, 1 << 10, IOMUXC_GPR12);
开始link up,我的理解应该是类似于以太网中的ping操作。
/* add the pcie port */add_pcie_port(base, dbi_base, pdata);
这个函数检验link是否成功并进行相应的操作。
if (imx_pcie_link_up(dbi_base)) {struct imx_pcie_port *pp = &imx_pcie_port[num_pcie_ports++];
pr_info("IMX PCIe port: link up.\n");
pp->index = 0;pp->root_bus_nr = -1;pp->base = base;pp->dbi_base = dbi_base;spin_lock_init(&pp->conf_lock);memset(pp->res, 0, sizeof(pp->res));}
先看看如果link up成功的话,那么就进行相关的初始化操作,向内核添加信息。
else {pr_info("IMX PCIe port: link down!\n");
/* Release the clocks, and disable the power */pcie_clk = clk_get(NULL, "pcie_clk");if (IS_ERR(pcie_clk))pr_err("no pcie clock.\n");
clk_disable(pcie_clk);clk_put(pcie_clk);
imx_pcie_clrset(IOMUXC_GPR1_PCIE_REF_CLK_EN, 0 << 16,IOMUXC_GPR1);
/* Disable PCIE power */gpio_request(pdata->pcie_pwr_en, "PCIE POWER_EN");
/* activate PCIE_PWR_EN */gpio_direction_output(pdata->pcie_pwr_en, 0);
imx_pcie_clrset(IOMUXC_GPR1_TEST_POWERDOWN, 1 << 18,IOMUXC_GPR1);}
如果不成功的话,那么就disable pcie_clk并且释放对pcie_clk的引用,再把pcie控制器disable掉,最后再把PCIE的外部供电通过gpio来disable。
回到probe函数得最后一部分代码:

pci_common_init(&imx_pci);

这里是内核中pci驱动初始化函数,具体的位置在:arch/arm/kernel/bios32.c,这里不再分析,基本就是做一些添加pci bus之类的初始化工作,对于arm体系的mpu来说是一样的。