/kernel/linux/linux-6.6/arch/riscv/include/asm/ |
H A D | pgtable-64.h | 58 } pud_t; typedef 61 #define __pud(x) ((pud_t) { (x) }) 62 #define PTRS_PER_PUD (PAGE_SIZE / sizeof(pud_t)) 173 static inline int pud_present(pud_t pud) in pud_present() 178 static inline int pud_none(pud_t pud) in pud_none() 183 static inline int pud_bad(pud_t pud) in pud_bad() 189 static inline int pud_leaf(pud_t pud) in pud_leaf() 194 static inline int pud_user(pud_t pud) in pud_user() 199 static inline void set_pud(pud_t *pudp, pud_t pu [all...] |
/kernel/linux/linux-5.10/arch/riscv/include/asm/ |
H A D | pgtable-64.h | 31 static inline int pud_present(pud_t pud) in pud_present() 36 static inline int pud_none(pud_t pud) in pud_none() 41 static inline int pud_bad(pud_t pud) in pud_bad() 47 static inline int pud_leaf(pud_t pud) in pud_leaf() 53 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud() 58 static inline void pud_clear(pud_t *pudp) in pud_clear() 63 static inline pmd_t *pud_pgtable(pud_t pud) in pud_pgtable() 68 static inline struct page *pud_page(pud_t pud) in pud_page()
|
/kernel/linux/linux-5.10/include/asm-generic/ |
H A D | pgtable-nopud.h | 16 typedef struct { p4d_t p4d; } pud_t; typedef 40 #define set_p4d(p4dptr, p4dval) set_pud((pud_t *)(p4dptr), (pud_t) { p4dval }) 42 static inline pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset() 44 return (pud_t *)p4d; in pud_offset() 49 #define __pud(x) ((pud_t) { __p4d(x) }) 51 #define p4d_page(p4d) (pud_page((pud_t){ p4d })) 52 #define p4d_pgtable(p4d) ((pud_t *)(pud_pgtable((pud_t){ p4d })))
|
H A D | pgtable-nopmd.h | 18 typedef struct { pud_t pud; } pmd_t; 30 static inline int pud_none(pud_t pud) { return 0; } in pud_none() 31 static inline int pud_bad(pud_t pud) { return 0; } in pud_bad() 32 static inline int pud_present(pud_t pud) { return 1; } in pud_present() 33 static inline void pud_clear(pud_t *pud) { } in pud_clear() 44 static inline pmd_t * pmd_offset(pud_t * pud, unsigned long address) in pmd_offset()
|
/kernel/linux/linux-6.6/include/asm-generic/ |
H A D | pgtable-nopud.h | 16 typedef struct { p4d_t p4d; } pud_t; typedef 40 #define set_p4d(p4dptr, p4dval) set_pud((pud_t *)(p4dptr), (pud_t) { p4dval }) 42 static inline pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset() 44 return (pud_t *)p4d; in pud_offset() 49 #define __pud(x) ((pud_t) { __p4d(x) }) 51 #define p4d_page(p4d) (pud_page((pud_t){ p4d })) 52 #define p4d_pgtable(p4d) ((pud_t *)(pud_pgtable((pud_t){ p4d })))
|
H A D | pgtable-nopmd.h | 18 typedef struct { pud_t pud; } pmd_t; 30 static inline int pud_none(pud_t pud) { return 0; } in pud_none() 31 static inline int pud_bad(pud_t pud) { return 0; } in pud_bad() 32 static inline int pud_present(pud_t pud) { return 1; } in pud_present() 33 static inline int pud_user(pud_t pud) { return 0; } in pud_user() 34 static inline int pud_leaf(pud_t pud) { return 0; } in pud_leaf() 35 static inline void pud_clear(pud_t *pud) { } in pud_clear() 46 static inline pmd_t * pmd_offset(pud_t * pud, unsigned long address) in pmd_offset()
|
/kernel/linux/linux-6.6/arch/x86/include/asm/ |
H A D | pgtable.h | 162 static inline bool pud_dirty(pud_t pud) in pud_dirty() 167 static inline int pud_young(pud_t pud) in pud_young() 192 static inline int pud_write(pud_t pud) in pud_write() 237 static inline unsigned long pud_pfn(pud_t pud) in pud_pfn() 277 static inline int pud_trans_huge(pud_t pud) in pud_trans_huge() 296 static inline int pud_devmap(pud_t pud) in pud_devmap() 301 static inline int pud_devmap(pud_t pud) in pud_devmap() 601 static inline pud_t pud_set_flags(pud_t pud, pudval_t set) in pud_set_flags() 608 static inline pud_t pud_clear_flag [all...] |
H A D | pgtable_64.h | 21 extern pud_t level3_kernel_pgt[512]; 22 extern pud_t level3_ident_pgt[512]; 63 void set_pte_vaddr_pud(pud_t *pud_page, unsigned long vaddr, pte_t new_pte); 117 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud() 122 static inline void native_pud_clear(pud_t *pud) in native_pud_clear() 127 static inline pud_t native_pudp_get_and_clear(pud_t *xp) in native_pudp_get_and_clear() 135 pud_t ret = *xp; in native_pudp_get_and_clear()
|
/kernel/linux/linux-5.10/arch/x86/include/asm/ |
H A D | pgtable.h | 173 static inline int pud_dirty(pud_t pud) in pud_dirty() 178 static inline int pud_young(pud_t pud) in pud_young() 226 static inline unsigned long pud_pfn(pud_t pud) in pud_pfn() 266 static inline int pud_trans_huge(pud_t pud) in pud_trans_huge() 285 static inline int pud_devmap(pud_t pud) in pud_devmap() 290 static inline int pud_devmap(pud_t pud) in pud_devmap() 470 static inline pud_t pud_set_flags(pud_t pud, pudval_t set) in pud_set_flags() 477 static inline pud_t pud_clear_flags(pud_t pu [all...] |
H A D | pgtable_64.h | 21 extern pud_t level3_kernel_pgt[512]; 22 extern pud_t level3_ident_pgt[512]; 63 void set_pte_vaddr_pud(pud_t *pud_page, unsigned long vaddr, pte_t new_pte); 117 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud() 122 static inline void native_pud_clear(pud_t *pud) in native_pud_clear() 127 static inline pud_t native_pudp_get_and_clear(pud_t *xp) in native_pudp_get_and_clear() 135 pud_t ret = *xp; in native_pudp_get_and_clear()
|
H A D | pgtable-2level.h | 25 static inline void native_set_pud(pud_t *pudp, pud_t pud) in native_set_pud() 39 static inline void native_pud_clear(pud_t *pudp) in native_pud_clear() 68 static inline pud_t native_pudp_get_and_clear(pud_t *xp) in native_pudp_get_and_clear()
|
/kernel/linux/linux-6.6/include/linux/ |
H A D | page_table_check.h | 19 void __page_table_check_pud_clear(struct mm_struct *mm, pud_t pud); 23 void __page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, pud_t pud); 60 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear() 86 static inline void page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, in page_table_check_pud_set() 87 pud_t pud) in page_table_check_pud_set() 123 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear() 137 static inline void page_table_check_pud_set(struct mm_struct *mm, pud_t *pudp, in page_table_check_pud_set() 138 pud_t pud) in page_table_check_pud_set()
|
H A D | huge_mm.h | 16 pud_t *dst_pud, pud_t *src_pud, unsigned long addr, 20 void huge_pud_set_accessed(struct vm_fault *vmf, pud_t orig_pud); 22 static inline void huge_pud_set_accessed(struct vm_fault *vmf, pud_t orig_pud) in huge_pud_set_accessed() 32 int zap_huge_pud(struct mmu_gather *tlb, struct vm_area_struct *vma, pud_t *pud, 168 void __split_huge_pud(struct vm_area_struct *vma, pud_t *pud, 173 pud_t *____pud = (__pud); \ 187 spinlock_t *__pud_trans_huge_lock(pud_t *pud, struct vm_area_struct *vma); 203 static inline spinlock_t *pud_trans_huge_lock(pud_t *pud, in pud_trans_huge_lock() 224 pud_t *pu [all...] |
H A D | pgtable.h | 121 static inline pmd_t *pmd_offset(pud_t *pud, unsigned long address) in pmd_offset() 129 static inline pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset() 261 unsigned long address, pud_t *pudp, 262 pud_t entry, int dirty); 272 unsigned long address, pud_t *pudp, in pudp_set_access_flags() 273 pud_t entry, int dirty) in pudp_set_access_flags() 512 static inline pud_t pudp_huge_get_and_clear(struct mm_struct *mm, in pudp_huge_get_and_clear() 514 pud_t *pudp) in pudp_huge_get_and_clear() 516 pud_t pud = *pudp; in pudp_huge_get_and_clear() 537 static inline pud_t pudp_huge_get_and_clear_ful [all...] |
/kernel/linux/linux-6.6/arch/powerpc/include/asm/book3s/64/ |
H A D | radix.h | 138 #define RADIX_PUD_TABLE_SIZE (sizeof(pud_t) << RADIX_PUD_INDEX_SIZE) 248 static inline int radix__pud_bad(pud_t pud) in radix__pud_bad() 253 static inline int radix__pud_same(pud_t pud_a, pud_t pud_b) in radix__pud_same() 275 static inline int radix__pud_trans_huge(pud_t pud) in radix__pud_trans_huge() 280 static inline pud_t radix__pud_mkhuge(pud_t pud) in radix__pud_mkhuge() 289 pud_t *pudp, unsigned long clr, 298 pud_t radix__pudp_huge_get_and_clear(struct mm_struct *mm, 299 unsigned long addr, pud_t *pud [all...] |
H A D | pgalloc.h | 88 static inline void p4d_populate(struct mm_struct *mm, p4d_t *pgd, pud_t *pud) in p4d_populate() 93 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr) in pud_alloc_one() 95 pud_t *pud; in pud_alloc_one() 110 static inline void __pud_free(pud_t *pud) in __pud_free() 126 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free() 131 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate() 136 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
|
H A D | pgtable.h | 887 static inline void pud_clear(pud_t *pudp) in pud_clear() 899 static inline int pud_none(pud_t pud) in pud_none() 904 static inline int pud_present(pud_t pud) in pud_present() 909 extern struct page *pud_page(pud_t pud); 911 static inline pte_t pud_pte(pud_t pud) in pud_pte() 916 static inline pud_t pte_pud(pte_t pte) in pte_pud() 921 static inline pte_t *pudp_ptep(pud_t *pud) in pudp_ptep() 943 static inline int pud_bad(pud_t pud) in pud_bad() 951 static inline bool pud_access_permitted(pud_t pud, bool write) in pud_access_permitted() 1007 static inline pud_t *p4d_pgtabl [all...] |
/kernel/linux/linux-5.10/arch/mips/include/asm/ |
H A D | pgtable-64.h | 132 #define PTRS_PER_PUD ((PAGE_SIZE << PUD_ORDER) / sizeof(pud_t)) 181 typedef struct { unsigned long pud; } pud_t; typedef 183 #define __pud(x) ((pud_t) { (x) }) 185 extern pud_t invalid_pud_table[PTRS_PER_PUD]; 213 static inline pud_t *p4d_pgtable(p4d_t p4d) in p4d_pgtable() 215 return (pud_t *)p4d_val(p4d); in p4d_pgtable() 284 static inline int pud_none(pud_t pud) in pud_none() 289 static inline int pud_bad(pud_t pud) in pud_bad() 294 static inline int pud_present(pud_t pud) in pud_present() 299 static inline void pud_clear(pud_t *pud [all...] |
H A D | pgalloc.h | 41 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate() 91 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long address) in pud_alloc_one() 93 pud_t *pud; in pud_alloc_one() 95 pud = (pud_t *) __get_free_pages(GFP_KERNEL, PUD_ORDER); in pud_alloc_one() 101 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
|
/kernel/linux/linux-6.6/arch/mips/include/asm/ |
H A D | pgtable-64.h | 127 #define PTRS_PER_PUD ((PAGE_SIZE << PUD_TABLE_ORDER) / sizeof(pud_t)) 175 typedef struct { unsigned long pud; } pud_t; typedef 177 #define __pud(x) ((pud_t) { (x) }) 179 extern pud_t invalid_pud_table[PTRS_PER_PUD]; 207 static inline pud_t *p4d_pgtable(p4d_t p4d) in p4d_pgtable() 209 return (pud_t *)p4d_val(p4d); in p4d_pgtable() 278 static inline int pud_none(pud_t pud) in pud_none() 283 static inline int pud_bad(pud_t pud) in pud_bad() 288 static inline int pud_present(pud_t pud) in pud_present() 293 static inline void pud_clear(pud_t *pud [all...] |
/kernel/linux/linux-5.10/include/linux/ |
H A D | pgtable.h | 90 static inline pmd_t *pmd_offset(pud_t *pud, unsigned long address) in pmd_offset() 98 static inline pud_t *pud_offset(p4d_t *p4d, unsigned long address) in pud_offset() 161 unsigned long address, pud_t *pudp, 162 pud_t entry, int dirty); 172 unsigned long address, pud_t *pudp, in pudp_set_access_flags() 173 pud_t entry, int dirty) in pudp_set_access_flags() 274 static inline pud_t pudp_huge_get_and_clear(struct mm_struct *mm, in pudp_huge_get_and_clear() 276 pud_t *pudp) in pudp_huge_get_and_clear() 278 pud_t pud = *pudp; in pudp_huge_get_and_clear() 297 static inline pud_t pudp_huge_get_and_clear_ful [all...] |
/kernel/linux/linux-5.10/arch/powerpc/include/asm/book3s/64/ |
H A D | pgalloc.h | 88 static inline void p4d_populate(struct mm_struct *mm, p4d_t *pgd, pud_t *pud) in p4d_populate() 93 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr) in pud_alloc_one() 95 pud_t *pud; in pud_alloc_one() 110 static inline void __pud_free(pud_t *pud) in __pud_free() 124 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free() 129 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate() 134 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
|
/kernel/linux/linux-6.6/arch/arm/include/asm/ |
H A D | pgtable-2level.h | 185 static inline int pud_none(pud_t pud) in pud_none() 190 static inline int pud_bad(pud_t pud) in pud_bad() 195 static inline int pud_present(pud_t pud) in pud_present() 200 static inline void pud_clear(pud_t *pudp) in pud_clear() 204 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud() 208 static inline pmd_t *pmd_offset(pud_t *pud, unsigned long addr) in pmd_offset()
|
/kernel/linux/linux-5.10/arch/loongarch/include/asm/ |
H A D | pgalloc.h | 29 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate() 37 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate() 90 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long address) in pud_alloc_one() 92 pud_t *pud; in pud_alloc_one() 94 pud = (pud_t *) __get_free_pages(GFP_KERNEL, PUD_ORDER); in pud_alloc_one()
|
H A D | pgtable-64.h | 105 typedef struct { unsigned long pud; } pud_t; typedef 107 #define __pud(x) ((pud_t) { (x) }) 109 extern pud_t invalid_pud_table[PTRS_PER_PUD]; 134 static inline pud_t *p4d_pgtable(p4d_t p4d) in p4d_pgtable() 136 return (pud_t *)p4d_val(p4d); in p4d_pgtable() 160 static inline int pud_none(pud_t pud) in pud_none() 165 static inline int pud_bad(pud_t pud) in pud_bad() 170 static inline int pud_present(pud_t pud) in pud_present() 175 static inline void pud_clear(pud_t *pudp) in pud_clear() 180 static inline pmd_t *pud_pgtable(pud_t pu [all...] |