Lines Matching refs:alloc_flags
1548 unsigned int alloc_flags)
1561 if (alloc_flags & ALLOC_NO_WATERMARKS)
1775 unsigned int alloc_flags, int start_type, bool whole_block)
1801 if (boost_watermark(zone) && (alloc_flags & ALLOC_KSWAPD))
2012 unsigned int alloc_flags)
2026 if (order < pageblock_order && alloc_flags & ALLOC_NOFRAGMENT)
2078 steal_suitable_fallback(zone, page, alloc_flags, start_migratetype,
2090 int migratetype, unsigned int alloc_flags)
2098 alloc_flags &= ~ALLOC_CMA;
2103 __rmqueue_fallback(zone, order, migratetype, alloc_flags))
2115 unsigned int alloc_flags)
2120 page = __rmqueue_with_cma_reuse(zone, order, migratetype, alloc_flags);
2131 if (alloc_flags & ALLOC_CMA &&
2142 if (alloc_flags & ALLOC_CMA)
2146 alloc_flags))
2159 int migratetype, unsigned int alloc_flags)
2167 alloc_flags);
2669 unsigned int order, unsigned int alloc_flags,
2678 if (alloc_flags & ALLOC_HIGHATOMIC)
2681 page = __rmqueue(zone, order, migratetype, alloc_flags);
2689 if (!page && (alloc_flags & ALLOC_OOM))
2712 unsigned int alloc_flags,
2734 migratetype, alloc_flags);
2752 int migratetype, unsigned int alloc_flags)
2774 page = __rmqueue_pcplist(zone, order, migratetype, alloc_flags, pcp, list);
2799 gfp_t gfp_flags, unsigned int alloc_flags,
2812 migratetype, alloc_flags);
2817 page = rmqueue_buddy(preferred_zone, zone, order, alloc_flags,
2822 if ((alloc_flags & ALLOC_KSWAPD) &&
2839 unsigned int order, unsigned int alloc_flags)
2848 if (likely(!(alloc_flags & ALLOC_RESERVES)))
2853 if (!(alloc_flags & ALLOC_CMA))
2870 int highest_zoneidx, unsigned int alloc_flags,
2877 free_pages -= __zone_watermark_unusable_free(z, order, alloc_flags);
2879 if (unlikely(alloc_flags & ALLOC_RESERVES)) {
2884 if (alloc_flags & ALLOC_MIN_RESERVE) {
2894 if (alloc_flags & ALLOC_NON_BLOCK)
2904 if (alloc_flags & ALLOC_OOM)
2934 if ((alloc_flags & ALLOC_CMA) &&
2939 if ((alloc_flags & (ALLOC_HIGHATOMIC|ALLOC_OOM)) &&
2948 int highest_zoneidx, unsigned int alloc_flags)
2950 return __zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
2956 unsigned int alloc_flags, gfp_t gfp_mask)
2971 reserved = __zone_watermark_unusable_free(z, 0, alloc_flags);
2979 if (__zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
2989 if (unlikely(!order && (alloc_flags & ALLOC_MIN_RESERVE) && z->watermark_boost
2990 && ((alloc_flags & ALLOC_WMARK_MASK) == WMARK_MIN))) {
2993 alloc_flags, free_pages);
3037 unsigned int alloc_flags;
3043 alloc_flags = (__force int) (gfp_mask & __GFP_KSWAPD_RECLAIM);
3047 return alloc_flags;
3050 return alloc_flags;
3059 return alloc_flags;
3061 alloc_flags |= ALLOC_NOFRAGMENT;
3063 return alloc_flags;
3068 unsigned int alloc_flags)
3072 alloc_flags |= ALLOC_CMA;
3074 return alloc_flags;
3082 get_page_from_freelist(gfp_t gfp_mask, unsigned int order, int alloc_flags,
3096 no_fallback = alloc_flags & ALLOC_NOFRAGMENT;
3104 (alloc_flags & ALLOC_CPUSET) &&
3147 alloc_flags &= ~ALLOC_NOFRAGMENT;
3152 mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK);
3154 ac->highest_zoneidx, alloc_flags,
3175 if (alloc_flags & ALLOC_NO_WATERMARKS)
3193 ac->highest_zoneidx, alloc_flags))
3202 gfp_mask, alloc_flags, ac->migratetype);
3204 prep_new_page(page, order, gfp_mask, alloc_flags);
3210 if (unlikely(alloc_flags & ALLOC_HIGHATOMIC))
3235 alloc_flags &= ~ALLOC_NOFRAGMENT;
3288 unsigned int alloc_flags,
3294 alloc_flags|ALLOC_CPUSET, ac);
3301 alloc_flags, ac);
3403 unsigned int alloc_flags, const struct alloc_context *ac,
3417 *compact_result = try_to_compact_pages(gfp_mask, order, alloc_flags, ac,
3434 prep_new_page(page, order, gfp_mask, alloc_flags);
3438 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
3461 should_compact_retry(struct alloc_context *ac, int order, int alloc_flags,
3483 ret = compaction_zonelist_suitable(ac, order, alloc_flags);
3528 unsigned int alloc_flags, const struct alloc_context *ac,
3536 should_compact_retry(struct alloc_context *ac, unsigned int order, int alloc_flags,
3556 ac->highest_zoneidx, alloc_flags))
3675 unsigned int alloc_flags, const struct alloc_context *ac,
3688 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
3729 unsigned int alloc_flags = ALLOC_WMARK_MIN | ALLOC_CPUSET;
3745 alloc_flags |= (__force int)
3754 alloc_flags |= ALLOC_NON_BLOCK;
3757 alloc_flags |= ALLOC_HIGHATOMIC;
3765 if (alloc_flags & ALLOC_MIN_RESERVE)
3766 alloc_flags &= ~ALLOC_CPUSET;
3768 alloc_flags |= ALLOC_MIN_RESERVE;
3770 alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, alloc_flags);
3772 return alloc_flags;
3829 struct alloc_context *ac, int alloc_flags,
3871 ac->highest_zoneidx, alloc_flags, available);
3939 unsigned int alloc_flags;
3957 * The fast path uses conservative alloc_flags to succeed only until
3959 * alloc_flags precisely. So we do that now.
3961 alloc_flags = gfp_to_alloc_flags(gfp_mask, order);
3987 if (alloc_flags & ALLOC_KSWAPD)
3991 * The adjusted alloc_flags might result in immediate success, so try
3994 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4012 alloc_flags, ac,
4055 if (alloc_flags & ALLOC_KSWAPD)
4060 alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, reserve_flags) |
4061 (alloc_flags & ALLOC_KSWAPD);
4068 if (!(alloc_flags & ALLOC_CPUSET) || reserve_flags) {
4074 /* Attempt with potentially adjusted zonelist and alloc_flags */
4075 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4088 page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac,
4094 page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac,
4110 if (should_reclaim_retry(gfp_mask, order, ac, alloc_flags,
4121 should_compact_retry(ac, order, alloc_flags,
4142 (alloc_flags & ALLOC_OOM ||
4212 unsigned int *alloc_flags)
4228 *alloc_flags |= ALLOC_CPUSET;
4241 *alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, *alloc_flags);
4290 unsigned int alloc_flags = ALLOC_WMARK_LOW;
4331 if (!prepare_alloc_pages(gfp, 0, preferred_nid, nodemask, &ac, &alloc_gfp, &alloc_flags))
4339 if (cpusets_enabled() && (alloc_flags & ALLOC_CPUSET) &&
4349 mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK) + nr_pages;
4352 alloc_flags, gfp)) {
4380 page = __rmqueue_pcplist(zone, 0, ac.migratetype, alloc_flags,
4433 unsigned int alloc_flags = ALLOC_WMARK_LOW;
4455 &alloc_gfp, &alloc_flags))
4462 alloc_flags |= alloc_flags_nofragment(ac.preferred_zoneref->zone, gfp);
4465 page = get_page_from_freelist(alloc_gfp, order, alloc_flags, &ac);