Lines Matching refs:alloc_flags
2290 unsigned int alloc_flags)
2306 if (alloc_flags & ALLOC_NO_WATERMARKS)
2526 unsigned int alloc_flags, int start_type, bool whole_block)
2552 if (boost_watermark(zone) && (alloc_flags & ALLOC_KSWAPD))
2768 unsigned int alloc_flags)
2782 if (alloc_flags & ALLOC_NOFRAGMENT)
2834 steal_suitable_fallback(zone, page, alloc_flags, start_migratetype,
2846 int migratetype, unsigned int alloc_flags)
2854 alloc_flags &= ~ALLOC_CMA;
2859 __rmqueue_fallback(zone, order, migratetype, alloc_flags))
2871 unsigned int alloc_flags)
2876 page = __rmqueue_with_cma_reuse(zone, order, migratetype, alloc_flags);
2886 if (alloc_flags & ALLOC_CMA &&
2897 if (alloc_flags & ALLOC_CMA)
2901 alloc_flags))
2917 int migratetype, unsigned int alloc_flags)
2924 alloc_flags);
3408 unsigned int alloc_flags,
3418 migratetype, alloc_flags);
3434 int migratetype, unsigned int alloc_flags)
3444 page = __rmqueue_pcplist(zone, migratetype, alloc_flags, pcp, list);
3459 gfp_t gfp_flags, unsigned int alloc_flags,
3470 if (!IS_ENABLED(CONFIG_CMA) || alloc_flags & ALLOC_CMA ||
3474 migratetype, alloc_flags);
3494 if (order > 0 && alloc_flags & ALLOC_HARDER) {
3500 page = __rmqueue(zone, order, migratetype, alloc_flags);
3602 unsigned int order, unsigned int alloc_flags)
3604 const bool alloc_harder = (alloc_flags & (ALLOC_HARDER|ALLOC_OOM));
3617 if (!(alloc_flags & ALLOC_CMA))
3631 int highest_zoneidx, unsigned int alloc_flags,
3636 const bool alloc_harder = (alloc_flags & (ALLOC_HARDER|ALLOC_OOM));
3639 free_pages -= __zone_watermark_unusable_free(z, order, alloc_flags);
3641 if (alloc_flags & ALLOC_HIGH)
3651 if (alloc_flags & ALLOC_OOM)
3683 if ((alloc_flags & ALLOC_CMA) &&
3695 int highest_zoneidx, unsigned int alloc_flags)
3697 return __zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
3703 unsigned int alloc_flags, gfp_t gfp_mask)
3718 reserved = __zone_watermark_unusable_free(z, 0, alloc_flags);
3726 if (__zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
3736 && ((alloc_flags & ALLOC_WMARK_MASK) == WMARK_MIN))) {
3739 alloc_flags, free_pages);
3781 unsigned int alloc_flags;
3787 alloc_flags = (__force int) (gfp_mask & __GFP_KSWAPD_RECLAIM);
3791 return alloc_flags;
3794 return alloc_flags;
3803 return alloc_flags;
3805 alloc_flags |= ALLOC_NOFRAGMENT;
3807 return alloc_flags;
3811 unsigned int alloc_flags)
3818 alloc_flags |= ALLOC_CMA;
3821 return alloc_flags;
3829 get_page_from_freelist(gfp_t gfp_mask, unsigned int order, int alloc_flags,
3842 no_fallback = alloc_flags & ALLOC_NOFRAGMENT;
3850 (alloc_flags & ALLOC_CPUSET) &&
3893 alloc_flags &= ~ALLOC_NOFRAGMENT;
3898 mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK);
3900 ac->highest_zoneidx, alloc_flags,
3916 if (alloc_flags & ALLOC_NO_WATERMARKS)
3934 ac->highest_zoneidx, alloc_flags))
3943 gfp_mask, alloc_flags, ac->migratetype);
3945 prep_new_page(page, order, gfp_mask, alloc_flags);
3951 if (unlikely(order && (alloc_flags & ALLOC_HARDER)))
3971 alloc_flags &= ~ALLOC_NOFRAGMENT;
4024 unsigned int alloc_flags,
4030 alloc_flags|ALLOC_CPUSET, ac);
4037 alloc_flags, ac);
4138 unsigned int alloc_flags, const struct alloc_context *ac,
4151 *compact_result = try_to_compact_pages(gfp_mask, order, alloc_flags, ac,
4165 prep_new_page(page, order, gfp_mask, alloc_flags);
4169 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4192 should_compact_retry(struct alloc_context *ac, int order, int alloc_flags,
4222 ret = compaction_zonelist_suitable(ac, order, alloc_flags);
4271 unsigned int alloc_flags, const struct alloc_context *ac,
4279 should_compact_retry(struct alloc_context *ac, unsigned int order, int alloc_flags,
4299 ac->highest_zoneidx, alloc_flags))
4412 unsigned int alloc_flags, const struct alloc_context *ac,
4423 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4465 unsigned int alloc_flags = ALLOC_WMARK_MIN | ALLOC_CPUSET;
4481 alloc_flags |= (__force int)
4490 alloc_flags |= ALLOC_HARDER;
4495 alloc_flags &= ~ALLOC_CPUSET;
4497 alloc_flags |= ALLOC_HARDER;
4499 alloc_flags = current_alloc_flags(gfp_mask, alloc_flags);
4501 return alloc_flags;
4558 struct alloc_context *ac, int alloc_flags,
4605 ac->highest_zoneidx, alloc_flags, available);
4687 unsigned int alloc_flags;
4716 * The fast path uses conservative alloc_flags to succeed only until
4718 * alloc_flags precisely. So we do that now.
4720 alloc_flags = gfp_to_alloc_flags(gfp_mask);
4733 if (alloc_flags & ALLOC_KSWAPD)
4737 * The adjusted alloc_flags might result in immediate success, so try
4740 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4758 alloc_flags, ac,
4801 if (alloc_flags & ALLOC_KSWAPD)
4806 alloc_flags = current_alloc_flags(gfp_mask, reserve_flags);
4813 if (!(alloc_flags & ALLOC_CPUSET) || reserve_flags) {
4819 /* Attempt with potentially adjusted zonelist and alloc_flags */
4820 page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4836 page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac,
4845 page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac,
4861 if (should_reclaim_retry(gfp_mask, order, ac, alloc_flags,
4872 should_compact_retry(ac, order, alloc_flags,
4893 (alloc_flags & ALLOC_OOM ||
4962 unsigned int *alloc_flags)
4978 *alloc_flags |= ALLOC_CPUSET;
4994 *alloc_flags = current_alloc_flags(gfp_mask, *alloc_flags);
5018 unsigned int alloc_flags = ALLOC_WMARK_LOW;
5033 if (!prepare_alloc_pages(gfp_mask, order, preferred_nid, nodemask, &ac, &alloc_mask, &alloc_flags))
5040 alloc_flags |= alloc_flags_nofragment(ac.preferred_zoneref->zone, gfp_mask);
5043 page = get_page_from_freelist(alloc_mask, order, alloc_flags, &ac);