1 #include "arm_arch.h" 2 3 #if defined(__thumb2__) 4 .syntax unified 5 .thumb 6 #else 7 .code 32 8 #endif 9 10 .text 11 12 #if __ARM_MAX_ARCH__>=7 13 .align 5 14 .LOPENSSL_armcap: 15 # ifdef _WIN32 16 .word OPENSSL_armcap_P 17 # else 18 .word OPENSSL_armcap_P-.Lbn_mul_mont 19 # endif 20 #endif 21 22 .globl bn_mul_mont 23 .type bn_mul_mont,%function 24 25 .align 5 26 bn_mul_mont: 27 .Lbn_mul_mont: 28 ldr ip,[sp,#4] @ load num 29 stmdb sp!,{r0,r2} @ sp points at argument block 30 #if __ARM_MAX_ARCH__>=7 31 tst ip,#7 32 bne .Lialu 33 ldr r0,.LOPENSSL_armcap 34 #if !defined(_WIN32) 35 adr r2,.Lbn_mul_mont 36 ldr r0,[r0,r2] 37 # endif 38 # if defined(__APPLE__) || defined(_WIN32) 39 ldr r0,[r0] 40 # endif 41 tst r0,#ARMV7_NEON @ NEON available? 42 ldmia sp, {r0,r2} 43 beq .Lialu 44 add sp,sp,#8 45 b bn_mul8x_mont_neon 46 .align 4 47 .Lialu: 48 #endif 49 cmp ip,#2 50 mov r0,ip @ load num 51 #ifdef __thumb2__ 52 ittt lt 53 #endif 54 movlt r0,#0 55 addlt sp,sp,#2*4 56 blt .Labrt 57 58 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 59 60 mov r0,r0,lsl#2 @ rescale r0 for byte count 61 sub sp,sp,r0 @ alloca(4*num) 62 sub sp,sp,#4 @ +extra dword 63 sub r0,r0,#4 @ "num=num-1" 64 add r4,r2,r0 @ &bp[num-1] 65 66 add r0,sp,r0 @ r0 to point at &tp[num-1] 67 ldr r8,[r0,#14*4] @ &n0 68 ldr r2,[r2] @ bp[0] 69 ldr r5,[r1],#4 @ ap[0],ap++ 70 ldr r6,[r3],#4 @ np[0],np++ 71 ldr r8,[r8] @ *n0 72 str r4,[r0,#15*4] @ save &bp[num] 73 74 umull r10,r11,r5,r2 @ ap[0]*bp[0] 75 str r8,[r0,#14*4] @ save n0 value 76 mul r8,r10,r8 @ "tp[0]"*n0 77 mov r12,#0 78 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 79 mov r4,sp 80 81 .L1st: 82 ldr r5,[r1],#4 @ ap[j],ap++ 83 mov r10,r11 84 ldr r6,[r3],#4 @ np[j],np++ 85 mov r11,#0 86 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 87 mov r14,#0 88 umlal r12,r14,r6,r8 @ np[j]*n0 89 adds r12,r12,r10 90 str r12,[r4],#4 @ tp[j-1]=,tp++ 91 adc r12,r14,#0 92 cmp r4,r0 93 bne .L1st 94 95 adds r12,r12,r11 96 ldr r4,[r0,#13*4] @ restore bp 97 mov r14,#0 98 ldr r8,[r0,#14*4] @ restore n0 99 adc r14,r14,#0 100 str r12,[r0] @ tp[num-1]= 101 mov r7,sp 102 str r14,[r0,#4] @ tp[num]= 103 104 .Louter: 105 sub r7,r0,r7 @ "original" r0-1 value 106 sub r1,r1,r7 @ "rewind" ap to &ap[1] 107 ldr r2,[r4,#4]! @ *(++bp) 108 sub r3,r3,r7 @ "rewind" np to &np[1] 109 ldr r5,[r1,#-4] @ ap[0] 110 ldr r10,[sp] @ tp[0] 111 ldr r6,[r3,#-4] @ np[0] 112 ldr r7,[sp,#4] @ tp[1] 113 114 mov r11,#0 115 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 116 str r4,[r0,#13*4] @ save bp 117 mul r8,r10,r8 118 mov r12,#0 119 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 120 mov r4,sp 121 122 .Linner: 123 ldr r5,[r1],#4 @ ap[j],ap++ 124 adds r10,r11,r7 @ +=tp[j] 125 ldr r6,[r3],#4 @ np[j],np++ 126 mov r11,#0 127 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 128 mov r14,#0 129 umlal r12,r14,r6,r8 @ np[j]*n0 130 adc r11,r11,#0 131 ldr r7,[r4,#8] @ tp[j+1] 132 adds r12,r12,r10 133 str r12,[r4],#4 @ tp[j-1]=,tp++ 134 adc r12,r14,#0 135 cmp r4,r0 136 bne .Linner 137 138 adds r12,r12,r11 139 mov r14,#0 140 ldr r4,[r0,#13*4] @ restore bp 141 adc r14,r14,#0 142 ldr r8,[r0,#14*4] @ restore n0 143 adds r12,r12,r7 144 ldr r7,[r0,#15*4] @ restore &bp[num] 145 adc r14,r14,#0 146 str r12,[r0] @ tp[num-1]= 147 str r14,[r0,#4] @ tp[num]= 148 149 cmp r4,r7 150 #ifdef __thumb2__ 151 itt ne 152 #endif 153 movne r7,sp 154 bne .Louter 155 156 ldr r2,[r0,#12*4] @ pull rp 157 mov r5,sp 158 add r0,r0,#4 @ r0 to point at &tp[num] 159 sub r5,r0,r5 @ "original" num value 160 mov r4,sp @ "rewind" r4 161 mov r1,r4 @ "borrow" r1 162 sub r3,r3,r5 @ "rewind" r3 to &np[0] 163 164 subs r7,r7,r7 @ "clear" carry flag 165 .Lsub: ldr r7,[r4],#4 166 ldr r6,[r3],#4 167 sbcs r7,r7,r6 @ tp[j]-np[j] 168 str r7,[r2],#4 @ rp[j]= 169 teq r4,r0 @ preserve carry 170 bne .Lsub 171 sbcs r14,r14,#0 @ upmost carry 172 mov r4,sp @ "rewind" r4 173 sub r2,r2,r5 @ "rewind" r2 174 175 .Lcopy: ldr r7,[r4] @ conditional copy 176 ldr r5,[r2] 177 str sp,[r4],#4 @ zap tp 178 #ifdef __thumb2__ 179 it cc 180 #endif 181 movcc r5,r7 182 str r5,[r2],#4 183 teq r4,r0 @ preserve carry 184 bne .Lcopy 185 186 mov sp,r0 187 add sp,sp,#4 @ skip over tp[num+1] 188 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 189 add sp,sp,#2*4 @ skip over {r0,r2} 190 mov r0,#1 191 .Labrt: 192 #if __ARM_ARCH__>=5 193 bx lr @ bx lr 194 #else 195 tst lr,#1 196 moveq pc,lr @ be binary compatible with V4, yet 197 .word 0xe12fff1e @ interoperable with Thumb ISA:-) 198 #endif 199 .size bn_mul_mont,.-bn_mul_mont 200 #if __ARM_MAX_ARCH__>=7 201 .arch armv7-a 202 .fpu neon 203 204 .type bn_mul8x_mont_neon,%function 205 .align 5 206 bn_mul8x_mont_neon: 207 mov ip,sp 208 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 209 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 210 ldmia ip,{r4,r5} @ load rest of parameter block 211 mov ip,sp 212 213 cmp r5,#8 214 bhi .LNEON_8n 215 216 @ special case for r5==8, everything is in register bank... 217 218 vld1.32 {d28[0]}, [r2,:32]! 219 veor d8,d8,d8 220 sub r7,sp,r5,lsl#4 221 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 222 and r7,r7,#-64 223 vld1.32 {d30[0]}, [r4,:32] 224 mov sp,r7 @ alloca 225 vzip.16 d28,d8 226 227 vmull.u32 q6,d28,d0[0] 228 vmull.u32 q7,d28,d0[1] 229 vmull.u32 q8,d28,d1[0] 230 vshl.i64 d29,d13,#16 231 vmull.u32 q9,d28,d1[1] 232 233 vadd.u64 d29,d29,d12 234 veor d8,d8,d8 235 vmul.u32 d29,d29,d30 236 237 vmull.u32 q10,d28,d2[0] 238 vld1.32 {d4,d5,d6,d7}, [r3]! 239 vmull.u32 q11,d28,d2[1] 240 vmull.u32 q12,d28,d3[0] 241 vzip.16 d29,d8 242 vmull.u32 q13,d28,d3[1] 243 244 vmlal.u32 q6,d29,d4[0] 245 sub r9,r5,#1 246 vmlal.u32 q7,d29,d4[1] 247 vmlal.u32 q8,d29,d5[0] 248 vmlal.u32 q9,d29,d5[1] 249 250 vmlal.u32 q10,d29,d6[0] 251 vmov q5,q6 252 vmlal.u32 q11,d29,d6[1] 253 vmov q6,q7 254 vmlal.u32 q12,d29,d7[0] 255 vmov q7,q8 256 vmlal.u32 q13,d29,d7[1] 257 vmov q8,q9 258 vmov q9,q10 259 vshr.u64 d10,d10,#16 260 vmov q10,q11 261 vmov q11,q12 262 vadd.u64 d10,d10,d11 263 vmov q12,q13 264 veor q13,q13 265 vshr.u64 d10,d10,#16 266 267 b .LNEON_outer8 268 269 .align 4 270 .LNEON_outer8: 271 vld1.32 {d28[0]}, [r2,:32]! 272 veor d8,d8,d8 273 vzip.16 d28,d8 274 vadd.u64 d12,d12,d10 275 276 vmlal.u32 q6,d28,d0[0] 277 vmlal.u32 q7,d28,d0[1] 278 vmlal.u32 q8,d28,d1[0] 279 vshl.i64 d29,d13,#16 280 vmlal.u32 q9,d28,d1[1] 281 282 vadd.u64 d29,d29,d12 283 veor d8,d8,d8 284 subs r9,r9,#1 285 vmul.u32 d29,d29,d30 286 287 vmlal.u32 q10,d28,d2[0] 288 vmlal.u32 q11,d28,d2[1] 289 vmlal.u32 q12,d28,d3[0] 290 vzip.16 d29,d8 291 vmlal.u32 q13,d28,d3[1] 292 293 vmlal.u32 q6,d29,d4[0] 294 vmlal.u32 q7,d29,d4[1] 295 vmlal.u32 q8,d29,d5[0] 296 vmlal.u32 q9,d29,d5[1] 297 298 vmlal.u32 q10,d29,d6[0] 299 vmov q5,q6 300 vmlal.u32 q11,d29,d6[1] 301 vmov q6,q7 302 vmlal.u32 q12,d29,d7[0] 303 vmov q7,q8 304 vmlal.u32 q13,d29,d7[1] 305 vmov q8,q9 306 vmov q9,q10 307 vshr.u64 d10,d10,#16 308 vmov q10,q11 309 vmov q11,q12 310 vadd.u64 d10,d10,d11 311 vmov q12,q13 312 veor q13,q13 313 vshr.u64 d10,d10,#16 314 315 bne .LNEON_outer8 316 317 vadd.u64 d12,d12,d10 318 mov r7,sp 319 vshr.u64 d10,d12,#16 320 mov r8,r5 321 vadd.u64 d13,d13,d10 322 add r6,sp,#96 323 vshr.u64 d10,d13,#16 324 vzip.16 d12,d13 325 326 b .LNEON_tail_entry 327 328 .align 4 329 .LNEON_8n: 330 veor q6,q6,q6 331 sub r7,sp,#128 332 veor q7,q7,q7 333 sub r7,r7,r5,lsl#4 334 veor q8,q8,q8 335 and r7,r7,#-64 336 veor q9,q9,q9 337 mov sp,r7 @ alloca 338 veor q10,q10,q10 339 add r7,r7,#256 340 veor q11,q11,q11 341 sub r8,r5,#8 342 veor q12,q12,q12 343 veor q13,q13,q13 344 345 .LNEON_8n_init: 346 vst1.64 {q6,q7},[r7,:256]! 347 subs r8,r8,#8 348 vst1.64 {q8,q9},[r7,:256]! 349 vst1.64 {q10,q11},[r7,:256]! 350 vst1.64 {q12,q13},[r7,:256]! 351 bne .LNEON_8n_init 352 353 add r6,sp,#256 354 vld1.32 {d0,d1,d2,d3},[r1]! 355 add r10,sp,#8 356 vld1.32 {d30[0]},[r4,:32] 357 mov r9,r5 358 b .LNEON_8n_outer 359 360 .align 4 361 .LNEON_8n_outer: 362 vld1.32 {d28[0]},[r2,:32]! @ *b++ 363 veor d8,d8,d8 364 vzip.16 d28,d8 365 add r7,sp,#128 366 vld1.32 {d4,d5,d6,d7},[r3]! 367 368 vmlal.u32 q6,d28,d0[0] 369 vmlal.u32 q7,d28,d0[1] 370 veor d8,d8,d8 371 vmlal.u32 q8,d28,d1[0] 372 vshl.i64 d29,d13,#16 373 vmlal.u32 q9,d28,d1[1] 374 vadd.u64 d29,d29,d12 375 vmlal.u32 q10,d28,d2[0] 376 vmul.u32 d29,d29,d30 377 vmlal.u32 q11,d28,d2[1] 378 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 379 vmlal.u32 q12,d28,d3[0] 380 vzip.16 d29,d8 381 vmlal.u32 q13,d28,d3[1] 382 vld1.32 {d28[0]},[r2,:32]! @ *b++ 383 vmlal.u32 q6,d29,d4[0] 384 veor d10,d10,d10 385 vmlal.u32 q7,d29,d4[1] 386 vzip.16 d28,d10 387 vmlal.u32 q8,d29,d5[0] 388 vshr.u64 d12,d12,#16 389 vmlal.u32 q9,d29,d5[1] 390 vmlal.u32 q10,d29,d6[0] 391 vadd.u64 d12,d12,d13 392 vmlal.u32 q11,d29,d6[1] 393 vshr.u64 d12,d12,#16 394 vmlal.u32 q12,d29,d7[0] 395 vmlal.u32 q13,d29,d7[1] 396 vadd.u64 d14,d14,d12 397 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 398 vmlal.u32 q7,d28,d0[0] 399 vld1.64 {q6},[r6,:128]! 400 vmlal.u32 q8,d28,d0[1] 401 veor d8,d8,d8 402 vmlal.u32 q9,d28,d1[0] 403 vshl.i64 d29,d15,#16 404 vmlal.u32 q10,d28,d1[1] 405 vadd.u64 d29,d29,d14 406 vmlal.u32 q11,d28,d2[0] 407 vmul.u32 d29,d29,d30 408 vmlal.u32 q12,d28,d2[1] 409 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 410 vmlal.u32 q13,d28,d3[0] 411 vzip.16 d29,d8 412 vmlal.u32 q6,d28,d3[1] 413 vld1.32 {d28[0]},[r2,:32]! @ *b++ 414 vmlal.u32 q7,d29,d4[0] 415 veor d10,d10,d10 416 vmlal.u32 q8,d29,d4[1] 417 vzip.16 d28,d10 418 vmlal.u32 q9,d29,d5[0] 419 vshr.u64 d14,d14,#16 420 vmlal.u32 q10,d29,d5[1] 421 vmlal.u32 q11,d29,d6[0] 422 vadd.u64 d14,d14,d15 423 vmlal.u32 q12,d29,d6[1] 424 vshr.u64 d14,d14,#16 425 vmlal.u32 q13,d29,d7[0] 426 vmlal.u32 q6,d29,d7[1] 427 vadd.u64 d16,d16,d14 428 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 429 vmlal.u32 q8,d28,d0[0] 430 vld1.64 {q7},[r6,:128]! 431 vmlal.u32 q9,d28,d0[1] 432 veor d8,d8,d8 433 vmlal.u32 q10,d28,d1[0] 434 vshl.i64 d29,d17,#16 435 vmlal.u32 q11,d28,d1[1] 436 vadd.u64 d29,d29,d16 437 vmlal.u32 q12,d28,d2[0] 438 vmul.u32 d29,d29,d30 439 vmlal.u32 q13,d28,d2[1] 440 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 441 vmlal.u32 q6,d28,d3[0] 442 vzip.16 d29,d8 443 vmlal.u32 q7,d28,d3[1] 444 vld1.32 {d28[0]},[r2,:32]! @ *b++ 445 vmlal.u32 q8,d29,d4[0] 446 veor d10,d10,d10 447 vmlal.u32 q9,d29,d4[1] 448 vzip.16 d28,d10 449 vmlal.u32 q10,d29,d5[0] 450 vshr.u64 d16,d16,#16 451 vmlal.u32 q11,d29,d5[1] 452 vmlal.u32 q12,d29,d6[0] 453 vadd.u64 d16,d16,d17 454 vmlal.u32 q13,d29,d6[1] 455 vshr.u64 d16,d16,#16 456 vmlal.u32 q6,d29,d7[0] 457 vmlal.u32 q7,d29,d7[1] 458 vadd.u64 d18,d18,d16 459 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 460 vmlal.u32 q9,d28,d0[0] 461 vld1.64 {q8},[r6,:128]! 462 vmlal.u32 q10,d28,d0[1] 463 veor d8,d8,d8 464 vmlal.u32 q11,d28,d1[0] 465 vshl.i64 d29,d19,#16 466 vmlal.u32 q12,d28,d1[1] 467 vadd.u64 d29,d29,d18 468 vmlal.u32 q13,d28,d2[0] 469 vmul.u32 d29,d29,d30 470 vmlal.u32 q6,d28,d2[1] 471 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 472 vmlal.u32 q7,d28,d3[0] 473 vzip.16 d29,d8 474 vmlal.u32 q8,d28,d3[1] 475 vld1.32 {d28[0]},[r2,:32]! @ *b++ 476 vmlal.u32 q9,d29,d4[0] 477 veor d10,d10,d10 478 vmlal.u32 q10,d29,d4[1] 479 vzip.16 d28,d10 480 vmlal.u32 q11,d29,d5[0] 481 vshr.u64 d18,d18,#16 482 vmlal.u32 q12,d29,d5[1] 483 vmlal.u32 q13,d29,d6[0] 484 vadd.u64 d18,d18,d19 485 vmlal.u32 q6,d29,d6[1] 486 vshr.u64 d18,d18,#16 487 vmlal.u32 q7,d29,d7[0] 488 vmlal.u32 q8,d29,d7[1] 489 vadd.u64 d20,d20,d18 490 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 491 vmlal.u32 q10,d28,d0[0] 492 vld1.64 {q9},[r6,:128]! 493 vmlal.u32 q11,d28,d0[1] 494 veor d8,d8,d8 495 vmlal.u32 q12,d28,d1[0] 496 vshl.i64 d29,d21,#16 497 vmlal.u32 q13,d28,d1[1] 498 vadd.u64 d29,d29,d20 499 vmlal.u32 q6,d28,d2[0] 500 vmul.u32 d29,d29,d30 501 vmlal.u32 q7,d28,d2[1] 502 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 503 vmlal.u32 q8,d28,d3[0] 504 vzip.16 d29,d8 505 vmlal.u32 q9,d28,d3[1] 506 vld1.32 {d28[0]},[r2,:32]! @ *b++ 507 vmlal.u32 q10,d29,d4[0] 508 veor d10,d10,d10 509 vmlal.u32 q11,d29,d4[1] 510 vzip.16 d28,d10 511 vmlal.u32 q12,d29,d5[0] 512 vshr.u64 d20,d20,#16 513 vmlal.u32 q13,d29,d5[1] 514 vmlal.u32 q6,d29,d6[0] 515 vadd.u64 d20,d20,d21 516 vmlal.u32 q7,d29,d6[1] 517 vshr.u64 d20,d20,#16 518 vmlal.u32 q8,d29,d7[0] 519 vmlal.u32 q9,d29,d7[1] 520 vadd.u64 d22,d22,d20 521 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 522 vmlal.u32 q11,d28,d0[0] 523 vld1.64 {q10},[r6,:128]! 524 vmlal.u32 q12,d28,d0[1] 525 veor d8,d8,d8 526 vmlal.u32 q13,d28,d1[0] 527 vshl.i64 d29,d23,#16 528 vmlal.u32 q6,d28,d1[1] 529 vadd.u64 d29,d29,d22 530 vmlal.u32 q7,d28,d2[0] 531 vmul.u32 d29,d29,d30 532 vmlal.u32 q8,d28,d2[1] 533 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 534 vmlal.u32 q9,d28,d3[0] 535 vzip.16 d29,d8 536 vmlal.u32 q10,d28,d3[1] 537 vld1.32 {d28[0]},[r2,:32]! @ *b++ 538 vmlal.u32 q11,d29,d4[0] 539 veor d10,d10,d10 540 vmlal.u32 q12,d29,d4[1] 541 vzip.16 d28,d10 542 vmlal.u32 q13,d29,d5[0] 543 vshr.u64 d22,d22,#16 544 vmlal.u32 q6,d29,d5[1] 545 vmlal.u32 q7,d29,d6[0] 546 vadd.u64 d22,d22,d23 547 vmlal.u32 q8,d29,d6[1] 548 vshr.u64 d22,d22,#16 549 vmlal.u32 q9,d29,d7[0] 550 vmlal.u32 q10,d29,d7[1] 551 vadd.u64 d24,d24,d22 552 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 553 vmlal.u32 q12,d28,d0[0] 554 vld1.64 {q11},[r6,:128]! 555 vmlal.u32 q13,d28,d0[1] 556 veor d8,d8,d8 557 vmlal.u32 q6,d28,d1[0] 558 vshl.i64 d29,d25,#16 559 vmlal.u32 q7,d28,d1[1] 560 vadd.u64 d29,d29,d24 561 vmlal.u32 q8,d28,d2[0] 562 vmul.u32 d29,d29,d30 563 vmlal.u32 q9,d28,d2[1] 564 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 565 vmlal.u32 q10,d28,d3[0] 566 vzip.16 d29,d8 567 vmlal.u32 q11,d28,d3[1] 568 vld1.32 {d28[0]},[r2,:32]! @ *b++ 569 vmlal.u32 q12,d29,d4[0] 570 veor d10,d10,d10 571 vmlal.u32 q13,d29,d4[1] 572 vzip.16 d28,d10 573 vmlal.u32 q6,d29,d5[0] 574 vshr.u64 d24,d24,#16 575 vmlal.u32 q7,d29,d5[1] 576 vmlal.u32 q8,d29,d6[0] 577 vadd.u64 d24,d24,d25 578 vmlal.u32 q9,d29,d6[1] 579 vshr.u64 d24,d24,#16 580 vmlal.u32 q10,d29,d7[0] 581 vmlal.u32 q11,d29,d7[1] 582 vadd.u64 d26,d26,d24 583 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 584 vmlal.u32 q13,d28,d0[0] 585 vld1.64 {q12},[r6,:128]! 586 vmlal.u32 q6,d28,d0[1] 587 veor d8,d8,d8 588 vmlal.u32 q7,d28,d1[0] 589 vshl.i64 d29,d27,#16 590 vmlal.u32 q8,d28,d1[1] 591 vadd.u64 d29,d29,d26 592 vmlal.u32 q9,d28,d2[0] 593 vmul.u32 d29,d29,d30 594 vmlal.u32 q10,d28,d2[1] 595 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 596 vmlal.u32 q11,d28,d3[0] 597 vzip.16 d29,d8 598 vmlal.u32 q12,d28,d3[1] 599 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 600 vmlal.u32 q13,d29,d4[0] 601 vld1.32 {d0,d1,d2,d3},[r1]! 602 vmlal.u32 q6,d29,d4[1] 603 vmlal.u32 q7,d29,d5[0] 604 vshr.u64 d26,d26,#16 605 vmlal.u32 q8,d29,d5[1] 606 vmlal.u32 q9,d29,d6[0] 607 vadd.u64 d26,d26,d27 608 vmlal.u32 q10,d29,d6[1] 609 vshr.u64 d26,d26,#16 610 vmlal.u32 q11,d29,d7[0] 611 vmlal.u32 q12,d29,d7[1] 612 vadd.u64 d12,d12,d26 613 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 614 add r10,sp,#8 @ rewind 615 sub r8,r5,#8 616 b .LNEON_8n_inner 617 618 .align 4 619 .LNEON_8n_inner: 620 subs r8,r8,#8 621 vmlal.u32 q6,d28,d0[0] 622 vld1.64 {q13},[r6,:128] 623 vmlal.u32 q7,d28,d0[1] 624 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 625 vmlal.u32 q8,d28,d1[0] 626 vld1.32 {d4,d5,d6,d7},[r3]! 627 vmlal.u32 q9,d28,d1[1] 628 it ne 629 addne r6,r6,#16 @ don't advance in last iteration 630 vmlal.u32 q10,d28,d2[0] 631 vmlal.u32 q11,d28,d2[1] 632 vmlal.u32 q12,d28,d3[0] 633 vmlal.u32 q13,d28,d3[1] 634 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 635 vmlal.u32 q6,d29,d4[0] 636 vmlal.u32 q7,d29,d4[1] 637 vmlal.u32 q8,d29,d5[0] 638 vmlal.u32 q9,d29,d5[1] 639 vmlal.u32 q10,d29,d6[0] 640 vmlal.u32 q11,d29,d6[1] 641 vmlal.u32 q12,d29,d7[0] 642 vmlal.u32 q13,d29,d7[1] 643 vst1.64 {q6},[r7,:128]! 644 vmlal.u32 q7,d28,d0[0] 645 vld1.64 {q6},[r6,:128] 646 vmlal.u32 q8,d28,d0[1] 647 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 648 vmlal.u32 q9,d28,d1[0] 649 it ne 650 addne r6,r6,#16 @ don't advance in last iteration 651 vmlal.u32 q10,d28,d1[1] 652 vmlal.u32 q11,d28,d2[0] 653 vmlal.u32 q12,d28,d2[1] 654 vmlal.u32 q13,d28,d3[0] 655 vmlal.u32 q6,d28,d3[1] 656 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 657 vmlal.u32 q7,d29,d4[0] 658 vmlal.u32 q8,d29,d4[1] 659 vmlal.u32 q9,d29,d5[0] 660 vmlal.u32 q10,d29,d5[1] 661 vmlal.u32 q11,d29,d6[0] 662 vmlal.u32 q12,d29,d6[1] 663 vmlal.u32 q13,d29,d7[0] 664 vmlal.u32 q6,d29,d7[1] 665 vst1.64 {q7},[r7,:128]! 666 vmlal.u32 q8,d28,d0[0] 667 vld1.64 {q7},[r6,:128] 668 vmlal.u32 q9,d28,d0[1] 669 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 670 vmlal.u32 q10,d28,d1[0] 671 it ne 672 addne r6,r6,#16 @ don't advance in last iteration 673 vmlal.u32 q11,d28,d1[1] 674 vmlal.u32 q12,d28,d2[0] 675 vmlal.u32 q13,d28,d2[1] 676 vmlal.u32 q6,d28,d3[0] 677 vmlal.u32 q7,d28,d3[1] 678 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 679 vmlal.u32 q8,d29,d4[0] 680 vmlal.u32 q9,d29,d4[1] 681 vmlal.u32 q10,d29,d5[0] 682 vmlal.u32 q11,d29,d5[1] 683 vmlal.u32 q12,d29,d6[0] 684 vmlal.u32 q13,d29,d6[1] 685 vmlal.u32 q6,d29,d7[0] 686 vmlal.u32 q7,d29,d7[1] 687 vst1.64 {q8},[r7,:128]! 688 vmlal.u32 q9,d28,d0[0] 689 vld1.64 {q8},[r6,:128] 690 vmlal.u32 q10,d28,d0[1] 691 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 692 vmlal.u32 q11,d28,d1[0] 693 it ne 694 addne r6,r6,#16 @ don't advance in last iteration 695 vmlal.u32 q12,d28,d1[1] 696 vmlal.u32 q13,d28,d2[0] 697 vmlal.u32 q6,d28,d2[1] 698 vmlal.u32 q7,d28,d3[0] 699 vmlal.u32 q8,d28,d3[1] 700 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 701 vmlal.u32 q9,d29,d4[0] 702 vmlal.u32 q10,d29,d4[1] 703 vmlal.u32 q11,d29,d5[0] 704 vmlal.u32 q12,d29,d5[1] 705 vmlal.u32 q13,d29,d6[0] 706 vmlal.u32 q6,d29,d6[1] 707 vmlal.u32 q7,d29,d7[0] 708 vmlal.u32 q8,d29,d7[1] 709 vst1.64 {q9},[r7,:128]! 710 vmlal.u32 q10,d28,d0[0] 711 vld1.64 {q9},[r6,:128] 712 vmlal.u32 q11,d28,d0[1] 713 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 714 vmlal.u32 q12,d28,d1[0] 715 it ne 716 addne r6,r6,#16 @ don't advance in last iteration 717 vmlal.u32 q13,d28,d1[1] 718 vmlal.u32 q6,d28,d2[0] 719 vmlal.u32 q7,d28,d2[1] 720 vmlal.u32 q8,d28,d3[0] 721 vmlal.u32 q9,d28,d3[1] 722 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 723 vmlal.u32 q10,d29,d4[0] 724 vmlal.u32 q11,d29,d4[1] 725 vmlal.u32 q12,d29,d5[0] 726 vmlal.u32 q13,d29,d5[1] 727 vmlal.u32 q6,d29,d6[0] 728 vmlal.u32 q7,d29,d6[1] 729 vmlal.u32 q8,d29,d7[0] 730 vmlal.u32 q9,d29,d7[1] 731 vst1.64 {q10},[r7,:128]! 732 vmlal.u32 q11,d28,d0[0] 733 vld1.64 {q10},[r6,:128] 734 vmlal.u32 q12,d28,d0[1] 735 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 736 vmlal.u32 q13,d28,d1[0] 737 it ne 738 addne r6,r6,#16 @ don't advance in last iteration 739 vmlal.u32 q6,d28,d1[1] 740 vmlal.u32 q7,d28,d2[0] 741 vmlal.u32 q8,d28,d2[1] 742 vmlal.u32 q9,d28,d3[0] 743 vmlal.u32 q10,d28,d3[1] 744 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 745 vmlal.u32 q11,d29,d4[0] 746 vmlal.u32 q12,d29,d4[1] 747 vmlal.u32 q13,d29,d5[0] 748 vmlal.u32 q6,d29,d5[1] 749 vmlal.u32 q7,d29,d6[0] 750 vmlal.u32 q8,d29,d6[1] 751 vmlal.u32 q9,d29,d7[0] 752 vmlal.u32 q10,d29,d7[1] 753 vst1.64 {q11},[r7,:128]! 754 vmlal.u32 q12,d28,d0[0] 755 vld1.64 {q11},[r6,:128] 756 vmlal.u32 q13,d28,d0[1] 757 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 758 vmlal.u32 q6,d28,d1[0] 759 it ne 760 addne r6,r6,#16 @ don't advance in last iteration 761 vmlal.u32 q7,d28,d1[1] 762 vmlal.u32 q8,d28,d2[0] 763 vmlal.u32 q9,d28,d2[1] 764 vmlal.u32 q10,d28,d3[0] 765 vmlal.u32 q11,d28,d3[1] 766 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 767 vmlal.u32 q12,d29,d4[0] 768 vmlal.u32 q13,d29,d4[1] 769 vmlal.u32 q6,d29,d5[0] 770 vmlal.u32 q7,d29,d5[1] 771 vmlal.u32 q8,d29,d6[0] 772 vmlal.u32 q9,d29,d6[1] 773 vmlal.u32 q10,d29,d7[0] 774 vmlal.u32 q11,d29,d7[1] 775 vst1.64 {q12},[r7,:128]! 776 vmlal.u32 q13,d28,d0[0] 777 vld1.64 {q12},[r6,:128] 778 vmlal.u32 q6,d28,d0[1] 779 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 780 vmlal.u32 q7,d28,d1[0] 781 it ne 782 addne r6,r6,#16 @ don't advance in last iteration 783 vmlal.u32 q8,d28,d1[1] 784 vmlal.u32 q9,d28,d2[0] 785 vmlal.u32 q10,d28,d2[1] 786 vmlal.u32 q11,d28,d3[0] 787 vmlal.u32 q12,d28,d3[1] 788 it eq 789 subeq r1,r1,r5,lsl#2 @ rewind 790 vmlal.u32 q13,d29,d4[0] 791 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 792 vmlal.u32 q6,d29,d4[1] 793 vld1.32 {d0,d1,d2,d3},[r1]! 794 vmlal.u32 q7,d29,d5[0] 795 add r10,sp,#8 @ rewind 796 vmlal.u32 q8,d29,d5[1] 797 vmlal.u32 q9,d29,d6[0] 798 vmlal.u32 q10,d29,d6[1] 799 vmlal.u32 q11,d29,d7[0] 800 vst1.64 {q13},[r7,:128]! 801 vmlal.u32 q12,d29,d7[1] 802 803 bne .LNEON_8n_inner 804 add r6,sp,#128 805 vst1.64 {q6,q7},[r7,:256]! 806 veor q2,q2,q2 @ d4-d5 807 vst1.64 {q8,q9},[r7,:256]! 808 veor q3,q3,q3 @ d6-d7 809 vst1.64 {q10,q11},[r7,:256]! 810 vst1.64 {q12},[r7,:128] 811 812 subs r9,r9,#8 813 vld1.64 {q6,q7},[r6,:256]! 814 vld1.64 {q8,q9},[r6,:256]! 815 vld1.64 {q10,q11},[r6,:256]! 816 vld1.64 {q12,q13},[r6,:256]! 817 818 itt ne 819 subne r3,r3,r5,lsl#2 @ rewind 820 bne .LNEON_8n_outer 821 822 add r7,sp,#128 823 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 824 vshr.u64 d10,d12,#16 825 vst1.64 {q2,q3},[sp,:256]! 826 vadd.u64 d13,d13,d10 827 vst1.64 {q2,q3}, [sp,:256]! 828 vshr.u64 d10,d13,#16 829 vst1.64 {q2,q3}, [sp,:256]! 830 vzip.16 d12,d13 831 832 mov r8,r5 833 b .LNEON_tail_entry 834 835 .align 4 836 .LNEON_tail: 837 vadd.u64 d12,d12,d10 838 vshr.u64 d10,d12,#16 839 vld1.64 {q8,q9}, [r6, :256]! 840 vadd.u64 d13,d13,d10 841 vld1.64 {q10,q11}, [r6, :256]! 842 vshr.u64 d10,d13,#16 843 vld1.64 {q12,q13}, [r6, :256]! 844 vzip.16 d12,d13 845 846 .LNEON_tail_entry: 847 vadd.u64 d14,d14,d10 848 vst1.32 {d12[0]}, [r7, :32]! 849 vshr.u64 d10,d14,#16 850 vadd.u64 d15,d15,d10 851 vshr.u64 d10,d15,#16 852 vzip.16 d14,d15 853 vadd.u64 d16,d16,d10 854 vst1.32 {d14[0]}, [r7, :32]! 855 vshr.u64 d10,d16,#16 856 vadd.u64 d17,d17,d10 857 vshr.u64 d10,d17,#16 858 vzip.16 d16,d17 859 vadd.u64 d18,d18,d10 860 vst1.32 {d16[0]}, [r7, :32]! 861 vshr.u64 d10,d18,#16 862 vadd.u64 d19,d19,d10 863 vshr.u64 d10,d19,#16 864 vzip.16 d18,d19 865 vadd.u64 d20,d20,d10 866 vst1.32 {d18[0]}, [r7, :32]! 867 vshr.u64 d10,d20,#16 868 vadd.u64 d21,d21,d10 869 vshr.u64 d10,d21,#16 870 vzip.16 d20,d21 871 vadd.u64 d22,d22,d10 872 vst1.32 {d20[0]}, [r7, :32]! 873 vshr.u64 d10,d22,#16 874 vadd.u64 d23,d23,d10 875 vshr.u64 d10,d23,#16 876 vzip.16 d22,d23 877 vadd.u64 d24,d24,d10 878 vst1.32 {d22[0]}, [r7, :32]! 879 vshr.u64 d10,d24,#16 880 vadd.u64 d25,d25,d10 881 vshr.u64 d10,d25,#16 882 vzip.16 d24,d25 883 vadd.u64 d26,d26,d10 884 vst1.32 {d24[0]}, [r7, :32]! 885 vshr.u64 d10,d26,#16 886 vadd.u64 d27,d27,d10 887 vshr.u64 d10,d27,#16 888 vzip.16 d26,d27 889 vld1.64 {q6,q7}, [r6, :256]! 890 subs r8,r8,#8 891 vst1.32 {d26[0]}, [r7, :32]! 892 bne .LNEON_tail 893 894 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 895 sub r3,r3,r5,lsl#2 @ rewind r3 896 subs r1,sp,#0 @ clear carry flag 897 add r2,sp,r5,lsl#2 898 899 .LNEON_sub: 900 ldmia r1!, {r4,r5,r6,r7} 901 ldmia r3!, {r8,r9,r10,r11} 902 sbcs r8, r4,r8 903 sbcs r9, r5,r9 904 sbcs r10,r6,r10 905 sbcs r11,r7,r11 906 teq r1,r2 @ preserves carry 907 stmia r0!, {r8,r9,r10,r11} 908 bne .LNEON_sub 909 910 ldr r10, [r1] @ load top-most bit 911 mov r11,sp 912 veor q0,q0,q0 913 sub r11,r2,r11 @ this is num*4 914 veor q1,q1,q1 915 mov r1,sp 916 sub r0,r0,r11 @ rewind r0 917 mov r3,r2 @ second 3/4th of frame 918 sbcs r10,r10,#0 @ result is carry flag 919 920 .LNEON_copy_n_zap: 921 ldmia r1!, {r4,r5,r6,r7} 922 ldmia r0, {r8,r9,r10,r11} 923 it cc 924 movcc r8, r4 925 vst1.64 {q0,q1}, [r3,:256]! @ wipe 926 itt cc 927 movcc r9, r5 928 movcc r10,r6 929 vst1.64 {q0,q1}, [r3,:256]! @ wipe 930 it cc 931 movcc r11,r7 932 ldmia r1, {r4,r5,r6,r7} 933 stmia r0!, {r8,r9,r10,r11} 934 sub r1,r1,#16 935 ldmia r0, {r8,r9,r10,r11} 936 it cc 937 movcc r8, r4 938 vst1.64 {q0,q1}, [r1,:256]! @ wipe 939 itt cc 940 movcc r9, r5 941 movcc r10,r6 942 vst1.64 {q0,q1}, [r3,:256]! @ wipe 943 it cc 944 movcc r11,r7 945 teq r1,r2 @ preserves carry 946 stmia r0!, {r8,r9,r10,r11} 947 bne .LNEON_copy_n_zap 948 949 mov sp,ip 950 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 951 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 952 bx lr @ bx lr 953 .size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 954 #endif 955 .byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 956 .align 2 957 .align 2 958 #if __ARM_MAX_ARCH__>=7 959 .comm OPENSSL_armcap_P,4,4 960 #endif 961