撸linux


Linux如何利用现成工具批量生成url网址列表

问题产生的背景:
尝试用scrapy等工具采集fontke.com上的所有monospace字体数据,没想到对方很聪明地屏蔽了这类工具,只好用其他笨办法继续搞定这个问题,然后某个环节不得不用到url列表生成工具。
那么Linux下用什么工具批量生成url列表最好呢?

用seq命令最好

seq -f "https://www.fontke.com/font/list/2049/%0g/" 1 875

#其中%0g就是数字序列,%03g表示3位数、不足的用0补齐,%04g表示4位数、不足的用0补齐,以此类推。如果像%5g这样,就表示仍然有5位,但0的地方留空。

也可以用echo + sed

echo {1..875}|sed 's/ /\n/g'|sed 's/^/https\:\/\/www\.fontke\.com\/font\/list\/2049\//g'|sed 's/$/\//g'

还可以用LibreOffice表格来生成,方法是在第一列1-875行输入相同的文字,如https://www.fontke.com/font/list/2049/,第二列输入数字,然后往下拖到875行,它会自动的增加数值,然后拷贝这个表格所有数据到文本编辑器,删掉所有制表符即可。

相关博文



发表评论

电子邮件地址不会被公开。