自定义图片处理的pipeline

  • A+
所属分类:Scrapy框架

取消setting.py中关于pipeline的注释,并加入对于图片处理的语句

ITEM_PIPELINES = {

    'TestSpider.pipelines.TestspiderPipeline': 300,

    'scrapy.pipelines.images.ImagesPipeline':1,

}

图片字段

IMAGES_URLS_FIELD = 'front_image_path'

图片保存路径

project_dir = os.path.abspath(os.path.dirname(__file__)) 获取文件夹路径

IMAGES_STORE = os.path.join(project_dir,'images') 路径拼接

过滤掉小图片

IMAGES_MIN_HEIGHT = 100

IMAGES_MIN_WIDTH = 100

自定义图片处理的pipeline

from scrapy.pipelines.images import ImagesPipeline

class ArticleImagePipeline(ImagesPipeline):

   def item_completed(self, results, item, info):

        for i,value in results:

            item["front_image_path"] = value['path'] # 这儿取出图片的本地存储地址

            return item

  • 微信
  • 等你哟
  • weinxin
  • 微信公众号
  • mac软件资源等你来拿
  • weinxin
小羊同学

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: