تگ / linux
-
![]()
تنظیم Apache Virtual Hosts (هاست مجازی آپاچی) روی لینوکس اوبونتو
زمان مطالعه: 2 دقیقه با سلام 🙂 در ادامه با آموزش مرحله به مرحله طریقه راه اندازی Apache Virtual Hosts روی Ubuntu 18.0.4 در خدمتتون هستم. هاست مجازی آپاچی به شما این اجازه را می دهد…
-
![]()
معرفی Ubutnu 18.04
زمان مطالعه: < 1 دقیقه با نام خدا و سلام. خب ۴ روز پیش بود که اوبونتو خبر انتشار نسخه جدید 18.04 LTS رو داد و منجر به خوشحالی طرفداران اوبونتو شد. اول از همه اینکه نسخه…
-
![]()
فعال سازی هایبرنیت – Hibernate در اوبونتو
زمان مطالعه: < 1 دقیقه با سلام، در این مطلب در مورد هایبرنیت – Hibernate و فعال سازی آن در اوبونتو حرف خواهم زد. (قابلیت Hibernate به صورت پیش فرض روی اوبونتو ۱۷.۱۰ غیر فعال است، به…
-
اپلیکیشن های مورد نیاز روی لینوکس
زمان مطالعه: 3 دقیقه با سلام، تو این پست می خوام لیستی از اپلیکیشن هایی که هر کاربری مورد نیازش هست روی لینوکس داشته باشه رو معرفی کنم (لیست ذیل کاملا با توجه به نظر و…
-
![]()
نصب و استفاده از Composer درون لینوکس (LAMP)
زمان مطالعه: 2 دقیقه با سلام و درود خب دوست داران php حالشون چطوره؟؟ تو این پست می خوام از سری آموزش های مقدماتی در مورد نصب composer روی لینوکس بنویسم، در قدم اول باید لینوکس…
-
نصب جاوا روی اوبونتو
زمان مطالعه: 2 دقیقه با سلام، این پست در مورد نصب java بر روی ubuntu هست.(نصب java روی ubuntu) توجه: با توجه به نسخه جاوایی که دانلود کردیدهر جایی از اموزش که ورژن 8u131 آمده به…
پرسش و پاسخ تصادفی
با سلام، هنگام برخورد با ارور فوق، به احتمال قوی سایتی که Scrapy را روی آن اجرا می کنید، جلوی فعالیت شما را گرفته است. به قولی شما را بَن کرده است. خزنده شما تلاش می کند robots.txt را بخواند، اما سایت مورد نظر اجازه نمی دهد 🙂
اول از همه وارد Settings.py شوید و مطمین شوید مقدار ROBOTSTXT_OBEY برابر با False باشد (در نسخه های جدید از Scrapy این مقدار به صورت پیشفرض True است)
اگر با تغییر فوق، باز هم مشکل داشتید، بهتر است userAgent خود را تغییر دهید، برای نمونه از UserAgent زیر در فایل Settings.pyاستفاده کنید. اگر مشکل حل شد که یا باشد دنبال یه پروکسی باشید که هر دفعه IP شما را عوض بکنه یا هر دفعه UserAgent متفاوت بسازید (در این مورد داخل بلاگ حتما یه پست خواهم گذاشت ، از بالای صفحه اصلی و قسمت جستجو با عبارت scrapy یه سرچی بکنید تا ببینید الان که این مطبی رو میخوانید مطلب مربوط به پروکسی را گذاشتم یا خیر)
USER_AGENT=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′
